JP2014524630A

JP2014524630A - 機械視覚のための網膜符号化器

Info

Publication number: JP2014524630A
Application number: JP2014527338A
Authority: JP
Inventors: シーラニーレンバーグ; イリヤボマッシュ
Original assignee: コーネルユニヴァーシティー
Priority date: 2011-08-25
Filing date: 2012-08-24
Publication date: 2014-09-22
Anticipated expiration: 2032-08-24
Also published as: EP2748765B1; KR102111000B1; CA2883091A1; US20170255837A1; IL231063A0; CN103890781A; US20140355861A1; HK1199768A1; US20200401837A1; US10303970B2; KR20140050741A; US20190279021A1; EP2748765A1; JP6117206B2; IL231063A; CA2883091C; KR20190051076A; WO2013029008A1; EP2748765A4; US11640681B2

Abstract

一連の生画像に対応する生画像データを受け入れる段階と、脊椎動物網膜の１つ又はそれよりも多くの網膜細胞の入力／出力変換を実質的に模倣する入力／出力変換によって特徴付けられる符号化器を用いて符号化されたデータを生成するように生画像データを処理する段階と、符号化されたデータに少なくとも部分的に基づいて生成されたデータに第１の機械視覚アルゴリズムを適用する段階とを含む方法を開示する。
【選択図】図３Ａ

Description

〔関連出願への相互参照〕
本出願は、米国特許仮出願第６１／５２７４９３号（２０１１年８月２５日出願）及び第６１／６５７４０６号（２０１２年６月８日出願）の利益を主張するものである。上述の出願の各々の内容は、その全体が引用によって組み込まれている。

本発明はまた、米国特許仮出願第６１／３０８，６８１号（２０１０年２月２６日出願）、第６１／３５９，１８８号（２０１０年６月２８日出願）、第６１／３７８，７９３号（２０１０年８月３１日出願）、及び第６１／３８２，２８０号（２０１０年９月１３日出願）に関し、米国特許出願第１３／２３０，４８８号（２０１１年９月１２日出願）に関し、かつ国際特許出願番号ＰＣＴ／ＵＳ２０１１／０２６５２６（２０１１年２月２８日出願）及びＰＣＴ／ＵＳ２０１１／０４９１８８号（２０１１年８月２５日出願）に関する。上述の出願の各々の内容は、その全体が引用によって組み込まれている。

〔連邦政府支援研究又は開発の記載〕
本発明は、米国国立衛生研究所（ＮＩＨ）の国立眼学研究所によって委託された「Ｒ０１ＥＹ１２９７８」の下に米国政府の支援によって行われたものである。米国政府は、本発明にある一定の権利を有する。

本発明の開示は、機械視覚に使用するための方法及びデバイスに関する。特に、本発明の開示は、動物の網膜の性能を模倣する符号化器を用いて画像を処理し、処理された画像を機械視覚用途に使用する方法及びデバイスに関する。

機械視覚（又はコンピュータ視覚）は、コンピュータが視覚情報を使用して例えば画像から情報を抽出し、何らかのタスクを解決し、又は広義又は狭義のいずれかの意味で光景を恐らく「理解」することを可能にする技術を指す。一般的に、機械視覚は、画像データからの情報の抽出に関わる。画像データは、単一画像、映像シーケンス、複数のカメラからの視野像、又はより高い次元のデータ（例えば、医療スキャナからの３次元画像）のような多くの形態を取る可能性がある。

機械視覚は、生産ライン上を通過する物体を計数するのに使用される産業システムのような比較的単純なタスクから顔認識及び知覚タスク（例えば、ロボットが複雑な環境の中を進むことを可能にする）のようなより複雑なタスクにわたる多くの用途を有する。機械視覚の用途例の非限定的リストは、工程を制御するためのシステム（例えば、産業ロボット又は自律走行車両）、イベントを検出するための（例えば、画像モニタ又は人数計数のための）システム、情報を編集するための（例えば、画像及び画像シーケンスのデータベースを索引付けするための）システム、物体又は環境をモデル化するためのシステム（例えば、工業検査、医療画像分析、又はトポグラフィモデル化）、並びに対話（例えば、コンピュータ−人間対話のためのデバイスへの入力としての）のためのシステムを含む。

多くの用途において、機械視覚は、計算上非常に高価なタスクを伴う。単一カラーデジタル画像は、数百万ピクセル又はそれよりも多くから構成される場合があり、その各々は、色空間（例えば、馴染み深いＲＧＢ色空間、ＹＣｂＣｒ空間、ＨＳＶ空間等）のピクセル座標を定める複数（例えば、８又は２４）ビット値のような関連付けられた値を有する。映像ストリームは、例えば、数百メガビット毎秒又はそれよりも多いビットレートに対応する数十フレーム毎秒のフレームレートにおけるそのような画像のシーケンスを含む場合がある。多くの機械視覚用途は、そのような画像又は映像ストリームの高速処理を必要とする（例えば、物体の運動を追跡して反応し、組み立てラインに沿って移動中の物体を識別又は分類し、ロボットがその環境に実時間で反応することを可能にするなどのために）。

そのような大量のデータをそのような時間拘束条件の下で処理するのは極めて困難である可能性がある。従って、既存の機械視覚タスクにおいて際立った画像データの特徴を保持しながら（又は強調さえもしながら）生の情報量を低減するように画像データを処理するための技術を見出すことが望ましいことになる。生データではなく、この予備処理された画像データが、次に、機械視覚システムに入力され、システムに対する処理負荷を軽減し、かつ十分に高速な応答及び潜在的に改善された性能を可能にすることができると考えられる。

脊椎動物の目の網膜は、視覚刺激を取得し、この刺激を脳が理解することができる形態に変換するまさにこの性質の画像処理を可能にすることが認識されている。このシステム（数百万年の進化の途上で発達した）は、哺乳動物（特にサル及びヒト）における高レベルの複雑な視覚認識によって証明されるように、際立って効率的かつ有効である。

米国特許仮出願第６１／５２７４９３号米国特許仮出願第６１／６５７４０６号米国特許仮出願第６１／３０８，６８１号明細書米国特許仮出願第６１／３５９，１８８号明細書米国特許仮出願第６１／３７８，７９３号明細書米国特許仮出願第６１／３８２，２８０号明細書米国特許出願第１３／２３０，４８８号明細書国際特許出願ＰＣＴ／ＵＳ２０１１／０２６５２６号明細書国際特許出願ＰＣＴ／ＵＳ２０１１／０４９１８８号明細書欧州特許出願第１９８９１９７６号明細書国際特許出願ＷＯ１９９６０１３５９８号明細書国際特許出願ＷＯ１９９８０４８０２７号明細書国際特許出願ＷＯ２００００１５８２２号明細書国際特許出願ＷＯ２００１０９４６０５号明細書国際特許出願ＷＯ２００２０８２９０４号明細書国際特許出願ＷＯ２００３０４７５２５号明細書国際特許出願ＷＯ２００３０８０６４８号明細書国際特許出願ＷＯ２００３０９３４７９号明細書国際特許出願ＷＯ２００３１０４４１３号明細書国際特許出願ＷＯ２００５０８０５７３号明細書国際特許出願ＷＯ２００７１２７４２８号明細書国際特許出願ＷＯ２０１００１１４０４号明細書米国特許第７１４９５８６号明細書米国特許第５，８５６，１５２号明細書米国特許第５，８７１，９８２号明細書米国特許第６５３３７９８号明細書米国特許出願第２００８０２２１６５３号明細書米国特許出願第２００８０２４９５８８号明細書米国特許出願第２００９００８８３９９号明細書米国特許出願第２００９０３２６６２３号明細書米国特許出願第２０１００２７２６８８号明細書米国特許出願第２００７０２６１１２７号明細書

ＡｈｕｊａＡ，ＤｏｒｎＪ，ＣａｓｐｉＡ，ＭｃＭａｈｏｎＭ，ＤａｇｎｅｌｉｅＧ，ＤａｃｒｕｚＬ，ＳｔａｎｇａＰ，ＨｕｍａｙｕｎＭ，ＧｒｅｅｎｂｅｒｇＲ（２０１０）ＢｌｉｎｄｓｕｂｊｅｃｔｓｉｍｐｌａｎｔｅｄｗｉｔｈｔｈｅＡｒｇｕｓＩＩｒｅｔｉｎａｌｐｒｏｓｔｈｅｓｉｓａｒｅａｂｌｅｔｏｉｍｐｒｏｖｅｐｅｒｆｏｒｍａｎｃｅｉｎａｓｐａｔｉａｌ−ｍｏｔｏｒｔａｓｋ．ＢｒＪＯｐｈｔｈａｌｍｏｌＡｒｅｎｋｉｅｌｅｔａｌ．，Ｉｎｖｉｖｏｌｉｇｈｔ−ｉｎｄｕｃｅｄａｃｔｉｖａｔｉｏｎｏｆｎｅｕｒａｌｃｉｒｃｕｉｔｒｙｉｎｔｒａｎｓｇｅｎｉｃｍｉｃｅｅｘｐｒｅｓｓｉｎｇｃｈａｎｎｅｌｒｈｏｄｏｐｓｉｎ−２．Ｎｅｕｒｏｎ（２００７）５４（２）：２０５−１８．Ａｕｓｕｂｅｌｅｔａｌ．，ＣｕｒｒｅｎｔＰｒｏｔｏｃｏｌｓｉｎＭｏｌｅｃｕｌａｒＢｉｏｌｏｇｙ，ＪｏｈｎＷｉｌｅｙ＆Ｓｏｎｓ，ＮｅｗＹｏｒｋ，１９８９Ｂａｃｈ，Ｍｅｔａｌ（２００８）Ｖｉｓｕａｌｅｖｏｋｅｄｐｏｔｅｎｔｉａｌ−ｂａｓｅｄａｃｕｉｔｙａｓｓｅｓｓｍｅｎｔｉｎｎｏｒｍａｌｖｉｓｉｏｎ，ａｒｔｉｆｉｃｉａｌｌｙｄｅｇｒａｄｅｄｖｉｓｉｏｎ，ａｎｄｉｎｐａｔｉｅｎｔｓ．ＢｒＪＯｐｈｔｈａｌｍｏｌ９２：３９６−４０３Ｂａｒｎｓｔａｂｌｅｅｔａｌ．，Ｔｈｙ−１ａｎｔｉｇｅｎ：ａｇａｎｇｌｉｏｎｃｅｌｌｓｐｅｃｉｆｉｃｍａｒｋｅｒｉｎｒｏｄｅｎｔｒｅｔｉｎａ．Ｎｅｕｒｏｓｃｉｅｎｃｅ（１９８４）１１（４）：８４７−５５ＢｉＡ，ＣｕｉＪ，ＭａＹ−Ｐ，ＯｌｓｈｅｖｓｋａｙａＥ，ＰｕＭ，ＤｉｚｈｏｏｒＡＭ，ＰａｎＺ−Ｈ（２００６）Ｅｃｔｏｐｉｃｅｘｐｒｅｓｓｉｏｎｏｆａｍｉｃｒｏｂｉａｌ−ｔｙｐｅｒｈｏｄｏｐｓｉｎｒｅｓｔｏｒｅｓｖｉｓｕａｌｒｅｓｐｏｎｓｅｓｉｎｍｉｃｅｗｉｔｈｐｈｏｔｏｒｅｃｅｐｔｏｒｄｅｇｅｎｅｒａｔｉｏｎ．Ｎｅｕｒｏｎ５０：２３−３３ＢｏｍａｓｈＩ，ＲｏｕｄｉＹ，ＮｉｒｅｎｂｅｒｇＳ．（２０１０）Ａｖｉｒｔｕａｌｒｅｔｉｎａｔｈａｔｗｏｒｋｓｏｎａｂｒｏａｄａｒｒａｙｏｆｓｔｉｍｕｌｉｉｎｃｌｕｄｉｎｇｎａｔｕｒａｌｓｃｅｎｅｓ：Ａｔｏｏｌｔｏｓｉｍｐｌｉｆｙｔｈｅｐｒｏｂｌｅｍｏｆｐｏｐｕｌａｔｉｏｎｃｏｄｉｎｇ．ＳｏｃｉｅｔｙｆｏｒＮｅｕｒｏｓｃｉｅｎｃｅ．ＰｒｏｇｒａｍＮｏ．８９１．５ＢｏｏｋｓｔｅｉｎＲｅｔａｌ（１９９０）Ｐｒｏｍｏｔｅｒｄｅｌｅｔｉｏｎａｎｄｌｏｓｓｏｆｒｅｔｉｎｏｂｌａｓｔｏｍａｇｅｎｅｅｘｐｒｅｓｓｉｏｎｉｎｈｕｍａｎｐｒｏｓｔａｔｅｃａｒｃｉｎｏｍａ．Ｐｒｏｃ．Ｎａｔｉ．Ａｃａｄ．Ｓｃｉ．ＵＳＡ８７（１９）：７７６２−７７６６ＢｕｓｓｋａｍｐＶ，ｅｔａｌ（２０１０）Ｇｅｎｅｔｉｃｒｅａｃｔｉｖａｔｉｏｎｏｆｃｏｎｅｐｈｏｔｏｒｅｃｅｐｔｏｒｓｒｅｓｔｏｒｅｓｖｉｓｕａｌｒｅｓｐｏｎｓｅｓｉｎｒｅｔｉｎｉｔｉｓｐｉｇｍｅｎｔｏｓａ．Ｓｃｉｅｎｃｅ３２９：４１３−４１７Ｃａｉｅｔａｌ．（２０１０）ＧｅｎｅｄｅｌｉｖｅｒｙｔｏｍｉｔｏｔｉｃａｎｄｐｏｓｔｍｉｔｏｔｉｃｐｈｏｔｏｒｅｃｅｐｔｏｒｓバイアｃｏｍｐａｃｔｅｄＤＮＡｎａｎｏｐａｒｔｉｃｌｅｓｒｅｓｕｌｔｓｉｎｉｍｐｒｏｖｅｄｐｈｅｎｏｔｙｐｅｉｎａｍｏｕｓｅｍｏｄｅｌｏｆｒｅｔｉｎｉｔｉｓｐｉｇｍｅｎｔｏｓａ．ＦＡＳＥＢＪ．２４：１１７８−１１９１ＣａｍｐａｇｎｏｌａＬ，ＷａｎｇＨ，ＺｙｌｋａＭＪ．（２００８）Ｆｉｂｅｒ−ｃｏｕｐｌｅｄｌｉｇｈｔ−ｅｍｉｔｔｉｎｇｄｉｏｄｅｆｏｒｌｏｃａｌｉｚｅｄｐｈｏｔｏｓｔｉｍｕｌａｔｉｏｎｏｆｎｅｕｒｏｎｓｅｘｐｒｅｓｓｉｎｇｃｈａｎｎｅｌｒｈｏｄｏｐｓｉｎ−２．ＪｏｕｒｎａｌｏｆＮｅｕｒｏｓｃｉｅｎｃｅＭｅｔｈｏｄｓ．１６９：２７−３３ＣａｒｄｉｎＪＡ，ｅｔａｌ（２０１０）Ｔａｒｇｅｔｅｄｏｐｔｏｇｅｎｅｔｉｃｓｔｉｍｕｌａｔｉｏｎａｎｄｒｅｃｏｒｄｉｎｇｏｆｎｅｕｒｏｎｓｉｎｖｉｖｏｕｓｉｎｇｃｅｌｌ−ｔｙｐｅ−ｓｐｅｃｉｆｉｃｅｘｐｒｅｓｓｉｏｎｏｆＣｈａｎｎｅｌｒｈｏｄｏｐｓｉｎ−２．ＮａｔＰｒｏｔｏｃ５（２）：２４７−５４ＣｈａｄｅｒＧＪ，ＷｅｉｌａｎｄＪ，ＨｕｍａｙｕｎＭＳ（２００９）Ａｒｔｉｆｉｃｉａｌｖｉｓｉｏｎ：ｎｅｅｄｓ，ｆｕｎｃｔｉｏｎｉｎｇ，ａｎｄｔｅｓｔｉｎｇｏｆａｒｅｔｉｎａｌｅｌｅｃｔｒｏｎｉｃｐｒｏｓｔｈｅｓｉｓ．ＰｒｏｇＢｒａｉｎＲｅｓ１７５：３１７−３３２Ｃｈｉａｐｐａ，Ｋ．（１９９７）ＥｖｏｋｅｄＲｅｓｐｏｎｓｅｓｉｎＣｌｉｎｉｃａｌＭｅｄｉｃｉｎｅ，ＴｈｉｒｄＥｄｉｔｉｏｎ，Ｌｉｐｐｉｎｃｏｔｔ−ＲａｖｅｎＣｈｉｃｈｉｌｎｉｓｋｙＥＪ．（２００１）Ａｓｉｍｐｌｅｗｈｉｔｅｎｏｉｓｅａｎａｌｙｓｉｓｏｆｎｅｕｒｏｎａｌｌｉｇｈｔｒｅｓｐｏｎｓｅｓ．Ｎｅｔｗｏｒｋ１２（２）：１９９−２１３ＣｈｏｐｄａｒＡ，ＣｈａｋｒａｖａｒｔｈｙＵ，ＶｅｒｍａＤ（２００３）Ａｇｅｒｅｌａｔｅｄｍａｃｕｌａｒｄｅｇｅｎｅｒａｔｉｏｎ．ＢＭＪ３２６：４８５−４８８ＣｏｖｅｒＴａｎｄＴｈｏｍａｓＪ．（２００６）ＥｌｅｍｅｎｔｓｏｆＩｎｆｏｒｍａｔｉｏｎＴｈｅｏｒｙ，２ｎｄＥｄｉｔｉｏｎ．Ｈｏｂｏｋｅｎ，ＮＪ：ＷｉｌｅｙＤａｎｎＪＦ，ＢｕｈｌＥＨ．（１９８７）Ｒｅｔｉｎａｌｇａｎｇｌｉｏｎｃｅｌｌｓｐｒｏｊｅｃｔｉｎｇｔｏｔｈｅａｃｃｅｓｓｏｒｙｏｐｔｉｃｓｙｓｔｅｍｉｎｔｈｅｒａｔ．ＪＣｏｍｐＮｅｕｒｏｌ２６２（１）：１４１−５８ＤｅｄｅｋＫ，ｅｔａｌ（２００８）Ｇａｎｇｌｉｏｎｃｅｌｌａｄａｐｔａｂｉｌｉｔｙ：ｄｏｅｓｔｈｅｃｏｕｐｌｉｎｇｏｆｈｏｒｉｚｏｎｔａｌｃｅｌｌｓｐｌａｙａｒｏｌｅ？ＰＬｏＳＯｎｅ．３（３）：ｅ１７１４ＤｏｕｇｌａｓＲＭｅｔａｌ（２００５）Ｉｎｄｅｐｅｎｄｅｎｔｖｉｓｕａｌｔｈｒｅｓｈｏｌｄｍｅａｓｕｒｅｍｅｎｔｓｉｎｔｈｅｔｗｏｅｙｅｓｏｆｆｒｅｅｌｙｍｏｖｉｎｇｒａｔｓａｎｄｍｉｃｅｕｓｉｎｇａｖｉｒｔｕａｌ−ｒｅａｌｉｔｙｏｐｔｏｋｉｎｅｔｉｃｓｙｓｔｅｍ．ＶｉｓＮｅｕｒｏｓｃｉ．２２（５）：６７７−８４ＤｕｄａＲＯ，ＨａｒｔＰＥ（２００１）ＰａｔｔｅｒｎＣｌａｓｓｉｆｉｃａｔｉｏｎ（２ｎｄＥｄｉｔｉｏｎ）Ｗｉｌｅｙ，ＮＹＥｎｒｏｔｈ−Ｃｕｇｅｌｌｅｔａｌ．，（１９６６）Ｔｈｅｃｏｎｔｒａｓｔｓｅｎｓｉｔｉｖｉｔｙｏｆｒｅｔｉｎａｌｇａｎｇｌｉｏｎｃｅｌｌｓｏｆｔｈｅｃａｔ．ＪＰｈｙｓｉｏｌ１８７（３）：５１７−−５２．ＦａｍｕｌａｒｅＭ，ＦａｉｒｈａｌｌＡ．（２０１０）Ｆｅａｔｕｒｅｓｅｌｅｃｔｉｏｎｉｎｓｉｍｐｌｅｎｅｕｒｏｎｓ：ｈｏｗｃｏｄｉｎｇｄｅｐｅｎｄｓｏｎｓｐｉｋｉｎｇｄｙｎａｍｉｃｓ．ＮｅｕｒａｌＣｏｍｐｕｔ２２（３）：５８１−９８Ｆｉｅｌｄｅｔａｌ．，（２００７）Ｉｎｆｏｒｍａｔｉｏｎｐｒｏｃｅｓｓｉｎｇｉｎｔｈｅｐｒｉｍａｔｅｒｅｔｉｎａ：ｃｉｒｃｕｉｔｒｙａｎｄｃｏｄｉｎｇ．ＡｎｎｕＲｅｖＮｅｕｒｏｓｃｉ３０：１−−３０Ｆｉｔｚｇｅｒａｌｄｅｔａｌ．（１９９４）ＲｅｔｉｎａｌｓｉｇｎａｌｔｒａｎｓｍｉｓｓｉｏｎｉｎＤｕｃｈｅｎｎｅｍｕｓｃｕｌａｒｄｙｓｔｒｏｐｈｙ．ＪＣｌｉｎＩｎｖｅｓｔ９３：２４２５−３０ＦｏｌｅｙＪＭ，ＬｅｇｇｅＧＥ（１９８１）Ｃｏｎｔｒａｓｔｄｅｔｅｃｔｉｏｎａｎｄｎｅａｒ−ｔｈｒｅｓｈｏｌｄｄｉｓｃｒｉｍｉｎａｔｉｏｎｉｎｈｕｍａｎｖｉｓｉｏｎ．ＶｉｓｉｏｎＲｅｓ．２１（７）：１０４１−５３ＦｒｉｅｄＳ，ＷｅｒｂｌｉｎＦ，ＭｃＭａｈｏｎＭＪ（２００６）ＵＳＰａｔ．２００６／０１２９２０７Ｍｉｍｉｃｋｉｎｇｎｅｕｒａｌｃｏｄｉｎｇｉｎｒｅｔｉｎａｌｇａｎｇｌｉｏｎｃｅｌｌｓｗｉｔｈｓｈｏｒｔｐｕｌｓｅｅｌｅｃｔｒｉｃａｌｓｔｉｍｕｌａｔｉｏｎ．Ｉｎ：（ＵＳ，ｅｄ）ＦｒｉｅｄｍａｎＤＳ，Ｏ’ＣｏｌｍａｉｎＢＪ，ＭｕｎｏｚＢ，ＴｏｍａｎｙＳＣ，ＭｃＣａｒｔｙＣ，ｄｅＪｏｎｇＰＴＶＭ，ＮｅｍｅｓｕｒｅＢ，ＭｉｔｃｈｅｌｌＰ，ＫｅｍｐｅｎＪ，ＥｙｅＤｉｓｅａｓｅｓＰｒｅｖａｌｅｎｃｅＲｅｓｅａｒｃｈＧｒｏｕｐ（２００４）Ｐｒｅｖａｌｅｎｃｅｏｆａｇｅ−ｒｅｌａｔｅｄｍａｃｕｌａｒｄｅｇｅｎｅｒａｔｉｏｎｉｎｔｈｅＵｎｉｔｅｄＳｔａｔｅｓ．ＡｒｃｈＯｐｈｔｈａｌｍｏｌ１２２：５６４−５７２ＧｅｉｓｌｅｒＷＳ（２００）．Ｖｉｓｕａｌｐｅｒｃｅｐｔｉｏｎａｎｄｔｈｅｓｔａｔｉｓｔｉｃａｌｐｒｏｐｅｒｔｉｅｓｏｆｎａｔｕｒａｌｓｃｅｎｅｓ．Ａｎｎｕ．Ｒｅｖ．Ｐｓｙｃｈｏｌ．５９：１６７−９２（２００８）ＧｅｒｄｉｎｇＨ，ＢｅｎｎｅｒＦＰ，ＴａｎｅｒｉＳ（２００７）Ｅｘｐｅｒｉｍｅｎｔａｌｉｍｐｌａｎｔａｔｉｏｎｏｆｅｐｉｒｅｔｉｎａｌｒｅｔｉｎａｉｍｐｌａｎｔｓ（ＥＰＩ−ＲＥＴ）ｗｉｔｈａｎＩＯＬ−ｔｙｐｅｒｅｃｅｉｖｅｒｕｎｉｔ．ＪＮｅｕｒａｌＥｎｇ４：Ｓ３８−４９ＧｉｏｌｌｉＲＡ，ＢｌａｎｋｓＲＨＩ，ＬｕｉＦ．（２００５）Ｔｈｅａｃｃｅｓｓｏｒｙｏｐｔｉｃｓｙｓｔｅｍ：ｂａｓｉｃｏｒｇａｎｉｚａｔｉｏｎｗｉｔｈａｎｕｐｄａｔｅｏｎｃｏｎｎｅｃｔｉｖｉｔｙ，ｎｅｕｒｏｃｈｅｍｉｓｔｒｙ，ａｎｄｆｕｎｃｔｉｏｎ．ＰｒｏｇＢｒａｉｎＲｅｓ１５１：４０７−４０ＧｏｌａｎＬ，ＲｅｕｔｓｋｙＩ，ＦａｒａｈＮ＆ＳｈｏｈａｍＳ．（２００９）Ｄｅｓｉｇｎａｎｄｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｆｈｏｌｏｇｒａｐｈｉｃｎｅｕｒａｌｐｈｏｔｏ−ｓｔｉｍｕｌａｔｉｏｎｓｙｓｔｅｍｓ，ＪｏｕｒｎａｌｏｆＮｅｕｒａｌＥｎｇｉｎｅｅｒｉｎｇ６０６６００４，（２００９）Ｇｒａｈａｍ−ＲｏｗｅＤ（２００９）ＡＢｒｉｇｈｔｅｒＦｕｔｕｒｅｆｏｒＲｅｔｉｎａｌＩｍｐｌａｎｔｓ．Ｉｎ：ＴｅｃｈｎｏｌｏｇｙＲｅｖｉｅｗ，ｈｔｔｐ：／／ｗｗｗ．ｔｅｃｈｎｏｌｏｇｙｒｅｖｉｅｗ．ｃｏｍ／ｂｉｏｍｅｄｉｃｉｎｅ／２３５３９／．Ｂｏｓｔｏｎ，ＭＡ：ＭＩＴＧｒｅｅｎｂｅｒｇＫＰ，ｅｔａｌ．（２０１１）．ＤｉｆｆｅｒｅｎｔｉａｌＴａｒｇｅｔｉｎｇｏｆＯｐｔｉｃａｌＮｅｕｒｏｍｏｄｕｌａｔｏｒｓｔｏＧａｎｇｌｉｏｎＣｅｌｌＳｏｍａａｎｄＤｅｎｄｒｉｔｅｓＡｌｌｏｗｓＤｙｎａｍｉｃＣｏｎｔｒｏｌｏｆＣｅｎｔｅｒ−ＳｕｒｒｏｕｎｄＡｎｔａｇｏｎｉｓｍ．Ｎｅｕｒｏｎ６９，７１３−７２０ＧｒｉｎｓｔｅａｄＣＭａｎｄＳｎｅｌｌＪＬ（１９９７）ＩｎｔｒｏｄｕｃｔｉｏｎｔｏＰｒｏｂａｂｉｌｉｔｙ．ＡｍｅｒｉｃａｎＭａｔｈｅｍａｔｉｃａｌＳｏｃｉｅｔｙ；２ｎｄＲｅｖｉｓｅｄｅｄｉｔｉｏｎＧｒｏｓｓｍａｎＮ，ＰｏｈｅｒＶ，ＧｒｕｂｂＭＳ，ＫｅｎｎｅｄｙＧＴ，ＮｉｋｏｌｉｃＫ，ＭｃＧｏｖｅｒｎＢ，ＰａｌｍｉｎｉＲＢ，ＧｏｎｇＺ，ＤｒａｋａｋｉｓＥＭ，Ｎｅｉｌ，ＭＡＡ，ＤａｗｓｏｎＭＤ，ＢｕｒｒｏｎｅＪ，ＤｅｇｅｎａａｒＰ．（２０１０）Ｍｕｌｔｉ−ｓｉｔｅｏｐｔｉｃａｌｅｘｃｉｔａｔｉｏｎｕｓｉｎｇＣｈＲ２ａｎｄｍｉｃｒｏ−ＬＥＤａｒｒａｙ．Ｊ．ＮｅｕｒａｌＥｎｇ，７（１）：１−１３Ｈａｎｅｔａｌ，（２００９），Ｍｉｌｌｉｓｅｃｏｎｄ−ＴｉｍｅｓｃａｌｅＯｐｔｉｃａｌＣｏｎｔｒｏｌｏｆＮｅｕｒａｌＤｙｎａｍｉｃｓｉｎｔｈｅＮｏｎｈｕｍａｎＰｒｉｍａｔｅＢｒａｉｎ，Ｎｅｕｒｏｎ６２，１９１−１９８ＨａｎｄＤＪ．（１９８１）Ｄｉｓｃｒｉｍｉｎａｔｉｏｎａｎｄｃｌａｓｓｉｆｉｃａｔｉｏｎ．ＷｉｌｅｙＳｅｒｉｅｓｉｎＰｒｏｂａｂｉｌｉｔｙａｎｄＭａｔｈｅｍａｔｉｃａｌＳｔａｔｉｓｔｉｃｓＨｕｂｅｒｍａｎＡＤ，ＭａｎｕＭ，ＫｏｃｈＳＭ，ＳｕｓｍａｎＭＷ，ＬｕｔｚＡＢ，ＵｌｌｉａｎＥＭ，ＢａｃｃｕｓＳＡ，ＢａｒｒｅｓＢＡ（２００８）Ａｒｃｈｉｔｅｃｔｕｒｅａｎｄａｃｔｉｖｉｔｙ−ｍｅｄｉａｔｅｄｒｅｆｉｎｅｍｅｎｔｏｆａｘｏｎａｌｐｒｏｊｅｃｔｉｏｎｓｆｒｏｍａｍｏｓａｉｃｏｆｇｅｎｅｔｉｃａｌｌｙｉｄｅｎｔｉｆｉｅｄｒｅｔｉｎａｌｇａｎｇｌｉｏｎｃｅｌｌｓ．Ｎｅｕｒｏｎ．２００８Ａｕｇ１４；５９（３）：４２５−３８ＨｕｂｅｒｍａｎＡＤ，ＷｅｉＷ，ＥｌｓｔｒｏｔｔＪ，ＳｔａｆｆｏｒｄＢＫ，ＦｅｌｌｅｒＭＢ，ＢａｒｒｅｓＢＡ（２００９）ＧｅｎｅｔｉｃＩｄｅｎｔｉｆｉｃａｔｉｏｎｏｆａｎＯｎ−ＯｆｆＤｉｒｅｃｔｉｏｎ−ＳｅｌｅｃｔｉｖｅＲｅｔｉｎａｌＧａｎｇｌｉｏｎＣｅｌｌＳｕｂｔｙｐｅＲｅｖｅａｌｓａＬａｙｅｒ−ＳｐｅｃｉｆｉｃＳｕｂｃｏｒｔｉｃａｌＭａｐｏｆＰｏｓｔｅｒｉｏｒＭｏｔｉｏｎ．Ｎｅｕｒｏｎ．６２（３）：３２７−３３４ＩｖａｎｏｖａＥ，ＰａｎＺ−Ｈ（２００９）Ｅｖａｌｕａｔｉｏｎｏｆｔｈｅａｄｅｎｏ−ａｓｓｏｃｉａｔｅｄｖｉｒｕｓｍｅｄｉａｔｅｄｌｏｎｇ−ｔｅｒｍｅｘｐｒｅｓｓｉｏｎｏｆｃｈａｎｎｅｌｒｈｏｄｏｐｓｉｎ−２ｉｎｔｈｅｍｏｕｓｅｒｅｔｉｎａ．ＭｏｌｅｃｕｌａｒＶｉｓｉｏｎ１５：１６８０−１６８９ＩｚｈｉｋｅｖｉｃｈＥＭ（２００７）Ｄｙｎａｍｉｃａｌｓｙｓｔｅｍｓｉｎｎｅｕｒｏｓｃｉｅｎｃｅ：ｔｈｅｇｅｏｍｅｔｒｙｏｆｅｘｃｉｔａｂｉｌｉｔｙａｎｄｂｕｒｓｔｉｎｇ．Ｃａｍｂｒｉｄｇｅ，ＭＡ：ＭＩＴＰｒｅｓｓＩｚｈｉｋｅｖｉｃｈＥＭ（２０１０）Ｈｙｂｒｉｄｓｐｉｋｉｎｇｍｏｄｅｌｓ．Ｒｅｖｉｅｗ．Ｐｈｉｌ．Ｔｒａｎｓ．Ｒ．Ｓｏｃ．Ａ（２０１０）３６８，５０６１−５０７０ＪａｃｏｂｓＡＬｅｔａｌ（２００９），Ｒｕｌｉｎｇｏｕｔａｎｄｒｕｌｉｎｇｉｎｎｅｕｒａｌｃｏｄｅｓ．ＰｒｏｃＮａｔｌＡｃａｄＳｃｉＵＳＡ．１０６（１４）：５９３６−４１Ｊｅｆｆｒｅｙｓ，Ｈａｒｏｌｄ（１９６１）．ＴｈｅＴｈｅｏｒｙｏｆＰｒｏｂａｂｉｌｉｔｙ．ＴｈｅＯｘｆｏｒｄＵｎｉｖｅｒｓｉｔｙＰｒｅｓｓＫａｓｓＲＥ，ＶｅｎｔｕｒａＶ，ＢｒｏｗｎＥＮ．（２００５）Ｓｔａｔｉｓｔｉｃａｌｉｓｓｕｅｓｉｎｔｈｅａｎａｌｙｓｉｓｏｆｎｅｕｒｏｎａｌｄａｔａ．ＪＮｅｕｒｏｐｈｙｓｉｏｌ９４（１）：８−２５Ｋａｗａｓａｋｉｅｔａｌ．，Ｖａｒｉａｂｉｌｉｔｙｏｆｔｈｅｒｅｌａｔｉｖｅａｆｆｅｒｅｎｔｐｕｐｉｌｌａｒｙｄｅｆｅｃｔ．ＡｍＪＯｐｈｔｈａｌｍｏｌ（１９９５）．１２０：６２２−６３３ＫａｙＭＡ，ＧｌｏｒｉｏｓｏＪＣ，ＮａｌｄｉｎｉＬ．（２００１）Ｖｉｒａｌｖｅｃｔｏｒｓｆｏｒｇｅｎｅｔｈｅｒａｐｙ：ｔｈｅａｒｔｏｆｔｕｒｎｉｎｇｉｎｆｅｃｔｉｏｕｓａｇｅｎｔｓｉｎｔｏｖｅｈｉｃｌｅｓｏｆｔｈｅｒａｐｅｕｔｉｃｓ．ＮａｔＭｅｄ．７（１）：３３−４０．ＲｅｖｉｅｗＫｅｌｌｙＳ，ＳｈｉｒｅＤ，ＣｈｅｎＪ，ＤｏｙｌｅＰ，ＧｉｎｇｅｒｉｃｈＭ，ＤｒｏｈａｎＷ，ＴｈｅｏｇａｒａｊａｎＬ，ＣｏｇａｎＳ，ＷｙａｔｔＪ，ＲｉｚｚｏＪＩ（２００９）Ｒｅａｌｉｚａｔｉｏｎｏｆａ１５−ｃｈａｎｎｅｌ，ｈｅｒｍｅｔｉｃａｌｌｙ−ｅｎｃａｓｅｄｗｉｒｅｌｅｓｓｓｕｂｒｅｔｉｎａｌｐｒｏｓｔｈｅｓｉｓｆｏｒｔｈｅｂｌｉｎｄ．Ｉｎ，ｐｐ２００−−２０３ＫｉｂｂｅｌＳ，ＨａｒｓｃｈｅｒＡ，ＷｒｏｂｅｌＷ−Ｇ，ＺｒｅｎｎｅｒＥ，ＲｏｔｈｅｒｍｅｌＡ（２００９）ＤｅｓｉｇｎａｎｄＰｅｒｆｏｒｍａｎｃｅｏｆａｎｉｍｐｒｏｖｅｄａｃｔｉｖｅｓｕｂｒｅｔｉｎａｌｃｈｉｐ．Ｉｎ：ＷｏｒｌｄＣｏｎｇｒｅｓｓｏｎＭｅｄｉｃａｌＰｈｙｓｉｃｓａｎｄＢｉｏｍｅｄｉｃａｌＥｎｇｉｎｅｅｒｉｎｇ，Ｓｅｐｔｅｍｂｅｒ７ − １２，２００９，Ｍｕｎｉｃｈ，Ｇｅｒｍａｎｙ（ＫｉｍＳＩ，ＳｕｈＴＳ，ＤｏｓｓｅｌＯ，ＳｃｈｌｅｇｅｌＷＣ，ｅｄｓ），ｐｐ１９２−１９５：ＳｐｒｉｎｇｅｒＢｅｒｌｉｎＨｅｉｄｅｌｂｅｒｇＫｏｉｌｋｏｎｄａＲＤ，ＨａｕｓｗｉｒｔｈＷＷ，ＧｕｙＪ．（２００９）Ｅｆｆｉｃｉｅｎｔｅｘｐｒｅｓｓｉｏｎｏｆｓｅｌｆ−ｃｏｍｐｌｅｍｅｎｔａｒｙＡＡＶｉｎｇａｎｇｌｉｏｎｃｅｌｌｓｏｆｔｈｅｅｘｖｉｖｏｐｒｉｍａｔｅｒｅｔｉｎａ．ＭｏｌＶｉｓ．１５：２７９６−８０２ＫｕｆｆｌｅｒＳＷ．（１９５３）Ｄｉｓｃｈａｒｇｅｐａｔｔｅｒｎｓａｎｄｆｕｎｃｔｉｏｎａｌｏｒｇａｎｉｚａｔｉｏｎｏｆｍａｍｍａｌｉａｎｒｅｔｉｎａ．ＪＮｅｕｒｏｐｈｙｓｉｏｌ１６（１）：３７−６８ＬａｇａｌｉＰＳ，ＢａｌｙａＤ，ＡｗａｔｒａｍａｎｉＧＢ，ＭｕｎｃｈＴＡ，ＫｉｍＤＳ，ＢｕｓｓｋａｍｐＶ，ＣｅｐｋｏＣＬ，ＲｏｓｋａＢ（２００８）Ｌｉｇｈｔ−ａｃｔｉｖａｔｅｄｃｈａｎｎｅｌｓｔａｒｇｅｔｅｄｔｏＯＮｂｉｐｏｌａｒｃｅｌｌｓｒｅｓｔｏｒｅｖｉｓｕａｌｆｕｎｃｔｉｏｎｉｎｒｅｔｉｎａｌｄｅｇｅｎｅｒａｔｉｏｎ．ＮａｔＮｅｕｒｏｓｃｉ１１：６６７−６７５ＬｅｓｉｃａＮＡｅｔａｌ．（２００７）Ａｄａｐｔａｔｉｏｎｔｏｓｔｉｍｕｌｕｓｃｏｎｔｒａｓｔａｎｄｃｏｒｒｅｌａｔｉｏｎｓｄｕｒｉｎｇｎａｔｕｒａｌｖｉｓｕａｌｓｔｉｍｕｌａｔｉｏｎ．Ｎｅｕｒｏｎ５５（３）：４７９−４９１Ｌｅｔｔｖｉｎｅｔａｌ．，（１９５９）Ｗｈａｔｔｈｅｆｒｏｇ’ｓｅｙｅｔｅｌｌｓｔｈｅｆｒｏｇ’ｓｂｒａｉｎ．ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩｎｓｔｉｔｕｔｅｏｆＲａｄｉｏＥｎｇｉｎｅｅｒｓ４７（１１）：１９４０−５１Ｌｉａｏｅｔａｌ．（２００７）Ｉｎｖｉｖｏｇｅｎｅｄｅｌｉｖｅｒｙｉｎｔｈｅｒｅｔｉｎａｕｓｉｎｇｐｏｌｙｅｔｈｙｌｅｎｉｍｉｎｅ．ＢｉｏＴｅｃｈｎｉｑｕｅｓ２００７，４２：２８５−２８８ＬｏｅｗｅｎｓｔｅｉｎＪＩ，ＭｏｎｔｅｚｕｍａＳＲ，ＲｉｚｚｏＪＦ，ＩＩＩ（２００４）ＯｕｔｅｒＲｅｔｉｎａｌＤｅｇｅｎｅｒａｔｉｏｎ：ＡｎＥｌｅｃｔｒｏｎｉｃＲｅｔｉｎａｌＰｒｏｓｔｈｅｓｉｓａｓａＴｒｅａｔｍｅｎｔＳｔｒａｔｅｇｙ．ＡｒｃｈＯｐｈｔｈａｌｍｏｌ１２２：５８７−５９６Ｍａｇｕｉｒｅｅｔａｌ．ＳａｆｅｔｙａｎｄｅｆｆｉｃａｃｙｏｆｇｅｎｅｔｒａｎｓｆｅｒｆｏｒＬｅｂｅｒ’ｓｃｏｎｇｅｎｉｔａｌａｍａｕｒｏｓｉｓ．ＮＥｎｇｌＪＭｅｄ（２００８）３５８：２２４０−２２４８Ｍａｎｃｕｓｏｅｔａｌ．，（２００９）Ｇｅｎｅｔｈｅｒａｐｙｆｏｒｒｅｄ−ｇｒｅｅｎｃｏｌｏｕｒｂｌｉｎｄｎｅｓｓｉｎａｄｕｌｔｐｒｉｍａｔｅｓ．Ｎａｔｕｒｅ４６１（７２６５）：７８４−７Ｍａｒｔｉｎｅｔａｌ．２００２．Ｇｅｎｅｄｅｌｉｖｅｒｙｔｏｔｈｅｅｙｅｕｓｉｎｇａｄｅｎｏ−ａｓｓｏｃｉａｔｅｄｖｉｒａｌｖｅｃｔｏｒｓ．Ｍｅｔｈｏｄｓ２８：２６７−２７５ＭｃＧｏｗａｎＭＨｅｔａｌ（１９９８）ＣｈａｒａｃｔｅｒｉｚａｔｉｏｎｏｆｔｈｅＭｏｕｓｅＡｌｄｏｓｅＲｅｄｕｃｔａｓｅＧｅｎｅａｎｄＰｒｏｍｏｔｅｒｉｎａＬｅｎｓＥｐｉｔｈｅｌｉａｌＣｅｌｌＬｉｎｅ．ＭｏｌＶｉｓ１９９８；４：２ＭｃＬａｕｇｈｌｉｎＳＫ，ＣｏｌｌｉｓＰ，ＨｅｒｍｏｎａｔＰＬ，ＭｕｚｙｃｚｋａＮ．（１９８８）Ａｄｅｎｏ−ａｓｓｏｃｉａｔｅｄｖｉｒｕｓｇｅｎｅｒａｌｔｒａｎｓｄｕｃｔｉｏｎｖｅｃｔｏｒｓ：ａｎａｌｙｓｉｓｏｆｐｒｏｖｉｒａｌｓｔｒｕｃｔｕｒｅｓ．ＪＶｉｒｏｌ．６２（６）：１９６３−７３ＭｅｙｔｌｉｓＭ，ＢｏｍａｓｈＩ，ＰｉｌｌｏｗＪＷ，ＮｉｒｅｎｂｅｒｇＳ．（２００９）Ａｓｓｅｓｓｉｎｇｔｈｅｉｍｐｏｒｔａｎｃｅｏｆｃｏｒｒｅｌａｔｅｄｆｉｒｉｎｇｕｓｉｎｇｌａｒｇｅｐｏｐｕｌａｔｉｏｎｓｏｆｎｅｕｒｏｎｓ．ＳｏｃｉｅｔｙｆｏｒＮｅｕｒｏｓｃｉｅｎｃｅ．ＰｒｏｇｒａｍＮｏ．１６５．３ＭｏｒｇａｎｓＣＷ，ｅｔａｌ（２００９）ＴＲＰＭ１ｉｓｒｅｑｕｉｒｅｄｆｏｒｔｈｅｄｅｐｏｌａｒｉｚｉｎｇｌｉｇｈｔｒｅｓｐｏｎｓｅｉｎｒｅｔｉｎａｌＯＮ−ｂｉｐｏｌａｒｃｅｌｌｓ．ＰｒｏｃＮａｔｌＡｃａｄＳｃｉＵＳＡ１０６（４５）：１９１７４−８ＮａｎｄｕｒｉＤ，ＨｕｍａｙｕｎＭ，ＧｒｅｅｎｂｅｒｇＲ，ＭｃＭａｈｏｎＭ，ＷｅｉｌａｎｄＪ（２００８）Ｒｅｔｉｎａｌｐｒｏｓｔｈｅｓｉｓｐｈｏｓｐｈｅｎｅｓｈａｐｅａｎａｌｙｓｉｓ．Ｉｎ：３０ｔｈＡｎｎｕａｌＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｆｔｈｅＩＥＥＥＥｎｇｉｎｅｅｒｉｎｇｉｎＭｅｄｉｃｉｎｅａｎｄＢｉｏｌｏｇｙＳｏｃｉｅｔｙ，ｐｐ１７８５−−１７８８．Ｖａｎｃｏｕｖｅｒ，ＢＣＮｉｃｈｏｌｓＺ，ＭｅｙｔｌｉｓＭ，ＮｉｒｅｎｂｅｒｇＳ．（２０１０）Ｃｏｒｒｅｌａｔｉｏｎｓｐｌａｙａｎｅｇｌｉｇｉｂｌｅｒｏｌｅｉｎｃｏｄｉｎｇｗｈｉｔｅｎｏｉｓｅａｎｄｎａｔｕｒａｌｓｃｅｎｅｓｔｉｍｕｌｉｉｎｃｏｍｐｌｅｔｅｒｅｔｉｎａｌｐｏｐｕｌａｔｉｏｎｓ．ＳｕｂｍｉｔｔｅｄＮｉｒｅｎｂｅｒｇＳ（２０００）Ｐｈｏｔｏａｂｌａｔｉｏｎｏｆｃｅｌｌｓｅｘｐｒｅｓｓｉｎｇｂｅｔａ−ｇａｌａｃｔｏｓｉｄａｓｅ．ＭｅｔｈｏｄｓＭｏｌＢｉｏｌ．１３５：４７５−８０ＮｉｒｅｎｂｅｒｇＳａｎｄＣｅｐｋｏ，Ｃ（１９９３）．Ｔａｒｇｅｔｅｄａｂｌａｔｉｏｎｏｆｄｉｖｅｒｓｅｃｅｌｌｃｌａｓｓｅｓｉｎｔｈｅｎｅｒｖｏｕｓｓｙｓｔｅｍｉｎｖｉｖｏ．ＪＮｅｕｒｏｓｃｉ．１３（８）：３２３８−５１ＮｉｒｅｎｂｅｒｇＳａｎｄＬａｔｈａｍＰＥ．（１９９８）Ｐｏｐｕｌａｔｉｏｎｃｏｄｉｎｇｉｎｔｈｅｒｅｔｉｎａ．Ｃｕｒｒ．Ｏｐｉｎ．Ｎｅｕｒｏｂｉｏｌ．８（４）：４８８−４９３ＮｉｒｅｎｂｅｒｇＳａｎｄＭｅｉｓｔｅｒＭ．（１９９７）．Ｔｈｅｌｉｇｈｔｒｅｓｐｏｎｓｅｏｆｒｅｔｉｎａｌｇａｎｇｌｉｏｎｃｅｌｌｓｉｓｔｒｕｎｃａｔｅｄｂｙａｄｉｓｐｌａｃｅｄａｍａｃｒｉｎｅｃｉｒｃｕｉｔ．Ｎｅｕｒｏｎ１８：６３７−６５０ＮｉｒｅｎｂｅｒｇＳｅｔａｌ（２００１）Ｒｅｔｉｎａｌｇａｎｇｌｉｏｎｃｅｌｌｓａｃｔｌａｒｇｅｌｙａｓｉｎｄｅｐｅｎｄｅｎｔｅｎｃｏｄｅｒｓ．Ｎａｔｕｒｅ４１１（６８３８）：６９８−７０１ＮｉｒｅｎｂｅｒｇＳｅｔａｌ．（２０１０）Ｈｅｔｅｒｏｇｅｎｅｏｕｓｒｅｓｐｏｎｓｅｄｙｎａｍｉｃｓｉｎｒｅｔｉｎａｌｇａｎｇｌｉｏｎｃｅｌｌｓ：ｔｈｅｉｎｔｅｒｐｌａｙｏｆｐｒｅｄｉｃｔｉｖｅｃｏｄｉｎｇａｎｄａｄａｐｔａｔｉｏｎ．ＪＮｅｕｒｏｐｈｙｓｉｏｌ１０３（６）：３１８４−９４Ｎｏｒｃｉａ，ＡＭ，ａｎｄＴｙｌｅｒ，ＣＷ（１９８５）ＳｐａｔｉａｌｆｒｅｑｕｅｎｃｙｓｗｅｅｐＶＥＰ：ｖｉｓｕａｌａｃｕｉｔｙｄｕｒｉｎｇｔｈｅｆｉｒｓｔｙｅａｒｏｆｌｉｆｅ．ＶｉｓｉｏｎＲｅｓ．２５（１０）：１３９９−４０８Ｎｏｒｃｉａ，ＡＭ，ｅｔａｌ（１９８９）．ＭｅａｓｕｒｅｍｅｎｔｏｆｓｐａｔｉａｌｃｏｎｔｒａｓｔｓｅｎｓｉｔｉｖｉｔｙｗｉｔｈｔｈｅｓｗｅｐｔｃｏｎｔｒａｓｔＶＥＰ．ＶｉｓｉｏｎＲｅｓ．１９８９；２９（５）：６２７−３７Ｏｋｕｙａｍａｅｔａｌ．（１９９３）．Ｂｉｎｏｃｕｌａｒｉｎｆｒａｒｅｄｏｐｔｏｍｅｔｅｒｆｏｒｍｅａｓｕｒｉｎｇａｃｃｏｍｍｏｄａｔｉｏｎｉｎｂｏｔｈｅｙｅｓｓｉｍｕｌｔａｎｅｏｕｓｌｙｉｎｎａｔｕｒａｌ−ｖｉｅｗｉｎｇｃｏｎｄｉｔｉｏｎｓＡｐｐｌｉｅｄＯｐｔｉｃｓ，Ｖｏｌ．３２．Ｎｏ２２，ｐ．４１４７Ｐａｎｄａｒｉｎａｔｈｅｔａｌ（２０１０ａ）Ａｎｏｖｅｌｍｅｃｈａｎｉｓｍｆｏｒｓｗｉｔｃｈｉｎｇａｎｅｕｒａｌｓｙｓｔｅｍｆｒｏｍｏｎｅｓｔａｔｅｔｏａｎｏｔｈｅｒ．ＦｒｏｎｔＣｏｍｐｕｔＮｅｕｒｏｓｃｉ．３１；４：２Ｐａｎｄａｒｉｎａｔｈｅｔａｌ（２０１０ｂ）ＳｙｍｍｅｔｒｙｂｒｅａｋｄｏｗｎｉｎｔｈｅＯＮａｎｄＯＦＦｐａｔｈｗａｙｓｏｆｔｈｅｒｅｔｉｎａａｔｎｉｇｈｔ：ｆｕｎｃｔｉｏｎａｌｉｍｐｌｉｃａｔｉｏｎｓ．ＪＮｅｕｒｏｓｃｉ３０（３０）：１０００６−１４ＰａｎｉｎｓｋｉＬ，ＰｉｌｌｏｗＪ，ＬｅｗｉＪ．（２００７）Ｓｔａｔｉｓｔｉｃａｌｍｏｄｅｌｓｆｏｒｎｅｕｒａｌｅｎｃｏｄｉｎｇ，ｄｅｃｏｄｉｎｇ，ａｎｄｏｐｔｉｍａｌｓｔｉｍｕｌｕｓｄｅｓｉｇｎ．ＰｒｏｇＢｒａｉｎＲｅｓ．１６５：４９３−５０７ＰａｎｉｎｓｋｉＬ．（２００４）Ｍａｘｉｍｕｍｌｉｋｅｌｉｈｏｏｄｅｓｔｉｍａｔｉｏｎｏｆｃａｓｃａｄｅｐｏｉｎｔ−ｐｒｏｃｅｓｓｎｅｕｒａｌｅｎｃｏｄｉｎｇｍｏｄｅｌｓ．Ｎｅｔｗｏｒｋ１５（４）：２４３−６２ＰａｎｚｅｒｉＳ，ｅｔａｌ（２００７）Ｃｏｒｒｅｃｔｉｎｇｆｏｒｔｈｅｓａｍｐｌｉｎｇｂｉａｓｐｒｏｂｌｅｍｉｎｓｐｉｋｅｔｒａｉｎｉｎｆｏｒｍａｔｉｏｎｍｅａｓｕｒｅｓ．ＪＮｅｕｒｏｐｈｙｓｉｏｌ．９８（３）：１０６４−７２．ＲｅｖｉｅｗＰｅｌｌｉＤＧ，ＲｏｂｓｏｎＪＧ，＆ＷｉｌｋｉｎｓＡＪ（１９８８）Ｔｈｅｄｅｓｉｇｎｏｆａｎｅｗｌｅｔｔｅｒｃｈａｒｔｆｏｒｍｅａｓｕｒｉｎｇｃｏｎｔｒａｓｔｓｅｎｓｉｔｉｖｉｔｙ．ＣｌｉｎｉｃａｌＶｉｓｉｏｎＳｃｉｅｎｃｅｓ２，１８７−１９９ＰｅｒｒｙＶＨ，ＳｉｌｖｅｉｒａＬＣ．（１９８８）Ｆｕｎｃｔｉｏｎａｌｌａｍｉｎａｔｉｏｎｉｎｔｈｅｇａｎｇｌｉｏｎｃｅｌｌｌａｙｅｒｏｆｔｈｅｍａｃａｑｕｅ’ｓｒｅｔｉｎａ．Ｎｅｕｒｏｓｃｉｅｎｃｅ．２５（１）：２１７−２３Ｐｅｔｒｓ−Ｓｉｌｖａｅｔａｌ．，（２００９）Ｈｉｇｈ−ｅｆｆｉｃｉｅｎｃｙｔｒａｎｓｄｕｃｔｉｏｎｏｆｔｈｅｍｏｕｓｅｒｅｔｉｎａｂｙｔｙｒｏｓｉｎｅ−ｍｕｔａｎｔＡＡＶｓｅｒｏｔｙｐｅｖｅｃｔｏｒｓ．ＭｏｌＴｈｅｒ１７（３）：４６３−７１Ｐｅｔｅｒｓｅｎ−Ｊｏｎｅｓｅｔａｌ．，（２００９）ＡＡＶｒｅｔｉｎａｌｔｒａｎｓｄｕｃｔｉｏｎｉｎａｌａｒｇｅａｎｉｍａｌｍｏｄｅｌｓｐｅｃｉｅｓ：ｃｏｍｐａｒｉｓｏｎｏｆａｓｅｌｆ−ｃｏｍｐｌｅｍｅｎｔａｒｙＡＡＶ２／５ｗｉｔｈａｓｉｎｇｌｅ−ｓｔｒａｎｄｅｄＡＡＶ２／５ｖｅｃｔｏｒ．ＭｏｌＶｉｓ１５：１８３５−４２ＰｉｌｌｏｗＪＷ，ＳｈｌｅｎｓＪ，ＰａｎｉｎｓｋｉＬ，ＳｈｅｒＡ，ＬｉｔｋｅＡＭ，ＣｈｉｃｈｉｌｎｉｓｋｙＥＪ，ＳｉｍｏｎｃｅｌｌｉＥＰ．（２００８）Ｓｐａｔｉｏ−ｔｅｍｐｏｒａｌｃｏｒｒｅｌａｔｉｏｎｓａｎｄｖｉｓｕａｌｓｉｇｎａｌｌｉｎｇｉｎａｃｏｍｐｌｅｔｅｎｅｕｒｏｎａｌｐｏｐｕｌａｔｉｏｎ．Ｎａｔｕｒｅ４５４（７２０７）：９９５−９ＰｒｕｓｋｙＧＴ，ｅｔａｌ（２００４）Ｒａｐｉｄｑｕａｎｔｉｆｉｃａｔｉｏｎｏｆａｄｕｌｔａｎｄｄｅｖｅｌｏｐｉｎｇｍｏｕｓｅｓｐａｔｉａｌｖｉｓｉｏｎｕｓｉｎｇａｖｉｒｔｕａｌｏｐｔｏｍｏｔｏｒｓｙｓｔｅｍ．ＩｎｖｅｓｔＯｐｈｔｈａｌｍｏｌＶｉｓＳｃｉ．４５（１２）：４６１１−６ＰｕｎＬ（１９６９），ＩｎｔｒｏｄｕｃｔｉｏｎｔｏＯｐｔｉｍｉｚａｔｉｏｎＰｒａｃｔｉｃｅ，ＩＳＢＮ４７１−７０２３３−１ＰｕｒｐｕｒａＫ，ＴｒａｎｃｈｉｎａＤ，ＫａｐｌａｎＥ，ＳｈａｐｌｅｙＲＭ．（１９９０）Ｌｉｇｈｔａｄａｐｔａｔｉｏｎｉｎｔｈｅｐｒｉｍａｔｅｒｅｔｉｎａ：ａｎａｌｙｓｉｓｏｆｃｈａｎｇｅｓｉｎｇａｉｎａｎｄｄｙｎａｍｉｃｓｏｆｍｏｎｋｅｙｒｅｔｉｎａｌｇａｎｇｌｉｏｎｃｅｌｌｓ．ＶｉｓＮｅｕｒｏｓｃｉ４（１）：７５−−９３ＲｏｌｌｓＥＴ，ＢａｙｌｉｓＧＣ，ＬｅｏｎａｒｄＣＭ．Ｒｏｌｅｏｆｌｏｗａｎｄｈｉｇｈｓｐａｔｉａｌｆｒｅｑｕｅｎｃｉｅｓｉｎｔｈｅｆａｃｅ−ｓｅｌｅｃｔｉｖｅｒｅｓｐｏｎｓｅｓｏｆｎｅｕｒｏｎｓｉｎｔｈｅｃｏｒｔｅｘｉｎｔｈｅｓｕｐｅｒｉｏｒｔｅｍｐｏｒａｌｓｕｌｃｕｓｉｎｔｈｅｍｏｎｋｅｙ．ＶｉｓｉｏｎＲｅｓ．１９８５；２５（８）：１０２１−３５Ｓａｍｂｒｏｏｋｅｔａｌ，"ＭｏｌｅｃｕｌａｒＣｌｏｎｉｎｇ．ＡＬａｂｏｒａｔｏｒｙＭａｎｕａｌ"，２ｄｅｄ．，ＣｏｌｄＳｐｒｉｎｇＨａｒｂｏｒＬａｂｏｒａｔｏｒｙ，ＮｅｗＹｏｒｋ（１９８９）ＳａｕｅｒＢ．（１９８７）Ｆｕｎｃｔｉｏｎａｌｅｘｐｒｅｓｓｉｏｎｏｆｔｈｅｃｒｅ−ｌｏｘｓｉｔｅ−ｓｐｅｃｉｆｉｃｒｅｃｏｍｂｉｎａｔｉｏｎｓｙｓｔｅｍｉｎｔｈｅｙｅａｓｔＳａｃｃｈａｒｏｍｙｃｅｓｃｅｒｅｖｉｓｉａｅ．ＭｏｌＣｅｌｌＢｉｏｌ．７（６）：２０８７−９６ＳｈａｐｌｅｙＲＭ，ＶｉｃｔｏｒＪＤ．（１９８１）Ｈｏｗｔｈｅｃｏｎｔｒａｓｔｇａｉｎｃｏｎｔｒｏｌｍｏｄｉｆｉｅｓｔｈｅｆｒｅｑｕｅｎｃｙｒｅｓｐｏｎｓｅｓｏｆｃａｔｒｅｔｉｎａｌｇａｎｇｌｉｏｎｃｅｌｌｓ．ＪＰｈｙｓｉｏｌ．３１８：１６１−７９ＳｈａｒｐｅｅＴＯｅｔａｌ．（２００８）ＯｎｔｈｅＩｍｐｏｒｔａｎｃｅｏｆＳｔａｔｉｃＮｏｎｌｉｎｅａｒｉｔｙｉｎＥｓｔｉｍａｔｉｎｇＳｐａｔｉｏｔｅｍｐｏｒａｌＮｅｕｒａｌＦｉｌｔｅｒｓＷｉｔｈＮａｔｕｒａｌＳｔｉｍｕｌｉ．ＪＮｅｕｒｏｐｈｙｓｉｏｌ９９（５）：２４９６−５０９ＳｈｅｒｉｄａｎＣ（２０１１）ＧｅｎｅＴｈｅｒａｐｙｆｉｎｄｓｉｔｓｎｉｃｈｅＮａｔｕｒｅＢｉｏｔｅｃｈｎｏｌｏｇｙ２９（２）：１２１−１２８ＳｉｅｇｅｒｔＳ，ＳｃｈｅｒｆＢＧ，ＰｕｎｔａＫＤ，ＤｉｄｋｏｖｓｋｙＮ，ＨｅｉｎｔｚＮ，ＲｏｓｋａＢ（２００９）．Ｇｅｎｅｔｉｃａｄｄｒｅｓｓｂｏｏｋｆｏｒｒｅｔｉｎａｌｃｅｌｌｔｙｐｅｓ．ＮａｔｕｒｅＮｅｕｒｏｓｃｉｅｎｃｅ．１２：１１９７−１２０４Ｓｉｍｏｎｃｅｌｌｉｅｔａｌ．（２００４）Ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎｏｆｎｅｕｒａｌｒｅｓｐｏｎｓｅｓｗｉｔｈｓｔｏｃｈａｓｔｉｃｓｔｉｍｕｌｉ．Ｔｈｅｃｏｇｎｉｔｉｖｅｎｅｕｒｏｓｃｉｅｎｃｅｓ：３２７−３８Ｓｉｍｏｎｅｌｌｉｅｔａｌ．（２０１０）ＧｅｎｅＴｈｅｒａｐｙｆｏｒＬｅｂｅｒ’ｓＣｏｎｇｅｎｉｔａｌＡｍａｕｒｏｓｉｓｉｓＳａｆｅａｎｄＥｆｆｅｃｔｉｖｅＴｈｒｏｕｇｈ１．５ＹｅａｒｓＡｆｔｅｒＶｅｃｔｏｒＡｄｍｉｎｉｓｔｒａｔｉｏｎ，ＭｏｌｅｃｕｌａｒＴｈｅｒａｐｙ１８３，６４３−６５０ＳｉｎｃｌａｉｒＪＲ，ｅｔａｌ（２００４）．Ｓｅｌｅｃｔｉｖｅａｂｌａｔｉｏｎｏｆａｃｌａｓｓｏｆａｍａｃｒｉｎｅｃｅｌｌｓａｌｔｅｒｓｓｐａｔｉａｌｐｒｏｃｅｓｓｉｎｇｉｎｔｈｅｒｅｔｉｎａ．ＪＮｅｕｒｏｓｃｉ．２４（６）：１４５９−６７Ｓｊｏｓｔｒａｎｄｅｔａｌ．（１９９９）．Ｍｏｒｐｈｏｍｅｔｒｉｃｓｔｕｄｙｏｆｔｈｅｄｉｓｐｌａｃｅｍｅｎｔｏｆｒｅｔｉｎａｌｇａｎｇｌｉｏｎｃｅｌｌｓｓｕｂｓｅｒｖｉｎｇｃｏｎｅｓｗｉｔｈｉｎｔｈｅｈｕｍａｎｆｏｖｅａ．ＧｒａｅｆｅｓＡｒｃｈＣｌｉｎＥｘｐＯｐｈｔｈａｌｍｏｌ２３７：１０１４−１０２３ＳｏｕｃｙＥＲｅｔａｌ．（１９９８）Ａｎｏｖｅｌｓｉｇｎａｌｉｎｇｐａｔｈｗａｙｆｒｏｍｒｏｄｐｈｏｔｏｒｅｃｅｐｔｏｒｓｔｏｇａｎｇｌｉｏｎｃｅｌｌｓｉｎｍａｍｍａｌｉａｎｒｅｔｉｎａ．Ｎｅｕｒｏｎ２１：４８１−４９３Ｓｔｏｎｅｅｔａｌ．，（１９９３）Ｒｅｓｐｏｎｓｅｐｒｏｐｅｒｔｉｅｓｏｆｇａｎｇｌｉｏｎｃｅｌｌｓｉｎｔｈｅｉｓｏｌａｔｅｄｍｏｕｓｅｒｅｔｉｎａ．ＶｉｓＮｅｕｒｏｓｃｉ１０（１）：３１−９ＳｔｒｏｎｇＳＰ，ｅｔａｌ（１９９８）Ｏｎｔｈｅａｐｐｌｉｃａｔｉｏｎｏｆｉｎｆｏｒｍａｔｉｏｎｔｈｅｏｒｙｔｏｎｅｕｒａｌｓｐｉｋｅｔｒａｉｎｓ．ＰａｃＳｙｍｐＢｉｏｃｏｍｐｕｔ．６２１−３２ＴｈｙａｇａｒａｊａｎＳ，ｖａｎＷｙｋＭ，ＬｅｈｍａｎｎＫ，ＬｏｗｅｌＳ，ＦｅｎｇＧ，ＷａｓｓｌｅＨ（２０１０）Ｖｉｓｕａｌｆｕｎｃｔｉｏｎｉｎｍｉｃｅｗｉｔｈｐｈｏｔｏｒｅｃｅｐｔｏｒｄｅｇｅｎｅｒａｔｉｏｎａｎｄｔｒａｎｓｇｅｎｉｃｅｘｐｒｅｓｓｉｏｎｏｆｃｈａｎｎｅｌｒｈｏｄｏｐｓｉｎ２ｉｎｇａｎｇｌｉｏｎｃｅｌｌｓ．ＪＮｅｕｒｏｓｃｉ３０：８７４５−８７５８ＴｏｍｉｔａＨ，ＳｕｇａｎｏＥ，ＩｓａｇｏＨ，ＨｉｒｏｉＴ，ＷａｎｇＺ，ＯｈｔａＥ，ＴａｍａｉＭ（２０１０）Ｃｈａｎｎｅｌｒｈｏｄｏｐｓｉｎ−２ｇｅｎｅｔｒａｎｓｄｕｃｅｄｉｎｔｏｒｅｔｉｎａｌｇａｎｇｌｉｏｎｃｅｌｌｓｒｅｓｔｏｒｅｓｆｕｎｃｔｉｏｎａｌｖｉｓｉｏｎｉｎｇｅｎｅｔｉｃａｌｌｙｂｌｉｎｄｒａｔｓ．ＥｘｐＥｙｅＲｅｓ９０：４２９−４３６ＴｒｏｙＪＢ，ＢｏｈｎｓａｃｋＤＬ，ＣｈｅｎＪ，ＧｕｏＸ，ＰａｓｓａｇｌｉａＣＬ．（２００５）ＳｐａｔｉｏｔｅｍｐｏｒａｌｉｎｔｅｇｒａｔｉｏｎｏｆｌｉｇｈｔｂｙｔｈｅｃａｔＸ−ｃｅｌｌｃｅｎｔｅｒｕｎｄｅｒｐｈｏｔｏｐｉｃａｎｄｓｃｏｔｏｐｉｃｃｏｎｄｉｔｉｏｎｓ．ＶｉｓＮｅｕｒｏｓｃｉ２２（４）：４９３−−５００ＴｒｏｙＪＢ，ＢｏｈｎｓａｃｋＤＬ，ＤｉｌｌｅｒＬＣ．（１９９９）ＳｐａｔｉａｌｐｒｏｐｅｒｔｉｅｓｏｆｔｈｅｃａｔＸ−ｃｅｌｌｒｅｃｅｐｔｉｖｅｆｉｅｌｄａｓａｆｕｎｃｔｉｏｎｏｆｍｅａｎｌｉｇｈｔｌｅｖｅｌ．ＶｉｓＮｅｕｒｏｓｃｉ１６（６）：１０８９−−１０４Ｔｕｒｃｈｉｎｏｖｉｃｈｅｔａｌ．（２０１０）Ｎｏｎ−ｖｉｒａｌｓｉＲＮＡｄｅｌｉｖｅｒｙｉｎｔｏｔｈｅｍｏｕｓｅｒｅｔｉｎａｉｎｖｉｖｏ．ＢＭＣＯｐｈｔｈａｌｍｏｌｏｇｙ１０：２５Ｕｅｄａｅｔａｌ，（１９９７）ＴｈｅｍＧｌｕＲ６５’ ｕｐｓｔｒｅａｍｔｒａｎｓｇｅｎｅｓｅｑｕｅｎｃｅｄｉｒｅｃｔｓａｃｅｌｌ−ｓｐｅｃｉｆｉｃａｎｄｄｅｖｅｌｏｐｍｅｎｔａｌｌｙｒｅｇｕｌａｔｅｄｅｘｐｒｅｓｓｉｏｎｉｎｒｅｔｉｎａｌｒｏｄａｎｄＯＮ−ｔｙｐｅｃｏｎｅｂｉｐｏｌａｒｃｅｌｌｓ．ＪＮｅｕｒｏｓｃｉ．１７（９）：３０１４−２３ｖａｎＡｄｅｌｅｔａｌ．（２００３）Ｄｅｌｉｖｅｒｙｏｆｃｉｌｉａｒｙｎｅｕｒｏｔｒｏｐｈｉｃｆａｃｔｏｒバイアｌｅｎｔｉｖｉｒａｌ−ｍｅｄｉａｔｅｄｔｒａｎｓｆｅｒｐｒｏｔｅｃｔｓａｘｏｔｏｍｉｚｅｄｒｅｔｉｎａｌｇａｎｇｌｉｏｎｃｅｌｌｓｆｏｒａｎｅｘｔｅｎｄｅｄｐｅｒｉｏｄｏｆｔｉｍｅ．Ｈｕｍ．ＧｅｎｅＴｈｅｒ．１４：１０３−１１５ＶｉｃｔｏｒＪＤ，ＳｈａｐｌｅｙＲＭ．（１９７９）ＴｈｅｎｏｎｌｉｎｅａｒｐａｔｈｗａｙｏｆＹｇａｎｇｌｉｏｎｃｅｌｌｓｉｎｔｈｅｃａｔｒｅｔｉｎａ．ＪＧｅｎＰｈｙｓｉｏｌ．７４（６）：６７１−８９ＶｉｃｔｏｒＪＤ．（１９８７）ＴｈｅｄｙｎａｍｉｃｓｏｆｔｈｅｃａｔｒｅｔｉｎａｌＸｃｅｌｌｃｅｎｔｒｅ．ＴｈｅＪｏｕｒｎａｌｏｆＰｈｙｓｉｏｌｏｇｙ３８６（１）：２１９ＶｏｌｇｙｉＢ，ＤｅａｎｓＭＲ，ＰａｕｌＤＬ，ＢｌｏｏｍｆｉｅｌｄＳＡ（２００４）ＣｏｎｖｅｒｇｅｎｃｅａｎｄＳｅｇｒｅｇａｔｉｏｎｏｆｔｈｅＭｕｌｔｉｐｌｅＲｏｄＰａｔｈｗａｙｓｉｎＭａｍｍａｌｉａｎＲｅｔｉｎａ．ＪＮｅｕｒｏｓｃｉ２４（４９）：１１１８２−１１１９２ＷａｌｔｈｅｒＷ，ＳｔｅｉｎＵ．（２０００）Ｖｉｒａｌｖｅｃｔｏｒｓｆｏｒｇｅｎｅｔｒａｎｓｆｅｒ：ａｒｅｖｉｅｗｏｆｔｈｅｉｒｕｓｅｉｎｔｈｅｔｒｅａｔｍｅｎｔｏｆｈｕｍａｎｄｉｓｅａｓｅｓ．Ｄｒｕｇｓ．６０（２）：２４９−７１．ＲｅｖｉｅｗＷａｓｓｌｅＨ．（２００４）Ｐａｒａｌｌｅｌｐｒｏｃｅｓｓｉｎｇｉｎｔｈｅｍａｍｍａｌｉａｎｒｅｔｉｎａ．ＮａｔＲｅｖＮｅｕｒｏｓｃｉ５（１０）：７４７−５７Ｗｅｌｌｓｅｔａｌ．（２００５）Ｏｐｔｉｃａｌｓｔｉｍｕｌａｔｉｏｎｏｆｎｅｕｒａｌｔｉｓｓｕｅｉｎｖｉｖｏ．ＯｐｔｉｃｓＬｅｔｔｅｒｓ３０（５）：５０４−５０６ＷｉｎｔｅｒＪＯ，ＣｏｇａｎＳＦ，ＲｉｚｚｏＪＦＩ（２００７）Ｒｅｔｉｎａｌｐｒｏｓｔｈｅｓｅｓ：ｃｕｒｒｅｎｔｃｈａｌｌｅｎｇｅｓａｎｄｆｕｔｕｒｅｏｕｔｌｏｏｋ．ＪＢｉｏｍａｔｅｒＳｃｉＰｏｌｙｍＥｄ１８：１０３１−１０５５ＷｒｉｇｈｔＡＦ．（１９９７）Ｇｅｎｅｔｈｅｒａｐｙｆｏｒｔｈｅｅｙｅ．ＢｒＪＯｐｈｔｈａｌｍｏｌ８１（８）：６２０−６２３ＲｅｖｉｅｗＹｏｎｅｈａｒａＫ，ＩｓｈｉｋａｎｅＨ，ＳａｋｕｔａＨ，ＳｈｉｎｔａｎｉＴ，Ｎａｋａｍｕｒａ−ＹｏｎｅｈａｒａＫ，ｅｔａｌ．（２００９）ＩｄｅｎｔｉｆｉｃａｔｉｏｎｏｆＲｅｔｉｎａｌＧａｎｇｌｉｏｎＣｅｌｌｓａｎｄＴｈｅｉｒＰｒｏｊｅｃｔｉｏｎｓＩｎｖｏｌｖｅｄｉｎＣｅｎｔｒａｌＴｒａｎｓｍｉｓｓｉｏｎｏｆＩｎｆｏｒｍａｔｉｏｎａｂｏｕｔＵｐｗａｒｄａｎｄＤｏｗｎｗａｒｄＩｍａｇｅＭｏｔｉｏｎ．ＰＬｏＳＯＮＥ４（１）：ｅ４３２０ＹｏｎｅｈａｒａＫ，ＳｈｉｎｔａｎｉＴ，ＳｕｚｕｋｉＲ，ＳａｋｕｔａＨ，ＴａｋｅｕｃｈｉＹ，ｅｔａｌ．（２００８）ＥｘｐｒｅｓｓｉｏｎｏｆＳＰＩＧ１ＲｅｖｅａｌｓＤｅｖｅｌｏｐｍｅｎｔｏｆａＲｅｔｉｎａｌＧａｎｇｌｉｏｎＣｅｌｌＳｕｂｔｙｐｅＰｒｏｊｅｃｔｉｎｇｔｏｔｈｅＭｅｄｉａｌＴｅｒｍｉｎａｌＮｕｃｌｅｕｓｉｎｔｈｅＭｏｕｓｅ．ＰＬｏＳＯＮＥ３（２）：ｅ１５３３ＺｈａｎｇＹ，ＩｖａｎｏｖａＥ，ＢｉＡ，ＰａｎＺ−Ｈ（２００９）ＥｃｔｏｐｉｃｅｘｐｒｅｓｓｉｏｎｏｆｍｕｌｔｉｐｌｅｍｉｃｒｏｂｉａｌｒｈｏｄｏｐｓｉｎｓｒｅｓｔｏｒｅｓＯＮａｎｄＯＦＦｌｉｇｈｔｒｅｓｐｏｎｓｅｓｉｎｒｅｔｉｎａｓｗｉｔｈｐｈｏｔｏｒｅｃｅｐｔｏｒｄｅｇｅｎｅｒａｔｉｏｎ．ＪＮｅｕｒｏｓｃｉ２９：９１８６−９１９６ＺｒｅｎｎｅｒＥ，ｅｔａｌ（２００９）ＳｕｂｒｅｔｉｎａｌＭｉｃｒｏｅｌｅｃｔｒｏｄｅＡｒｒａｙｓＡｌｌｏｗＢｌｉｎｄＲｅｔｉｎｉｔｉｓＰｉｇｍｅｎｔｏｓａＰａｔｉｅｎｔｓｔｏＲｅｃｏｇｎｉｚｅＬｅｔｔｅｒｓａｎｄＣｏｍｂｉｎｅｔｈｅｍｔｏＷｏｒｄｓ．ＢＭＥＩ ’０９．２ｎｄＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＢｉｏｍｅｄｉｃａｌＥｎｇｉｎｅｅｒｉｎｇａｎｄＩｎｆｏｒｍａｔｉｃｓ．ＩｓｓｕｅＤａｔｅ：１７−１９Ｏｃｔ．２００９．ＩＳＢＮ：９７８−１−４２４４−４１３２−７．Ｐａｇｅｓ１ − ４ＢａｌｌａｒｄＤＨｅｔａｌ．（１９８２）ＣｏｍｐｕｔｅｒＶｉｓｉｏｎ，Ｐｒｅｎｔｉｃｅ−ＨａｌｌＩｎｃＮｅｗＪｅｒｓｅｙ，１９８２ＣｈｉｃｈｉｌｎｉｓｋｙＥＪ．（２００１）Ａｓｉｍｐｌｅｗｈｉｔｅｎｏｉｓｅａｎａｌｙｓｉｓｏｆｎｅｕｒｏｎａｌｌｉｇｈｔｒｅｓｐｏｎｓｅｓ．Ｎｅｔｗｏｒｋ１２（２）：１９９−２１３ＦｏｒｓｙｔｈＤＡｅｔａｌ．（２００３）ＣｏｍｐｕｔｅｒＶｉｓｉｏｎ：ＡＭｏｄｅｒｎＡｐｐｒｏａｃｈ，ＰｒｅｎｔｉｃｅＨａｌｌ，ＮｉｒｅｎｂｅｒｇＳｅｔａｌ．（２０１０）Ｈｅｔｅｒｏｇｅｎｅｏｕｓｒｅｓｐｏｎｓｅｄｙｎａｍｉｃｓｉｎｒｅｔｉｎａｌｇａｎｇｌｉｏｎｃｅｌｌｓ：ｔｈｅｉｎｔｅｒｐｌａｙｏｆｐｒｅｄｉｃｔｉｖｅｃｏｄｉｎｇａｎｄａｄａｐｔａｔｉｏｎ．ＪＮｅｕｒｏｐｈｙｓｉｏｌ１０３（６）：３１８４−９４ＦｒｅｕｎｄＹｅｔａｌ．（１９９５）ＡＤｅｃｉｓｉｏｎ−ＴｈｅｏｒｅｔｉｃＧｅｎｅｒａｌｉｚａｔｉｏｎｏｆｏｎ−ＬｉｎｅＬｅａｒｎｉｎｇａｎｄａｎＡｐｐｌｉｃａｔｉｏｎｔｏＢｏｏｓｔｉｎｇＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒａｎｄＳｙｓｔｅｍＳｃｉｅｎｃｅｓ５５，１１９−１３９ＰｉｌｌｏｗＪＷ，ＳｈｌｅｎｓＪ，ＰａｎｉｎｓｋｉＬ，ＳｈｅｒＡ，ＬｉｔｋｅＡＭ，ＣｈｉｃｈｉｌｎｉｓｋｙＥＪ，ＳｉｍｏｎｃｅｌｌｉＥＰ．（２００８）Ｓｐａｔｉｏ−ｔｅｍｐｏｒａｌｃｏｒｒｅｌａｔｉｏｎｓａｎｄｖｉｓｕａｌｓｉｇｎａｌｌｉｎｇｉｎａｃｏｍｐｌｅｔｅｎｅｕｒｏｎａｌｐｏｐｕｌａｔｉｏｎ．Ｎａｔｕｒｅ４５４（７２０７）：９９５−９Ｓｉｍｏｎｅｌｌｉｅｔａｌ．（２０１０）ＧｅｎｅＴｈｅｒａｐｙｆｏｒＬｅｂｅｒ’ｓＣｏｎｇｅｎｉｔａｌＡｍａｕｒｏｓｉｓｉｓＳａｆｅａｎｄＥｆｆｅｃｔｉｖｅＴｈｒｏｕｇｈ１．５ＹｅａｒｓＡｆｔｅｒＶｅｃｔｏｒＡｄｍｉｎｉｓｔｒａｔｉｏｎ，ＭｏｌｅｃｕｌａｒＴｈｅｒａｐｙ１８３，６４３−６５０ＮｉｃｈｏｌｓＺ，ＭｅｙｔｌｉｓＭ，ＮｉｒｅｎｂｅｒｇＳ．（２０１０）Ｃｏｒｒｅｌａｔｉｏｎｓｐｌａｙａｎｅｇｌｉｇｉｂｌｅｒｏｌｅｉｎｃｏｄｉｎｇｗｈｉｔｅｎｏｉｓｅａｎｄｎａｔｕｒａｌｓｃｅｎｅｓｔｉｍｕｌｉｉｎｃｏｍｐｌｅｔｅｒｅｔｉｎａｌｐｏｐｕｌａｔｉｏｎｓ．ＳｕｂｍｉｔｔｅｄＮｉｒｅｎｂｅｒｇＳｅｔａｌ．（２０１０）Ｈｅｔｅｒｏｇｅｎｅｏｕｓｒｅｓｐｏｎｓｅｄｙｎａｍｉｃｓｉｎｒｅｔｉｎａｌｇａｎｇｌｉｏｎｃｅｌｌｓ：ｔｈｅｉｎｔｅｒｐｌａｙｏｆｐｒｅｄｉｃｔｉｖｅｃｏｄｉｎｇａｎｄａｄａｐｔａｔｉｏｎ．ＪＮｅｕｒｏｐｈｙｓｉｏｌ１０３（６）：３１８４−９４

網膜の作動の抽象モデルに基づいて、機械視覚のための画像データ予備処理手法を開発するためのいくつかの手法が提案されている。しかし、これらのモデルは、網膜の実際の性能への大まかな近似に基づくものであった。

「背景技術」節の一部分は、ｈｔｔｐ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｃｏｍｐｕｔｅｒ_ｖｉｓｉｏｎで入手可能かつ「ＣｒｅａｔｉｖｅＣｏｍｍｏｎｓＡｔｔｒｉｂｕｔｉｏｎ−ＳｈａｒｅＡｌｉｋｅＬｉｃｅｎｓｅ」に従って用いられるコンピュータ視覚に関するＷｉｋｉｐｅｄｉａ文献から書き換えたものである。

本発明の開示に説明する実施形態は、網膜によって実施される作動のほぼ完全な再現を可能にする符号化器を利用する。上記に引用によって組み込んだ国際特許出願（以降「補綴出願」）に詳細に記載されているように、この符号化器は、非常に有効な人工網膜を開発するのに使用することができる。本発明の開示では、符号化器は機械視覚に適用される。

符号化器は、予備処理段階（特に次元低減段階）として使用されると、機械視覚アルゴリズムの性能を実質的に改善する。一部の実施形態において、符号化器は、機械視覚アルゴリズムが、広範囲にわたる環境及び照明条件下で、他の方法に基づいて抽出することができない情報を含む情報を非常に有効に抽出することを可能にする。既存の機械視覚アルゴリズムが部分的にしか有効ではない場合に、この次元低減は、強力な改善策として機能することができる。符号化器は、抽出をより有効（より高い性能）に実施するだけでなく、より高速にかつより効率的に実施することを可能にすることができる。

補綴出願に詳細に記載しているように、本出願人は、刺激を受け入れ、符号化器セットを用いて刺激をコードセットに変換し、インタフェースを用いてコードを信号に変換し、次に、これらの信号が、インタフェースからのこれらの信号によって駆動される高分解能変換器を用いて複数の網膜細胞を活性化する補綴デバイスを開発した。複数の網膜細胞の活性化は、同じ刺激に対する正常網膜からの網膜神経節細胞の時間依存応答と実質的に類似の広範囲にわたる刺激に対する網膜神経節細胞応答をもたらす。本出願人は、そのようなデバイスに使用される符号化器を機械視覚用途における使用に向けて画像データを処理するように適応させることができることを認めた。

補綴出願において記載されている人工網膜は、正常網膜と同じく画像処理プロセッサであり、受け入れる刺激から極めて重要な情報を抽出し、この情報を脳が理解することができる活動電位パターンにフォーマット設定し直す。正常網膜によって生成される活動電位パターンは、網膜コード又は神経節細胞コードと呼ばれるものである。人工網膜は、視覚刺激を損傷又は劣化した網膜が正常又はほぼ正常な出力を生成することができるようにそれと同じコード又はそれに近い代用コードに変換する。人工網膜は、正常網膜と同じコード又はそれに近い代用コードを使用するので、損傷又は劣化した網膜内の神経節細胞の発火パターン、すなわち、その活動電位パターンは、正常神経節細胞によって生成されるものと同じか又は実質的に類似である。従って、この補綴は、網膜が、視覚世界に対して正常網膜と同じ信号を脳に送ることを可能にする。

補綴出願に詳述されているように、符号化器は、様々な刺激、例えば、白色ノイズ（ＷＮ）と自然光景（ＮＳ）の両方の動画に対する実際の網膜細胞の入力／出力応答の研究から得られたデータを用いて生成された網膜細胞に対する入力／出力モデルを使用する。一部の実施形態において、符号化器は、いくつかのパラメータによって特徴付けられる時空変換を含む線形非線形カスケードモデルに基づいている。これらのパラメータは、実網膜における実験を通過して得られたデータに基づいて最適化され、広範囲にわたる刺激に対する実際の細胞の応答を厳密に模倣する変換がもたらされる。結果は、白色ノイズ刺激又はガウシアン統計を有する刺激に対してだけではなく、顔、風景、歩いている人々、遊んでいる子供のような自然画像（静的な又は時空的に変化する）に関する入力／出力関係を取り込むモデルである。広範囲にわたる刺激に対する有効性は補綴出願、及び以下に詳細に解説する図１８Ａ〜図１８Ｆに示されている。

この手法は、実験を通して得られたデータを利用するので、生成される符号化器は、根底にある網膜の処理手法の詳細な概念的理解を必要とすることなく、網膜処理を正確に模擬することができる。例えば、霊長類及びヒトにおける網膜処理は、脳内での効率的な処理を可能にするために、視覚刺激内でパターン認識タスク（例えば、顔認識）に有利な特徴を強調し、一方、他の特徴（例えば、冗長情報又はノイズ）を弱調又は排除する。計り知れないほど長い年月を経ての自然淘汰の結果として発達したこの処理手法の詳細の完全な概念的理解は、未だなお存在しない。しかし、この概念的理解の欠如にも関わらず、本明細書に説明するデバイス及び技術は、網膜応答を正確に模倣することにより、この処理の利点を取り込むことができる。

言い換えれば、本明細書に説明する様々な実施形態において、この手法はデータ駆動手法であり、すなわち、網膜入力／出力関係のデータ駆動モデルを用い、従って、現実的な画像予備処理をもたらす。それによって下流の機械視覚アルゴリズムに、生物網膜と同じ種類で同じ大きさの次元低減を提供する予備処理段階が与えられ、従って、生物網膜と同じ数々の利点がもたらされる。

一般的に、本明細書に説明する手法は、網膜の完全又はほぼ完全な模倣を与えることができるので、例えば、ガウシアンの差タイプフィルタを用いて画像データをフィルタリングする従来の予備処理プロセッサとは異なることに注意されたい。同じくこの手法は、白色ノイズ刺激又はガウシアン統計を有する刺激だけではなく、広範囲にわたる刺激に対して有効である点で他の線形−非線形カスケードモデルとは異なる。従って、フィルタリングはより一層完全であり、現在の機械視覚アルゴリズムのパワーを大幅に改善する。最も重要な点として、この手法は、現在の機械視覚アルゴリズムを一般化させ、すなわち、積年の難題であった１つの設定（１つの環境又は照明条件）においてトレーニングされて他の環境に対して一般化することを可能にする（例えば、以下に詳細に説明する図１０、図１１、及び図１５を参照されたい）。

更に、一部の実施形態において、広範囲にわたる刺激に対して網膜処理がモデル化されるので（例えば、ＷＮとＮＳの両方によって生成されたデータを用いた最適化の結果として）、機械視覚システムのための予備処理は、広範囲にわたる条件にわたって良好に機能する（網膜が広範囲にわたる条件にわたって機能するのと同じく）。有利な態様においては、この手法は、様々な条件（例えば、照明変化、複雑で変化する視覚光景、多くの異なる環境等）の下でロバストな性能を必要とする機械視覚用途において網膜予備処理技術を使用することを可能にする。

一態様において、一連の生画像に対応する生画像データを受け入れる段階と、脊椎動物網膜の１つ又はそれよりも多くの網膜細胞の入力／出力変換を実質的に模倣する入力／出力変換によって特徴付けられる符号化器を用いて符号化されたデータを生成するように生画像データを処理する段階と、符号化されたデータに少なくとも部分的に基づいて生成されたデータに第１の機械視覚アルゴリズムを適用する段階とを含む方法を開示する。

一部の実施形態は、符号化されたデータに基づいて一連の網膜画像を生成する段階を含む。一部の実施形態は、符号化されたデータに基づいて網膜画像内のピクセル値を決定する段階を含む。一部の実施形態において、符号化されたデータに基づいて網膜画像内のピクセル値を決定する段階は、網膜細胞応答を示す符号化されたデータに基づいてピクセル強度又は色を決定する段階を含む。

一部の実施形態において、網膜細胞応答を示すデータは、網膜細胞発火率、網膜細胞出力パルス列、及び起動電位から構成されるリストからの少なくとも１つを示す。

一部の実施形態は、一連の網膜画像に第１の機械視覚アルゴリズムを適用する段階を含む。

一部の実施形態において、機械視覚アルゴリズムは、物体認識アルゴリズム、画像分類アルゴリズム、顔認識アルゴリズム、光学文字認識アルゴリズム、コンテンツベースの画像取り出しアルゴリズム、姿勢推定アルゴリズム、運動解析アルゴリズム、自己運動決定アルゴリズム、移動追跡アルゴリズム、オプティカルフロー決定アルゴリズム、光景再現アルゴリズム、３Ｄ容積認識アルゴリズム、及びナビゲーションアルゴリズムから構成されるリストから選択された少なくとも１つを含む。

一部の実施形態において、機械視覚アルゴリズムは、一連の網膜画像に適用された時に、符号化器を用いて処理されていない対応する生画像セットに適用された時よりも良好な性能を示す。

一部の実施形態において、機械視覚アルゴリズムは、自然光景を含む一連の網膜画像に適用された時に、符号化器を用いて処理されていない対応する一連の生画像に適用された時よりも良好な性能を示す。

一部の実施形態において、機械視覚アルゴリズムは、一連の画像内での人間の検出又は識別のためのアルゴリズムを含み、この人間を含む様々な網膜画像に適用された時に、符号化器を用いて処理されていない対応する生画像セットに適用された時よりも良好な検出精度又は識別精度を示す。

一部の実施形態において、人間を含む一連の画像は、自然光景に位置する人間の画像を含む。

一部の実施形態において、人間を含む一連の画像は、機械視覚アルゴリズムをトレーニングするのに使用された自然光景とは異なる自然光景に位置する人間の画像を含む。

一部の実施形態において、機械視覚アルゴリズムは、実環境又は仮想環境を通じたナビゲーションのためのアルゴリズムを含み、自然光景を含む一連の網膜画像に適用された時に、符号化器を用いて処理されていない対応する生画像セットに適用された時よりも良好なナビゲーション性能を示す。

一部の実施形態において、機械視覚アルゴリズムは、自然光景を含む一連の網膜画像に適用された時に、符号化器を用いて処理されていない対応する生画像セットに適用された時よりも少ないナビゲーション中の望まない衝突イベントを示す。

一部の実施形態において、一連の網膜画像は、機械視覚アルゴリズムをトレーニングするのに使用されなかった環境に対応する。

一部の実施形態は、１つ又はそれよりも多くの着目する網膜画像を識別するために、一連の網膜画像に機械画像処理アルゴリズムを適用する段階と、着目する網膜画像に対応する１つ又はそれよりも多くの着目する生画像を識別する段階とを含む。一部の実施形態は、着目する生画像を処理する段階を含む。一部の実施形態において、着目する生画像を処理する段階は、着目する生画像に第２の機械視覚アルゴリズムを適用する段階を含む。一部の実施形態において、第１の機械視覚アルゴリズムは、網膜画像セットに対してトレーニングされたアルゴリズムを含み、第２の機械視覚アルゴリズムは、生画像セットに対してトレーニングされたアルゴリズムを含む。

一部の実施形態において、第１の機械視覚アルゴリズムを適用する段階は、ナビゲーションアルゴリズムを適用する段階を含む。一部の実施形態において、ナビゲーションアルゴリズムを適用する段階は、一連の網膜画像内の複数の画像位置での運動を示す運動情報を決定するように一連の画像を処理する段階と、運動情報に基づいて一連の画像内で空間領域を分類する段階と、空間領域の分類に基づいてナビゲーション決定を生成する段階とを含む。一部の実施形態において、運動情報は、一連の画像内のオプティカルフローを示す。一部の実施形態は、空間領域を分類するのに畳み込みニューラルネットワークを使用する段階を含む。

一部の実施形態は、ナビゲーションアルゴリズムからの結果に基づいてロボット装置の運動を制御する段階を含む。

一部の実施形態は、ナビゲーションアルゴリズムからの結果に基づいて仮想空間内の仮想物体の運動を制御する段階を含む。

一部の実施形態は、網膜画像に基づいて機械視覚アルゴリズムをトレーニングする段階を含む。一部の実施形態において、機械視覚アルゴリズムをトレーニングする段階は、（ｉ）機械視覚アルゴリズムを網膜画像セットに適用して出力を生成する段階と、（ｉｉ）出力に基づいて機械視覚アルゴリズムの性能を示す性能情報を決定する段階と、（ｉｉｉ）性能情報に基づいて機械視覚アルゴリズムの１つ又はそれよりも多くの特性を修正する段階とを含む。一部の実施形態は、選択された性能基準に達するまで段階（ｉ）から段階（ｉｉｉ）までを反復的に繰り返す段階を含む。

一部の実施形態において、トレーニングされた機械視覚アルゴリズムは、パラメータセットによって特徴付けられ、パラメータは、網膜画像に対応する生画像を用いた機械視覚アルゴリズムの同等のトレーニングによって得られることになる対応するパラメータとは異なる。

一部の実施形態において、符号化器を用いて符号化されたデータを生成するように生画像データを処理する段階は、対応する生画像データと比較して低減された情報量を含む符号化されたデータを生成する段階を含む。いくつかのそのような実施形態において、機械視覚アルゴリズムは、一連の網膜画像に適用された時に、符号化器を用いて処理されていない対応する生画像セットに適用された時よりも良好な性能を示す。

一部の実施形態において、符号化されたデータ内に含まれる情報量は、対応する生画像データと比較して１．１倍〜１，０００倍の範囲又はそのいずれかの部分的範囲、例えば、少なくとも約１．５倍、２倍、３倍、４倍、５倍、６倍、７倍、８倍、９倍、１０倍、又はそれよりも多くだけ圧縮される。

一部の実施形態において、脊椎動物は、ネズミ及びサルから構成されるリストから選択された少なくとも１つを含む。

一部の実施形態において、網膜細胞は、神経節細胞を含む。一部の実施形態において、網膜細胞は、少なくとも２つの部類の細胞を含む。一部の実施形態において、少なくとも２つの部類の細胞は、ＯＮ細胞とＯＦＦ細胞とを含む。

一部の実施形態において、符号化器は、時空的に変化する画像を含む自然光景画像を含む様々な入力にわたって脊椎動物網膜の１つ又はそれよりも多くの網膜細胞の入力／出力変換を実質的に模倣する入力／出力変換によって特徴付けられる。

一部の実施形態において、符号化器を用いて符号化されたデータを生成するように生画像データを処理する段階は、複数の値Ｘを生成するように生画像データを処理する段階と、複数のＸ値を網膜ｍ内の網膜細胞の対応する応答を示す複数の応答値λ_mに変換する段階と、応答値に基づいて符号化されたデータを生成する段階とを含む。一部の実施形態において、応答値は、網膜細胞発火率に対応する。一部の実施形態において、応答値は、網膜細胞発火率の関数に対応する。一部の実施形態において、応答値は、網膜細胞出力パルスに対応する。一部の実施形態において、応答値は、網膜細胞起動電位、すなわち、時空フィルタを用いた画像の畳み込みの出力に対応する。

一部の実施形態において、符号化器を用いて符号化されたデータを生成するように生画像データを処理する段階は、生画像データからの画像を受け入れて、各画像に対して輝度又はコントラストを再スケーリングし、再スケーリングされた画像ストリームを生成する段階と、再スケーリングされた画像ストリームからＮ枚の再スケーリングされた画像のセットを受け入れ、Ｎ枚の画像のセットに対して時空変換を適用し、網膜細胞のそれぞれの１つに各々が対応する網膜応答値のセットを生成する段階と、網膜応答値に基づいて符号化されたデータを生成する段階とを含む。

一部の実施形態において、応答値は、網膜細胞発火率を含む。一部の実施形態において、Ｎは、１〜１，０００の範囲又はそのいずれかの部分的範囲、例えば、少なくとも５、少なくとも約２０、少なくとも約１００、又はそれよりも多くである。

一部の実施形態において、時空変換を適用する段階は、Ｎ枚の再スケーリングされた画像を時空カーネルを用いて畳み込み、１つ又はそれよりも多くの時空変換された画像を生成する段階と、時空変換された画像に非線形関数を適用して応答値セットを生成する段階とを含む。

一部の実施形態において、時空変換を適用する段階は、Ｎ枚の再スケーリングされた画像を空間カーネルを用いて畳み込み、Ｎ枚の空間変換された画像を生成する段階と、Ｎ枚の空間変換された画像を時間カーネルを用いて畳み込み、時間変換出力を生成する段階と、時間変換出力に非線形関数を適用して応答値セットを生成する段階とを含む。

一部の実施形態において、符号化器は、パラメータセットによって特徴付けられ、パラメータの値は、脊椎動物網膜からこの網膜が白色ノイズ刺激と自然光景刺激とに露出される間に実験的に得られる応答データを用いて決定される。

一部の実施形態において、符号化器は、試験入力刺激と、試験入力刺激に応答して符号化器によって生成されることになる符号化されたデータから再現された対応する刺激との間のピアソン相関係数が、０．３５〜１．０の範囲又はそのいずれかの部分的範囲、例えば、少なくとも約０．３５、０．６５、少なくとも約０．９５、又はそれよりも多くであるように構成される。一部の実施形態において、試験入力刺激は、一連の自然光景を含む。

別の態様において、生画像データを格納するように構成された少なくとも１つのメモリストレージデバイスと、メモリと作動可能に結合され、本明細書に説明する方法のうちの１つ又はそれよりも多くを実行するようにプログラムされた少なくとも１つのプロセッサとを含む装置を開示する。

一部の実施形態において、持続性コンピュータ可読媒体は、本明細書に説明する方法のうちの１つ又はそれよりも多くが有する段階を実施するためのコンピュータ実行可能命令を有する。

別の態様において、一連の生画像に対応する生画像データを受け入れる段階と、脊椎動物網膜の１つ又はそれよりも多くの網膜細胞の入力／出力変換を実質的に模倣する入力／出力変換によって特徴付けられる符号化器を用いて符号化されたデータを生成するように生画像データを処理する段階とによって生成された一連の画像に対応する符号化されたデータを格納する少なくとも１つのメモリストレージデバイスを含むシステムを開示する。一部の実施形態において、少なくとも１つのストレージデバイスは、符号化されたデータと生画像データの間の対応を示すデータベース情報を格納する。

一部の実施形態は、一連のクエリ画像に対応するクエリ画像データを受け入れ、脊椎動物網膜の１つ又はそれよりも多くの網膜細胞の入力／出力変換を実質的に模倣する入力／出力変換によって特徴付けられる符号化器を用いて符号化されたデータを生成するようにクエリ画像データを処理し、符号化されたクエリ画像データをメモリストレージデバイス上の符号化されたデータと比較し、（ａ）メモリストレージデバイス上の符号化されたデータに対する符号化されたクエリデータの比較と、（ｂ）符号化されたデータと生画像データの間の対応を示すデータベース情報とに基づいて、クエリ画像データと生画像データの間の対応を決定するように構成されたプロセッサを含む。

別の態様において、一連の生画像に対応する生画像データを受け入れる段階と、第１の脊椎動物類からの第１の脊椎動物網膜の１つ又はそれよりも多くの網膜細胞の入力／出力変換を実質的に模倣する入力／出力変換によって特徴付けられる符号化器を用いて第１の符号化されたデータを生成するように生画像データの少なくとも第１の部分を処理する段階と、第１の脊椎動物類とは異なる第２の脊椎動物類からの第２の脊椎動物網膜の１つ又はそれよりも多くの網膜細胞の入力／出力変換を実質的に模倣する入力／出力変換によって特徴付けられる符号化器を用いて符号化されたデータを生成するように生画像データの少なくとも第２の部分を処理する段階とを含む方法を開示する。

一部の実施形態は、第１の符号化されたデータに基づいて、処理に向けて生画像データの第２の部分を選択する段階を含む。

様々な実施形態において、生画像データは、画像検出器、又は生画像データを格納するメモリ、又はその組合せから実質的に実時間で受け取られる。

別の態様において、持続性コンピュータ可読媒体は、本明細書に説明する方法のうちの１つ又はそれよりも多くが有する段階を実施するためのコンピュータ実行可能命令を有する。

様々な実施形態は、上述の要素のうちのいずれかを単独で又はあらゆる適切な組合せで含むことができる。

例示的な機械視覚システムを示すブロック図である。符号化器モジュールの作動を示す流れ図である。パネルＡが、カメラによって得られた生画像ストリームからのいくつかのフレームを示し、パネルＢが、それに対応する網膜画像ストリームからのいくつかのフレームを示し、各々が異なる細胞アレイ（図に示すように、ＯＦＦミジェット細胞、ＯＮミジェット細胞、ＯＦＦパラソル細胞、及びＯＮパラソル細胞）を用いた４つの異なる網膜画像ストリームを示す生画像ストリーム（複雑な環境を通って歩く人物）の網膜画像ストリームへの変換を示す図である。生画像の拡大図である。図３Ａの最終列に対応する網膜画像の拡大図である。図３Ａの最終列に対応する網膜画像の拡大図である。図３Ａの最終列に対応する網膜画像の拡大図である。図３Ａの最終列に対応する網膜画像の拡大図である。図１の機械視覚システムの機械視覚モジュールをトレーニングするためのトレーニングシステムを示すブロック図である。図４のトレーニングシステムの作動を示す流れ図である。ロボットが進む経路を破線に示し、迷路を通じたロボットのナビゲーションを制御するのに使用される機械視覚システムを示す図である。ナビゲーションタスクを制御するのに使用される機械視覚システムの一実施形態に関する流れ図である。画像ストリームが、本文に示すように田園環境を用いた仮想環境内で生成したものであり、上部のパネルが、画像ストリーム内の最初の５つのフレームを示し、下部のパネルが、画像ストリームの残りの部分から選択したフレームを示し、３０フレーム毎に１枚（すなわち、３０秒毎に１フレーム）を示すナビゲータをトレーニングするのに用いた生画像ストリーム（動画）からのフレームを示す図である。田園環境（ナビゲータをトレーニングするのに用いたものとは異なるもの）を示し、図９の場合と同様に、これらの画像ストリームが、仮想環境内で生成したものであり、各セットの上部パネルが、最初の４つのフレームを示し、下部パネルが、動画の残りの部分から選択したフレーム（この場合に、１５フレーム毎に１枚（すなわち、２分の１秒毎に１フレーム））を示すナビゲータを試験するのに用いた生画像ストリーム（動画）からのフレームを示す図である。郊外環境を示し、図９の場合と同様に、これらの画像ストリームが、仮想環境内で生成したものであり、各セットの上部パネルが、最初の４つのフレームを示し、下部パネルが、動画の残りの部分から選択したフレーム（この場合に、１５フレーム毎に１枚（すなわち、２分の１秒毎に１フレーム））を示すナビゲータを試験するのに用いた生画像ストリーム（動画）からのフレームを示す図である。遊び場環境（タイヤ障害物コース）を示し、図９の場合と同様に、これらの画像ストリームが、仮想環境内で生成したものであり、各セットの上部パネルが、最初の４つのフレームを示し、下部パネルが、動画の残りの部分から選択したフレーム（この場合に、１５フレーム毎に１枚（すなわち、２分の１秒毎に１フレーム））を示すナビゲータを試験するのに用いた生画像ストリーム（動画）からのフレームを示す図である。本文及び図７の流れ図で説明するように、ナビゲーションタスクを学習するのに用いた主アルゴリズムである畳み込みニューラルネットワーク（ＣＮＮ）を１）標準手法、すなわち、生視覚環境（生画像ストリーム）を使用する方法、及び２）生視覚環境の次元を低減した後、すなわち、生視覚環境を符号化器を通過して処理した後の環境を使用する手法という２つの手法でトレーニングしたものであり（用いたトレーニング環境は、図８に示す田園環境である）、次に、ナビゲータの性能をナビゲータをトレーニングするのに用いたものとは異なる田園環境、郊外環境、及び遊び場環境という３つの新しい環境内で試験し（各環境からのサンプルを図９に示す）、Ａ．ナビゲータが生画像ストリームから環境を学習した場合のナビゲータの性能であり、乱れた軌道及び衝突に注意しなければならず、Ｂ．ナビゲータが網膜画像ストリーム（符号化器によって生成された画像ストリーム）から環境を学習した場合のナビゲータの性能であり、真っ直ぐな経路及び障害物の回避に注意しなければならないナビゲータの性能及び異なる環境に対して一般化する機能を示す軌道を示す図である。ＡからＦが、太陽の異なる位置、従って、遊び場環境内の異なる影条件に対応し、光条件が、日の出から日の入まで、すなわち、環境の左側の水平線の上方３０度から右側の水平線の上方３０度にわたり、明るい灰色が、ナビゲータを生画像ストリーム（図８に示す１つの照明条件を用いた田園環境からの）上でトレーニングした場合のナビゲータの性能であり、この図に示すように、ナビゲータの性能が、新しい環境に配置された場合に低く、この低い性能が、光条件にわたって同じく適用され、各棒グラフの高さが、ナビゲータが遊び場のタイヤコース内でタイヤのうちの１つと衝突することもなく首尾良く留まった試行分率に対応し、誤差棒グラフが、平均の標準誤差（ＳＥＭ）を示し、暗い灰色が、ナビゲータを網膜画像ストリーム（同じ単一の照明条件を使用するが、今回は符号化器を通過して処理した同じ田園環境）上でトレーニングした場合のナビゲータの性能であり、図示のように、ナビゲータの性能が高く、高い性能が光条件にわたって成り立ち、従って、網膜画像ストリーム上でのトレーニング（すなわち、符号化器を通過して処理された低次元画像上でのトレーニング）が、新しい環境及び複数の照明条件（日の出から日の入まで、上記を参照されたい）に対して一般化された高い性能をもたらし、具体的に高い性能が異なる環境（田園環境から郊外環境、更に遊び場まで）だけでなく、環境内の異なる照明条件に対しても一般化されることを示すナビゲータの高い性能を更に明らかにする図である。顔認識タスクを制御するのに使用される機械視覚システムの一実施形態に関する流れ図である。画像ストリームが、２４フレーム毎秒のレートで記録したものであり、この図では１２フレーム毎に１枚を示す（２分の１秒毎に１フレーム）顔認識アルゴリズム（本文で言及しているＶｉｏｌａ−Ｊｏｎｅｓ−Ｓｎｏｗアルゴリズム）をトレーニングするのに用いた生画像ストリーム（動画）からのフレームを示す図である。人物が、図１３に示すものと同じであるが、例えば、異なる環境内で異なる髪型を有する人物であることに注意しなければならず、本文に示すように、顔認識アルゴリズムの目的が、このアルゴリズムがターゲット人物の他の画像ストリームに対してのみトレーニングされている場合であっても、新しい画像ストリームをこの人物に属するものとして認識することであり、図１３の場合と同様に、画像ストリームが、２４フレーム毎秒のレートで記録したものであり、この図では１２フレーム毎に１枚を示す（２分の１秒毎に１フレーム）顔認識アルゴリズムの性能を試験するのに用いた生画像ストリーム（動画）からのフレームを示す図である。１）標準手法を使用し、すなわち、生画像ストリームを用いて顔認識アルゴリズムをトレーニングする方法、及び２）本出願に説明する手法を使用する（すなわち、生画像ストリームを符号化器によって処理したものを使用する）方法という２つの方法で顔認識アルゴリズムがトレーニングされた場合のその性能を示す図であり、両方の場合に、顔認識アルゴリズムを多くの画像ストリーム（ターゲット顔の４〜５本の映像からの２５０〜８００本の２フレーム画像ストリーム及び他の顔の＞１００本の映像からの２０００本の２フレーム画像ストリーム）に対してトレーニングし、次に、過去に見せていない映像、すなわち、トレーニングセットに対して用いなかった映像からの５０〜８００本の２フレーム画像ストリームを用いて性能を測定し（トレーニングセットと試験セットの両方からのサンプルフレームに対しては図１３と図１４とを参照されたい）、標準手法が非常に非力に機能したのみであったものと、ほどほど良好に機能したものという２つのタスクセットに対して性能を示し、棒グラフの高さが、顔認識器がターゲット顔を首尾良く認識した試行分率を示し、誤差棒グラフが、平均の標準誤差（ＳＥＭ）を示し、図示のように、タスクが困難であった場合に（Ａ）、本出願に説明する手法が、標準手法に優る大きな（４倍の）改善をもたらし、タスクがそれ程困難ではなかった場合に、すなわち、標準手法がほどほど良好に機能する場合にも、本出願に説明する手法が、依然として改善をもたらす（１．５倍の）ことを示す図である。画像処理に網膜符号化器手法と従来手法の両方を使用する例示的な混成画像処理法に関する処理流れ図である。網膜符号化されたデータを用いたデジタル指紋処理のためのシステムのブロック図である。従来の線形−非線形（ＬＮ）モデルの性能を左に、本出願に説明するタイプの線形−非線形（ＬＮ）モデルの性能を右に示し、ラスタープロット及び刺激前後時間ヒストグラム（ＰＳＴＨ）によって性能を示す自然光景の動画を用いて試験した場合の網膜符号化器モデルの性能を示す図である。従来の線形−非線形（ＬＮ）モデルの性能を左に、本出願に説明するタイプの線形−非線形（ＬＮ）モデルの性能を右に示し、ラスタープロット及び刺激前後時間ヒストグラム（ＰＳＴＨ）によって性能を示す自然光景の動画を用いて試験した場合の網膜符号化器モデルの性能を示す図である。従来の線形−非線形（ＬＮ）モデルの性能を左に、本出願に説明するタイプの線形−非線形（ＬＮ）モデルの性能を右に示し、ラスタープロット及び刺激前後時間ヒストグラム（ＰＳＴＨ）によって性能を示す自然光景の動画を用いて試験した場合の網膜符号化器モデルの性能を示す図である。従来の線形−非線形（ＬＮ）モデルの性能を左に、本出願に説明するタイプの線形−非線形（ＬＮ）モデルの性能を右に示し、ラスタープロット及び刺激前後時間ヒストグラム（ＰＳＴＨ）によって性能を示す自然光景の動画を用いて試験した場合の網膜符号化器モデルの性能を示す図である。従来の線形−非線形（ＬＮ）モデルの性能を左に、本出願に説明するタイプの線形−非線形（ＬＮ）モデルの性能を右に示し、ラスタープロット及び刺激前後時間ヒストグラム（ＰＳＴＨ）によって性能を示す自然光景の動画を用いて試験した場合の網膜符号化器モデルの性能を示す図である。従来の線形−非線形（ＬＮ）モデルの性能を左に、本出願に説明するタイプの線形−非線形（ＬＮ）モデルの性能を右に示し、ラスタープロット及び刺激前後時間ヒストグラム（ＰＳＴＨ）によって性能を示す自然光景の動画を用いて試験した場合の網膜符号化器モデルの性能を示す図である。

図１は、カメラ１０２と、符号化器モジュール１０４と、機械視覚モジュール１０６と、機械視覚モジュールによって制御されるシステム１０８とを特徴として含む例示的な機械視覚システム１００を示す。カメラ１０２は、視覚刺激を受け入れ、それをデジタル画像データ、例えば、デジタル画像ストリームに変換する。本明細書ではこのデジタル画像データを「生」画像データと呼ぶ場合がある。生画像データは、網膜符号化器による処理の前のあらゆる画像データを含むことができることは理解されるものとする。

符号化器モジュール１０４は、画像データを受け入れて、これらのデータを本明細書及び／又は補綴出願に記載されているタイプの１つ又はそれよりも多くの網膜符号化器を用いて処理する。「網膜画像データ」と呼ぶ符号化器モジュールの出力は、機械視覚モジュールに渡され、機械視覚モジュールは、網膜画像データを例えば当業技術で公知であり及び／又は本明細書で説明する１つ又はそれよりも多くの機械視覚技術を用いて処理する。機械視覚処理に基づいて、機械視覚モジュール１０６は、あらゆる適切な目的に使用することができる出力を生成する。図示のように、出力は、１つ又はそれよりも多くのシステム１０８、例えば、ロボットシステムを制御する。一部の実施形態において、画像の処理及び／又は制御は、実時間又はほぼ実時間に実施することができる。

図１に示すシステムは単に例示的であり、様々な他のタイプの機械視覚システムを使用することができることは理解されるものとする。例えば、一部の実施形態において、制御式システム１０８を例えば省くことができ、この場合に、機械視覚モジュールの出力は、制御に使用されるのではなく、更に別の処理等のための出力として格納される。一部の実施形態において、カメラ１０２は、例えば、格納画像データの供給源によって置換することができる。一部の実施形態において、付加的な要素、例えば、様々なプロセッサ又はコントローラ、ユーザ制御器、入力又は出力デバイスなどを含めることができる。

様々な実施形態において、カメラ１０２は、視覚刺激をデジタル形態、例えば、デジタル画像ストリームに変換することができるあらゆるデバイスとすることができる。様々な実施形態は、電荷結合デバイス（ＣＣＤ）、相補的金属酸化物半導体（ＣＭＯＳ）センサのような能動ピクセルセンサ（ＡＰＳ）、薄膜トランジスタ（ＴＦＴ）、フォトダイオードアレイ、及びこれらの組合せに基づくデバイスを含むことができる。

カメラ１０２によって生成されるデジタル画像の各々は、０．０１〜１０００メガピクセルの範囲又はそのいずれかの部分的範囲、例えば、少なくとも０．０１メガピクセル、少なくとも２メガピクセル、又はそれよりも多くを含むことができる。デジタル画像ストリームは、１〜１０００Ｈｚの範囲又はそのいずれかの部分的範囲、例えば、少なくとも１０Ｈｚ、少なくとも５０Ｈｚ、少なくとも１００Ｈｚ、又はそれよりも多いフレームレート（すなわち、１秒当たりの画像フレーム数）によって特徴付けることができる。デジタル画像は、有色、グレースケール、白黒、又は他の適切なタイプの画像とすることができる。

一部の実施形態において、カメラは、電荷結合デバイス（ＣＣＤ）に基づいている。一実施形態において、カメラ１００は、ＰｏｉｎｔＧｒｅｙＦｉｒｅｆｌｙＭＶデバイス（６０フレーム毎秒において７５２×４８０ピクセル、８ビット／ピクセルの機能を有する）（ＰｏｉｎｔＧｒｅｙＲｅｓｅａｒｃｈ、リッチモンド、ＢＣ、カナダ）である。別の実施形態において、カメラ１００は、ＯｍｎｉｖｉｓｉｏｎＯＶ５６４２カメラモジュール（３０フレーム毎秒において１２８０×７２０ピクセル、８ビット／ピクセルの機能を有する）を組み込んだＥ−ｃｏｎｓｙｓｔｅｍｓｅ−ＣＡＭ５０_ＯＭＡＰ_ＧＳＴＩＸである。

一部の実施形態において、カメラ１０２によって画像が得られ、これらの画像は、望ましくない遅延時間なしにデバイス１００が作動することを可能にする十分な速度で符号化器モジュール１０４に送信される。この送信を提供するために、一部の実施形態において、カメラ１０２と符号化器モジュール１０４の間に高帯域幅接続が設けられる。例えば、カメラと処理デバイスの間でＵＳＢ２．０インタフェースを用いて２０ＭＢ／秒よりも優れたデータ転送を提供することができる。他の実施形態において、カメラと処理デバイスの間で、ＯＭＡＰ３５３０（ＴｅｘａｓＩｎｓｔｒｕｍｅｎｔｓ、ダラス、ＴＸ、米国）上のＣａｍｅｒａＩｍａｇｅＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ内に組み込まれたパラレルインタフェースのようなパラレルインタフェースが使用される。様々な実施形態において、有線接続又は無線接続を含む他の適切な接続を使用することができる。カメラ１０２は、以下に限定されるものではないが、ＩＥＥＥ１３９４又はＵＳＢ２．０のようなシリアルインタフェース、パラレルインタフェース、ＮＴＳＣ又はＰＡＬのようなアナログインタフェース、無線インタフェースを含む高速データ転送の機能を有するいずれかの接続を用いて符号化器モジュール１０４とインタフェース接続することができる。一部の実施形態において、カメラは、符号化器モジュールと同じ基板上に組み込むことができる。

符号化器モジュール１０４は、例えば、実施する符号化器が、網膜回路の作動を模倣して画像からコードへの変換を実施することを含む本明細書に説明する技術を用いて画像ストリームの処理を実施する。符号化器によって指定された変換が一連の入力画像に適用され、符号化された出力が生成される。例えば、符号化された出力は、画像が網膜によって感受された場合に生成されたであろう網膜細胞の発火率を示す値の形態にあるとすることができる。出力は、例えば、網膜細胞の「起動電位」を示す情報、すなわち、網膜モデルの線形成分の出力（線形フィルタを用いた画像の畳み込みの出力）とすることができる。符号化された出力は、網膜細胞によって生成される「スパイク」のパルス列を示すとすることができる。

一部の実施形態において、異なるタイプの網膜出力細胞が存在するので、正常網膜の処理をより良好に模倣するために異なる符号化器の組を使用することができる。相違点は、特定の細胞タイプ（例えば、ＯＮ細胞又はＯＦＦ細胞）又は網膜上の細胞位置（中央の網膜内のＯＮ細胞に対して周囲のＯＮ細胞）に対応する可能性がある。符号化器モジュール１０４が１つよりも多い符号化器を有する場合には、符号化器は、独立して、又は少なくとも１つ又はそれよりも多くの結合機構を通じたいずれかで並列作動させることができる。

図２は、符号化器モジュール１０４の例示的な実施形態の作動を示す流れ図である。段階２０１において、符号化器モジュール１０４は、カメラ１０２（又はあらゆる他の適切な供給源）から一連の画像を受け入れる。任意的な段階２０２では、画像のコントラスト／強度を再スケーリングし、画像にノイズフィルタを適用し、かつ画像を整えるなどのためにこれらの生画像が予備処理を受ける。

段階２０３では、画像に対する網膜細胞応答を示す情報を決定するように、生画像が処理される。例えば、一実施形態において、画像視野内の様々な位置に対して、符号化器は、画像ストリームを処理して、画像ストリームが網膜上に入射した場合に網膜細胞（又は細胞群）によって生成されると考えられる発火率に対応する時間依存の値を出力する。一実施形態において、発火率出力は、所定の時間ｔで位置（ｘ，ｙ）における要素が位置（ｘ，ｙ）おける網膜細胞の発火率に対応するビット行列であるようにフォーマット設定される。

一部の実施形態において、符号化器は、発火率とは別の測定基準を用いて網膜細胞の応答を示す情報を生成することができることに注意されたい。例えば、符号化器の出力は、細胞の活性化状態、細胞内電位、上述の起動電位等に対応することができると考えられる。

段階２０４では、段階２０３からの符号化された情報を用いて、機械視覚モジュール１０６による処理に適する画像（本明細書では「網膜画像」、又は時変画像を指す場合は「網膜画像ストリーム」又は「網膜画像データストリーム」と呼ぶ）が生成される。例えば、上述したように、符号化された情報が発火率の行列として出力される場合には、「網膜画像」内の各ピクセルの強度が、行列内の対応する要素の発火率値によって決定される発火率網膜画像を生成することができる（例えば、図３を参照されたい）。発火率とピクセル強度の間の線形関係、非線形関係、多項式関係、対数関係などを含むあらゆる適切な関係を使用することができる。発火率とピクセル強度の間の変換は、ルックアップテーブルの使用を含むあらゆる適切な技術を用いて実施することができる。一部の実施形態において、発火率は、網膜画像内で強度とは別の画像特性を用いて表すことができる。例えば、網膜画像が有色画像である実施形態において、各ピクセルの色空間座標は、発火率に対応することができると考えられる。

任意的な段階２０５では、網膜画像が後処理を受ける。例えば、再スケーリング、フィルタリング、トリミング、スムージングなどを含むあらゆる適切な処理技術を使用することができる。段階２０６では、網膜画像が、機械視覚モジュール１０６に出力される。

一部の実施形態において、段階２０４及び段階２０５を割愛することができることに注意されたい。この場合に、処理に向けて符号化器の出力を機械視覚アルゴリズムに直接に送信ことができる。当業者には明らかであろうが、一部の場合には、この直接送信は、従来の画像データとしてフォーマット設定されていない入力データを受け入れるような公知の機械視覚アルゴリズムの修正を必要とする可能性がある。しかし、多くの実施形態において、この直接送信は、特定のアルゴリズムの基本概念の修正の必要なく直接的にもたらすことができる。

一部の実施形態において、各符号化器は、時空変換段階が続く予備処理段階を実施する。予備処理段階は、実世界画像Ｉを時空変換の作動範囲にある量Ｘに写像する処理デバイスの予備処理プロセッサモジュール内に実施することができる再スケーリング段階である。Ｉ及びＸは時変量であり、すなわち、Ｉ（ｊ，ｔ）が、各場所ｊ及び時間ｔにおける実画像の強度を表し、Ｘ（ｊ，ｔ）が、対応する予備処理段階出力を表すことに注意されたい。ａ及びｂが、実世界画像強度の範囲を時空変換の作動範囲に写像するように選択された定数である時に、予備処理段階は、Ｉ（ｊ，ｔ）がＸ（ｊ，ｔ）にＸ（ｊ，ｔ）＝ａ＋ｂＩ（ｊ，ｔ）によって写像されるように写像を行うことができる。

再スケーリングは、変数履歴を用いて、量ａ及びｂを決定するために行うことができ、異なる条件（例えば、異なる照明又は異なるコントラスト）の下でこれらの量の値を設定するためにスイッチを使用することができる。

グレースケール画像では、Ｉ（ｊ，ｔ）及びＸ（ｊ，ｔ）は、各場所ｊ及び時間ｔに対して１つの値を有する。

有色画像では、同じ手法が使用されるが、赤色、緑色、及び青色という各色チャンネルに別々に適用される。一実施形態において、強度Ｉ（ｊ，ｔ）は、各場所ｊ及び時間ｔに対して３つの値（Ｉ₁，Ｉ₂，Ｉ₃）を有し、これらの３つの値Ｉ₁、Ｉ₂、Ｉ₃は、それぞれ赤色、緑色、及び青色の強度を表している。次に、各強度値は、それに対応するＸ値（Ｘ₁，Ｘ₂，Ｘ₃）に上述の変換によって再スケーリングされる。

一実施形態において、時空変換段階は、線形−非線形カスケード（ＣｈｉｃｈｉｌｎｉｓｋｙＥＪ２００１年、Ｓｉｍｏｎｃｅｌｌｉ他２００４年において吟味されている）を用いて実施され、この場合に、各神経節細胞ｍにおける発火率λｍは、次式によって与えられる（１）。
ここで、^*は、時空畳み込みを表し、Ｌ_mは、ｍ番目の細胞の時空カーネルに対応する線形フィルタであり、Ｎ_mは、ｍ番目の細胞の非線形性を説明する関数であり、前節と同じくＸは、予備処理段階の出力であり、ｊは、ピクセルの場所であり、ｔは、時間である。この場合に、上述したように、発火率網膜画像を生成するために発火率λ_mを使用することができる。

Ｌ_mは、空間関数と時間関数との積としてパラメータ化される。例えば、一実施形態において、空間関数は、格子（例えば、カメラ内のデジタル化された画像）上の各ピクセルにおける重みから構成されるが、他の変形では、格子上の直交基底関数の和を使用することができる。一実施形態において、格子は、１０×１０のピクセルアレイからなり、合計で２６度×２６度の視覚空間を助けるが（この場合に、各ピクセルは視空間内で２．６度×２．６度である）、他の変形を使用することもできる。例えば、網膜神経節細胞に対応する視空間区域は、網膜上の空間位置と共にかつ種属毎に変化するので、合計アレイサイズは変化する可能性がある（例えば、１０×１０のピクセルアレイ内の各ピクセルにおいて０．０１度×０．０１度から３度×３度又はその前後に対応する０．１度×０．１度から３０度×３０度又はその前後で）。これらの角度範囲及びピクセルアレイサイズは、１つの特定の実施形態の例示のために提供したものに過ぎず、他の度数範囲又はピクセルアレイサイズが本発明によって含まれることは理解されるものとする。選択されたいずれかのアレイサイズでは、細胞が表す視空間内の区域の形状に基づいて、アレイ内のピクセル数も変化する可能性がある（例えば、１×１から２５×２５のピクセル又はその付近のアレイ）。同様に、時間関数は、いくつかの時間ビンにおける重みと、他の時間ビンにおける対数時間の二乗余弦関数との和から構成される（Ｎｉｒｅｎｂｅｒｇ他２０１０年、ＰｉｌｌｏｗＪＷ他２００８年）。直交基底関数の和のような他の変形を使用することもできる。

この実施形態において、時間サンプルは、１．２秒の合計持続時間において各々が６７ｍｓの１８個の時間ビンにわたるが、他の変形を使用することもできる。例えば、異なる神経節細胞は異なる時間特性を有するので、ビンによって埋められる持続時間、及び細胞の動特性を表すのに必要とされるビン数は変化する可能性がある（例えば、０．５秒から２．０秒又はその付近の持続時間、及び５から２０又はその付近のビン数）。時間特性は、種属にわたって変化する可能性もあるが、この変化は、上述の範囲によって含まれることになる。

式１は、符号化器の出力の過去の履歴（すなわち、細胞ｍによって既に生成されたスパイク列）及び他の神経節細胞の出力の過去の履歴に基づいて、符号化器の出力を修正する項を含むように修正することができる（Ｎｉｒｅｎｂｅｒｇ他２０１０年、ＰｉｌｌｏｗＪＷ他２００８年）。

別の実施形態において、線形フィルタＬ_mは、各々が空間関数と時間関数の積であるＱ個の項の和としてパラメータ化される。
ここで、
は、外積を表し、Ｓ_k及びＴ_kは、ｋ番目の空間関数及び時間関数それぞれである（ｋは１からＱの範囲にわたる）。

この実施形態において、個々の空間関数は、上述したように、例えば、格子上の各ピクセルにおける重みとして、又は格子上の直交基底関数の和としてパラメータ化することができる。個々の時間関数は、ここでもまた、例えば、いくつかの時間ビンにおける重みと、他の時間ビンにおける対数時間の二乗余弦関数との和としてパラメータ化することができる。直交基底関数の和のような他の変形を使用することもできる。

一実施形態において、Ｑは２であり、Ｌ_mは次式のように書くことができる。
ここで、
は、外積を表し、Ｓ₁とＴ₁とは、空間関数と時間関数とで構成される第１の対であり、Ｓ₂とＴ₂とは、空間関数と時間関数とで構成される第２の対である。

Ｌに関するパラメータの両方の組（空間と時間との）において、分解能（ピクセルサイズ、ビンサイズ）及びスパン（ピクセル数、時間ビン数）の選択は、網膜の符号に対してある程度近い代用符号を取得する必要性、及びパラメータを実用的な最適化手順（例えば、補綴出願に詳述されている）によって決定することができるようにパラメータ数を十分に小さく保つ必要性という２つのファクタによって決定することができる。例えば、パラメータ数が過度に小さいか又は分解能が過度に低い場合には、代用符号は、十分には正確にならない。パラメータ数が過度に大きい場合には、最適化手順は過剰適合に悩まされることになり、変換（式１）は一般化されないことになる。基底関数の適切な組の使用は、パラメータ数を低減し、従って、過剰適合を回避するという手法、すなわち、「次元低減」方法である。例えば、時間関数（各々が６７ｍｓである１８個の時間ビンをカバーする）は、１０個の重みと基底関数との和によってパラメータ化することができ、補綴出願の「Ｅｘａｍｐｌｅ１，Ｍｅｔｈｏｄｏｆｂｕｉｌｄｉｎｇｔｈｅｅｎｃｏｄｅｒ（例１、符号化器を構成する方法）」という節及び（Ｎｉｒｅｎｂｅｒｇ他２０１０年、ＰｉｌｌｏｗＪＷ他２００８年）を参照されたい。

非線形性Ｎ_mは、３次スプラインとしてパラメータ化されるが、区画的線形関数、高次スプライン、テイラー級数、及びテイラー級数の商のような他のパラメータ化を使用することができる。一実施形態において、非線形性Ｎ_mは、７つのノットを有する３次スプライン関数としてパラメータ化される。ノット数は、非線形性の形状が正確に捕捉され、同時に過剰適合（上述の過剰適合の解説を参照されたい）が回避されるように選択される。端点を制御するのに少なくとも２つのノットが必要とされ、この場合に、ノット数は、約２から少なくとも約１２の範囲にわたるとすることができる。ノットは、モデルの線形フィルタ出力によって与えられる値の範囲をカバーするように離間される。

時空変換段階では、上述の線形−非線形（ＬＮ）カスケードに加えて、別の写像も本発明の範囲にある。別の写像は、人工神経網、及び線形−非線形−線形（ＬＮＬ）カスケードのような他のフィルタ組合せを含むが、これらに限定されない。更に、時空変換は、履歴依存性を与えるためにスパイク発生器段（下記を参照されたい）からのフィードバックを組み込み、（ＰｉｌｌｏｗＪＷ他２００８年、Ｎｉｃｈｏｌｓ他２０１０年）にあるように神経細胞の間の相関を含むことができる。例えば、これは、付加的なフィルタ関数をスパイク発生器の出力を用いて畳み込み、これらの畳み込みの結果を式１における非線形性の引数に加算することによって実施することができる。

時空変換段階に他のモデルを使用することができる。これらのモデルの非限定的な例は、ＰｉｌｌｏｗＪＷ他２００８年に記載されているモデルと、動的利得制御と、ニューラルネットワークと、形式及び係数が実験データによって決定される離散した時間ステップで近似された積分、微分、及び通常の連立代数方程式の解として表されたモデルと、線形投影（時空カーネルを用いた入力の畳み込み）、並びに形式及び係数が実験データによって決定される非線形歪曲（パラメータ化された非線形関数による得られるスカラー信号の変換）から構成されるステップシーケンスの結果として表されたモデルと、時空カーネルが少数の項の和であり、これらの項の各々が、実験データによって決定された空間変数の関数と空間変数の関数と時間変数の関数との積であるモデルと、これらの空間関数及び／又は時間関数が、空間サンプル又は時間サンプルの個数よりも小さいサイズと、実験データによって決定された重みとを有する１組の基底関数の線形結合として表されるモデルと、非線形関数が１つ又は複数の分割区画で構成され、これらの分割区画の各々が、実験データによって決定された切点及び／又は係数を有する多項式であるモデルと、上述のモデルの出力を加算、減算、乗算、割算、累乗根、累乗、及び超越関数（例えば、指数、正弦、及び余弦）のような計算段階を経て時に再帰的に組み合わせるモデルとを含む。

補綴出願に記載されているように、上述のタイプの符号化器は、実網膜細胞の入力／出力機能を非常に厳密に模倣することができる。本出願に詳述されているように、一部の場合には、この模倣は、各ピクセルにおいて再現される網膜画像の値とそれに対応する生画像の値との間の標準のピアソン相関係数を決定することによって特徴付けることができる。この場合に、１という相関係数は、元の画像の情報の全てが完全に保持されていたことを示し、それに対して０という相関係数は、実画像への再現画像の類似性がゼロであったことを示す。

例えば、一部の実施形態において、符号化器は、試験入力刺激と、試験入力刺激に応答して符号化器によって生成されることになる符号化されたデータから再現される対応する刺激との間のピアソン相関係数が、０．３５〜１．０の範囲又はその部分的範囲、例えば、少なくとも約０．３５、０．６５、少なくとも約０．９５、又はそれよりも多くであるように構成される。一部の実施形態において、試験入力刺激は、一連の自然の光景（例えば、時空的に変化する光景）を含む。

一部の実施形態において、本明細書に説明するタイプの網膜符号化器は、広範な入力、例えば、時空的に変化する自然光景に対する実網膜細胞の入力／出力機能を模倣する。一般的な実施形態において、この性能は、従来の符号化器よりも実質的に良好である。

図１８Ａ〜図１８Ｆは、風景、歩いている人々などを含む自然光景の動画を用いて試験した場合の様々な細胞（細胞１〜６それぞれ）の網膜符号化器モデルの性能を示す。各図には、従来の線形−非線形（ＬＮ）モデルの性能を左に、本出願に説明するタイプの線形−非線形（ＬＮ）モデルの性能を右に示している。ラスタープロット及び刺激前後時間ヒストグラム（ＰＳＴＨ）によって性能を示している。従来の（ＬＮ）モデルは、白色ノイズ刺激に対する網膜細胞の実験応答だけに基づいて開発したものである。それとは対照的に、本出願に説明するタイプの線形−非線形（ＬＮ）モデルは、白色ノイズ刺激と自然光景刺激の両方に対する記録細胞応答に基づいて開発される。

図示の例では、両方のタイプのモデルに対する入力試験刺激は、ニューヨーク市内のセントラルパークにおいて撮影された自然光景の動画である。図示のように、標準のＬＮモデルは、自然光景刺激に対してそれ程有効ではなく、すなわち、白色ノイズ刺激を用いて構成されたこのモデルは、実細胞のものに厳密に一致するスパイクパターンを生成しない。それとは対照的に、本出願で説明する白色ノイズ刺激と自然光景刺激とを用いて構成されたＬＮモデルは非常に有効である。このモデルが生成するスパイクパターンは、実細胞のものに厳密に一致する。（これらのモデルを試験するのに用いた自然光景動画は、あらゆるモデルを検証するのに必要とされるモデルをトレーニングする段階に使用されるものとは異なることに注意されたい。各図では、両方のタイプのモデルに対する土台として、同じ実細胞が使用されていることにも注意しなければならない。最後に、本明細書に説明するタイプの符号化器モデルの性能は、補綴出願、並びにＮｉｒｅｎｂｅｒｇ他の「Ｒｅｔｉｎａｌｐｒｏｓｔｈｅｔｉｃｓｔｒａｔｅｇｙｗｉｔｈｔｈｅｃａｐａｃｉｔｙｔｏｒｅｓｔｏｒｅｎｏｒｍａｌｖｉｓｉｏｎ（正常視覚を回復する機能を有する人工網膜補綴法）」、ＰＮＡＳ２０１２年、及びｗｗｗ．ｐｎａｓ．ｏｒｇ／ｌｏｏｋｕｐ／ｓｕｐｐｌ／ｄｏｉ：１０．１０７３／ｐｎａｓ．１２０７０３５１０９／−ＤＣＳｕｐｐｌｅｍｅｎｔａｌにおいて入手可能な関連する補足情報の欄に示すように、顔、歩いている人々、遊んでいる子供、風景、木々、小動物のような動画を含む多くの他の刺激を用いて明らかにされていることに注意されたい。）

性能に関する同じ結論をＰＳＴＨから引き出すことができる。明灰色の軌跡は、実細胞の平均発火率を示しており、暗灰色の軌跡は、モデル細胞の平均発火率を示す。標準のＬＮモデルは、発火率の多くの特徴を捕捉し損ねており、異なる図１８Ａ〜図１８Ｆの各々が、標準モデルが捕捉し損ねた異なる特徴の例を示す。しかし、本出願に説明するモデルは、発火率の特徴を確実に捕捉し、様々な異なる細胞においても同じく捕捉する（多くの他の例は、補綴出願に示されている）。

図３Ａは、生画像の網膜画像への変換を示す。パネルＡは、カメラ１０２によって得られた生画像ストリームのいくつかのフレームを示す。図示のように、生画像ストリームは、複雑な環境を通って歩く人物を含む。パネルＢは、網膜画像ピクセル強度が、符号化器モジュール１０４の符号化器によって生成される発火率に対応する上述のフレームに対応する網膜画像フレームを示す。各々が異なる細胞アレイ（図示のように、ＯＦＦミジェット細胞、ＯＮミジェット細胞、ＯＦＦパラソル細胞、及びＯＮパラソル細胞）を用いた４つの異なる網膜画像ストリームを示す。図示の網膜画像フレームは、自然の網膜内での処理遅延時間（図示のものでは約８０ｍｓ）に対応する短い時間遅延の後に符号化器モジュール１０４によって生成されたものであることに注意されたい。

網膜画像内に含まれる全情報量が、生画像のものよりも少ないことが明らかであることに注意されたい。この情報の減少は、機械視覚に対する処理負荷を有利に軽減することができる。更に、符号化器は網膜の挙動を模倣するので、いくつかの機械視覚用途では、網膜画像内に保持される情報は、既存の機械視覚のタスクに必要とされる際立った特徴を含むことになり、機械視覚モジュール１０６の効率的かつ有効な作動を可能にする。

図３Ｂ〜図３Ｆは、図３Ａの最終列に対応する生画像（図３Ｂ）及び網膜画像（図３Ｃ〜図３Ｆ）の拡大図を示す。生画像では、比較的静的であるが複雑な環境内で人影が右から左に移動している。網膜画像の全て（図３Ｃ〜図３Ｆ）において、静的環境を様々な度合で弱調しており、それに対して移動する人影を強調していることに注意されたい。更に、両方の画像において、人影に追従して運動方向の示唆を与える「モーションシャドウ」型の効果が明らかである。それに応じて画像内に含まれる全体の情報量は低減されているが、残っているものは、重要な特徴、すなわち、移動する人影を強調している。

これらの効果は、いずれかの意図的に設計されたプログラミングの結果であることに注意されたい。すなわち、符号化器は、移動特徴を識別するように意図的にプログラムされたものではない。そうではなく、これらの特徴の強調は、符号化器が、網膜内で発生する自然な処理を模倣することの結果である。この例では、ある一定のタイプの強調された特徴が明らかであるが（静的背景に対して移動する人影）、他のタイプの入力画像では、網膜は、他のタイプの特徴を強調する可能性があることは理解されるものとする。重要な概念は、一般的に、画像のいずれか所定の組において強調される特徴が、何百万年にもわたる網膜の進化に基づいて際立っていると決定されるものになるということである。それに応じて、以下に詳細に説明するように、網膜画像は、生物学的視覚システムが良好に機能することは公知の機械視覚用途（例えば、顔認識のようなある一定のタイプのパターン認識タスク、複雑な背景に対する人影又は他の生物の影の識別、複雑な環境を通じたナビゲーション、移動物体の迅速な追跡及びそれに対する反応等）に使用される場合に特に有利になる。

一部の実施形態において、符号化器は、正常又はほぼ正常な網膜によって実施される符号化とほぼ同じ時間スケールで画像データを符号化する。様々な実施形態において、符号化器は、許容範囲での処理遅延時間を伴って作動する。本明細書に使用する処理遅延時間は、カメラ１０２によって感受される視覚刺激におけるイベントの発生と機械視覚モジュール１０６への対応する出力符号（例えば、対応する網膜画像）の供給の間の時間量を意味する。一部の実施形態において、符号化モジュールは、５〜５０ｍｓの範囲又はその部分的範囲、例えば、約５０ｍｓよりも短い、約２０ｍｓよりも短い、約１０ｍｓよりも短い、約５ｍｓよりも短い遅延時間、及び類似の遅延時間を有する。

再度図１を参照すると、機械視覚モジュール１０６は、符号化器モジュール１０４から網膜画像を受け入れ、あらゆる適切な機械視覚技術を用いて画像を処理する。本明細書ではいくつかのそのような技術に言及するが、これらの例は限定的ではなく、他の技術を使用することができることは理解されるものとする。例えば、様々な実施形態において、Ｄ．Ａ．Ｆｏｒｓｙｔｈ、Ｊ．Ｐｏｎｃｅによる「ＣｏｍｐｕｔｅｒＶｉｓｉｏｎ：ＡＭｏｄｅｒｎＡｐｐｒｏａｃｈ（コンピュータ視覚：最新手法）第２バージョン」、ＰｒｅｎｔｉｃｅＨａｌｌ、２０１１年、及び／又はＤ．Ｈ．Ｂａｌｌａｒｄ、Ｃ．Ｍ．Ｂｒｏｗｎによる「ＣｏｍｐｕｔｅｒＶｉｓｉｏｎ（コンピュータ視覚）」、Ｐｒｅｎｔｉｃｅ−ＨａｌｌＩｎｃ、ＮｅｗＪｅｒｓｅｙ、１９８２年（ｈｔｔｐ：／／ｈｏｍｅｐａｇｅｓ．ｉｎｆ．ｅｄ．ａｃ．ｕｋ／ｒｂｆ／ＢＯＯＫＳ／ＢＡＮＤＢ／ｂａｎｄｂ．ｈｔｍにおいてオンライン入手可能）、Ｒ．Ｓｚｅｌｉｓｋｉによる「ＣｏｍｐｕｔｅｒＶｉｓｉｏｎ：ＡｌｇｏｒｉｔｈｍｓａｎｄＡｐｐｌｉｃａｔｉｏｎｓ（コンピュータ視覚：アルゴリズム及びアプリケーション）」、Ｓｐｒｉｎｇｅｒ、２０１０年（ｈｔｔｐ：／／ｓｚｅｌｉｓｋｉ．ｏｒｇ／Ｂｏｏｋ／ｄｒａｆｔｓ／ＳｚｅｌｉｓｋｉＢｏｏｋ_２０１００９０３_ｄｒａｆｔ．ｐｄｆにおいてオンライン入手可能）、並びにＥ．Ｒ．Ｄａｖｉｅｓによる「ＣｏｍｐｕｔｅｒａｎｄＭａｃｈｉｎｅＶｉｓｉｏｎ，ＦｏｕｒｔｈＥｄｉｔｉｏｎ：Ｔｈｅｏｒｙ，Ａｌｇｏｒｉｔｈｍｓ，Ｐｒａｃｔｉｃａｌｉｔｉｅｓ（コンピュータ及び機械視覚第４バージョン、理論、アルゴリズム、実用性）」、Ｅｌｓｅｖｉｅｒ、２０１２年に記載されている技術のうちの１つ又はそれよりも多くを使用することができる。

様々な実施形態において、機械視覚モジュール１０６は、１つ又はそれよりも多くの利用可能なコンピュータ視覚アルゴリズム又はソフトウエアツール、例えば、ｈｔｔｐ：／／ｏｐｅｎｃｖ．ｗｉｌｌｏｗｇａｒａｇｅ．ｃｏｍ／ｗｉｋｉ／ｏｒｔｈｅＧａｎｄａｌｆｃｏｍｐｕｔｅｒｖｉｓｉｏｎｓｏｆｔｗａｒｅｐａｃｋａｇｅ，ａｖａｉｌａｂｌｅａｔｈｔｔｐ：／／ｇａｎｄａｌｆ−ｌｉｂｒａｒｙ．ｓｏｕｒｃｅｆｏｒｇｅ．ｎｅｔ／において入手可能なＯｐｅｎＣＶソフトウエアパッケージ内に含まれているものうちのいずれかを実施することができる。

機械視覚モジュール１０６は、認識タスク（例えば、物体認識、画像分類、顔認識、光学文字認識、コンテンツに基づく画像取得、姿勢推定等）、運動解析タスク（例えば、自己運動決定、移動追跡、オプティカルフロー決定等）、モデル化タスク（例えば、光景再現、３Ｄボリューム認識等）を含むあらゆる適切なタスクを実施するのに網膜画像を使用することができる。

一部の実施形態において、機械視覚モジュール１０６は、視野を均等又は不均等にサイズが決定されたドメインに分割することができる。ドメインは、重なっても、そうでなくてもよい。ドメインは、視野のうちのある帯域を（例えば、水平軸上で全体の視野を垂直軸上で限られた範囲を）カバーするか又は視野全体をカバーすることができる。

一部の実施形態において、機械視覚モジュール１０６は、例えば、Ｃａｎｎｙエッジ検出のような１次エッジ検出技術、２次エッジ検出技術、又は位相合同に基づくエッジ検出技術を含む境界エッジ検出技術を網膜画像に適用することができる。エッジ検出は、１つ又はそれよりも多くの変換、例えば、ハフ変換の網膜画像への適用を含むことができる。

一部の実施形態において、機械視覚モジュール１０６は、網膜画像ストリームに基づいてオプティカルフローを計算することができる。オプティカルフローは、閲覧体（目又はカメラ）と光景の間の相対運動によってもたらされる視覚光景内の物体、面、及びエッジの見かけ上の運動のパターンを示すことができる。オプティカルフローは、運動検出、物体領域分割、衝突余裕時間計算、及び拡大フォーカス計算を含む幾つもの用途に使用することができる。オプティカルフローを計算する方法は、位相相関法、ブロック単位の方法、差法（ルーカス−カナデ法、ホーン−シャンク法、バクストン−バクストン法、及びブラック−ジェプソン法のような）、変分法、離散最適化方法などを含むことができる。

一部の実施形態において、機械視覚モジュール１０６は、網膜画像を領域分割する（例えば、着目区域を識別するために）１つ又はそれよりも多くの画像領域分割技術を適用することができる。例示的な領域分割技術は、閾値処理、クラスター化方法、圧縮利用方法、ヒストグラム利用方法、エッジ検出（例えば、上述のエッジ検出技術を用いた）、領域成長法、分割統合法、偏微分方程式利用方法（例えば、レベルセット法）、グラフ分割法、分水界変換利用方法、モデル利用領域分割法、マルチスケール領域分割、半自動領域分割、ニューラルネットワーク利用領域分割などを含む。

様々な実施形態において、機械視覚モジュール１０６は、当業技術で公知のいずれかのコンピュータ学習技術を用いてトレーニングすることができる。コンピュータ学習技術は、教師あり学習（例えば、統計分類技術を含む）、教師なし学習、強化学習などを含む。一部の実施形態において、機械視覚モジュール１０６は、様々なタスクを実施するようにトレーニングすることができる１つ又はそれよりも多くの人工ニューラルネットワークを含むことができる。

図４は、機械視覚システム１００の機械視覚モジュール１０６をトレーニングするための例示的なトレーニングシステム４００を示す。トレーニングシステムは、生トレーニング画像の供給源４０２（例えば、格納画像データベース）と、生トレーニング画像に基づいて本明細書に説明する技術を用いて網膜画像を生成する符号化器モジュール４０４と、符号化器から網膜画像を受け入れる機械視覚モジュール１０８と、機械視覚モジュールの作動をモニタして、モニタする性能に基づいてこの作動を修正するコントローラ４０６とを含む。

図５は、トレーニングシステム４００の作動を示す流れ図である。段階５０１において、符号化器４０４は、供給源４０２からトレーニング画像を受け入れる。例えば、トレーニング画像は、第１の部分が悪性腫瘍に対応することが既知であり、それに対して第２の部分が良性腫瘍に対応する一連の腫瘍の医療画像とすることができる。

段階５０２では、符号化器が、生トレーニング画像を網膜画像に変換する。段階５０３では、網膜画像が、機械視覚モジュール１０６に出力される。

段階５０４では、コントローラ４０６が、タスクを実施するために網膜画像を処理している機械視覚モジュール１０６の性能をモニタする。医療画像の場合には、機械視覚モジュール１０６は、悪性腫瘍画像を良性腫瘍画像から区別する画像認識技術を適用することができる。コントローラは、このタスクを実行している（例えば、悪性腫瘍を識別するために誤差率を計算している）機械視覚モジュール１０６の性能をモニタする。性能が許容範囲にある場合には、処理は、段階５０５において終了する。性能が許容範囲外にある場合（例えば、誤差率が閾値レベルよりも大きい場合）には、段階５０６において、コントローラ４０６は、機械視覚モジュール１０６を調節し（例えば、１つ又はそれよりも多くのパラメータを修正すること、人工ニューラルネットワークにおける接続を変更することなどにより）、処理は、段階５０３に戻る。それに応じてコントローラ４０６は、機械視覚モジュール１０６が許容範囲レベルに達する（例えば、誤差率が閾値レベルよりも小さくなる）まで、それを反復的に調節する。

様々な実施形態において、他の適切なタイプのトレーニングを使用することができることに注意されたい。例えば、固定の閾値に対して性能を比較することに加えて又はその代わりに、トレーニングは、収束基準（例えば、反復毎の性能の増分がある閾値レベルよりも小さくなるまでトレーニングを続行する）を別途実施することができる。

様々な実施形態において、機械視覚モジュール１０６は、複雑な人工知能利用システムの使用を含むあらゆる適切な制御技術を含むことができる。しかし、一部の用途では、機械視覚モジュール１０６は、比較的単純な制御手法を実施することができる。いくつかのそのような実施形態において、機械視覚１０６は、符号化器モジュールから受け入れる網膜画像の比較的単純なその時々の分類に基づいて１つ又はそれよりも多くのシステムの作動の一部又は全て（例えば、ロボットの移動軌道）を制御する。すなわち、制御は、複雑な計画に依存するのではなく、時間的に局在化された分類に依存する。有利な態様においては、当業技術で公知の学習アルゴリズムが、これらのタイプの比較的単純な分類タスクの実施に適することは公知である。

例えば、図６を参照すると、一実施形態において、機械視覚システム１００は、障害物、例えば、図示のように迷路を特徴として含む環境の中を通って進むようにロボット６００を制御するのに使用される。機械視覚システムのカメラ１０２は、ロボット６００上に装着され、ロボットの前にある光景を取り込む視野を有する。

カメラ１０２からの映像ストリームは、網膜画像ストリームを生成するように符号化器モジュール１０４によって処理される。１つの場合には、符号化器モジュールは、ネズミの網膜神経節細胞の作動を模倣することができる（例えば、「Ｅｘａｍｐｌｅｓｅｔｏｆｅｎｃｏｄｅｒｐａｒａｍｅｔｅｒｓｆｏｒａｍｏｕｓｅｇａｎｇｌｉｏｎｃｅｌｌ（ネズミの神経節細胞に対する符号化器パラメータセット例）」という名称の補綴出願の部分節に示されている符号化器パラメータによって特徴付けられる符号化器を用いて）。別の場合には、符号化器モジュールは、サルの網膜神経節細胞の作動を模倣することができる（「サルの神経節細胞に対する符号化器パラメータセット例」という名称の補綴出願の部分節に示されている符号化器パラメータによって特徴付けられる符号化器を用いて）。

網膜画像ストリームは、例えば、オプティカルフロー技術を用いて、画像内の様々な場所における運動速度を決定するように処理される。一般的に、画像内で遅い速度を有する場所又はドメインは、ロボット６００から遠距離にある物体に対応することになり、それに対して速い速度を有する場所は、ロボット６００に近い物体に対応することになる。障害物に衝突するのを回避するために、機械視覚モジュール１０６は、画像内でより遅い移動箇所に対応する方向に移動するようにロボットを制御する。

例えば、一実施形態では（図７に示す）、視野（すなわち、網膜画像データストリーム）は、画像領域分割段階７０２によってＮ＝７の均等にサイズが決定された領域に分割される。この実施形態では領域は重なり合わず、これらの領域は、各領域が、水平に５．７°にわたるようにカメラの水平視野（４０°である）を左右に分割し、垂直方向には、垂直に１３．５°にわたるようにナビゲータの視野（２７°である）の下半域に制限される。規則的な期間で（例えば、２秒毎に）、２つの連続する網膜画像が網膜画像シーケンスから得られ、分類に向けて機械視覚モジュール１０６に送られる。各網膜画像はＮ個の領域に分割されるので、機械視覚モジュールは、Ｎ個の領域対を受け入れる。各対は、この領域内のオプティカルフロー速度を分類する畳み込みニューラルネットワーク（ＣＮＮ）７０４を通過する。この分類の出力は、各領域ｉに対する速度ラベルＬ_iとすることができ、この場合に、Ｌ_iは１とＭの間の数であり、１は領域内の非常に遅い平均速度を表し、Ｍは非常に速い平均速度を表している。例えば、８つの異なる速度分類が存在するように、Ｍを８とすることができる。

結果は、Ｎ分類のアレイ７０６であり、これらに基づいて、ターン決定モジュール７０８によってターン決定が行われる。「ターゲット領域」（目指す領域）は、最も遅い速度分類、すなわち、最小数Ｌ_iを有する領域であるように選択される。最も遅い速度分類を有することに関して対等な複数の領域が存在する場合には、ターン決定モジュール７０８は、システムの望ましい使用に基づいて中心に最も近い領域を選択する（ターン量を最小にするために）、又はあらゆる他の領域を選択することができる。ターゲット領域が選択されると、機械視覚モジュール１０６（具体的には機械視覚モジュール１０６内のターン決定モジュール７０８）は、ナビゲータが、ターゲット領域の中心に向くことになるようにターンを開始する。

上述の例は、ロボットのナビゲーションに対して言及したものである。様々な実施形態において、上述の技術は、下記の例で説明するように、仮想世界を通じたナビゲーションを含む他のタイプのナビゲーションに使用することができることは理解されるものとする。

例えば、機械視覚モジュール１０６は、網膜画像ストリームの画像視野をいくつかの領域又はドメインに分割し、領域を速度カテゴリに分類し、かつ最低速度カテゴリ内の画像領域に対応する方向に移動するようにロボット６００を制御することによって障害物を識別して回避することができる。機械視覚モジュール１０６は、上記に記載し、下記の例にあるＣＮＮ又はブースティングアルゴリズム（例えば、アダブーストアルゴリズム、ＹｏａｖＦｒｅｕｎｄ，ＲｏｂｅｒｔＥ．Ｓｃｈａｐｉｒｅによる「ＡＤｅｃｉｓｉｏｎ−ＴｈｅｏｒｅｔｉｃＧｅｎｅｒａｌｉｚａｔｉｏｎｏｆｏｎ−ＬｉｎｅＬｅａｒｎｉｎｇａｎｄａｎＡｐｐｌｉｃａｔｉｏｎｔｏＢｏｏｓｔｉｎｇ（オンライン学習の決定理論的一般化及びブースティングへの適用）」、１９９５年を参照されたい）のような比較的単純なトレーニングアルゴリズムを用いてこの分類タスクを実施するようにトレーニングすることができる。

一般的に、これらのデバイス及び技術は、医療画像処理（例えば、自動又はコンピュータ支援の医療診断）、ロボットの制御又はナビゲーション、産業工程のモニタリング及び制御、自動仕分け用途、運動追跡に基づくインタフェース（例えば、コンピュータゲームシステムと共に使用される）などを含むあらゆる適切な用途に使用することができる。本明細書に説明するデバイス及び技術は、実時間又はほぼ実時間で作動させることができ、例えば、上述の用途の実用的な自動化を可能にする。

実施例−仮想世界ナビゲーション
機械視覚に対する１つの手法の有効性を評価する一実施例において、それが特に困難であるので（空間と時間の両方で処理することを必要とするので）、ナビゲーションタスクを用いた。この手法は、例えば、各々がその全体が引用によって本明細書に組み込まれているＬｅＣｕｎ，Ｙ．他（２０１０年）「ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｔｗｏｒｋｓａｎｄＡｐｐｌｉｃａｔｉｏｎｓｉｎＶｉｓｉｏｎ（畳み込みネットワーク及びビジョンにおける適用）」、Ｐｒｏｃ．ＩｎｔｅｒｎａｔｉｏｎａｌＳｙｍｐｏｓｉｕｍｏｎＣｉｒｃｕｉｔｓａｎｄＳｙｓｔｅｍｓ（回路及びシステムに関する国際シンポジウム会報）（ＩＳＣＡＳ’１０）、２５３〜２５６ページ、ＩＥＥＥ、Ｓｚａｒｖａｓ，Ｍ．他（２００５年）「Ｐｅｄｅｓｔｒｉａｎｄｅｔｅｃｔｉｏｎｗｉｔｈｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓ（畳み込みニューラルネットワークを用いた歩行者検出）」、Ｐｒｏｃ．ＩｎｔｅｌｌｉｇｅｎｔＶｅｈｉｃｌｅｓＳｙｍｐｏｓｉｕｍ（インテリジェント車両シンポジウム会報）、２２４〜２２９ページ、ＩＥＥＥ、Ｊａｃｋｅｌ，Ｌ．Ｄ．他（２００６年）「ＴｈｅＤＡＲＰＡＬＡＧＲｐｒｏｇｒａｍ：Ｇｏａｌｓ，ｃｈａｌｌｅｎｇｅｓ，ｍｅｔｈｏｄｏｌｏｇｙ，ａｎｄｐｈａｓｅＩｒｅｓｕｌｔｓ（ＤＡＲＰＡＬＡＧＲプログラム：ターゲット、タスク、方法、及び段階Ｉの結果）」、ＪｏｕｒｎａｌｏｆＦｉｅｌｄＲｏｂｏｔｉｃｓ，２３（フィールドロボティクスジャーナル第２３号）、９４５〜９７３ページに記載されている、ナビゲーションにおいて一般的に使用されるいくつかの学習アルゴリズムの態様を適用した。これらの技術を用いて、畳み込みニューラルネットワークという学習アルゴリズムを用いて自体の環境を学習するナビゲータを構成した。ＣＮＮは、Ｔｈｅａｎｏと呼ばれるオープンソース数値処理及び自動微分パッケージ（ｈｔｔｐ：／／ｄｅｅｐｌｅａｒｎｉｎｇ．ｎｅｔ／ｓｏｆｔｗａｒｅ／ｔｈｅａｎｏ／において一般的に公開されている）を用いて構成した。

ナビゲータは、そのトレーニング環境内の物の速度を学習するように設計した。ナビゲータにはトレーニング環境を与え、トレーニング環境を各時点においてｎ個のドメインに分割するのにこのナビゲータを用いた。次に、ナビゲータは、ドメイン内の速度を学習する。速度は、ナビゲーションに対して有利な情報を提供する。何かが非常に高速に移動している場合には、それが、環境の中を進む仮想物体に非常に近いことを意味する（この何かは、網膜を横断して高速に移動している）。それが近い場合には、仮想物体は、それに衝突することになる可能性が高い。従って、ナビゲータは、環境内のドメインを評価し、次に、最も遅い速度を有するドメインに向けて移動する（最も遅い速度を有するものは最も遠く、最も安全である）。この例では、ナビゲータは、特定の終点を目指すように誘導されるのではなく、いかなるものとも衝突しないように誘導される。

より具体的には、この例では、図７に示す方法を用いて、ナビゲータが環境を移動している間に、その視野が、画像領域分割段階７０２によって７つの均等にサイズが決定められた領域に分割される。この実施形態では領域は重なり合わず、これらの領域は、各領域が、水平に５．７°にわたるようにカメラの水平視野（４０°である）を左右に分割し、垂直方向には、垂直に１３．５°にわたるようにナビゲータの視野（２７°である）の下半域に制限される。

各決定時点において、畳み込みニューラルネットワーク（ＣＮＮ）に基づくアルゴリズムが、ドメインの各々の内部のオプティカルフロー速度を分類する（段階７０４）。この分類の出力は、各ドメインｉに対する速度ラベルＬ_iであり（段階７０６）、この場合に、Ｌ_iは１と８の間の数であり、１はドメイン内の非常に遅い平均速度を表し、８は非常に速い平均速度を表している。

上述したように、これらの分類に基づいて、７つのドメインの各々に対して１回ずつ、ターン決定モジュールによってナビゲーション決定が行われる（７０８）。「ターゲットドメイン」（目指すドメイン）は、最も遅い速度分類を有するドメインであるように選択される。最も遅い速度分類を有することに関して対等な複数のドメインが存在する場合には、ナビゲータは、中心に最も近いものを選択し（ターン量を最小にするために）、依然として対等性が存在する場合には、左にあるドメインを選択することによってこの対等性を破る。ターゲット領域が選択された状態で、機械視覚モジュール（１０６）は、ナビゲータが、選択された領域の中心に向くことになるようにターンを開始する。

トレーニング及び試験に向けて、Ｐａｎｄａ３Ｄと呼ばれるオープンソース３Ｄレンダリングフレームワーク（ｈｔｔｐ：／／ｗｗｗ．ｐａｎｄａ３ｄ．ｏｒｇ／において一般的に公開されている）を用いて仮想環境を生成した。トレーニングセットからのフレームストリームを図８に示しており、３つの試験セットからのフレームストリームを図９Ａ、図９Ｂ、図９Ｃに示している。図示のように、トレーニングセットは田園環境である。３つの試験セットは、トレーニングセットに対して用いたものとは異なる田園環境、郊外環境、及び遊び場である。

ナビゲータの性能は、１）ナビゲータを標準手法で、すなわち、生画像ストリームを入力として用いてトレーニングした場合に、及び２）「網膜画像ストリーム」を入力として用いた場合に、すなわち、ナビゲータが、本出願人の符号化器を用いて処理された画像を用いた場合という２つの条件の下で比較された。この場合に、用いた符号化器は、各々がその全体が引用によって本明細書に組み込まれているＮｉｒｅｎｂｅｒｇ，Ｓ．及びＰａｎｄａｒｉｎａｔｈ，Ｃ．（２０１２年）「Ａｒｅｔｉｎａｌｐｒｏｓｔｈｅｔｉｃｗｉｔｈｔｈｅｃａｐａｃｉｔｙｔｏｒｅｓｔｏｒｅｎｏｒｍａｌｖｉｓｉｏｎ（正常な視覚を回復する機能を有する人工網膜）」、Ｐｒｏｃ．Ｎａｔｌ．Ａｃａｄ．（科学アカデミー会報）近刊、及びＮｉｒｅｎｂｅｒｇ，Ｓ．他（２０１１年）「ＲｅｔｉｎａｐｒｏｓｔｈｅｓｉｓａｎｄｔｈｅＰｒｏｓｔｈｅｓｉｓＡｐｐｌｉｃａｔｉｏｎｓ（人工網膜及び補綴用途）」に記載されている方法に従ってサルのミジェット細胞及びパラソル細胞を用いて生成した。

図１０Ａに示すように、ナビゲータが生画像ストリームからその環境を学習した時には、その性能は低く、多くの衝突が発生し、トレーニングセットから学習されたものは、新しい環境に対して一般化されない。図１０Ｂに示すように、ナビゲータが網膜画像ストリームから環境を学習した場合には、性能は劇的に良く、真っ直ぐな経路及び衝突の欠如に注意されたい。人工ナビゲーションシステム、一般的に機械学習アルゴリズムに対して難題であった問題である新しい環境（田園、郊外、遊び場）に対する明確な一般化が存在する。

図１１は、ナビゲータが入力として網膜画像ストリームを使用する場合のナビゲータの高い性能を更に明らかにするものである。具体的にこの図は、高い性能が異なる環境に対して一般化される（田園から郊外、更に、遊び場まで）だけでなく、環境内の異なる照明条件に対しても一般化されることを示す。ＡからＦは、遊び場環境における異なる太陽の位置、従って、異なる影条件に対応し、光条件は、日の出から日の入まで、すなわち、環境の左側の水平線の上方３０度から右側の水平線の上方３０度にわたる。図に示すように、ナビゲータを生画像ストリームに対してトレーニングした場合（田園環境から１つの照明条件を用いて）、ナビゲータの性能は一般化されず、遊び場における性能は低く、これは光条件にわたって適用される。図内の各棒グラフの高さは、ナビゲータが、遊び場のタイヤコース内でタイヤのうちの１つと衝突することもなく首尾良く留まった試行分率に対応する。誤差棒グラフは、平均の標準誤差（ＳＥＭ）を示す。それとは対照的に、ナビゲータを網膜画像ストリーム（同じ単一の照明条件を使用するが、今回は符号化器を通過して処理した同じ田園環境）に対してトレーニングした場合には、ナビゲータの性能は高く、高性能は光条件にわたって成り立つ。従って、網膜画像ストリームに対するトレーニング（すなわち、符号化器を通過して処理された画像に対するトレーニング）は、新しい環境及び複数の照明条件（日の出から日の入まで、上記を参照されたい）に対して一般化される高い性能をもたらす。

符号化器は、実時間で作動し、この処理技術を例えば実世界環境内でロボットの運動を制御するために非仮想環境に即座に適用することができることを示すことに注意されたい。

実施例−顔認識
この実施例は、機械視覚における別の積年の問題である映像内の顔の認識に対する本出願に説明する手法の有効性を評価する。顔認識及び歩行者検出において一般的に使用される学習アルゴリズム［Ｖｉｏｌａ及びＪｏｎｅｓ２００１年、Ｖｉｏｌａ、Ｊｏｎｅｓ、及びＳｎｏｗ２００５年を参照されたい］を用いて、映像内の個人の顔を認識するためのシステム、すなわち、過去に見たことがない画像ストリームを「ターゲット顔」対別の顔又は「非ターゲット」顔として分類することができるものを構成した。同じ手法は、歩行者検出、物体認識、物体追跡、全身認識、虹彩検出等であるが、これらに限定されない多くの他の目的に使用することができる。このシステムは、Ｐｙｔｈｏｎプログラミング言語及びＮｕｍＰｙ数値計算パッケージを用いて実行したものである。

この手法の実施形態を図１２で説明する。入力映像（生画像ストリーム）が網膜符号化器１０４を通され、網膜画像ストリームが生成される。このタスクは、顔に着目するので、網膜画像ストリームは、次に、顔を含む領域１２０２を位置付けるように整えられる。（トリミングは、符号化が実施される時のエッジ効果を回避するために符号化器が生ストリームを処理した後に行われる。）この例では、既知の顔例のトレーニング及び試験セットを構成するために、顔を含む領域を手動で選択した。他の実施形態において、顔を含む領域は、生画像ストリーム内又は処理された画像ストリーム内でＶｉｏｌａ−Ｊｏｎｅｓアルゴリズム［Ｖｉｏｌａ及びＪｏｎｅｓ２００１年］を用いて検出することができる。整えられた映像は、次に、分類器１２０６（例えば、Ｖｉｏｌａ、Ｊｏｎｅｓ、及びＳｎｏｗ２００５年にあるもののようなハールフィルタの強化カスケードに基づくもの）を通過して供給される。分類器１２０６は、この映像を「ターゲット顔」（映像がターゲット個人の顔であることを意味する）又は「非ターゲット顔」（映像が異なる個人の顔であることを意味する）のいずれかとして指定する。

図１５は、本出願人の手法の有効性の例を示す。この解析のために、ｈｔｔｐ：／／ｗｗｗ．ｃｓ．ｔａｕ．ａｃ．ｉｌ／〜ｗｏｌｆ／ｙｔｆａｃｅｓ／からの映像内の顔データセットを用いた。参考文献は、ＬｉｏｒＷｏｌｆ、ＴａｌＨａｓｓｎｅｒ及びＩｔａｙＭａｏｚによる「ＦａｃｅＲｅｃｏｇｎｉｔｉｏｎｉｎＵｎｃｏｎｓｔｒａｉｎｅｄＶｉｄｅｏｓｗｉｔｈＭａｔｃｈｅｄＢａｃｋｇｒｏｕｎｄＳｉｍｉｌａｒｉｔｙ（適合する背景類似性を有する非拘束映像における顔認識）」である。

このデータセットを用いて、いくつかの顔認識タスクを実行した。一般的な手順は、「ターゲット顔」に対して顔認識アルゴリズムをトレーニングすることであった。アルゴリズムには、ターゲット顔である人物の顔を示す数々の映像を提供した。顔を認識するアルゴリズムの機能は、アルゴリズムに同じ人物の顔の過去に見せていない映像を「非ターゲット顔」である他人の顔と共に提供することによって試験した。アルゴリズムのジョブは、試験映像をターゲット顔又は非ターゲット顔のいずれかとして正しく分類することであった。

図１３及び図１４は、映像例からの画像を示す。図１３は、顔認識アルゴリズムをトレーニングするのに用いた映像からのフレームを示しており、図１４は、このアルゴリズムを試験するのに用いた映像からのフレームを示す。図示のように、試験映像（図１４）内の人物は、トレーニング映像（図１３）内の人物と同じであるが、例えば、異なる環境内で異なる髪型を有するように示している。

このアルゴリズムの性能は、アルゴリズムを標準手法で、すなわち、顔の生画像ストリームを用いてトレーニングした場合と、顔の網膜画像ストリーム（すなわち、生画像ストリームを本出願人の符号化器によって処理した後の）を用いてトレーニングした場合との２つの条件の下で試験した。両方の場合に、短い（２フレーム）動画を用いてトレーニングを実行した。トレーニングに対して用いた２フレーム動画の本数は、ターゲット顔では２５０〜８００本にわたり（４〜５本の異なる映像から取得した）、非ターゲット顔では２０００本にわたった（＞１００本の映像から取得した）。その後に、過去に見せていない映像、すなわち、トレーニングに用いていない映像から取得した５０〜８００本の２フレーム動画を測定した。

図１５に示すように、符号化器の使用は、性能に対して明確な影響を有する。最初のものが、標準手法が非常に非力に機能するだけのものとして定められる非常に困難なタスクからなり、第２のものが、標準手法がほどほど良好に機能するより容易なタスクから構成される２タイプのタスクにおける結果を示す。図示のように、タスクが困難であった場合（図１５Ａ）には、符号化器を組み込んだ手法は、標準手法に優る大きな（４倍の）改善をもたらしている。タスクがそれ程困難ではなかった場合に、すなわち、標準手法がほどほど良好に機能する場合にも、符号化器を組み込んだ手法は、依然として実質的な改善をもたらす（標準の方法に１．５倍優る）。

別の実施形態において、顔検出段階が回避され、代替的に、映像の特定の部分の内部に顔が存在するか否かに関わらず、分類器１２０６に向けて適切なサイズに整えられた映像が、入力映像から自動的に生成されるようにタスクが若干修正される。その後に、ここでもまた、これらの新しいトリミングされた映像に分類が適用されるか、又は出力分類が「ターゲット顔」及び「非ターゲット顔」又は「顔なし」である修正された分類が実施される。

別の実施形態において、解析は、図１５における解析に対して用いた２フレーム映像とは対照的に、Ｎを１枚、３枚、又はそれよりも多いプロセッサが処理することができる限り多くのフレーム数とすることができるＮ枚のフレームを用いて実施することができる。

更に、これらの分類は、それ自体で、例えば、映像内の個人の存在をユーザに警告するために使用することができ、又はこれらの分類は、いずれかの手法で、例えば、信号を発する前に、指定した時間窓の範囲で何回かの明確な検出（「ターゲット顔」の分類）が発生するまで待つことによって組み合わせることができる。

機械視覚の対する網膜処理のいくつかの例示的な適用を記載したが、多くの他の適用のための実施形態を使用することができることに注意されたい。

一般的に、符号化器手法は、動物（脊椎動物）が良好に実施する視覚タスク、特に動物の視覚システムが既存の機械技術よりも良好に実施することは公知のものにおいて有利である可能性が高い。上述したように、符号化器手法は、データ内の際立った特徴を維持しながら、生画像ストリームから全情報量を低減する（例えば、より高速な処理を可能にするために）ことが有利になる場合に特に有効とすることができる。例えば、上述したように、一部の実施形態において、一般的に符号化器手法は、例えば、顔認識、複雑な背景に対する人影又は他の生物の影の識別、複雑な環境を通じたナビゲーション、移動物体の迅速な追跡及びそれに対する反応のようなある一定のタイプのパターン認識タスクに使用される場合に特に有利である。

一般的に、生物システムが良好に機能しないある一定の用途では、符号化器手法は制限を有する可能性があることに注意されたい。この場合には、特に、高レベルの詳細情報又は精度測定を必要とする用途における場合とすることができる。例えば、図３Ｂ〜図３Ｆに示す網膜画像を参照し直すと、これらの画像は、人影の存在及び運動を有利に強調するが、網膜画像は、例えば、絶対身長又は他の絶対身体寸法のような正確な生体測定情報を決定するのに有利になる人影の鮮明な外形を提供しないことに注意されたい。このタイプの情報を決定するためには、機械視覚アルゴリズムを生画像に適用する方が的確であろう。

一部の実施形態において、機械視覚への符号化器利用手法と、生画像データに適用される従来手法の両方の利点を与えるために、混成手法を使用することができる。

例えば、一部の実施形態において、本明細書に説明する網膜符号化器利用技術のうちのいずれかを用いて生画像ストリームを処理することができる。得られる網膜画像データは処理することができ（例えば、網膜画像を用いてトレーニングされた機械視覚アルゴリズムのような機械視覚アルゴリズムを用いて）、その結果をその後の解析（例えば、生画像を用いてトレーニングされた機械視覚アルゴリズムのような機械視覚アルゴリズムを使用する）に、対応する生画像を知らせるために使用することができる。

図１６は、このタイプの例示的な処理を示す。段階１７０１及び１７０２において、生画像が得られ、本明細書に説明する技術のうちのいずれかを用いて網膜画像ストリームを生成するのに使用される。段階１７０３では、網膜画像が、例えば、機械視覚アルゴリズムを用いて解析される。

段階１７０４では、網膜画像の解析結果が、着目する網膜画像（又はその分割領域）を識別するのに使用される。例えば、人物認識タスクでは、正常な網膜が網膜画像を生成するために行う手法で画像に対して次元低減を実施する符号化器手法は、歩き振り、特徴的な身振り等による体格の迅速な識別を可能にすることができる。この符号化器の長所のうちの１つは、符号化器が、この目的に特に有利な運動情報を迅速に取り出すことである。すなわち、符号化器手法は、ターゲット個人に対する可能な適合の空間を縮小する予備選別手法として機能することができる（間違った体格、歩き振り、身振りなどを有する候補を除外することにより）。

段階１７０５では、識別された網膜画像に対応する生画像（又はその分割領域）を解析することができる。例えば、人物認識タスクの場合には、より詳細な特徴解析を用いて人物をより明確に識別するために（例えば、人物の正確な高さ又は他の身体寸法のような詳細な生体測定情報を抽出することにより）、生画像（次元低減が殆ど又は全く使用されない）を使用するアルゴリズムを画像の部分集合に適用することができる。

様々な実施形態において、生画像に対して予備選別を行い、網膜符号化器手法を使用するその後の解析を続けることにより、上述の方法を逆転させることができる。一部の実施形態において、複数回の代替的な生及び符号化器利用解析を使用する反復技術を適用することができる。他の実施形態において、異なるタイプの処理を並行して行うことができ、これらの結果は合成される。一般的に、従来手法と符号化器利用手法とのあらゆる適切な組合せを使用することができる。

上述したように、様々な実施形態において、網膜処理は、生画像データからの全情報量を低減するように作動し（網膜が行う手法と類似した手法で効率を得るために）、その一方、所定の用途に向けて際立った特徴を保持する。例えば、一部の実施形態において、網膜符号化されたデータ内の全情報量が低減されたとしても、機械視覚アルゴリズムは、符号化されたデータに適用された時に、対応する生画像データに適用された時よりも良好な性能を示すことができる。この結果は、「圧縮」網膜画像に適用されたナビゲーション及び顔認識のアルゴリズムが、生画像に適用された同じアルゴリズムよりも実質的に優れた性能を示す上記に提供した実施例の両方において見られたものである。

様々な実施形態において、網膜符号化されたデータは、１〜１００倍の範囲又はそのいずれかの部分的範囲、例えば、少なくとも１．５倍、少なくとも２倍、少なくとも３倍、少なくとも４倍、少なくとも５倍、又はそれよりも多くだけ圧縮することができる。一部の実施形態において、この圧縮は、符号化器によってもたらされる次元低減に対応する。例えば、一部の実施形態において、網膜符号化器のビットレートを定量化することができ、圧縮比を決定するために、符号化器によって刺激として使用される生画像データのエントロピー（同じく単位時間当たりのビット数で測定される）と比較して比を取ることができる。例えば、補綴出願において記載されている一部の場合には、符号化器は、４．９ビット／ｓの入力生データビットレートと比較しての２．１３ビット／２のビットレートを用いて記載されている。従って、符号化器によってもたらされるデータ圧縮は、この例ではほぼ７倍であった。

一部の実施形態において、本明細書に説明する処理技術は、情報の格納及び取得の関連で適用することができる。図１７を参照すると、システム１８００は、プロセッサ１８０２と作動可能に結合されたメモリストレージデバイス１８０１（例えば、ハードドライブ又は他のコンピュータメモリ）を含む。ストレージデバイス１８０１は、生画像データから本明細書に説明する技術を用いて生成された網膜画像データを格納する。上記に詳述したように、一部の実施形態において、網膜画像データをある一定の際立った特徴を維持しながら、生データと比較して圧縮することができる。それに応じて、一部の実施形態において、格納網膜データを対応する生データの代理物又は「指紋」として使用することができる。一部の実施形態において、ストレージデバイスは、符号化されたデータと生画像データの間の対応を示すデータベース情報を格納する。例えば、特定の映像クリップを対応する網膜画像ストリームを生成するのに使用することができ、デバイス１８０１上に格納される網膜画像ストリームは、それ自体をこの生映像クリップと共に識別するタグを有する。

一部の実施形態において、到着データをストレージデバイス１８０１上に格納されたデータと照合するのに、プロセッサ１８０２を使用することができる。一部の実施形態において、プロセッサ１８０２は、一連のクエリ画像に対応するクエリ画像データ（例えば、生映像クリップ）を受け入れることができる。次に、プロセッサ１８０２は、網膜符号化されたクエリデータを生成するようにクエリ画像データを処理することができる。その後にプロセッサは、網膜符号化されたクエリデータをストレージデバイス１８０１上に格納された網膜符号化されたデータと比較することができる。照合が見つかった場合には、プロセッサは、次に、格納データ上のタグを読み取って、クエリデータ映像クリップと、照合する格納網膜画像を生成するのに使用された映像クリップとを関連付ける情報を出力することができる。一部の実施形態において、網膜符号化されたデータは圧縮され、及び／又は際立った特徴が強調されているので、符号化された格納データとクエリデータとの照合は、対応する生画像クリップを直接に照合しようと試みる場合よりも高速及び／又は正確とすることができる。

本出願に示す実施例及び補綴出願に示されている実施例は、ネズミ及びサルの網膜から得られたデータから構成される符号化器を用いている。しかし、様々な実施形態は、以下に限定されるものではないが、鳥類、ネコ、ヘビ、及びウサギ等である他の種属から同じく構成され、補綴出願に細部まで詳細に記載されている手順を用いて構成することができる符号化器を使用することができることは理解されるものとする。

様々な実施形態において、本明細書に説明する技術の全体的な機能は、機械視覚を進歩させるために、視覚システム（特に網膜）によって実施される予備処理（特に次元低減）を利用することである。一部の用途では、他の種属の網膜によって実施される予備処理を適用することができ、例えば、鳥の網膜から構成される符号化器は、飛行ナビゲータにおいて特に有効である場合があり、同じくトラのような高速移動動物から構成される符号化器は、高速で作動する必要があるナビゲータにおいて特に有効である可能性がある。一部の実施形態において、有利な共同作用をもたらすために、複数の種属に基づく符号化器を用いて、結果を組み合わせることができる（例えば、基本的な飛行ナビゲーションタスクにおいて鳥に基づく符号化器を用い、一方、飛行中に、着目物体と遭遇した時には、物体認識タスクにおいてサルに基づく符号化器を使用する）。

同じくこの手法は、外側膝状体、上丘、又は視覚皮質のような高次視覚野から構成される符号化器に対して一般化される。補綴出願は、網膜細胞のための符号化器の構成を記載しており、ここでもまた数学表現を含む細部まで詳細に記載されている同じ方法は、機械視覚アルゴリズムのための予備処理段階としての役割を同じくもたらすことができる高次視覚野のための符号化器を得るために使用することができる。

本明細書に説明する本発明の技術は、網膜に類似する手法で機能するので、実質的にあらゆる機械視覚アルゴリズムに向けてフロントエンド処理（又はフィルタリング）として使用することができる。脳が、数多くある中でも取りわけナビゲーション、物体及び顔の認識、姿−地面の区別、捕食者の検出、食物対非食物の検出のような多くの視覚誘導性行動を実施することを可能にするために、網膜が脳による使用に向けて視覚情報を予備処理するのとまさしく同様に、合わさって「仮想網膜」を形成する符号化器は、多くの機械アルゴリズムに向けて視覚情報を予備処理することができる。

本質的に網膜が行うことは、視覚世界における膨大な量の情報を取得して、それを生き物の生存に必要とされる本質的要素まで低減することである。これらの符号化器は、網膜の入力／出力関係を非常に正確に模倣するので（この模倣を補綴出願に示すように実質的にあらゆる視覚入力に対して行う）、これは、符号化器が、視覚世界における情報を同じ手法で低減することを意味する。従って、様々な実施形態において、本明細書に説明する技術は、機械視覚アルゴリズムに向けて網膜が脳に提供するものと同じか又はほぼ同じ、すなわち、同じ速度、効率、並びに質的及び量的なフィルタリングを有するフロントエンド処理を提供することができる。

これから必然的に引き出される結果は、機械視覚アルゴリズムが構成されるか、又はそれを構成することができる方法にも符号化器が影響を及ぼすということである。現在のアルゴリズムは、生画像、又は他の手法で予備処理された（例えば、ガウシアン差フィルタを用いて）画像をその入力として使用するように構成される。画像が、本明細書に説明する網膜符号化器を通過して処理されると、その結果は、機械視覚アルゴリズムに対する新しいタイプの入力、すなわち、過去には決して利用可能ではなかった入力である。一部の実施形態において、この新しい入力は、特定の分類のアルゴリズムを新しい手法で適応させるか又は最適化することを可能にすることができる。例えば、様々な機械視覚アルゴリズムが、トレーニング画像セット、及び／又は所定のタスクを完了する間にアルゴリズムによって処理される画像によって少なくとも部分的に決定することができるパラメータセットによって分類される。生画像の代わりに網膜画像データが使用される場合には、得られるアルゴリズムのパラメータは、対応する生画像データを用いた場合に得られたであろうものとは異なることになる。一部の場合には、それに起因して、アルゴリズムは、所定のタスクに対して改善された性能を示すことになる。

一部の場合には、機械視覚アルゴリズムが、脊椎動物の視覚システムを模倣する画像を用いてトレーニングされるので、アルゴリズムは、このシステムの性能品質のうちの一部を取得するように有利に適応させることができる。例えば、網膜処理は、画像のある一定の態様の際立った特徴を強調するので、網膜符号化されたデータに対してトレーニングされた機械視覚アルゴリズムは、これらの画像態様に対してより高感度になるように「学習」することができる。

上述の例は、ナビゲータと顔認識器という機械視覚アルゴリズムの２つのインスタンスを示しており、両方の場合には、これらのアルゴリズムは、網膜処理された入力に適用された時に構造を変化させた。両方のアルゴリズムが、重みパラメータセットによって特徴付けられる学習アルゴリズムであり、これらのパラメータは、アルゴリズムが、網膜画像データに適用された場合と、それに対して画像が生画像データに適用された場合とで異なっていたことが明らかになった。網膜処理された場合のアルゴリズムの改善された性能（生画像の場合と比較して）は、殆ど又は完全に重みパラメータ変化に起因するものであった。この改善された性能が、トレーニングに対して用いた環境及び条件とは異なる環境及び条件下のナビゲーション及び認識のタスクに対して一般化されたことに注意されたい。これは、一部の実施形態において、網膜画像データを用いてトレーニングされた機械視覚アルゴリズムが、有利な方法で根本的に変えることができ、トレーニングの環境及び条件を超えて一般化されることの証拠である。同様に、新しいアルゴリズムの構造は、この新しい入力データ、すなわち、現在のアルゴリズムに関する新しい重み又はパラメータだけでなく、本明細書に説明する新しい入力データをより直接的に照合するか又は利用する新しいアルゴリズムを利用するように発展させることができる。

本発明の方法及びデバイスは、あらゆるタイプの画像データを処理することができる。例えば、画像データは、可視光に応答して生成することができるが、赤外線、紫外線、又は電磁スペクトルにわたる他の波長のような他のタイプの電磁放射線によって生成することができる。一部の実施形態において、画像データは、人工又は仮想の画像データ（例えば、仮想環境のモデルに基づいて生成された）とすることができる。一部の実施形態において、人工画像データは、例えば、医療撮像データを含むいずれかのタイプの適切なデータ（磁気共鳴撮像データ、コンピュータ支援断層写真データ、地震学的描像データのような）の可視化に関することができる。

画像データは、１つ又は複数の画像とすることができ、更に、静的なものとすることができ、又は時空的に変化することができる。図表のような単純な形状又は自然光景のような比較的複雑な刺激を使用することができる。更に、画像は、グレースケール、又は有色、又はグレーと有色との組合せとすることができる。一実施形態において、刺激は、白色ノイズ（「ＷＮ」）及び／又は自然光景の動画のような自然刺激（「ＮＳ」）又は両方の組合せを含むことができる。

本発明の範囲は、上記に具体的に図示して記載したものによって限定されない。当業者は、図示した材料、構成、構造、及び寸法の例に対する適切な変形が存在することを認識するであろう。本発明の説明において特許及び様々な論文を含む多くの参考文献を引用して解説し、「従来技術文献」リストに添付した。そのような参考文献の引用及び解説は、本発明の説明を明確にするために提供したものに過ぎず、いずれかの参考文献が、本明細書に記載した本発明に対する従来技術であることを認めたことではない。本明細書に引用して解説した全ての参考文献は、その全部が引用によって本明細書に組み込まれている。

本明細書において様々な発明実施形態を記載して図示したが、当業者は、本明細書に記載した機能を実行し、及び／又は結果及び／又は利点のうちの１つ又はそれ以上を取得するための様々な他の手段及び／又は構造を即座に想起すると考えられ、そのような変更及び／又は修正の各々は、本明細書に記載した本発明の実施形態の範囲にあると見なされる。より一般的には、当業者は、本明細書に記載した全てのパラメータ、寸法、材料、及び構成が、例示的であるように意図したものであり、実際のパラメータ、寸法、材料、及び／又は構成が、本発明の教示が使用される１つ又は複数の特定の用途に依存することになることを即座に理解すべきであろう。当業者は、慣例的な実験方法のみを用いて本明細書に記載した特定の本発明の実施形態に対する多くの均等物を認識することになり、又は確認することができるであろう。従って、上述の実施形態は、単なる例として提供したものであり、特許請求の範囲及びそれに対する均等物の範囲で発明実施形態は、具体的に記載し、主張するものとは別途に実施することができることを理解すべきであろう。本発明の開示の発明実施形態は、本明細書に記載した各個々の特徴、システム、物品、材料、キット、及び／又は方法に関するものである。更に、２つ又はそれよりも多くのそのような特徴、システム、物品、材料、キット、及び／又は方法のいずれの組合せも、そのような特徴、システム、物品、材料、キット、及び／又は方法が互いに矛盾しない場合には、本発明の開示の発明の範囲に含まれる。上述の実施形態は、多くの手法のうちのいずれかに実施することができる。例えば、実施形態は、ハードウエア、ソフトウエア、又はその組合せを用いて実施することができる。ソフトウエアに実施された場合には、単一のコンピュータ内に供給されるか又は複数のコンピュータの間で分散されるかに関わらず、ソフトウエア符号をあらゆる適切なプロセッサ又はプロセッサ集合上で実行することができる。

更に、コンピュータは、ラックマウントコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、又はタブレットコンピュータのようないくつかの形態のうちのいずれかに実施することができることは理解されるものとする。更に、コンピュータは、携帯情報端末（ＰＤＡ）、スマート電話、又はあらゆる他の適切な携帯又は固定の電子デバイスを含む一般的にはコンピュータとして見なされないが適切な処理機能を有するデバイス内に埋め込むことができる。

更に、コンピュータは、１つ又はそれよりも多くの入力及び出力デバイスを有することができる。これらのデバイスは、取りわけユーザインタフェースを与えるために使用することができる。ユーザインタフェースを与えるために使用することができる出力デバイスの例は、出力の視覚呈示のためのプリンタ又は表示画面、及び出力の可聴呈示のためのスピーカ又は他の音生成デバイスを含む。ユーザインタフェースに使用することができる入力デバイスの例は、キーボード、並びにマウス、タッチパッド、及びデジタル化タブレットのようなポインティングデバイスを含む。別の例として、コンピュータは、入力情報を音声認識を通じて、又は他の可聴フォーマットで受け入れることができる。

そのようなコンピュータは、企業ネットワーク及びインテリジェントネットワーク（ＩＮ）又はインターネットのようなローカルエリアネットワーク又は広域ネットワークを含むあらゆる適切な形態にある１つ又はそれよりも多くのネットワークによって相互接続することができる。そのようなネットワークは、あらゆる適切な技術に基づくとすることができ、あらゆる適切なプロトコルに従って作動させることができ、無線ネットワーク、有線ネットワーク、又は光ファイバネットワークを含むことができる。

本明細書に記載した機能の少なくとも一部分を実施するのに使用されるコンピュータは、メモリと、１つ又はそれよりも多くの処理ユニット（本明細書では単純に「プロセッサ」とも呼ぶ）と、１つ又はそれよりも多くの通信インタフェースと、１つ又はそれよりも多くの表示ユニットと、１つ又はそれよりも多くのユーザ入力デバイスとを含むことができる。メモリは、いずれかのコンピュータ可読媒体を含むことができ、本明細書に記載した様々な機能を実施するためのコンピュータ命令（本明細書では「プロセッサ実行可能命令」とも呼ぶ）を格納することができる。処理ユニットは、命令を実行するために使用することができる。通信インタフェースは、有線又は無線のネットワーク、バス、又は他の通信手段に結合することができ、従って、コンピュータが通信を送信し、及び／又は他のデバイスからの通信を受信することを可能にすることができる。表示ユニットは、例えば、ユーザが命令の実行に関する様々な情報を見ることを可能にするために設けることができる。ユーザ入力デバイスは、例えば、命令の実行中にユーザが手動調節を行う、選択を行う、データ又は様々な他の情報を入力し、及び／又は様々な手法のうちのいずれかでプロセッサと対話を行うことを可能にするために設けることができる。

本明細書に概説した様々な方法又は処理は、様々なオペレーティングシステム又はプラットフォームのうちのいずれかの１つを使用する１つ又はそれよりも多くのプロセッサ上で実行可能なソフトウエアとして符号化することができる。更に、そのようなソフトウエアは、いくつかの適切なプログラミング言語、及び／又はプログラミングツール又はスクリプト生成ツールのうちのいずれかを用いて書くことができ、実行可能機械言語コード又はフレームワーク又は仮想機械上で実行される中間コードとしてコンパイルすることができる。

この点に関して、様々な発明の概念は、１つ又はそれよりも多くのコンピュータ又は他のプロセッサ上で実行された場合に上記に解説した本発明の様々な実施形態を実施する方法を実施する１つ又はそれよりも多くのプログラムを用いて符号化されたコンピュータ可読ストレージ媒体（又は複数のコンピュータ可読ストレージ媒体）（例えば、コンピュータメモリ、１つ又はそれよりも多くのフロッピー(登録商標)ディスク、コンパクトディスク、光ディスク、磁気テープ、フラッシュメモリ、フィールドプログラマブルゲートアレイ又は他の半導体素子における回路構成、又は他の持続性媒体又は有形コンピュータストレージ媒体）として具現化することができる。１つ又は複数のコンピュータ可読媒体は、上記に解説した本発明の様々な態様を実施するために、これらのコンピュータ可読媒体上に格納された１つ又は複数のプログラムを１つ又はそれよりも多くの異なるコンピュータ又は他のプロセッサ上にロードすることができるようにトランスポート可能にすることができる。

本明細書では、「プログラム」又は「ソフトウエア」という用語は、一般的な意味で上記に解説した実施形態の様々な態様を実施するようにコンピュータ又は他のプロセッサをプログラムするのに使用することができるいずれかのタイプのコンピュータコード又はコンピュータ実行可能命令セットを指すために使用する。更に、一態様により、本発明の様々な態様を実施するのに、実行された場合に本発明の方法を実施する１つ又はそれよりも多くのコンピュータプログラムは、単一のコンピュータ又はプロセッサ上に存在する必要はなく、いくつかの異なるコンピュータ又はプロセッサの間でモジュール式に分散させることができることは理解されるものとする。

コンピュータ実行可能命令は、１つ又はそれよりも多くのコンピュータ又は他のデバイスによって実行されるプログラムモジュールのような多くの形態にあるとすることができる。一般的にプログラムモジュールは、特定のタスクを実施するか又は特定の抽象データ型を実施するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。一般的にプログラムモジュールの機能は、様々な実施形態において必要に応じて組み合わせるか又は分散させることができる。

また、データ構造は、コンピュータ可読媒体内にあらゆる適切な形態で格納することができる。例示の簡略化のために、データ構造をデータ構造内の場所を通じて関連付けられたフィールドを有するように示す場合がある。そのような関係は、フィールドに対する格納領域にフィールド間の関係を送信するコンピュータ可読媒体内の場所を割り当てることによっても同じく得ることができる。しかし、データ構造のフィールド内の情報の間の関係を確立するのに、ポインタ、タグ、又はデータ要素の間の関係を確立する他の機構の使用によるものを含むあらゆる適切な機構を使用することができる。

また、様々な発明の概念は、その実施例を提供した１つ又はそれよりも多くの方法として具現化することができる。方法の一部として実行される実施過程は、あらゆる適切な手法で順序付けすることができる。それに応じて、例示的な実施形態では順次的な実施過程として示すが、いくつかの実施過程を同時に実施する段階を含むことができる図示のものとは異なる順序に実施過程が実施される実施形態を構成することができる。

本明細書に使用する自然光景は、例えば、ＧｅｉｓｌｅｒＷＳによる「Ｖｉｓｕａｌｐｅｒｃｅｐｔｉｏｎａｎｄｔｈｅｓｔａｔｉｓｔｉｃａｌｏｆｐｒｏｐｅｒｔｉｅｓｏｆｎａｔｕｒａｌｓｃｅｎｅｓ（自然光景の特性の視覚認識及び統計）」、Ａｎｎｕ．Ｒｅｖ．Ｐｓｙｃｈｏｌ．５９：１６７−９２（２００８年）に記載されている自然環境の画像を指すと理解しなければならない。一部の実施形態において、自然光景は、いずれかの適切で複雑な画像、例えば、一般的に周波数逆二乗の法則に従う空間及び／又は時間の周波数パワースペクトルによって特徴付けられる画像によって置換することができる。例えば、短い映像クリップが使用される一部の実施形態において、複雑な画像のスペクトルは、逆二乗の法則から幾分ずれる可能性がある。例えば、一部の実施形態において、複雑な画像は、形式１／ｆ＾ｘの空間又は時間のパワースペクトルを有することができ、ここで、ｆは周波数であり、ｘは、例えば、１〜３の範囲又はそのいずれかの部分的範囲（例えば、１．５〜２．５、１．７５〜２．２５、１．９〜２．１等）内にある。

白色ノイズ画像は、実質的に平坦な空間周波数パワースペクトルを有するノイズ画像を指す。

本明細書に使用する「光」という用語及びそれに関する用語（例えば、「オプティカル」、「視覚」）は、可視スペクトルの内側と外側の両方にある例えば紫外放射線及び赤外線放射線を含む電磁放射線を含むと理解しなければならない。

本明細書及び特許請求の範囲に使用する不定冠詞「ａ」及び「ａｎ」は、別途指定しない限り「少なくとも１つ」のものを意味すると理解しなければならない。

本明細書及び特許請求の範囲に使用する「又は」という表現は、「いずれか又は両方」という言葉通りに等位結合された要素、すなわち、一部の場合は接続的に存在し、他の場合は離接的に存在する要素のうちの「いずれか又は両方」を意味すると理解しなければならない。「又は」を用いて列記した複数の要素も同じく解釈され、すなわち、要素のうちの「１つ又はそれよりも多く」がそのように等位結合されるものとする。具体的に示す要素に関するか又は関連しないかに関わらず、「又は」節によって具体的に示す要素以外に、他の要素を任意的に存在させることができる。従って、非限定的な例として「Ａ又はＢ」という説明は、「含む」のような非限定的な用語と共に用いた場合に、一実施形態ではＡのみ（任意的にＢ以外の要素を含む）、別の実施形態ではＢのみ（任意的にＡ以外の要素を含む）、更に別の実施形態ではＡとＢの両方（任意的に他の要素を含む）などを意味する。

本明細書及び特許請求の範囲に使用する「又は」は、上記に定めた「又は」と同じ意味を有すると理解しなければならない。例えば、列記部分内の項目を分離する場合には、「又は」又は「又は」は包含的であり、すなわち、いくつかの要素又は列記した要素のうちの少なくとも１つの包含だけでなく、１つよりも多いものも含み、任意的に、列記されていない付加的な項目を含むと解釈しなければならない。「〜のうちの１つのみ」又は「のうちの厳密に１つ」又は特許請求の範囲内に使用する場合の「〜から構成される」のような別途指定する用語のみが、いくつかの要素又は列記した要素のうちの厳密に１つの要素の包含を意味することになる。一般的に、本明細書に使用する「又は」という用語は、「〜のいずれか」、「〜のうちの１つ」、「〜のうちの１つのみ」、又は「〜のうちの厳密に１つ」のような排他性用語が続く場合にのみ、排他的な択一性（すなわち、「一方又は他方であるが両方ではない」）を示すと解釈しなければならない。「基本的に〜から構成される」は、特許請求の範囲に使用される場合には、特許法の分野に使用される通常の意味を有するものとする。

特許請求の範囲、並びに上述の明細書では、「含む」、「担持する」、「有する」、「収容する」、「に関わる」、「保持する」、及び「から構成される」などのような全ての移行句は非限定的であり、すなわち、「〜を含むが、それらに限定されない」を意味すると理解しなければならない。「ＵｎｉｔｅｄＳｔａｔｅｓＰａｔｅｎｔＯｆｆｉｃｅＭａｎｕａｌｏｆＰａｔｅｎｔＥｘａｍｉｎｉｎｇＰｒｏｃｅｄｕｒｅｓ（米国特許局審査手順マニュアル）第２１１１．０３節」に示すように、「〜から構成される」及び「基本的に〜から構成される」という移行句だけが、それぞれ限定的又は半限定的な移行句であるものとする。

本明細書において定めて使用する全ての定義は、辞書の定義、引用によって組み込まれている文献における定義、及び／又は定めた用語の通常の意味を無効にすると理解しなければならない。

当業者は、本発明の精神及び範囲から逸脱することなく、本明細書に記載したものの変形、修正、及び他の実施を想起されるであろう。本発明のある一定の実施形態を図示して記載したが、当業者には、本発明の精神及び範囲から逸脱することなく変形及び修正を加えることができることが明らかであろう。以上の説明及び添付図面において示したものは、例示目的で提供したものであり、限定として提供したものではない。

参考文献

Ａ生画像ストリーム
Ｂ網膜画像ストリーム

Claims

一連の生画像に対応する生画像データを受け入れる段階と、
脊椎動物網膜の１つ又はそれよりも多くの網膜細胞の入力／出力変換を実質的に模倣する入力／出力変換によって特徴付けられる符号化器を用いて符号化されたデータを生成するために前記生画像データを処理する段階と、
前記符号化されたデータに少なくとも部分的に基づいて生成されたデータに第１の機械視覚アルゴリズムを適用する段階と、
を含むことを特徴とする方法。
前記符号化されたデータに基づいて一連の網膜画像を生成する段階を更に含むことを特徴とする請求項１に記載の方法。
前記符号化されたデータに基づいて前記網膜画像内のピクセル値を決定する段階を含むことを特徴とする請求項２に記載の方法。
前記符号化されたデータに基づいて前記網膜画像内のピクセル値を決定する段階は、網膜細胞応答を示す符号化されたデータに基づいてピクセル強度又は色を決定する段階を含むことを特徴とする請求項３に記載の方法。
網膜細胞応答を示す前記データは、網膜細胞発火率、網膜細胞出力パルス列、及び起動電位から構成されるリストからの少なくとも１つを示すことを特徴とする請求項４に記載の方法。
前記一連の網膜画像に前記第１の機械視覚アルゴリズムを適用する段階、
を更に含むことを特徴とする請求項２から請求項６のいずれか１項に記載の方法。
前記機械視覚アルゴリズムは、物体認識アルゴリズム、画像分類アルゴリズム、顔認識アルゴリズム、光学文字認識アルゴリズム、コンテンツベースの画像取り出しアルゴリズム、姿勢推定アルゴリズム、運動解析アルゴリズム、自己運動決定アルゴリズム、移動追跡アルゴリズム、オプティカルフロー決定アルゴリズム、光景再現アルゴリズム、３Ｄ容積認識アルゴリズム、及びナビゲーションアルゴリズムから構成されるリストから選択された少なくとも１つを含むことを特徴とする請求項６に記載の方法。
前記機械視覚アルゴリズムは、前記一連の網膜画像に適用された時に、前記符号化器を用いて処理されていない対応する生画像セットに適用された時よりも良好な性能を示すことを特徴とする請求項１から請求項７のいずれか１項に記載の方法。
前記機械視覚アルゴリズムは、自然光景を含む一連の網膜画像に適用された時に、前記符号化器を用いて処理されていない対応する一連の生画像に適用された時よりも良好な性能を示すことを特徴とする請求項８に記載の方法。
前記機械視覚アルゴリズムは、一連の画像内での人間の検出又は識別のためのアルゴリズムを含み、
前記機械視覚アルゴリズムは、前記人間を含む様々な網膜画像に適用された時に、前記符号化器を用いて処理されていない対応する生画像セットに適用された時よりも良好な検出精度又は識別精度を示す、
ことを特徴とする請求項８又は請求項９に記載の方法。
前記人間を含む前記一連の画像は、自然光景に位置する該人間の画像を含むことを特徴とする請求項１０に記載の方法。
前記人間を含む前記一連の画像は、前記機械視覚アルゴリズムをトレーニングするのに使用された自然光景とは異なる自然光景に位置する該人間の画像を含むことを特徴とする請求項１１に記載の方法。
前記機械視覚アルゴリズムは、実環境又は仮想環境を通じたナビゲーションのためのアルゴリズムを含み、
前記機械視覚アルゴリズムは、自然光景を含む一連の網膜画像に適用された時に、前記符号化器を用いて処理されていない対応する生画像セットに適用された時よりも良好なナビゲーション性能を示す、
ことを特徴とする請求項８又は請求項９に記載の方法。
前記機械視覚アルゴリズムは、自然光景を含む一連の網膜画像に適用された時に、前記符号化器を用いて処理されていない対応する生画像セットに適用された時よりも少ないナビゲーション中の望まない衝突イベントを示すことを特徴とする請求項１３に記載の方法。
前記一連の網膜画像は、前記機械視覚アルゴリズムをトレーニングするのに使用されなかった環境に対応することを特徴とする請求項１４に記載の方法。
前記一連の網膜画像に機械画像処理アルゴリズムを適用して１つ又はそれよりも多くの着目する網膜画像を識別する段階と、
前記着目する網膜画像に対応する１つ又はそれよりも多くの着目する生画像を識別する段階と、
を更に含むことを特徴とする請求項１から請求項１５のいずれか１項に記載の方法。
前記着目する生画像を処理する段階を更に含むことを特徴とする請求項１６に記載の方法。
前記着目する生画像を処理する前記段階は、該着目する生画像に第２の機械視覚アルゴリズムを適用する段階を含むことを特徴とする請求項１７に記載の方法。
前記第１の機械視覚アルゴリズムは、網膜画像セットに対してトレーニングされたアルゴリズムを含み、
前記第２の機械視覚アルゴリズムは、生画像セットに対してトレーニングされたアルゴリズムを含む、
ことを特徴とする請求項１８に記載の方法。
前記第１の機械視覚アルゴリズムを適用する段階は、ナビゲーションアルゴリズムを適用する段階を含むことを特徴とする請求項１から請求項１９のいずれか１項に記載の方法。
前記ナビゲーションアルゴリズムを適用する段階は、
前記一連の網膜画像を処理して、該一連の画像内の複数の画像位置での運動を示す運動情報を決定する段階と、
前記運動情報に基づいて前記一連の画像内の空間領域を分類する段階と、
前記空間領域の前記分類に基づいてナビゲーション決定を生成する段階と、
を含む、
ことを特徴とする請求項２０に記載の方法。
運動情報が、前記一連の画像内のオプティカルフローを示すことを特徴とする請求項２１に記載の方法。
畳み込みニューラルネットワークを使用して前記空間領域を分類する段階、
を含むことを特徴とする請求項２１又は請求項２２に記載の方法。
ナビゲーションアルゴリズムからの結果に基づいてロボット装置の運動を制御する段階を更に含むことを特徴とする請求項２１から請求項２３のいずれか１項に記載の方法。
ナビゲーションアルゴリズムからの結果に基づいて仮想空間内の仮想物体の運動を制御する段階を更に含むことを特徴とする請求項１８から請求項２４のいずれか１項に記載の方法。
前記ナビゲーションアルゴリズムは、仮想空間を表す画像データに基づいてトレーニングされたものであることを特徴とする請求項２４又は請求項２５に記載の方法。
前記網膜画像に基づいて機械視覚アルゴリズムをトレーニングする段階を更に含むことを特徴とする請求項１から請求項２６のいずれか１項に記載の方法。
前記機械視覚アルゴリズムをトレーニングする段階は、
（ｉ）前記機械視覚アルゴリズムを網膜画像セットに適用して出力を生成する段階と、
（ｉｉ）前記出力に基づいて前記機械視覚アルゴリズムの性能を示す性能情報を決定する段階と、
（ｉｉｉ）前記性能情報に基づいて前記機械視覚アルゴリズムの１つ又はそれよりも多くの特性を修正する段階と、
を含む、
ことを特徴とする請求項２７に記載の方法。
選択された性能基準に達するまで段階（ｉ）から段階（ｉｉｉ）までを反復的に繰り返す段階、
を更に含むことを特徴とする請求項２８に記載の方法。
前記トレーニングされた機械視覚アルゴリズムは、パラメータセットによって特徴付けられ、
前記パラメータは、前記網膜画像に対応する生画像を用いた前記機械視覚アルゴリズムの同等のトレーニングによって得られると考えられる対応するパラメータとは異なる、
ことを特徴とする請求項２７から請求項２９のいずれか１項に記載の方法。
符号化されたデータを生成するために符号化器を用いて前記生画像データを処理する段階は、対応する該生画像データと比較して低減された情報量を含む符号化されたデータを生成する段階を含み、
前記機械視覚アルゴリズムは、前記一連の網膜画像に適用された時に、前記符号化器を用いて処理されていない対応する生画像セットに適用された時よりも良好な性能を示す、
ことを特徴とする請求項６から請求項３０のいずれか１項に記載の方法。
前記符号化されたデータに含まれる前記情報量は、対応する前記生画像データと比較して少なくとも約２倍だけ圧縮されることを特徴とする請求項３１に記載の方法。
前記符号化されたデータに含まれる前記情報量は、対応する前記生画像データと比較して少なくとも約５倍だけ圧縮されることを特徴とする請求項３１に記載の方法。
前記符号化されたデータに含まれる前記情報量は、対応する前記生画像データと比較して少なくとも約１０倍だけ圧縮されることを特徴とする請求項３１に記載の方法。
前記脊椎動物は、ネズミ及びサルから構成されるリストから選択された少なくとも１つを含むことを特徴とする請求項１から請求項３４のいずれか１項に記載の方法。
前記網膜細胞は、神経節細胞を含むことを特徴とする請求項１から請求項３５のいずれか１項に記載の方法。
前記網膜細胞は、少なくとも２つの部類の細胞を含むことを特徴とする請求項１から請求項３６のいずれか１項に記載の方法。
前記少なくとも２つの部類の細胞は、ＯＮ細胞とＯＦＦ細胞を含むことを特徴とする請求項１から請求項３７のいずれか１項に記載の方法。
前記符号化器は、時空的に変化する画像を含む自然光景画像を含む様々な入力にわたって脊椎動物網膜の１つ又はそれよりも多くの網膜細胞の入力／出力変換を実質的に模倣する入力／出力変換によって特徴付けられることを特徴とする請求項１から請求項３８のいずれか１項に記載の方法。
生画像データを格納するように構成された少なくとも１つのメモリストレージデバイスと、
前記メモリと作動可能に結合され、かつ請求項１から請求項３８のいずれか１項に記載の方法を実行するようにプログラムされた少なくとも１つのプロセッサと、
を含むことを特徴とする装置。
請求項１から請求項３８のいずれか１項に記載の方法の段階を実施するためのコンピュータ実行可能命令を有する持続性コンピュータ可読媒体。