JP2017531865A - イベントベースのコンピュータビジョン計算 - Google Patents

イベントベースのコンピュータビジョン計算 Download PDF

Info

Publication number
JP2017531865A
JP2017531865A JP2017516855A JP2017516855A JP2017531865A JP 2017531865 A JP2017531865 A JP 2017531865A JP 2017516855 A JP2017516855 A JP 2017516855A JP 2017516855 A JP2017516855 A JP 2017516855A JP 2017531865 A JP2017531865 A JP 2017531865A
Authority
JP
Japan
Prior art keywords
sensor
sensor element
dedicated
event
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017516855A
Other languages
English (en)
Other versions
JP2017531865A5 (ja
Inventor
アロク・ゴヴィル
ス・ヨン・キム
エフゲニー・ペトロヴィチ・グーセフ
Original Assignee
クアルコム，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クアルコム，インコーポレイテッド filed Critical クアルコム，インコーポレイテッド
Publication of JP2017531865A publication Critical patent/JP2017531865A/ja
Publication of JP2017531865A5 publication Critical patent/JP2017531865A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Abstract

センサ読取り値に基づいて計算結果を生成することによって、エッジ、コーナーなどのCV特徴における変化を検出することに基づいてイベントをトリガするための特定の技法が提供される。イベントがセンサ素子に関するセンサ読取り値における変化に基づいて検出されるとCV特徴を検出するためのさらに他の技法も提供される。特定の態様では、イベント検出ロジックおよび特徴計算CVビジョン動作は、センサ上の回路において、またはコンピューティングデバイス上のソフトウェア/ファームウェアにおいて、独立に、または組み合わせて実行され得る。

Description

本開示は、一般には、コンピュータビジョンを可能にすることに関し、より詳細には、コンピュータビジョンを使用して特徴を検出する効率を改善することに関する。
コンピュータビジョンは、アプリケーションで使用するための画像を取得し、処理し、分析し、理解するための方法を含む分野である。従来、センサに結合されたプロセッサは、センサから画像データを取得し、コンピュータビジョン(CV)特徴と、結果としてこれらの特徴に関連するオブジェクトとを検出するためのセンサから受信した情報に対して特定のCV動作を実行する。特徴は、エッジ、コーナーなどを含み得る。これらのCV特徴は、顔、笑顔、およびジェスチャなどのマクロ特徴を決定する際に使用され得る。プロセッサ上で実行されるプログラムは、平面検出、顔検出、笑顔検出、ジェスチャ検出などの様々なアプリケーションにおいて、検出された特徴を利用し得る。
近年、コンピューティングデバイスがコンピューティングデバイスの視野内の特徴およびオブジェクトを検出することを可能にするために多大な努力がなされている。モバイルデバイスなどのコンピューティングデバイスは、モバイルデバイスによって使用される処理リソースおよび電力の量と、熱放散とに対して敏感であるように設計される。しかしながら、従来、カメラを使用してコンピューティングデバイスの視野内の特徴およびオブジェクトを検出することは、かなりの処理リソースを必要とし、その結果、モバイルデバイスなどのコンピューティングデバイスにおいて電力消費が大きくなり、バッテリ寿命が低下することになる。
本開示の態様は、例として示される。以下の説明は、図面を参照して提供され、図面では、全体にわたって同様の参照番号が同様の要素を示すために使用される。本明細書では1つまたは複数の技法の様々な詳細について説明するが、他の技法も同様に可能である。いくつかの例では、様々な技法の説明を容易にするために、周知の構造およびデバイスは、ブロック図で示される。
明細書の残りの部分および図面を参照することによって、本開示によって与えられる実施例の性質および利点をさらに理解することができ、同様の参照番号が、同様の構成要素を指すために、いくつかの図面全体で用いられる。いくつかの例では、複数の同様の構成要素のうちの1つを示すために、サブラベルが参照番号に関連付けられる。存在するサブラベルを特定することなく、参照番号に言及する場合、参照番号はそのようなすべての同様の構成要素を指す。
2次元アレイに配置された複数のセンサ素子を備える例示的なセンサを示す図である。 センサ素子とピクセル内回路とを備える例示的なピクセルを示す図である。 周辺回路に結合された例示的なセンサ素子アレイを示す図である。 専用コンピュータビジョン(CV)処理モジュールに結合された例示的なセンサ素子アレイを示す図である。 イベントベースのカメラを使用する視覚センサの例示的な実装形態を示す図である。 視覚センサのための例示的なピクセルを示す図である。 CV特徴を計算するための感知装置に関する例示的なブロック図である。 本開示の特定の態様による例示的なフローチャートである。 図7中のイベント検出モジュールとCVモジュールとの間で送信される例示的な情報を示す図である。 本開示の態様を実行するための例示的なピクセルを示す図である。 本開示の態様を実行するための例示的なセンサ装置を示す図である。 本開示の態様を実行するための別の例示的なセンサ装置を示す図である。 CV動作を実行する感知装置に関する別の例示的なブロック図である。 本開示の特定の態様による例示的なフローチャートである。 本開示の特定の態様による、センサのための回路およびモジュールの例示的な実装形態を示す図である。 本開示の態様において使用され得るSRAMセルの例示的な実装形態の図である。 本開示の態様において使用され得る比較器の例示的な実装形態の図である。 本開示の特定の態様を実行するためのセンサ装置の別の例示的な実装形態を示す図である。 本開示の特定の態様を実行するためのセンサ装置の別の例示的な実装形態を示す図である。 1つまたは複数の実施形態が実施され得るコンピューティングシステムの一例を示す図である。
本開示は、一般には、コンピュータビジョンを可能にすることに関し、より詳細には、コンピュータビジョンを使用して特徴を検出する効率を改善することに関する。
一態様では、センサ読取り値に基づいて計算結果を生成することによって、エッジ、コーナーなどのコンピュータビジョン(CV)特徴における変化を検出することに基づいてイベントをトリガするための技法が提供される。別の態様では、センサ素子に関するセンサ読取り値における変化に基づいてイベントが検出されるとCV特徴を検出するための技法も提供される。特定の態様では、イベント検出ロジックおよび特徴計算CV動作は、センサ上の回路において、またはコンピューティングデバイス上のソフトウェア/ファームウェアにおいて、独立してまたは組み合わせて実行され得る。
例示的な視覚センサは、複数のセンサ素子を備えるセンサ素子アレイを含み得、複数のセンサ素子は、センサ素子アレイの少なくとも第1の寸法(Dimension)および第2の寸法に沿って配置され、複数のセンサ素子の各々は、センサ素子に入射する光に基づいてセンサ読取り値を生成することができる。さらに、視覚センサは、対象センサ素子および対象センサ素子に対する隣接センサ素子に関する少なくともセンサ読取り値に基づいて対象センサ素子に関する局所CV特徴を計算し、対象センサ素子に関する以前に計算されたCV特徴からの計算されたCV特徴における変化に基づいてイベントを生成するように構成された専用コンピュータビジョン(CV)計算ハードウェアを含み得、イベントは、計算されたCV特徴における変化に関連する対象センサ素子の位置に関する情報を含む。
本開示の特定の態様では、専用CV計算ハードウェアは、専用CV処理モジュール、ピクセル内回路、または周辺回路として実装され得る。ピクセルは、センサ素子とピクセル内回路とを含み得る。専用CV計算ハードウェアにおいて生成されたイベントは、いくつかの例では、アプリケーションプロセッサに送られ得る。局所CV特徴を計算することは、局所バイナリパターン(LBP)ラベル、LBPラベルの変形、または符号付き勾配(HSG)ラベルのヒストグラムを生成することを含み得る。いくつかの例では、センサ素子アレイのセンサ素子は、少なくとも1つのフォトダイオードを含み得る。本開示のいくつかの態様では、イベントは、動的視覚センサ(DVS)回路を使用して生成され得る。
本開示の態様は、上記および本開示を通して開示される態様を実行するための方法、および手段を備える装置をさらに開示する。本開示の態様は、非一時的コンピュータ可読記憶媒体をさらに開示し、非一時的コンピュータ可読記憶媒体は、上記および本明細書を通して開示される本開示の態様を実行するための専用コンピュータビジョンマイクロプロセッサによって実行可能な命令を含み得る。
上記は、以下に続く詳細な説明がよりよく理解され得るように、例の特徴および技術的利点をいくぶん広く概説している。以下で、追加の特徴および利点について説明する。開示される概念および特定の例は、本開示の同じ目的を実行するための他の構造を修正または設計するための基礎として容易に利用され得る。そのような等価の構成は、添付の特許請求の範囲の要旨および範囲から逸脱しない。本明細書で開示される概念に特有あると考えられる特徴は、それらの構成および動作方法の両方として、関連する利点とともに、添付図面に関連して考慮されるとき、以下の説明からよりよく理解されるであろう。図面の各々は、例示および説明の目的のために提供され、特許請求の範囲の制限の定義としては提供されない。
詳細な説明
いくつかの例示的な実施形態について、本明細書の一部を形成する添付図面に関して説明する。本開示の1つまたは複数の態様が実装され得る特定の実施形態について以下で説明するが、本開示の範囲または添付の特許請求の範囲の趣旨から逸脱することなく、他の実施形態が使用されることがあり、様々な修正が行われることがある。
センサは、複数のセンサ素子のセンサ素子アレイを含み得る。センサ素子アレイは、センサ素子アレイの列および行などの2次元に配置されたセンサ素子を含む2次元アレイであり得る。センサ素子の各々は、環境条件に基づいてセンサ読取り値を生成することが可能であり得る。特定の実装形態では、センサは、視覚センサであり得、センサ素子に入射する光に基づいてセンサ読取り値を生成し得る。図1は、2次元アレイに配置された複数のセンサ素子を備える例示的なセンサ100を示す。図1では、センサ100の図は、センサ素子アレイ内の64(8×8)個のセンサ素子を表す。様々な実装形態では、センサ素子の形状、センサ素子の数、センサ素子間の間隔は、本発明の範囲から逸脱することなく、非常に変化し得る。センサ素子102は、64個のセンサ素子のグリッドからの例示的なセンサ素子を表す。
特定の実装形態では、センサ素子は、センサ素子に結合されたピクセル内回路(計算構造)として実装された専用コンピュータビジョン(CV)計算ハードウェアを有し得る。いくつかの実装形態では、センサ素子およびピクセル内回路は一緒に、ピクセルと呼ばれることがある。センサ素子に結合されたピクセル内回路によって実行される処理は、ピクセル内処理と呼ばれることがある。いくつかの例では、センサ素子アレイは、ピクセルアレイと呼ばれることがあり、違いは、ピクセルアレイがセンサ素子と各センサ素子に関連するピクセル内回路の両方を含むことである。図2は、センサ素子202とピクセル内回路204とを有する例示的なピクセル200を示す。特定の実装形態では、ピクセル内回路204は、アナログ回路、デジタル回路、またはそれらの任意の組合せであり得る。
特定の実装形態では、センサ素子アレイは、センサ素子のグループに結合された周辺回路(計算構造)として実装された専用CV計算ハードウェアを有し得る。そのような周辺回路は、オンチップセンサ回路と呼ばれることがある。図3は、センサ素子アレイ302に結合された例示的な周辺回路(304および306)を示す。
さらに、図4に示すように、特定の実装形態では、センサ素子アレイは、センサ素子アレイ402に結合され、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、埋込みマイクロプロセッサ、または、本開示の態様を実行するための任意の同様なアナログ計算ロジックもしくはデジタル計算ロジックを使用して実装される専用CV処理モジュール404として実装される専用CV計算ハードウェアを有し得る。特定の実装形態では、専用CV処理モジュール404として実装される専用CV計算ハードウェアは、CV特徴を計算するための非過渡的コンピュータ媒体装置上に記憶された命令を実行するように構成され得る。
少なくとも特定の実装形態では、専用CV処理モジュール404は、アプリケーションプロセッサ406に追加され、アプリケーションプロセッサ406の代わりではないことが留意されるべきである。たとえば、専用CV処理モジュール404は、CV特徴を処理および/または検出し得る。一方、アプリケーションプロセッサ406は、これらの専用CV特徴の指標を受信し得、笑顔、顔、オブジェクトなどのマクロ特徴を検出するために、以前に記憶された画像または参照指標に対してパターンマッチングし得る。加えて、アプリケーションプロセッサ406は、比較的非常により複雑で、計算集約的で、電力集約的で、ユーザと対話するためのユーザインターフェースを実装し、デバイスのための電力管理を実行し、メモリおよび他のリソースなどを管理する、オペレーティングシステムの動作などのシステムレベルの動作を実行する役割を果たし得る。アプリケーションプロセッサ406は、図19のプロセッサ1910と同様であり得る。
図5は、視覚センサを備える感知装置の例示的な実装形態を示す。コンピューティングデバイスに結合された1つまたは複数のカメラを使用して、画像、またはビデオなどの一連の画像を取得するために、いくつかの技法が用いられ得る。
図5は、イベントベースのカメラを使用する視覚センサの例示的な実装形態を示す。視覚センサは、画像データを取得するための画像カメラまたはビデオカメラ内で使用され得る。イベントベースのカメラセンサは、イベントに基づいて画像情報を取得するように構成され得る。一実装形態では、イベントベースのカメラは、図1に示すように、複数のピクセルを備え得る。各ピクセルは、センサ素子とピクセル内回路とを備え得る。各ピクセルは、ピクセルで検出されたイベントに基づいて画像データを取得するように構成され得る。たとえば、一実装形態では、任意の所与のピクセルで知覚された環境条件の変化(たとえば、オブジェクトから反射する光の変化)は、しきい値を超える電圧の変化をもたらす可能性があり、ピクセルにおけるイベントをもたらす可能性がある。イベントに応答して、ピクセルに関連するロジックは、さらなる処理のためにプロセッサにセンサ読取り値を送り得る。
図6を参照すると、各ピクセルは、フォトダイオード602と、動的視覚センサ(DVS:dynamic vision sensor)604回路とを含み得る。DVSモジュールは、イベント検出モジュールと呼ばれることもある。イベント検出モジュールは、ピクセルにおける値の変化を検出し、イベントインジケータを生成する。イベントを示すピクセルの強度がしきい値を超えて変化したとき、センサ読取り値がプロセッサに送り出される。いくつかの例では、イベントが検出されたセンサ素子の位置は、ペイロードとともに、さらなる処理のためにコンピュータシステムに送られる。一実装形態では、ペイロードは、電圧強度、電圧強度の変化、または、電圧強度の変化の極性(符号)であり得る。いくつかの例では、イベントベースのカメラは、従来のフレームベースのカメラと比較して、さらなる処理のためにプロセッサに転送されるデータの実質的により少ない量をもたらすことができ、電力節約をもたらす。
図5に戻って参照すると、ブロック502は、センサとイベント検出回路とを集合的に表す。ブロック502は、複数のピクセルを有するセンサを表し、各ピクセルは、イベント検出のためのセンサ素子と回路とを備える。各ピクセルは、センサ素子を使用してセンサ読取り値を生成する。センサ読取り値は、後にデジタル化され、すなわち、ADC変換器508を使用してアナログデータからデジタルデータに変換される。一実施形態では、以前のセンサ読取り値の結果は、各ピクセルについて列並列SRAM506内に記憶され得る。いくつかの例では、列並列SRAM506内に記憶された結果は、現在のセンサ読取り値と以前のセンサ読取り値との間の比較に基づいてイベントを比較し、トリガするために、比較器によって使用され得る。ピクセルで取得されたアナログ情報は、アナログ-デジタル(ADC)変換器508を使用してデジタル領域に変換される。デジタル化されたセンサ読取り値は、CV特徴を計算するためのさらなる画像処理のためにプロセッサ512に送られ得る。
画像プロセッサ512は、特徴と、結果としてこれらの特徴に関連するオブジェクトとを検出するための、個々のピクセルから受信した情報に対する特定のCV特徴を計算し得る。特徴は、エッジ、コーナーなどの複雑ではない特徴を含み得る。CV特徴の計算は、マルチピクセル計算を実行することによって特徴を検出するために、センサ素子アレイからの複数のピクセルからの情報を使用し得る。たとえば、対象センサ素子またはピクセルに対してCV特徴を計算するために、CV動作は、対象センサ素子またはピクセルに近接する隣接センサ素子またはピクセルによって生成されたセンサ読取り値を使用し得る。
特定の実施形態では、画像プロセッサ512などのアプリケーションプロセッサ406上で、線形バイナリパターン(LBP)、LBPの変形、符号付き勾配(HSG)ラベルのヒストグラムなどのより低いレベルのCV特徴を計算することは、電力集約的で、処理集約的であり得る。多くの例では、ピクセルレベルで検出されたイベントは、アプリケーションプロセッサ406においてピクセル値に対するCV動作を実行することによって変化が破棄されるまで、一連のイベントにつながる疑似である可能性がある。さらに、アナログピクセル値をデジタルピクセル値に変換することは、電力を消費する可能性がある。さらに、多くの例において、アプリケーションプロセッサ406上でCV動作を実行することは、システムメモリ内にセンサからの情報を格納することと、センサ情報の処理をトリガすることと、CV計算のためにメモリから命令を取得することと、結果を格納することとを必要とするので、アプリケーションプロセッサ406上でCV特徴を検出することは、電力集約的で、処理集約的である可能性がある。加えて、アプリケーションプロセッサ406は、一般に、命令を実行するときに電力を欠乏する。センサからの偽のまたは興味のないイベントは、不活動の間は低電力モードで動作していてもよいアプリケーションプロセッサ406を起動させ、システムの消費電力を大幅に増加させる。
本発明の特定の実施形態は、アプリケーションプロセッサ406を起動させ、アプリケーションプロセッサ406でこれらの低レベルのCV特徴を計算する代わりに、専用CV計算ハードウェアを使用してLBP、LBPの変形およびHSGラベルの計算などのイベントベースのCV動作を実行するための技法を説明する。
ピクセル内またはピクセルに近接した専用CV計算ハードウェアによってCV特徴を検出するためのCV動作を実行することによって、いくつかの例では、イベントは、ピクセルレベルの粒度でなく、特徴レベルの粒度で検出され得る。特徴レベルの粒度でイベントを検出することは、生成され、さらなる処理のためにアプリケーションプロセッサ406に送られる偽陽性のイベントの数を減少させ得る。
本明細書で説明するように、専用CV計算ハードウェアは、対象センサ素子に近接する複数の隣接センサ素子に関連する信号に少なくとも部分的に基づいて、対象センサ素子の各々に関するCV特徴または局所CV特徴を計算する。
本明細書で説明するように、対象センサ素子に比較的近いセンサ素子は、隣接センサ素子と呼ばれることがある。本開示の特定の態様では、隣接センサ素子は、対象センサ素子のすぐ隣のセンサ素子を含み得る。本開示の特定の他の態様では、隣接センサ素子はまた、対象センサ素子に比較的近く、すぐ隣ではないセンサ素子を含み得る。たとえば、特定の例では、センサの数の幅または高さが64個のセンサ素子であるとき、対象センサ素子から3個のセンサ素子内のセンサ素子は、依然として隣接センサ素子と考えられ得る。
本明細書で説明するように、CV特徴または局所CV特徴は、センサの各センサ素子またはピクセルに関連するラベルなどの低レベルのCVマーカまたはインジケータを検出することを指すことがある。たとえば、ラベルは、センサ素子のためのLBPラベルを含み得る。センサ素子のためのLBPラベルは、センサ素子のセンサ読取り値と、その隣接センサ素子のうちのいくつかのセンサ読取りとを比較することによって生成され得る。LBPラベルは、センサ素子の基準からのCV特徴がエッジ、コーナー、カーブ、スポットなどを表すかどうかを示し得る。HSG、またはLBPの他の適切な変形などの他の技法が、本開示の範囲から逸脱することなくCV特徴を検出するために使用され得る。
本明細書で説明するように、CV特徴の変換に基づいてイベントを検出および/または生成することは、センサ素子またはセンサ素子の小さいグループの観点から特徴の変化を検出することを指すことがある。たとえば、センサ素子におけるLBPラベルが変化した場合、イベントが検出および/または生成され得る。言い換えれば、センサ素子において検出されたCV特徴がスポットからエッジに変化する場合、これは、イベントの生成をトリガし得る。
本明細書で論じるLBPラベルの他にも、異なるタイプのCV特徴はまた、計算LBPラベルの変形を含み得る。そのような変形は、(CS)-LBPを含み得、(CS)-LBPでは、中央ピクセル/ブロックは、考慮されず、中央ブロックの周りのすべての対向するコーナー/エッジが比較され、4つの比較ラベルが結果として生成され、4つの比較ラベルは、次いで、LBPラベルを表し、以前に説明したLBPと同じように使用される。他の変形は、限定はしないが、「パッチ対称」LBP(中央ピクセル/ブロックは、比較において考慮されず、3×3パッチ全体の平均が計算され、次いで、各エッジ/コーナーが平均と比較される)と、「局所3値パターン(LTP:local tertiary pattern)」(1または0だけでなく+1、0、-1の結果を含み得るLBPの変形、0は、差がしきい値未満であることを意味し、+1および-1は、しきい値よりも大きい差を意味するが、差の符号がどちらであるのかを考慮する)とを含む。
以下でより詳細に説明するように、位置およびCV特徴情報などの追加の情報を伴うイベントの生成は、さらなる処理のためにアプリケーションプロセッサに提供され得る。本開示の一態様では、アプリケーションプロセッサは、笑顔、顔、またはそのことに関する任意の他のオブジェクトなどのマクロ特徴を検出するために、これらのイベントと、関連情報とを使用し得る。
図7は、検出されたイベントに基づいてCV特徴を計算および検出するための感知装置に関する例示的なブロック図を示す。図7は、センサ702と、イベント検出モジュール704と、CVモジュール706とを示す。図7に示すように、センサ702からのセンサ読取り値を生成した後、イベント検出モジュール704は、センサ読取り値において検出された変化に基づいてイベントを検出し得る。ピクセル値における変化を意味するイベントが検出されると、CVモジュールは、CV特徴を計算し得、特徴レベルの粒度でイベントを検出し得る。いくつかの例では、特徴の検出時に、プロサッサ上で実行されるアプリケーションは、検出された特徴を使用し得る。
センサ702、イベント検出モジュール704、およびCVモジュール706は、様々な異なる粒度における様々な異なる構成で実装され得る。たとえば、図7中のセンサは、図1中のセンサ素子102などの単一のセンサ素子、または、図1中のセンサ100などのセンサ素子アレイ全体を表し得る。特定の実施形態では、イベント検出モジュール704および/またはCVモジュール706は、ピクセル内回路204、周辺回路304/306、または専用CV処理モジュール404内に、アナログまたはデジタルで実装され得る。
イベント検出モジュール704は、ピクセル内回路または周辺回路またはそれらに任意の組合せとして実装され得る。イベント検出モジュール704が複数のピクセルに関するセンサ読取り値を処理する構成では、イベント検出モジュール704は、列(列並列DVSとも呼ばれる)などのセンサ素子アレイの1次元、またはセンサ素子アレイ全体に関連するセンサ素子からのセンサ読取り値を処理し得る。
CVモジュール706は、オンチップセンサ回路またはオフチップセンサ回路またはそれらの任意の組合せとして、複数のピクセルに関するセンサ読取り値を処理するための、センサピクセルの各々の内部のピクセル内回路204として、周辺回路304として、または専用CV処理モジュール404として実装され得る。CVモジュール706が複数のピクセルに関するセンサ読取り値を処理する構成では、CVモジュール706は、列(列並列CVとも呼ばれる)などのセンサ素子アレイの1次元、またはセンサ素子アレイ全体に関連するセンサ素子からのセンサ読取り値を処理し得る。いくつかの実装形態では、CVモジュール706は、デジタル領域において専用CV処理モジュール404上で実行するためのファームウェア/ソフトウェア命令において実装され得る。
図示していないが、CVモジュール706は、基準センサ素子に近接する隣接センサ素子によって生成されたセンサ読取り値に基づいて、センサ素子に関するマルチピクセル計算を表すアナログ動作またはデジタル動作を実行するように構成され得る。
図8は、本開示の特定の態様による例示的なフローチャートである。プロセス800(または、本明細書で説明する任意の他のプロセス、もしくはそれらの変形および/もしくは組合せ)のうちのいくつかまたはすべては、回路またはロジックによって実行され得る。回路またはロジックは、ピクセル内回路、周辺回路、もしくは専用CV処理モジュール、またはそれらの任意の組合せにおいて実装され得る。いくつかの例では、ロジックのすべてまたは部分は、命令を使用して実装され得、デジタル回路上で実行され得、非一時的コンピュータ可読媒体上に記憶され得る。
ブロック802では、対象センサ素子などの、センサアレイ素子の構成要素は、対象センサ素子に入射する光に基づく少なくとも1つのセンサ読取り値を受信する。センサ素子アレイは、複数のセンサ素子を備える。センサ素子は、センサ素子アレイの少なくとも第1の寸法(Dimension)および第2の寸法に沿って配置され得る。本開示の特定の態様では、センサ素子アレイは、視覚センサであり、センサ素子の各々は、フォトダイオードを含む。
ブロック804では、専用CV計算ハードウェアなどの、本明細書で開示される構成要素は、対象センサ素子に関するセンサ読取り値における変化を検出し、イベントを生成する。特定の実装形態では、イベント検出回路またはDVSモジュールは、イベントを検出および生成する際に使用される。
ブロック806では、専用CV計算ハードウェアなどの、本明細書で開示される構成要素は、対象センサ素子に関するセンサ読取り値と、対象センサ素子に対する隣接センサ素子に関するセンサ読取り値とに基づいて、局所CV特徴を計算する。
本明細書で説明するように、CV特徴または局所CV特徴は、センサの各センサ素子またはピクセルに関連するラベルなどの低レベルのCVマーカまたはインジケータを指すことがある。たとえば、ラベルは、センサ素子のためのLBPラベルを含み得る。センサ素子のためのLBPラベルは、センサ素子のセンサ読取り値と、その隣接センサ素子のうちのいくつかのセンサ読取りとを比較することによって生成され得る。LBPラベルは、センサ素子の基準からのCV特徴が、エッジ、コーナー、カーブ、スポットなどを表すかどうかを示し得る。HSG、またはLBPの他の適切な変形などの他の技法は、本開示の範囲から逸脱することなく、CV特徴を検出するために使用され得る。局所CV特徴は、LBPラベルまたはHSGラベルから推測され得る。
本開示の特定の態様では、専用CV計算ハードウェアは、図4中の専用CV処理モジュール404などの専用CVマイクロプロセッサの一部として実装される。本開示の特定の他の態様では、専用CV計算ハードウェアは、ピクセル内回路204または周辺回路304として実装され得る。本開示の特定の態様では、計算されたCV特徴は、さらなる処理のために専用CV計算ハードウェアからアプリケーションプロセッサ406に送られる。
図8に示す特定のステップは、一実施形態による、動作モード間の切替えの特定の方法を提供する理解されるべきである。代替の実施形態では、ステップの他のシーケンスも実行され得る。たとえば、代替の実施形態は、上記で概説したステップ/ブロックを異なる順序で実行し得る。例示のために、ユーザは、第3の動作モードから第1の動作モードに変更すること、第4のモードから第2のモードに変更すること、またはそれらの任意の組合せの間で変更することを選び得る。その上、図8に示される個々のステップ/ブロックは、個々のステップに対して様々な順序で適宜実行され得る、複数のサブステップを含み得る。さらに、追加のステップ/ブロックが、具体的な用途に応じて、追加または削除され得る。当業者は、プロセスの多くの変形、修正、および代替を認識し、評価するであろう。
図9、図10、図11、および図12は、図7および図8に関して説明したようにCV動作を実行する前にDVS動作を実行するための例示的な構成である。
図9は、図7中のイベント検出モジュール704とCVモジュール706との間で送信される例示的な情報を示す。一実装形態では、DVSモジュール901は、センサ素子アレイ900におけるセンサ素子の位置に関連するイベントを検出する。DVSモジュール901は、センサ素子アレイにおけるセンサ素子の位置とオプションのペイロードとを備える情報906とともに、CVモジュール903にイベントを提起し得る。ペイロードは、電圧強度、電圧強度における変化、または変化の極性を含み得る。
イベントの位置、またはイベントに関連するセンサ素子の位置は、画像904に関する画像ピクセルに対応し得る。CVモジュール903は、画像904全体に対してCV特徴を再計算する代わりに、CV特徴がピクセルのそのグループに関して検出され得るように、イベントが検出された画像ピクセルの隣接値を含む画像ピクセル値のグループ902にアクセスし得る。一実装形態では、CV特徴が回路内で検出される場合、隣接ピクセルに関する値は、隣接ピクセルのキャパシタ内に保持された以前の値からアクセスされ得る。別の実装形態では、CVモジュール903がコンピューティングシステム内で動作する場合、隣接値は、記憶された画像からの記憶から検索され得る。
CVモジュール903は、イベント位置とオプションのピクセルペイロードとを処理し、オプションの特徴ペイロード908を生成する。位置およびオプションの特徴ペイロード908は、アプリケーションにおけるさらなる処理のためにアプリケーションプロセッサ406に渡され得る。
図10は、本開示の態様を実行するための例示的なピクセルを示す。図10中のピクセルは、センサ回路1002(すなわち、フォトダイオード)と、ピクセル内のアナログ処理またはデジタル処理のためのDVSおよび/またはCV回路1004とを備える。図10に示すように、特定の実装形態では、複数のキャパシタが、以前の電圧(V_PRE)と現在の電圧(V_CUR)とを記憶するために使用され得る。CVブロック1004は、CV特徴検出のための、LBPラベル、LBPラベルの変形、またはHSGラベルを計算し得る。出力は、CV特徴検出の態様を示す情報と、イベントを示すイベント検出モジュールからの情報とを含み得る。たとえば、本開示の一態様では、出力は、CV(すなわち、LBPまたはHSG)特徴検出に関する情報の3〜4ビットと、イベント自体の発生のための別のビットとを含み得る。
図11は、本開示の態様を実行するためのイベント検出モジュール702を実装する例示的なセンサ装置を示す。図11では、図6で論じたピクセルと同様の各ピクセルは、ブロック1104として集合的に示すセンサ素子602とイベント検出モジュール604とを備える。ブロック1106は、センサからデータを追い出すための行ドライバ(ROW DRV)を表し、ブロック1108は、タイミングコントローラ(TCON)を表す。一実施形態では、以前のセンサ読出しの結果は、ピクセルごとに列並列SRAM1112内に記憶され得る。列並列SRAM1112内に記憶された結果は、現在のセンサ読取り値と以前のセンサ読取り値との間の比較に基づいて、イベントを比較し、トリガするために比較器によって使用され得る。
図11では、各ピクセルは、ピクセルレベルの変化を示すイベント検出モジュールからのデジタル出力と、センサ素子からの電圧読取り値とを出力し得る。図11に示すように、いくつかの例では、CVモジュール1110は、ピクセルのグループまたはセンサ素子アレイ全体に対して実装され得る。CVモジュール1110は、周辺回路304/306または専用CV処理モジュール404として実装され得る。ピクセルのグループまたはセンサ素子アレイ全体に対してCVモジュール1110を実装することは、データを処理する際の効率を考慮し得る。たとえば、同じCVモジュールは、ピクセルの異なるグループに順次にサービスすることが可能であり得る。一実装形態では、ピクセル1102上に位置するイベント検出モジュールによって生成されたデジタル出力(DVSのDout)は、CV回路に変化を示し得、ピクセルから出力された電圧(Vpix)を処理するために処理ロジックを選択/トリガし得る。
図12は、本開示の態様を実行するための別の例示的なセンサ装置を示し、図11で論じた例示的な構成の変形である。たとえば、図12は、図11と同様の行ドライバ1206、タイミングコントローラ1208、CVモジュール1210などの構成要素を有する。図12では、各ピクセルは、センサ素子を備える。ピクセル1202などの各ピクセルは、現在の電圧(Current Vpix)と以前の電圧(Previous Vpix)とを出力する。以前の電圧は、キャパシタ回路を使用してピクセルによって維持され得る。イベント検出モジュールは、各個別のピクセル(すなわち、ピクセル内回路204)の代わりに、周辺回路304または専用CV処理モジュール404として実装され得る。図12に示すように、イベント検出モジュールは、ピクセル列ごとに列並列インベント検出モジュール1212として実装され得る。イベント検出モジュール1212は、ピクセルによって出力された現在の電圧と以前の電圧とを比較し、現在の電圧出力と以前の電圧との間の差に基づいてイベントを生成する。図12に示すアービタ回路1214は、適切な列を選択し、列並列イベント検出モジュールとCVモジュール1210との間で適切なデータを駆動するための多重化ロジックを提供し得る。
図13は、CV特徴を計算するための感知装置に関する別の例示的なブロック図を示す。図13は、センサ1302と、CVモジュール1304と、DVSモジュール1306とを示す。図7(および図8〜図12)を参照して説明した装置とは対照的に、図13中のCV特徴は、DVS動作の前に計算される。図13に示すように、センサ1302からのセンサ読取り値を生成した後、CVモジュール1304は、センサ情報を処理し、CV特徴を検出し、DVSモジュール1306に情報を渡し得る。DVSモジュール1306は、その結果、(ピクセル粒度におけるイベントとは対照的に)CV特徴粒度でイベントを検出し得る。いくつかの例では、CV特徴の検出時に、CVモジュール1304は、さらなる処理のために、アプリケーションプロセッサ406などのプロセッサに情報を送り得る。
センサ1302、CVモジュール1304、およびDVSモジュール1306は、様々な異なる粒度において様々な異なる構成で実装され得る。たとえば、図13中のセンサ1302は、図1からのセンサ素子102などの単一のセンサ素子、または図1からのセンサ100などのセンサ素子アレイ全体を表し得る。
CVモジュール1304は、センサピクセルの各々の内部のピクセル内回路として、周辺回路として、またはオンチップセンサ回路として複数のピクセルに関するセンサ読取り値を処理するための専用CV処理モジュールとして実装され得る。CVモジュール1304が複数のセンサ素子に関するセンサ読取り値を処理する構成では、CVモジュール1304は、列(列並列CVとも呼ばれる)などのセンサ素子アレイの1次元またはセンサ素子アレイ全体に関連するセンサ素子からのセンサ読取り値を処理し得る。
図示されていないが、CVモジュール1304は、参照されたピクセルに近接する隣接センサ素子によって生成されたセンサ読取り値に基づいて、ピクセルに関するマルチピクセル計算を表すアナログ演算またはデジタル演算を実行するように構成され得る。
いくつかの実装形態では、CVモジュール1304は、デジタル領域においてプロセッサ上で実行されるファームウェア/ソフトウェア命令において実装され得る。
同様に、DVSモジュール1306は、センサピクセルの各々の内部のピクセル内回路として、オンチップセンサ回路として複数のピクセルに関するセンサ読取り値を処理するための周辺回路として、または専用CV処理モジュールを使用して実装され得る。DVSモジュール1306が複数のピクセルに関するセンサ読取り値を処理する構成では、DVSモジュール1306は、列(列並列DVSとも呼ばれる)などのセンサ素子アレイの1次元またはセンサ素子アレイ全体に関連するセンサ素子からのセンサ読取り値を処理し得る。
図14は、本開示の特定の態様による例示的なフローチャートである。プロセス1400(または、本明細書で説明する任意の他のプロセス、もしくはそれらの変形および/もしくは組合せ)のうちのいくつかまたはすべては、回路またはロジックによって実行され得る。回路またはロジックは、ピクセル内回路、周辺回路、または専用CV処理ロジック、またはそれらの任意の組合せにおいて実装され得る。いくつかの例では、ロジックのすべてまたは部分は、命令を使用して実装され得、デジタル回路上で実行され得、非一時的コンピュータ可読媒体上に記憶され得る。
ブロック1402では、対象センサ素子などの、センサアレイ素子の構成要素は、対象センサ素子に入射する光に基づく少なくとも1つのセンサ読取り値を受信する。センサ素子アレイは、複数のセンサ素子を備え、その複数のセンサ素子は、センサ素子アレイの少なくとも第1の寸法および第2の寸法に沿って配置される。本開示の特定の態様では、センサ素子アレイは、視覚センサであり、センサ素子の各々は、少なくとも1つのフォトダイオードを含む。
ブロック1404では、専用CV計算ハードウェアなどの本明細書で開示する構成要素は、局所CV特徴を計算し、局所CV特徴は、少なくとも対象センサ素子に対する隣接センサ素子に関するセンサ読取り値に基づく。
本明細書で説明するように、CV特徴または局所CV特徴は、センサの各センサ素子またはピクセルに関連するラベルなどの低レベルのCVマーカまたはインジケータを指すことがある。たとえば、ラベルは、センサ素子のためのLBPラベルを含み得る。センサ素子のためのLBPラベルは、センサ素子のセンサ読取り値と、その隣接センサ素子のうちのいくつかのセンサ読取り値とを比較することによって生成され得る。LBPラベルは、センサ素子の基準からのCV特徴がエッジ、コーナー、カーブ、スポットなどを表すかどうかを示し得る。HSGまたはLBPの他の適切な変形などの他の技法は、本開示の範囲から逸脱することなく、CV特徴を検出するために使用され得る。局所CV特徴は、LBPラベルまたはHSGラベルに基づき得る。
本明細書で説明するように、対象センサ素子に比較的近いセンサ素子は、隣接センサ素子と呼ばれることがある。本開示の特定の態様では、隣接センサ素子は、対象センサ素子のすぐ隣のセンサ素子を含み得る。本開示の特定の他の態様では、隣接センサ素子はまた、対象センサ素子に比較的近く、すぐ隣ではないセンサ素子を含み得る。たとえば、特定の例では、センサの数の幅または高さが64個のセンサ素子であるとき、対象センサ素子から3個のセンサ素子内のセンサ素子は、依然として隣接センサ素子と考えられ得る。
本開示の特定の態様では、専用CV計算ハードウェアは、図4中の専用CV処理モジュール404などの専用CVマイクロプロセッサの一部として実装される。本開示の特定の他の態様では、専用CV計算ハードウェアは、ピクセル内回路204または周辺回路304として実装され得る。
ブロック1406では、専用CV計算ハードウェアなどの本明細書で開示する構成要素は、計算されたCV特徴の変化に基づいてイベントを生成し、イベントは、計算されたCV特徴における変化に関連する対象センサ素子の位置に関する情報を含む。本開示の特定の態様では、計算されたCV特徴は、専用CV計算ハードウェアからアプリケーションマイクロプロセッサに送られる。
本明細書で説明するように、CV特徴における変化に基づいてイベントを生成することは、センサ素子またはセンサ素子の小さいグループの観点から特徴の変化を検出することを指すことがある。たとえば、イベントは、センサ素子におけるLBPレベルが変化した場合、検出および/または生成され得る。言い換えれば、センサ素子において検出されたCV特徴がスポットからエッジに変化した場合、これは、イベントの発生をトリガし得る。
位置およびCV特徴情報などの追加の情報を伴う生成されたイベントは、さらなる処理のためにアプリケーションプロセッサに提供され得る。本開示の一態様では、アプリケーションプロセッサは、笑顔、顔、またはその問題に関する任意の他のオブジェクトなどのマクロ特徴を検出するために、これらのイベントと関連情報とを使用し得る。
図14に示す特定のステップは、一実施形態による、動作モード間の切替えの特定の方法を提供する。代替の実施形態では、ステップの他のシーケンスも使用され得る。たとえば、代替の実施形態は、上記で概説したステップ/ブロックを異なる順序で実行し得る。例示のために、ユーザは、第3の動作モードから第1の動作モードに変更すること、第4のモードから第2のモードに変更すること、またはそれらの任意の組合せの間で変更することを選び得る。その上、図14に示される個々のステップ/ブロックは、個々のステップに対して様々な順序で適宜実行され得る、複数のサブステップを含み得る。さらに、追加のステップ/ブロックが、具体的な用途に応じて、追加または削除され得る。当業者は、プロセスの多くの変形、修正、および代替を認識し、評価するであろう。
図15、図17、および図18は、図13に関して説明したように、DV動作を実行する前にCV特徴を計算するための例示的な構成である。
図15は、本開示の特定の態様による、センサのための回路およびモジュールの例示的な実装形態を示す。図15に示すように、ピクセル1502は、センサ回路1504(たとえば、フォトダイオード)とCV回路1506とを含み得る。インベント検出モジュールは、オンチップセンサ回路として実装され得、任意の2つのフレーム間の時間差をチェックするための列並列回路(SRAM1508および比較器1510)を備え得る。SRAMセル1508が図15に示されているが、任意の他のタイプの揮発性または不揮発性メモリが使用され得る。イベント検出モジュールのデジタル実装形態では、アナログキャパシタは、デジタルバッファで置き換えられ得、アナログ比較器は、デジタル比較器で置き換えられ得る。
図16Aは、図15または本開示の他の図面中で説明したイベント検出モジュールにおいて使用され得るスタティックランダムアクセスメモリ(SRAM)セルの例示的な実装形態を提供する。図16Aに示すように、双安定ラッチ回路は、M1、M2、およびM5が1対を形成し、M3、M4、およびM6が双安定ラッチ回路の第2の対を形成する。図16Bは、図15または本開示の他の図面中のイベント検出モジュールにおける以前の値と現在の値とを比較するための比較器の例示的な実装形態を提供する。比較器は、2つの電圧または電流を比較し、2つのうちのどちらが大きいか(小さいか)を示すデジタル信号を出力し得る。図16Bに示す比較器は、電圧比較器である。
図17は、本開示の特定の態様を実行するためのセンサ装置1702の別の例示的な実装形態を示す。図17に示すように、CVモジュール1706およびイベント検出回路は、両方とも、ピクセル内部に実装され、ピクセル内CVおよびDVS処理を実行するように構成される。CVモジュールは、LBPラベルまたはHSGラベルを生成し得る。図17では、CV動作が最初に実行され、続いてDVS動作が実行される。DVS動作は、デジタル領域において実行され得、イベントは、特徴検出に基づいて生成され得る。イベント検出回路は、以前のCV出力を記憶するためのSRAM1708または同様の適切なメモリを実装し得る。以前のCV出力および現在のCV出力は、DVSイベントを生成するために比較器1710によって比較され得る。DVS特徴イベントは、さらなる処理のためにCV情報とともにアプリケーションプロセッサ406に提供され得る。
図18は、本開示の特定の態様を実行するためのセンサ装置1802の別の例示的な実装形態を示す。図18に示すように、センサ回路1804(たとえば、フォトダイオード)およびCVモジュール1806は、センサ装置1802(すなわち、ピクセル)内部に実装され、CV特徴は、ピクセル内で検出される。イベント検出モジュールは、オンチップセンサ回路として実装され、列並列回路内に実装される。図18では、CV動作が最初に実行され、続いてDVS動作が実行される。DVS動作は、デジタル領域において実行され得、イベントは、特徴検出に基づいて生成され得る。イベント検出モジュールは、以前のCV出力を記憶するためのSRAM1808または同様の適切なメモリを実装し得る。以前のCV出力および現在のCV出力は、DVSイベントを生成するために比較器1810によって比較され得る。DVS特徴イベントは、さらなる処理のためにCV情報とともにプロセッサに提供され得る。
上記で説明した例の多くは、回路におけるDVS動作(すなわち、イベント検出)およびCV動作を実行することを開示しているが、いくつかの実装形態では、これらの動作の一方または両方は、本発明の範囲から逸脱することなく、デジタル領域においてプロセッサ上のソフトウェアまたはファームウェアにおいて実行され得る。たとえば、特定の実装形態では、これらの動作は、専用CV処理モジュール404においてデジタル領域において実行され得る。
1つまたは複数の態様によれば、本明細書の図1〜図18において説明した装置モジュール、回路、方法、および/または方法ステップのうちのいずれかおよび/またはすべては、視覚センサ装置などのセンサ装置によっておよび/またはセンサ装置内で実現され得る。一実施形態では、論じた方法ステップのうちの1つまたは複数は、CV回路、イベント検出モジュール、または任意の他の回路などのセンサ装置の感知素子および処理ロジックによって実施され得る。加えて、または代替的には、本明細書で説明した方法および/または方法ステップのうちのいずれかおよび/またはすべては、メモリ、ストレージ、または別のコンピュータ可読媒体などのコンピュータ可読媒体上に記憶されたコンピュータ可読命令などのコンピュータ可読命令において実装され得る。
図19は、本発明の実装形態を実施する際に用いられるデバイスおよびセンサ100の一部を組み込む例示的なコンピューティングデバイスを示す。たとえば、コンピューティングデバイス1900は、モバイルデバイスまたは任意の他のコンピューティングデバイスの構成要素のうちのいくつかを表し得る。コンピューティングデバイス1900の例には、限定はされないが、デスクトップ、ワークステーション、パーソナルコンピュータ、スーパーコンピュータ、ビデオゲーム機、タブレット、スマートフォン、ラップトップ、ネットブック、または他のポータブルデバイスがある。図19は、本明細書で説明する様々な他の実施形態によって提供される方法を実行することができ、かつ/または、ホストコンピューティングデバイス、リモートキオスク/端末、販売時点デバイス、モバイル多機能デバイス、セットトップボックスおよび/もしくはコンピューティングデバイスとして機能することができる、コンピューティングデバイス1900の一実施形態の概略図を提供する。図19は、種々の構成要素の一般化された図を提供することのみを意図しており、必要に応じて、そのいずれか、またはすべてが利用される場合がある。図19は、したがって、個々のシステム要素がどのように比較的分離されたまたは比較的統合された方法で実施され得るのかを広く例示する。
バス1905を介して電気的に結合され得る(または適宜別様に通信し得る)ハードウェア要素を備える、コンピューティングデバイス1900が示されている。ハードウェア要素は、限定はしないが、1つもしくは複数の汎用プロセッサおよび/または1つもしくは複数の専用プロセッサ(デジタル信号処理チップ、グラフィックスアクセラレーションプロセッサ、など)を含む1つまたは複数のプロセッサ1910と、限定はしないが、1つもしくは複数のカメラセンサ1950、マウス、キーボードなどを含み得る1つまたは複数の入力デバイス1915と、限定はしないが、ディスプレイユニット、プリンタなどの1つまたは複数の出力デバイス1920とを含み得る。センサ1950は、視覚センサ、嗅覚センサ、および/または化学センサを含み得る。例示的なセンサ100は、図1で説明されている。
コンピューティングデバイス1900は、1つまたは複数の非一時的記憶デバイス1925をさらに含む(かつ/またはそれと通信する)ことができ、非一時的記憶デバイス1925は、限定はしないが、ローカルストレージおよび/もしくはネットワークアクセス可能なストレージを備えることができ、ならびに/または、限定はしないが、プログラム可能、フラッシュ更新可能などであり得る、ディスクドライブ、ドライブアレイ、光記憶デバイス、ランダムアクセスメモリ(「RAM」)および/もしくは読取り専用メモリ(「ROM」)などのソリッドフォーム記憶デバイスを含むことができる。そのような記憶デバイスは、限定はしないが、様々なファイルシステム、データベース構造などを含む任意の適切なデータ記憶装置を実装するように構成され得る。
コンピューティングデバイス1900はまた、通信サブシステム1930を含み得る。通信サブシステム1930は、データを受信し送信するための送受信機1950、または、有線媒体および/もしくはワイヤレス媒体を含み得る。通信サブシステム1930はまた、限定はしないが、モデム、ネットワークカード(ワイヤレスまたはワイヤード)、赤外線通信デバイス、ワイヤレス通信デバイスおよび/またはチップセット(Bluetooth(登録商標)デバイス、802.11デバイス、WiFiデバイス、WiMaxデバイス、セルラー通信設備など)などを含み得る。通信サブシステム1930は、ネットワーク(一例を挙げると、以下で説明するネットワークなど)、他のコンピューティングデバイス、および/または本明細書で説明する任意の他のデバイスとデータを交換することを可能にしてもよい。多くの実施形態では、コンピューティングデバイス1900は、上記で説明したように、RAMデバイスまたはROMデバイスを含み得る非一時的作業メモリ1935をさらに備えることになる。
コンピューティングデバイス1900は、オペレーティングシステム1940、デバイスドライバ、実行可能ライブラリ、および/または、1つもしくは複数のアプリケーションプログラム1945などの他のコードを含む、作業メモリ1935内に現在配置されているように図示されている、ソフトウェア要素を備えることができ、1つまたは複数のアプリケーションプログラム1945は、本明細書で説明するように、様々な実施形態によって提供されるコンピュータプログラムを含んでよく、ならびに/または、他の実施形態によって提供される方法を実施し、かつ/もしくはシステムを構成するように設計され得る。単なる例として、上記で説明した方法に関して説明する1つまたは複数の手順は、コンピュータ(および/またはコンピュータ内のプロセッサ)によって実行可能なコードおよび/または命令として実装され得、次いで、一態様では、そのようなコードおよび/または命令は、説明した方法に従って1つまたは複数の動作を実行するために、汎用コンピュータ(または他のデバイス)を構成し、かつ/または適応させるために使用され得る。
これらの命令および/またはコードのセットは、上記で説明した記憶デバイス1925などのコンピュータ可読記憶媒体上に記憶され得る。場合によっては、記憶媒体は、コンピューティングデバイス1900などのコンピューティングデバイス内に組み込まれ得る。他の実施形態では、記憶媒体に記憶されている命令/コードによって汎用コンピュータをプログラムし、構成し、かつ/または適応させるために記憶媒体が使用され得るように、記憶媒体は、コンピューティングデバイスから分離され(たとえば、コンパクトディスクのようなリムーバブル媒体)、かつ/またはインストールパッケージにおいて提供され得る。これらの命令は、コンピューティングデバイス1900によって実行可能である、実行可能コードの形をとることができ、ならびに/または(たとえば、様々な一般的に利用可能なコンパイラ、インストールプログラム、圧縮/展開ユーティリティなどのいずれかを使用した)コンピューティングデバイス1900上でのコンパイルおよび/もしくはインストール時に、次いで実行可能コードの形をとるソースコードおよび/もしくはインストール可能コードの形をとることができる。
特定の要件に応じて、大幅な変更が行われ得る。たとえば、カスタマイズされたハードウェアも使用され得、および/または、特定の要素が、ハードウェア、ソフトウェア(アプレットなどのポータブルソフトウェアを含む)、またはその両方で実装され得る。さらに、ネットワーク入力/出力デバイスなどの他のコンピューティングデバイス1900との接続が用いられ得る。
いくつかの実施形態は、本開示による方法を実行するためにコンピューティングデバイス(コンピューティングデバイス1900など)を用い得る。たとえば、説明した方法の手順のうちのいくつかまたはすべては、作業メモリ1935内に含まれる(オペレーティングシステム1940、および/またはアプリケーションプログラム1945などの他のコード内に組み込まれ得る)1つまたは複数の命令の1つまたは複数のシーケンスを実行するプロセッサ1910に応答してコンピューティングデバイス1900によって実行され得る。そのような命令は、1つまたは複数の記憶デバイス1925などの別のコンピュータ可読媒体から作業メモリ1935内に読み込まれ得る。単なる例として、ワーキングメモリ1935に含まれる命令のシーケンスの実行は、プロセッサ1910に、本明細書で説明する方法の1つまたは複数の手順を実行させる場合がある。
本明細書で使用される「機械可読媒体」および「コンピュータ可読媒体」という用語は、機械を特定の様式で動作させるデータを提供することに関与する任意の媒体を指す。コンピューティングデバイス1900を使用して実装される実施形態では、様々なコンピュータ可読媒体が、実行するためにプロセッサ1910に命令/コードを提供する際に必要とされることがあり、ならびに/または、そのような命令/コードを(たとえば、信号として)記憶および/または搬送するために使用され得る。多くの実装形態では、コンピュータ可読媒体は、物理的および/または有形の記憶媒体である。そのような媒体は、限定はしないが、不揮発性媒体、揮発性媒体、および伝送媒体を含む多くの形態をとり得る。不揮発性媒体は、たとえば、記憶デバイス1925などの光ディスクおよび/または磁気ディスクを含む。揮発性媒体は、限定はしないが、作業メモリ1935などのダイナミックメモリを含む。伝送媒体は、限定はしないが、バス1905、ならびに通信サブシステム1930の種々の構成要素(および/または通信サブシステム1930が他のデバイスとの通信を提供する媒体)を含む電線を含む、同軸ケーブル、銅線、および光ファイバーを含む。したがって、伝送媒体はまた、(限定はしないが、無線データ通信および赤外線データ通信中に生成されるものなどの、電波、音波、および/または光波を含む)波の形態をとり得る。代替実施形態では、カメラなどのイベント駆動型構成要素およびデバイスが使用されてもよく、その場合、処理の一部がアナログドメインにおいて実行されてもよい。
物理的および/または有形のコンピュータ可読媒体の一般的な形態は、たとえば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、もしくは任意の他の磁気媒体、CD-ROM、任意の他の光学媒体、パンチカード、紙テープ、穴のパターンを有する任意の他の物理的媒体、RAM、PROM、EPROM、FLASH-EPROM、任意の他のメモリチップもしくはカートリッジ、以下で説明する搬送波、または、コンピュータが命令および/もしくはコードを読み取り得る任意の他の媒体を含む。
実行するためにプロセッサ1910に1つまたは複数の命令の1つまたは複数のシーケンスを搬送する際に、コンピュータ可読媒体の様々な形態が関与し得る。単なる例として、命令は、最初にリモートコンピュータの磁気ディスクおよび/または光ディスク上に担持され得る。リモートコンピュータは、命令をそのダイナミックメモリ内にロードし得、コンピューティングデバイス1900によって受信および/または実行されるように、伝送媒体を介して信号として命令を送り得る。電磁信号、音響信号、光信号などの形をとり得るこれらの信号はすべて、本発明の様々な実施形態による、命令が符号化され得る搬送波の例である。
通信サブシステム1930(および/またはその構成要素)は、一般に、信号を受信することになり、バス1905は、次いで、作業メモリ1935に信号(および/または、信号によって搬送されるデータ、命令など)を搬送し得、プロセッサ1910は、作業メモリ1935から命令を取り出し、実行する。作業メモリ1935によって受信された命令は、オプションで、プロセッサ1910による実行の前または後のいずれかに、非一時的記憶デバイス1925上に記憶され得る。
上記で論じた方法、システム、およびデバイスは、例である。種々の実施形態は、必要に応じて、種々の手順または構成要素を省略、置換、または追加することができる。たとえば、代替の構成では、説明される方法は、説明される順序とは異なる順序で実施される場合があり、かつ/または、種々のステージの追加、省略、および/もしくは組合せが行われる場合がある。さらに、特定の実施形態に関して説明された特徴は、種々の他の実施形態において組み合わせることができる。実施形態の異なる態様および要素は、同じように組み合わせることができる。また、技術は発展するので、要素のうちの多くは、本開示の範囲をそれらの具体例に限定しない例である。
特定の詳細は、実施形態の完全な理解を提供するために、明細書本文で与えられる。しかしながら、実施形態は、これらの具体的な詳細を伴わずに実践することができる。たとえば、実施形態を不明瞭することを避けるために、周知の回路、プロセス、アルゴリズム、構造、および技法は、無用に詳述することなく示されている。この明細書本文は、例示的な実施形態のみを提供し、本発明の範囲、適用性、または構成を限定するものではない。むしろ、実施形態のこれらの説明は、本発明の実施形態を実施することを可能にする説明を当業者に与える。本発明の趣旨および範囲から逸脱することなく、要素の機能および構成に種々の変更を加えることができる。
また、いくつかの実施形態は、フロー図またはブロック図として示されたプロセスとして説明されている。各々が、動作について順次プロセスとして説明することがあるが、動作の多くは、並行にまたは同時に実行され得る。加えて、動作の順序は、並べ替えられ得る。プロセスは、図に含まれていない追加のステップを有し得る。さらに、方法の実施形態は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれらの任意の組合せによって実施され得る。関連するタスクを実施するためのプログラムコードまたはコードセグメントは、ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードにおいて実現されるときには、ストレージ媒体などのコンピュータ可読媒体に記憶されてもよい。プロセッサは、関連するタスクを実施してもよい。
いくつかの実施形態を説明してきたが、本開示の要旨から逸脱することなく、様々な変更、代替構成、および等価物が使用され得る。たとえば、上記の要素は、単により大きいシステムの構成要素であってもよく、他のルールが本発明の適用例よりも優先するか、そうでなければ本発明の適用例を修正してもよい。また、上記の要素が考慮される前、途中、または後に、いくつかのステップが行われ得る。したがって、上記の説明は本開示の範囲を限定しない。
100 センサ
102 センサ素子
200 ピクセル
202 センサ素子
204 ピクセル内回路
302 センサ素子アレイ
304 周辺回路
306 周辺回路
402 センサ素子アレイ
404 専用CV処理モジュール
406 アプリケーションプロセッサ
506 列並列SRAM
508 アナログ-デジタル変換器
512 プロセッサ、画像プロセッサ
602 フォトダイオード、センサ素子
604 動的視覚センサ(DVS)、イベント検出モジュール
702 センサ
704 イベント検出モジュール
706 CVモジュール
900 センサ素子アレイ
901 DVSモジュール
902 画像ピクセル値のグループ
903 CVモジュール
904 画像
906 情報
908 オプションの特徴ペイロード
1002 センサ回路
1004 DVSおよび/またはCV回路、CVブロック
1102 ピクセル
1110 CVモジュール
1112 列並列SRAM
1202 ピクセル
1206 行ドライバ
1208 タイミングコントローラ
1210 CVモジュール
1212 列並列インベント検出モジュール
1214 アービタ回路
1302 センサ
1304 CVモジュール
1306 DVSモジュール
1502 ピクセル
1504 センサ回路
1506 CV回路
1508 SRAM、SRAMセル
1510 比較器
1702 センサ装置
1706 CVモジュール
1708 SRAM
1710 比較器
1802 センサ装置
1804 センサ回路
1806 CVモジュール
1808 SRAM
1810 比較器
1900 コンピューティングデバイス
1905 バス
1910 プロセッサ
1915 入力デバイス
1920 出力デバイス
1925 非一時的記憶デバイス
1930 通信サブシステム
1935 作業メモリ
1940 オペレーティングシステム
1945 アプリケーションプログラム
1950 カメラセンサ、センサ

Claims (30)

  1. センサ読取り値に基づいて計算結果を生成するための方法であって、
    対象センサ素子に入射する光に基づく少なくとも1つのセンサ読取り値を受信するステップであって、前記対象センサ素子が、複数のセンサ素子を備えるセンサ素子アレイからのものであり、前記複数のセンサ素子が、前記センサ素子アレイの少なくとも第1の寸法および第2の寸法に沿って配置された、ステップと、
    前記対象センサ素子および前記対象センサ素子に対する隣接センサ素子に関する少なくとも1つのセンサ読取り値に基づいて、専用コンピュータビジョン(CV)計算ハードウェアを使用して局所CV特徴を計算するステップと、
    前記対象センサ素子に関する以前に計算されたCV特徴からの前記計算されたCV特徴における変化に基づいてイベントを生成するステップであって、前記イベントが、前記計算されたCV特徴における前記変化に関連する前記対象センサ素子の位置に関する情報を含む、ステップと
    を備える方法。
  2. 前記専用CV計算ハードウェアが、専用CV処理モジュールとして実装される、請求項1に記載の方法。
  3. 前記専用CV計算ハードウェアが、ピクセル内回路または周辺回路の一部として実装される、請求項1に記載の方法。
  4. ピクセルが、前記センサ素子とピクセル内回路とを備える、請求項1に記載の方法。
  5. 前記専用CV計算ハードウェアにおいて生成された前記イベントが、アプリケーションプロセッサに送られる、請求項1に記載の方法。
  6. 前記局所CV特徴を計算するステップが、局所バイナリパターン(LBP)ラベルまたは前記LBPラベルの変形を生成するステップを備える、請求項1に記載の方法。
  7. 前記局所CV特徴を計算するステップが、符号付き勾配(HSG)ラベルのヒストグラムを生成するステップを備える、請求項1に記載の方法。
  8. 前記センサ素子アレイが、視覚センサであり、前記センサ素子アレイの前記複数のセンサ素子の各々が、少なくとも1つのフォトダイオードを備える、請求項1に記載の方法。
  9. 前記イベントが、動的視覚センサ(DVS)回路を使用して生成される、請求項1に記載の方法。
  10. 複数のセンサ素子を備えるセンサ素子アレイであって、前記複数のセンサ素子が、前記センサ素子アレイの少なくとも第1の寸法および第2の寸法に沿って配置され、前記複数のセンサ素子の各々が、前記センサ素子に入射する光に基づいてセンサ読取り値を生成することが可能である、センサ素子アレイと、
    対象センサ素子および前記対象センサ素子に対する隣接センサ素子に関する少なくともセンサ読取り値に基づいて前記対象センサ素子に関する局所コンピュータビジョン(CV)特徴を計算し、
    前記対象センサ素子に関する以前に計算されたCV特徴からの前記計算されたCV特徴における変化に基づいてイベントを生成するように構成され、前記イベントが、前記計算されたCV特徴における前記変化に関連する前記対象センサ素子の位置に関する情報を含む、専用CV計算ハードウェアと
    を備える視覚センサ。
  11. 前記専用CV計算ハードウェアが、専用CV処理モジュールとして実装された、請求項10に記載の視覚センサ。
  12. 前記専用CV計算ハードウェアが、ピクセル内回路または周辺回路の一部として実装された、請求項10に記載の視覚センサ。
  13. ピクセルが、前記センサ素子と前記ピクセル内回路とを備える、請求項12に記載の視覚センサ。
  14. 前記専用CV計算ハードウェアにおいて生成された前記イベントが、アプリケーションプロセッサに送られる、請求項10に記載の視覚センサ。
  15. 前記局所CV特徴を計算することが、局所バイナリパターン(LBP)ラベルまたは前記LBPラベルの変形を生成することを備える、請求項10に記載の視覚センサ。
  16. 前記局所コンピュータCV特徴を計算することが、符号付き勾配(HSG)ラベルのヒストグラムを生成することを備える、請求項10に記載の視覚センサ。
  17. 前記センサ素子アレイの前記センサ素子の各々が、少なくとも1つのフォトダイオードを備える、請求項10に記載の視覚センサ。
  18. 前記イベントが、動的視覚センサ(DVS)回路を使用して生成される、請求項10に記載の視覚センサ。
  19. 対象センサ素子に入射する光に基づく少なくとも1つのセンサ読取り値を受信するための手段であって、前記対象センサ素子が、複数のセンサ素子を備えるセンサ素子アレイからのものであり、前記センサ素子が、前記センサ素子アレイの少なくとも第1の寸法および第2の寸法に沿って配置された、手段と、
    前記対象センサ素子および前記対象センサ素子に対する隣接センサ素子に関する少なくとも1つのセンサ読取り値に基づいて、専用コンピュータビジョン(CV)計算ハードウェアを使用して局所CV特徴を計算するための手段と、
    前記対象センサ素子に関する以前に計算されたCV特徴からの前記計算されたCV特徴における変化に基づいてイベントを生成するための手段であって、前記イベントが、前記計算されたCV特徴における前記変化に関連する前記対象センサ素子の位置に関する情報を含む、手段と
    を備える装置。
  20. 前記専用CV計算ハードウェアが、専用CV処理モジュールとして実装された、請求項19に記載の装置。
  21. 前記専用CV計算ハードウェアが、ピクセル内回路または周辺回路の一部として実装された、請求項19に記載の装置。
  22. 前記専用CV計算ハードウェアにおいて生成された前記イベントが、アプリケーションプロセッサに送られる、請求項19に記載の装置。
  23. 前記局所CV特徴を計算することが、局所バイナリパターン(LBP)ラベルまたは前記LBPラベルの変形を生成することを備える、請求項19に記載の装置。
  24. 前記局所CV特徴を計算することが、符号付き勾配(HSG)ラベルのヒストグラムを生成することを備える、請求項19に記載の装置。
  25. 前記イベントが、動的視覚センサ(DVS)回路を使用して生成される、請求項19に記載の装置。
  26. 非一時的コンピュータ可読記憶媒体であって、
    対象センサ素子に入射する光に基づく少なくとも1つのセンサ読取り値を受信することであって、前記対象センサ素子が、複数のセンサ素子を備えるセンサ素子アレイからのものであり、前記センサ素子が、前記センサ素子アレイの少なくとも第1の寸法および第2の寸法に沿って配置された、受信することと、
    前記対象センサ素子および前記対象センサ素子に対する隣接センサ素子に関する少なくとも1つのセンサ読取り値に基づいて、専用コンピュータビジョン(CV)マイクロプロセッサを使用して局所CV特徴を計算することと、
    前記対象センサ素子に関する以前に計算されたCV特徴からの前記計算されたCV特徴における変化に基づいてイベントを生成することであって、前記イベントが、前記計算されたCV特徴における前記変化に関連する前記対象センサ素子の位置に関する情報を含む、生成することと
    を行うための、専用CV処理モジュールによって実行可能な命令を備える、非一時的コンピュータ可読記憶媒体。
  27. 前記専用CVマイクロプロセッサにおいて生成された前記イベントが、アプリケーションプロセッサに送られる、請求項26に記載の非一時的コンピュータ可読記憶媒体。
  28. 前記局所CV特徴を計算することが、局所バイナリパターン(LBP)ラベルまたは前記LBPラベルの変形を生成することを備える、請求項26に記載の非一時的コンピュータ可読記憶媒体。
  29. 前記局所コンピュータCV特徴を計算することが、符号付き勾配(HSG)ラベルのヒストグラムを生成することを備える、請求項26に記載の非一時的コンピュータ可読記憶媒体。
  30. 前記センサ素子アレイの前記センサ素子の各々が、少なくとも1つのフォトダイオードを備える、請求項26に記載の非一時的コンピュータ可読記憶媒体。
JP2017516855A 2014-09-30 2015-09-24 イベントベースのコンピュータビジョン計算 Pending JP2017531865A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462057927P 2014-09-30 2014-09-30
US62/057,927 2014-09-30
US14/859,146 2015-09-18
US14/859,146 US10728450B2 (en) 2014-09-30 2015-09-18 Event based computer vision computation
PCT/US2015/052067 WO2016053761A1 (en) 2014-09-30 2015-09-24 Event based computer vision computation

Publications (2)

Publication Number Publication Date
JP2017531865A true JP2017531865A (ja) 2017-10-26
JP2017531865A5 JP2017531865A5 (ja) 2018-10-18

Family

ID=55585868

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017516855A Pending JP2017531865A (ja) 2014-09-30 2015-09-24 イベントベースのコンピュータビジョン計算

Country Status (5)

Country Link
US (1) US10728450B2 (ja)
EP (1) EP3201827A1 (ja)
JP (1) JP2017531865A (ja)
CN (1) CN106716441B (ja)
WO (1) WO2016053761A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022009807A1 (ja) * 2020-07-10 2022-01-13 ソニーセミコンダクタソリューションズ株式会社 撮像素子および撮像方法
WO2023182049A1 (ja) * 2022-03-23 2023-09-28 ソニーセミコンダクタソリューションズ株式会社 イメージセンサ、データ構造

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2562911B (en) 2015-12-02 2021-07-07 Fisher & Paykel Healthcare Ltd Flow path sensing for flow therapy apparatus
JP6668728B2 (ja) * 2015-12-14 2020-03-18 株式会社リコー 光電変換素子、画像読取装置及び画像形成装置
US20180146149A1 (en) * 2016-11-21 2018-05-24 Samsung Electronics Co., Ltd. Event-based sensor, user device including the same, and operation method of the same
US11138742B2 (en) 2017-02-14 2021-10-05 The Trustees Of The University Of Pennsylvania Event-based feature tracking
US10516841B2 (en) 2017-03-08 2019-12-24 Samsung Electronics Co., Ltd. Pixel, pixel driving circuit, and vision sensor including the same
CN108574793B (zh) * 2017-03-08 2022-05-10 三星电子株式会社 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备
US10855927B2 (en) 2017-03-08 2020-12-01 Samsung Electronics Co., Ltd. Event detecting device including an event signal generator and an output signal generator
CN111417983B (zh) 2017-11-14 2023-11-24 苹果公司 基于事件相机的可变形对象跟踪
US10887535B2 (en) * 2018-07-18 2021-01-05 The Regents Of The University Of California Query driven image sensing
WO2020066432A1 (ja) * 2018-09-28 2020-04-02 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、固体撮像素子の制御方法および電子機器
KR20200066962A (ko) * 2018-12-03 2020-06-11 삼성전자주식회사 사용자의 움직임에 기반하여 콘텐트를 제공하기 위한 전자 장치 및 방법
US10832543B2 (en) 2019-01-11 2020-11-10 The Chamberlain Group, Inc. Activity sensor
KR102640070B1 (ko) * 2019-01-23 2024-02-27 애플 인크. 이벤트 구동 센서들을 위한 픽셀 크기 축소 방법
EP3693698A1 (de) * 2019-02-05 2020-08-12 Leica Geosystems AG Vermessungsgerät mit ereignisbasierter kamera
KR20200115881A (ko) * 2019-03-28 2020-10-08 삼성전자주식회사 옵티컬 블랙 영역을 이용하여 이벤트 신호들을 보정하도록 구성되는 다이나믹 비전 센서 및 그 동작 방법
CN112118380B (zh) * 2019-06-19 2022-10-25 北京小米移动软件有限公司 相机操控方法、装置、设备及存储介质
CN112311964B (zh) * 2019-07-26 2022-06-07 华为技术有限公司 一种像素采集电路、动态视觉传感器以及图像采集设备
EP4099686A4 (en) * 2020-01-31 2023-07-19 Sony Semiconductor Solutions Corporation SOLID STATE IMAGING ELEMENT AND IMAGING DEVICE
US11134194B2 (en) * 2020-02-26 2021-09-28 Himax Technologies Limited Always-on system with multi-layer power management
US11227402B2 (en) 2020-05-29 2022-01-18 Icatch Technology, Inc. Velocity measuring device
EP3930312B8 (en) * 2020-06-26 2023-10-25 Alpsentek GmbH Delta image sensor with digital pixel storage
CN111770245B (zh) * 2020-07-29 2021-05-25 中国科学院长春光学精密机械与物理研究所 一种类视网膜图像传感器的像素结构
EP3955566B1 (en) 2020-08-14 2023-06-07 Alpsentek GmbH Image sensor with configurable pixel circuit and method
CN114095678A (zh) * 2021-11-23 2022-02-25 深圳锐视智芯科技有限公司 一种具有外部可写数字像素存储的差量图像传感器
CN114095676A (zh) * 2021-11-23 2022-02-25 深圳锐视智芯科技有限公司 一种带数字像素存储的差量图像传感器
WO2023186468A1 (en) * 2022-03-31 2023-10-05 Sony Semiconductor Solutions Corporation Image sensor including pixel circuits for event detection connected to a column signal line

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5543590A (en) 1992-06-08 1996-08-06 Synaptics, Incorporated Object position detector with edge motion feature
US6822563B2 (en) 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
JPH0799646A (ja) 1993-05-31 1995-04-11 Sony Corp ディジタル画像信号の階層符号化および復号装置
JP3212874B2 (ja) 1996-04-19 2001-09-25 日本電気株式会社 ボロメータ型赤外線撮像装置
US7151844B2 (en) 2001-12-06 2006-12-19 General Motors Corporation Image sensor method and apparatus having hardware implemented edge detection processing
DE602004020737D1 (de) 2003-02-03 2009-06-04 Goodrich Corp Bildsensor mit wahlfreiem zugriff
US8902971B2 (en) 2004-07-30 2014-12-02 Euclid Discoveries, Llc Video compression repository and model reuse
US7038185B1 (en) 2004-12-01 2006-05-02 Mitsubishi Electric Research Laboratories, Inc. Camera for directly generating a gradient image
WO2006078861A2 (en) * 2005-01-18 2006-07-27 Board Of Regents, The University Of Texas System Method, system and apparatus for a time stamped visual motion sensor
DE102006023611A1 (de) 2006-05-19 2007-11-22 Siemens Ag Verfahren und Vorrichtung zur pixelsynchronen Bildauswertung eines kamerabasierten Systems
US20100226495A1 (en) 2007-10-29 2010-09-09 Michael Kelly Digital readout method and apparatus
JP2008131407A (ja) 2006-11-22 2008-06-05 Matsushita Electric Ind Co Ltd 固体撮像素子およびそれを用いた撮像装置
AT504582B1 (de) 2006-11-23 2008-12-15 Arc Austrian Res Centers Gmbh Verfahren zur generierung eines bildes in elektronischer form, bildelement für einen bildsensor zur generierung eines bildes sowie bildsensor
US20090020612A1 (en) 2007-06-28 2009-01-22 Symbol Technologies, Inc. Imaging dual window scanner with presentation scanning
JP5083887B2 (ja) * 2007-12-05 2012-11-28 Ｋｄｄｉ株式会社 情報端末装置
JP4948379B2 (ja) 2007-12-18 2012-06-06 キヤノン株式会社 パターン識別器生成方法、情報処理装置、プログラム及び記憶媒体
US8462996B2 (en) 2008-05-19 2013-06-11 Videomining Corporation Method and system for measuring human response to visual stimulus based on changes in facial expression
DE102008052930B4 (de) 2008-10-23 2011-04-07 Leuze Electronic Gmbh & Co Kg Bildverarbeitender Sensor
FR2939919A1 (fr) 2008-12-16 2010-06-18 New Imaging Technologies Sas Capteur matriciel
US8588555B1 (en) * 2009-06-12 2013-11-19 Cognitive Electronics, Inc. Power-efficient sensory recognition processor
JP5721994B2 (ja) 2009-11-27 2015-05-20 株式会社ジャパンディスプレイ 放射線撮像装置
WO2011077623A1 (ja) 2009-12-24 2011-06-30 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像データ生成装置、画像処理方法、画像データ生成方法、および画像ファイルのデータ構造
SG10201503516VA (en) 2010-05-12 2015-06-29 Pelican Imaging Corp Architectures for imager arrays and array cameras
WO2012093381A1 (en) 2011-01-03 2012-07-12 Vitaly Sheraizin Camera assembly with an integrated content analyzer
EP2697775A4 (en) 2011-04-11 2015-03-04 Intel Corp METHOD FOR DETECTING FACE FEATURES
JP2013003787A (ja) 2011-06-15 2013-01-07 Panasonic Corp 対象物検出装置
US9299036B2 (en) 2011-08-31 2016-03-29 Striiv, Inc. Life pattern detection
US8748828B2 (en) 2011-09-21 2014-06-10 Kla-Tencor Corporation Interposer based imaging sensor for high-speed image acquisition and inspection systems
US9030445B2 (en) * 2011-10-07 2015-05-12 Qualcomm Incorporated Vision-based interactive projection system
US9824296B2 (en) 2011-11-10 2017-11-21 Canon Kabushiki Kaisha Event detection apparatus and event detection method
JP6143190B2 (ja) 2011-11-16 2017-06-07 国立大学法人静岡大学 ランプ信号発生回路及びｃｍｏｓイメージセンサ
FR2985065B1 (fr) 2011-12-21 2014-01-10 Univ Paris Curie Procede d'estimation de flot optique a partir d'un capteur asynchrone de lumiere
CN102663409B (zh) 2012-02-28 2015-04-22 西安电子科技大学 一种基于hog-lbp描述的行人跟踪方法
US9143687B2 (en) * 2012-03-14 2015-09-22 University Of Dayton Method of analyzing motion blur using double discrete wavelet transform
US9389229B2 (en) 2012-07-18 2016-07-12 Theranos, Inc. Methods for detecting and measuring aggregation
EP2709066A1 (en) 2012-09-17 2014-03-19 Lakeside Labs GmbH Concept for detecting a motion of a moving object
US9936132B2 (en) * 2012-10-26 2018-04-03 The Regents Of The University Of Michigan CMOS image sensors with feature extraction
US9081571B2 (en) 2012-11-29 2015-07-14 Amazon Technologies, Inc. Gesture detection management for an electronic device
US20140169663A1 (en) * 2012-12-19 2014-06-19 Futurewei Technologies, Inc. System and Method for Video Detection and Tracking
US20140254864A1 (en) 2013-03-07 2014-09-11 Google Inc. System and method for gesture detection through local product map
US10373470B2 (en) 2013-04-29 2019-08-06 Intelliview Technologies, Inc. Object detection
CN103259985B (zh) 2013-05-17 2016-08-17 昆山锐芯微电子有限公司 Cmos图像传感器、像素单元及其控制方法
US10091419B2 (en) 2013-06-14 2018-10-02 Qualcomm Incorporated Computer vision application processing
US20140368423A1 (en) 2013-06-17 2014-12-18 Nvidia Corporation Method and system for low power gesture recognition for waking up mobile devices
KR102081087B1 (ko) * 2013-06-17 2020-02-25 삼성전자주식회사 동기적 영상과 비동기적 영상을 위한 영상 정합 장치 및 이미지 센서
US20150036942A1 (en) 2013-07-31 2015-02-05 Lsi Corporation Object recognition and tracking using a classifier comprising cascaded stages of multiple decision trees
US10009549B2 (en) 2014-02-28 2018-06-26 The Board Of Trustees Of The Leland Stanford Junior University Imaging providing ratio pixel intensity
US9380312B2 (en) * 2014-07-14 2016-06-28 Apple Inc. Encoding blocks in video frames containing text using histograms of gradients
US9762834B2 (en) 2014-09-30 2017-09-12 Qualcomm Incorporated Configurable hardware for computing computer vision features
US9838635B2 (en) 2014-09-30 2017-12-05 Qualcomm Incorporated Feature computation in a sensor element array

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022009807A1 (ja) * 2020-07-10 2022-01-13 ソニーセミコンダクタソリューションズ株式会社 撮像素子および撮像方法
WO2023182049A1 (ja) * 2022-03-23 2023-09-28 ソニーセミコンダクタソリューションズ株式会社 イメージセンサ、データ構造

Also Published As

Publication number Publication date
US10728450B2 (en) 2020-07-28
CN106716441B (zh) 2021-05-25
US20160094787A1 (en) 2016-03-31
EP3201827A1 (en) 2017-08-09
WO2016053761A1 (en) 2016-04-07
CN106716441A (zh) 2017-05-24

Similar Documents

Publication Publication Date Title
JP2017531865A (ja) イベントベースのコンピュータビジョン計算
JP6737776B2 (ja) センサ素子アレイにおける特徴計算
US9762834B2 (en) Configurable hardware for computing computer vision features
CN108230357B (zh) 关键点检测方法、装置、存储介质和电子设备
US10129495B2 (en) Apparatus and method for generating local binary patterns (LBPS)
KR102512828B1 (ko) 이벤트 신호 처리 방법 및 장치
US20150220134A1 (en) Optimizing boot-time peak power consumption for server/rack systems
US20130107065A1 (en) Inertial sensor aided stationary object detection in videos
US20130113813A1 (en) Computing device, storage medium and method for processing location holes of motherboard
JP7268063B2 (ja) 低電力のリアルタイムオブジェクト検出用のシステム及び方法
KR20150103507A (ko) 모션 인식 잠금 해제 방법, 모션 인식 잠금 해제 시스템 및 이를 포함하는 전자 기기
US9766276B2 (en) Power adapter detection
WO2017112131A1 (en) Determining values of angular gauges
US9923004B2 (en) Hardware acceleration of computer vision feature detection
US8953893B2 (en) System and method to determine feature candidate pixels of an image
JP2020525963A (ja) メディア特徴の比較方法及び装置
US9292763B2 (en) System, method, and medium for image object and contour feature extraction
US20150042821A1 (en) Handheld device and method for controlling orientation of display of handheld device
US10606419B2 (en) Touch screen control
US9704056B2 (en) Computing hierarchical computations for computer vision calculations
US20180113031A1 (en) Method and device for monitoring temperature of an electronic element
KR102348366B1 (ko) 전자 장치 및 전자 장치에서 눈의 중심을 판단하는 방법
WO2017049626A1 (en) Face detection window refinement using depth
CN115526814A (zh) 图像预测的方法以及装置
CN112613401A (zh) 一种人脸检测的方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180906

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180906

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190819

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200323