JP2018516395A - シーンを３ｄ再構成するための方法 - Google Patents
シーンを３ｄ再構成するための方法 Download PDFInfo
- Publication number
- JP2018516395A JP2018516395A JP2017549009A JP2017549009A JP2018516395A JP 2018516395 A JP2018516395 A JP 2018516395A JP 2017549009 A JP2017549009 A JP 2017549009A JP 2017549009 A JP2017549009 A JP 2017549009A JP 2018516395 A JP2018516395 A JP 2018516395A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- sensor
- event
- luminance
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000033001 locomotion Effects 0.000 claims abstract description 23
- 230000004044 response Effects 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 18
- 230000007423 decrease Effects 0.000 claims description 9
- 230000003247 decreasing effect Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 230000001419 dependent effect Effects 0.000 claims description 6
- 239000004615 ingredient Substances 0.000 abstract 1
- 230000006870 function Effects 0.000 description 23
- 230000008859 change Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本発明は、シーンを3D再構成するための方法であって、費用関数(E)の最小化(609)に応じて、第1のセンサの第1の非同期的な連続イベントの中からの第1のイベントを、第2のセンサの第2の非同期的な連続イベントの中からの第2のイベントとマッチングさせるステップ(610)を含む、方法に関する。費用関数は、畳み込みコア(gσ(t))を用いて畳み込まれた第1の輝度信号(Iu)であって、前記画素の輝度が前記第1の信号の最大値(te-,u、te+,u)間の差に依存する、第1の輝度信号(Iu)、および前記畳み込みコアを用いて畳み込まれた第2の輝度信号(Iv)であって、前記画素の輝度が前記第2の信号の最大値(te-,v、te+,v)間の差に依存する、第2の輝度信号(Iv)に少なくとも依存する輝度成分(EI)と、第1のセンサの画素からある距離に位置するイベントの発生に関する時間値、および第2のセンサの画素からある距離に位置するイベントの発生に関する時間値に少なくとも依存する動き成分(EM)とからの少なくとも1つの成分を含む。
Description
本発明は、特に、シーンが非同期センサを用いて取り込まれる場合における、シーンの3D再構成の分野に関する。
規則的なサンプリング瞬間において連続画像を記録する標準的なカメラとは対照的に、生物学的な網膜は、見るべきシーンに関してわずかな反復情報を送るだけであり、これは非同期的に行われる。
イベントベースの非同期視覚センサは、イベントの形態で圧縮されたデジタルデータを送達する。
このようなセンサの提案は、「Activity-Driven, Event-Based Vision Sensors」、T. Delbruckら、2010 IEEE International Symposium on Circuits and Systems (ISCAS)の議事録、2426〜2429ページにおいて見ることができる。イベントベースの視覚センサは、標準的なカメラと比較して、反復の増加、待ち時間の減少、ならびに時間力学およびグレーレベルの範囲の増加という利点を有する。
このような視覚センサの出力は、各画素アドレスについて、変化が生成されたときのシーンの反射における変化を表す一連の非同期イベントから構成することができる。
センサの各画素は、独立しており、最後のイベントの送信から、閾値を超える光強度の変化(例えば、強度対数で15%のコントラスト)を検出する。強度の変化が、設定された閾値を超えた場合、強度が増加したか、または減少したかに応じて、ONイベントまたはOFFイベントが画素により生成される(DVSセンサ)。一定の非同期センサは、検出されたイベントを光強度の絶対測定値に関連付ける(ATISセンサ)。
標準的なカメラのようにクロックに基づいてサンプリングされないセンサは、非常に高い時間精度(例えば、約1μs)でイベントの順序付けを図表化することができる。このようなセンサが、一連の画像を再構成するために使用される場合、標準的なカメラの数十ヘルツと比較して、数キロヘルツの画像レートが達成され得る。
さらに、シーンの3D再構成のフレームワークにおいて、センサの画素のそれぞれ1つについて、空間内における位置が計算される。これを達成するために、いくつかのカメラまたは他の標準的なセンサを用いる多くの方法がある。したがって、これらの方法は、標準の2D画像を用いて決定を達成し、この場合、画素は少なくとも1つの値を有する(すなわち、画素が定義される)。
前記に定義したものなど、非同期センサの場合、センサから出る「標準的な」2D画像は入手可能ではないので、本質的にこれらの方法を適用することができない。これらの方法を使用するためには、センサからの非同期情報から、2D画像を人工的に「再構成」することが必要になる。しかし、この再構成は負担が大きく、完全な画像を処理することは、その後の処理手段を必要とし得る。また、この再構成は、時間情報を離散化し、したがって、視覚情報の時間依存性は、実際には無視される。
「Activity-Driven, Event-Based Vision Sensors」、T. Delbruckら、2010 IEEE International Symposium on Circuits and Systems (ISCAS)の議事録、2426〜2429ページ
したがって、非同期センサに適した方法である、3Dシーン再構成方法を開発する必要がある。
本発明は、その状況を改善することを目的としている。
この目的のために、本発明は、3Dで観察されるシーンを再構成するための、特に非同期センサに適した方法を提案する。
したがって、本発明は、シーンの3D再構成のための方法であって、
- シーンに対向して位置する第1の画素マトリックスを有する第1のセンサから非同期情報の第1の部分を受け取るステップであって、非同期情報の第1の部分が、第1のマトリックスの各画素について、前記画素からの第1の連続イベントを含む、受け取るステップと、
- シーンに対向して位置する第2の画素マトリックスを有する第2のセンサから非同期情報の第2の部分を受け取るステップであって、非同期情報の第2の部分が、第2のマトリックスの各画素について、前記画素からの第2の連続イベントを含み、第2のセンサが第1のセンサから分離されている、受け取るステップと、
- 費用関数の最小化に応じて、第1の連続イベントの中からの第1のイベントを、第2の連続イベントの中からの第2のイベントとマッチングさせるステップと
を含み、
費用関数は、
- 輝度成分であって、少なくとも
- 畳み込みコアを有する第1の畳み込みセンサの画素からの1つの第1の輝度信号であり、前記画素の輝度は、前記第1の信号の最大値間の差に依存する、1つの第1の輝度信号、および
- 前記畳み込みコアを有する第2の畳み込みセンサの画素からの1つの第2の輝度信号であり、前記画素の輝度は、前記第2の信号の最大値間の差に依存する、1つの第2の輝度信号
に依存する輝度成分と、
- 動き成分であって、少なくとも
- 第1のセンサの画素から所定の距離に空間的に位置するイベントの発生に関係する時間値、および
- 第2のセンサの画素から所定の距離に空間的に位置するイベントの発生に関係する時間値
に依存する動き成分と
の中からの少なくとも1つの成分を含む、方法を目的とする。
- シーンに対向して位置する第1の画素マトリックスを有する第1のセンサから非同期情報の第1の部分を受け取るステップであって、非同期情報の第1の部分が、第1のマトリックスの各画素について、前記画素からの第1の連続イベントを含む、受け取るステップと、
- シーンに対向して位置する第2の画素マトリックスを有する第2のセンサから非同期情報の第2の部分を受け取るステップであって、非同期情報の第2の部分が、第2のマトリックスの各画素について、前記画素からの第2の連続イベントを含み、第2のセンサが第1のセンサから分離されている、受け取るステップと、
- 費用関数の最小化に応じて、第1の連続イベントの中からの第1のイベントを、第2の連続イベントの中からの第2のイベントとマッチングさせるステップと
を含み、
費用関数は、
- 輝度成分であって、少なくとも
- 畳み込みコアを有する第1の畳み込みセンサの画素からの1つの第1の輝度信号であり、前記画素の輝度は、前記第1の信号の最大値間の差に依存する、1つの第1の輝度信号、および
- 前記畳み込みコアを有する第2の畳み込みセンサの画素からの1つの第2の輝度信号であり、前記画素の輝度は、前記第2の信号の最大値間の差に依存する、1つの第2の輝度信号
に依存する輝度成分と、
- 動き成分であって、少なくとも
- 第1のセンサの画素から所定の距離に空間的に位置するイベントの発生に関係する時間値、および
- 第2のセンサの画素から所定の距離に空間的に位置するイベントの発生に関係する時間値
に依存する動き成分と
の中からの少なくとも1つの成分を含む、方法を目的とする。
したがって、いくつかのDVSまたはATIS非同期センサを用いて取り込まれた3Dシーンの再構成を行うために、これらの画像に適用可能な従来技術の方法を用いて標準的な2D画像を再作成することは必要ではない。
したがって、このような3D再構成の精度は、非常に正確/高いものとなり、非同期時間情報は、さらに正確にサンプリングされる。
さらに費用関数は、
- 時間成分であって、
- 第1のセンサのイベントに関係する時間値と、
- 第2のセンサのイベントに関係する時間値と
の間の差に依存する時間成分をさらに含むことができる。
- 時間成分であって、
- 第1のセンサのイベントに関係する時間値と、
- 第2のセンサのイベントに関係する時間値と
の間の差に依存する時間成分をさらに含むことができる。
したがって、時間的に離れすぎているイベントが接続されることを回避することが可能である。
特定の実施形態では、費用関数は、
- 幾何学的成分であって、
- 第1のセンサからの少なくとも1つの画素により定義されるエピポーラ直線またはエピポーラ直線の交差部における第2のセンサの画素の空間距離
に依存する幾何学的成分をさらに含むことができる。
- 幾何学的成分であって、
- 第1のセンサからの少なくとも1つの画素により定義されるエピポーラ直線またはエピポーラ直線の交差部における第2のセンサの画素の空間距離
に依存する幾何学的成分をさらに含むことができる。
したがって、シーンの同じ点X(t)に対応しないイベントが接続されることを回避することが可能である。
有利には、第1のセンサの画素および第2のセンサの画素の輝度信号は、輝度変動の発生時間をコード化した最大値を含み、畳み込みコアは、所定のガウス分散とすることができる。
特定の実施形態では、前記輝度成分は、
- 第1のセンサの第1の画素から所定の距離に空間的に位置し、畳み込みコアを用いて畳み込まれる、第1のセンサの画素の輝度信号と
- 第2のセンサの第2の画素から所定の距離に空間的に位置し、畳み込みコアを用いて畳み込まれる、第2のセンサの画素の輝度信号と
にさらに依存することができる。
- 第1のセンサの第1の画素から所定の距離に空間的に位置し、畳み込みコアを用いて畳み込まれる、第1のセンサの画素の輝度信号と
- 第2のセンサの第2の画素から所定の距離に空間的に位置し、畳み込みコアを用いて畳み込まれる、第2のセンサの画素の輝度信号と
にさらに依存することができる。
したがって、接続されるべき画素に近いイベントを考慮することは、全体が対応しているかどうかを調べること、および2つの画素についての局所的な相関性を取得することが、単なるアーティファクトまたは単なる特異点ではないことを調べることを可能にする。
さらに、前記動き成分は、
- 第1のセンサの画素から所定の距離に空間的に位置する、第1のセンサの画素イベントの発生に関係する時間値の平均値と、
- 第2のセンサの画素から所定の距離に空間的に位置する、第2のセンサの画素イベントの発生に関係する時間値の平均値と
にさらに依存することができる。
- 第1のセンサの画素から所定の距離に空間的に位置する、第1のセンサの画素イベントの発生に関係する時間値の平均値と、
- 第2のセンサの画素から所定の距離に空間的に位置する、第2のセンサの画素イベントの発生に関係する時間値の平均値と
にさらに依存することができる。
特定の実施形態では、前記動き成分は、所与の時間について、
- 第1のセンサの画素からの所定の距離に空間的に位置する、イベントの発生に関係する各現在の時間値について、前記所与の時間の距離から前記現在の時間値へと減少する関数値と、
- 第2のセンサの画素からの所定の距離に空間的に位置する、イベントの発生に関係する各現在の時間値について、前記所与の時間の距離から前記現在の時間値へと減少する関数値と
に依存することができる。
- 第1のセンサの画素からの所定の距離に空間的に位置する、イベントの発生に関係する各現在の時間値について、前記所与の時間の距離から前記現在の時間値へと減少する関数値と、
- 第2のセンサの画素からの所定の距離に空間的に位置する、イベントの発生に関係する各現在の時間値について、前記所与の時間の距離から前記現在の時間値へと減少する関数値と
に依存することができる。
代替的な実施形態では、前記動き成分は、
- 第1のセンサの画素から所定の距離に空間的に位置する、イベントの発生に関係する各時間値についてのディラックを含む信号を用いた減少関数の第1の畳み込みと、
- 第2のセンサの画素から所定の距離に空間的に位置する、イベントの発生に関係する各時間値についてのディラックを含む信号を用いた減少関数の第2の畳み込みと
に依存することができる。
- 第1のセンサの画素から所定の距離に空間的に位置する、イベントの発生に関係する各時間値についてのディラックを含む信号を用いた減少関数の第1の畳み込みと、
- 第2のセンサの画素から所定の距離に空間的に位置する、イベントの発生に関係する各時間値についてのディラックを含む信号を用いた減少関数の第2の畳み込みと
に依存することができる。
本発明はまた、シーンの3D再構成のためのデバイスであって、デバイスは、
- シーンに対向して位置する第1の画素マトリックスを有する第1のセンサからの非同期情報の第1の部分を受け取るためのインターフェースであって、非同期情報の第1の部分が、第1のマトリックスの各画素について、前記画素からの第1の連続イベントを含む、インターフェースと、
- シーンに対向して位置する第2の画素マトリックスを有する第2のセンサからの非同期情報の第2の部分を受け取るためのインターフェースであって、非同期情報の第2の部分が、第2のマトリックスの各画素について、前記画素からの第2の連続イベントを含み、第2のセンサが第1のセンサから分離されている、インターフェースと、
- 費用関数の最小化に応じて、第1の連続イベントの中からの第1のイベントを、第2の連続イベントの中からの第2のイベントとマッチングさせるのに適したプロセッサと
を備え、
費用関数は、
- 輝度成分であって、少なくとも
- 畳み込みコアを用いて畳み込まれた第1のセンサの画素からの第1の輝度信号であり、前記画素の輝度は、前記第1の信号の最大値間の差に依存する、第1の輝度信号、および
- 前記畳み込みコアを用いて畳み込まれた第2のセンサの画素からの第2の輝度信号であり、前記画素の輝度は、前記第2の信号の最大値間の差に依存する、第2の輝度信号
に依存する輝度成分と、
- 動き成分であって、少なくとも
- 第1のセンサの画素から所定の距離に空間的に位置するイベントの発生に関係する時間値、および
- 第2のセンサの画素から所定の距離に空間的に位置するイベントの発生に関係する時間値
に依存する動き成分と
の中からの少なくとも1つの成分を含む、デバイスを目的とする。
- シーンに対向して位置する第1の画素マトリックスを有する第1のセンサからの非同期情報の第1の部分を受け取るためのインターフェースであって、非同期情報の第1の部分が、第1のマトリックスの各画素について、前記画素からの第1の連続イベントを含む、インターフェースと、
- シーンに対向して位置する第2の画素マトリックスを有する第2のセンサからの非同期情報の第2の部分を受け取るためのインターフェースであって、非同期情報の第2の部分が、第2のマトリックスの各画素について、前記画素からの第2の連続イベントを含み、第2のセンサが第1のセンサから分離されている、インターフェースと、
- 費用関数の最小化に応じて、第1の連続イベントの中からの第1のイベントを、第2の連続イベントの中からの第2のイベントとマッチングさせるのに適したプロセッサと
を備え、
費用関数は、
- 輝度成分であって、少なくとも
- 畳み込みコアを用いて畳み込まれた第1のセンサの画素からの第1の輝度信号であり、前記画素の輝度は、前記第1の信号の最大値間の差に依存する、第1の輝度信号、および
- 前記畳み込みコアを用いて畳み込まれた第2のセンサの画素からの第2の輝度信号であり、前記画素の輝度は、前記第2の信号の最大値間の差に依存する、第2の輝度信号
に依存する輝度成分と、
- 動き成分であって、少なくとも
- 第1のセンサの画素から所定の距離に空間的に位置するイベントの発生に関係する時間値、および
- 第2のセンサの画素から所定の距離に空間的に位置するイベントの発生に関係する時間値
に依存する動き成分と
の中からの少なくとも1つの成分を含む、デバイスを目的とする。
上記で述べた方法の全部または一部を実装する、既存の機器上にインストールされたコンピュータプログラムは、それ自体有利である。
したがって、本発明はまた、コンピュータプログラムであって、プロセッサによってこのプログラムが実行されたときに、前述の方法の実装のための命令を含む、コンピュータプログラムを目的としている。
このプログラムは、任意のプログラミング言語(例えば、オブジェクト言語または他のもの)を使用することができ、解釈可能なソースコード、部分的にコンパイルされたコード、または完全にコンパイルされたコードの形態とすることができる。
以下で詳細に述べられる図6は、このようなコンピュータプログラムの一般的なアルゴリズムの流れ図を形成することができる。
本発明の他の特性および利点は、以下の説明を読めば、さらに明らかになろう。これは、完全に例示的なものであり、添付図面を参照しながら読まれるべきものである。
図1は、ATIS原理を示している。
センサを構成するマトリックスの画素101は、電子検出回路103a、103bにそれぞれ接続されたフォトダイオードなど、2つの感光性素子102a、102bを備える。
センサ102aおよびその回路103aは、フォトダイオード102aにより受け取られた光強度が、事前定義された量から変化したとき、パルスP0を生成する。
この強度変化を示すパルスP0は、他のフォトダイオード102bに接続された電子回路103bをトリガする。この回路103bは、次いで、第1のパルスP1を生成し、所与の光量(光子の数)がフォトダイオード102bによって受け取られると直ちに第2のパルスP2を生成する。
パルスP1とパルスP2との間の時間差δtは、パルスP0が出現した直後に、画素101によって受け取られた光強度に逆比例する。
ATISからの非同期情報は、各画素について2つの組み合わされたパルス列(104)を含む。すなわち、第1のパルス列P0は、光強度が、検出閾値を超えて変化した瞬間を示すが、第2の列は、時間差δtが、対応する光強度またはグレーレベルを示すパルスP1およびP2から構成される。
ATISのマトリックスにおける位置pの画素101からのイベントe(p,t)は、したがって、2つのタイプの情報を含む、すなわち、イベントの瞬間tが与えられると、パルスP0の位置によって与えられる情報の時間に関連する部分と、パルスP1とパルスP2との間の時間差δtによって与えられるグレーレベル情報の部分とである。
次いで、図2に提示されたものなど、3次元空間/時間表現における画素からのイベントが配置され得る。この図では、各点pは、囲みAの図で示されるように一定の角速度で回転する星の動きにより、
の、センサの画素pのレベルで瞬間tにおいて非同期に生成するイベントe(p,t)を識別する。これらの点の主要部分は、概して螺旋形状の表面近くに分散されている。さらに図は、星の実際の動きに対応することなく測定された螺旋面からの距離において、いくつかのイベントを示している。これらのイベントは、取得ノイズからのものである。
イベントe(p,t)は、次いで、以下のすべての情報により定義することができる、
ただし、Cはセンサの空間領域であり、polは、輝度変化の方向を表す極性であり(例えば、1は増加を、-1は減少を示す)、I(p,t)は、瞬間tにおける点pの光強度信号である。
したがって、光強度信号は、図1で述べられたものなど、すべての組み合わされたパルス列104とすることができる。tuがイベントの発生する時間を表し、te+,uとte-,uとの間の差が、受け取った光強度に逆比例する値を表す場合、I(p,t)=δ(t-tu)+δ(t-te+,u)+δ(t-te-,u)のように、3つのディラックδを用いて強度をコード化することが可能である。座標pに位置する画素強度信号は、したがって、輝度情報を時間的にコード化することを可能にする。この情報は、最小の変換量で、センサの電子回路から直接得ることができる。
図3は、2つの別々のセンサuおよびvの2点pおよびqに対する輝度成分の計算の例である。
2つのセンサの2点pおよびqが、観察されるシーンの同じ点に対応するかどうかを判定するために、観察されるシーンを含む表面がランベルト面である(すなわち、その面では、観察する角度にかかわらず、輝度が同じである)という仮説が存在する。
したがって、これらの面について、強度は、1つの同じ瞬間に2つのセンサで同じでなければならない、すなわち、Iu(p,t)=Iv(q,t)である。
例えば、これらの2つの信号Iu(p,t)とIv(q,t)との間の相関を計算することが可能である。
ディラック構成の光強度信号を簡単に比較できるようにするために、非void型サポートコアgσ(t)によりこれらの信号の畳み込みを行うことが有利になり得る。それは、次いで、2つの信号
と
との間の相関を計算することが可能になる。
さらに、2つの単一の点の比較に限定するのではなく、さらにpおよびqの近くに位置する(すなわち、pまたはqから所定の距離に位置する、ただし、距離とは数学的な用語の意味である)点を考慮することが有用であり得る。すなわち、pに近いすべての点は、組vu(p)を定義し、qに近いすべての点は、組vv(q)を定義する(Nはこれらの組の基数(cardinal)である)。したがって、輝度成分は、次のように表すことができる、
当然であるが、上記で定義したように、pまたはqの近くに位置するすべての点について畳み込まれた関数
のサポートをωと定義することにより、積分端点を低減することが可能である。
最後に、2つを超えるセンサを用いることによって、この式を一般化することが可能である。例えば、Q個のセンサ{u、v、w、...}を用いる場合、
と書くことが可能である。
コアgσ(t)は、ガウス分散δであると有利である。それはまた、ドア幅関数(door width function)δとすることもできる。
図4cは、別々の非同期センサを用いて生成されたカード401および402を表している。
これらのカードを生成するために、所与の瞬間tにおける、所与の画素pおよび所与の極性polの各イベント
について、言語プリミティブ
の合計として関数Sを定義することが可能であり、hは所定の値であり、θは、言語プリミティブの減少速度に対応した所定の因子である。
言語プリミティブの「合計」はまた、
言語プリミティブ
言語プリミティブ
の、イベント
が生ずる各時間tpについてのディラックを含む信号との畳み込みとして数学的に見ることができる。
例として、図4aは、センサの3つの画素p1、p2、およびp3についての(および所与の極性値polについての)3つの可能な活動信号t→Sを示す。
イベントがない場合、S(p1,t)、S(p2,t)、またはS(p3,t)の値はゼロである。しかし、画素p1のレベルにおいて、極性イベントpol(例えば、410)が生じたとき、S(p1,t)は、所定の閾値(ここではh、この値hは単一(unitary)のものとすることもできる)をとる。
活動信号S(p1,t)の値は、次いで、このイベントの後、次第に減少して0に達する。
このことは、画素p1に対するイベント411に対しても同じであり、画素p2に対するイベント412に対して、または画素p3に対するイベント413/414に対しても同様である。
ここで活動信号Sの減少が直線的である場合、任意のタイプの減少を指数関数的減少と予想することが可能である、すなわち、
この指数関数的減少は、図4bで示すことができる(曲線4bおよびイベント320を参照のこと)。
さらに、検討される画素(例えば、ここではp4)に対するイベントの発生時において、関数Sの値は、hの値に対して無視することができない(例えば、イベント421は、イベント422に対して、時間的に近接している)ことがあり得る。
実施形態では、後のイベント422の発生時において、活動信号Sの値は、イベント422の直前のSの現在の値(すなわち、h0)とhとの合計(おそらく重み付けられた)に設定され得る。したがって、曲線Sの減少は、図4bが示すように、値h+h0から開始することになる。さらに、h+h0の値は、所定の値h1で上限を設ける(すなわち、min(h1,h+h0))ように予想することも可能である。
別の実施形態では、後のイベント422の発生時に、h0の値が何であれ、曲線Sの値はhに設定される(すなわち、最後のイベント(すなわち、後のイベント)に対する前のイベントは無視される)。この別の実施形態では、以下のように定義される「最後のイベント時間」として知られる時間を定義することが可能である、すなわち、
T(p,pol,i)=max(tj)|j<i
または
T(p,pol,t)=max(tj)|tj<t
ここで、tjは極性polを有する画素pに対する画素で生じたイベント時間である。
T(p,pol,i)=max(tj)|j<i
または
T(p,pol,t)=max(tj)|tj<t
ここで、tjは極性polを有する画素pに対する画素で生じたイベント時間である。
概念的には、p→T(p,pol,t)は、時間的に、基準時間(すなわち、t)の直前に生じた同じ極性の最後のイベントの時間カードを定義する。
したがって、この別の実施形態では、p→S(p,pol,t)は、時間T(p,pol,t)のこの組の関数であるとして定義され得る。
例えば、p→S(p,pol,t)は、
であり、τおよびhは、所定の時定数である(Sは、下側の端点としてT(p,pol,t)を含む間隔にわたり、時間tに関する任意の減少関数とすることができる)。
これらの画素のイベントの「鮮度(freshness)」を表す画素カードSを作成することは、不連続な概念(すなわち、イベント)の連続する、簡単な表現を可能にするので有利である。この作成されたカードにより、イベントの表現を理解しやすい領域へと変換することが可能になる。
したがって、それを作成することは、イベントの処理および比較を簡単化する。
この関数Sは、この画素について生じたイベントの「鮮度」を表している。
図4cのカード401および402は、所与の時間tについて、2つの異なる視点から、1つの同じ手の動きを取り込む2つの非同期センサに対する関数Sを表している。
最も暗い点は、最後のイベントが時間tに関して最近である点を表す(すなわち、最大のS値を有する)。
最も明るい点は、最後のイベントが時間tに関して最も遠い点を表す(すなわち、最小のS値を有する、画像の背景は、明るい値をより容易に目立つようにするためにグレー化されているが、背景は関数Sのゼロ値に対応する)。
分散された暗い点は、センサ取込みノイズに相当する。
日付t0に生じた各イベントについて、画素pに対する動きカードを決定することが可能である。したがって、カードの各画素pは、値としてS(p,t0)を有する。
2つのセンサの2つの点pおよびqが、観察されるシーンの同じ点に対応するかどうかを判定するために、各点pおよびqにおける2つのセンサのS値が同様である(これは、いくつかの限定された状況では必ずしもそうならない)、すなわち、S(p)=S(q)、または少なくともS(p)≒S(q)のいずれかであると仮定する。
例えば、これらの2つの値S(p)とS(q)との間の相関を計算することが可能である。
さらに、2つの単一の点の比較に限定することなく、p(403)およびq(404)の近くに位置する点(すなわち、数学的な用語の意味における距離である、pまたはqからの所定の距離に位置する点)を考慮することも有用であり得る。すなわち、pの近くのすべての点が組vu(p)(405)を定義し、qの近くのすべての点が組vv(q)(406)を定義する(Nはこの組の基数である)。
点pおよび点qに近い2つのカード405とカード406の相関を決定することが可能である。加えて、センサを任意の時間差から解放するために、それらの各平均のオプティカルフロー405および406をそれぞれのもの(それぞれ、
、および
)から減算することが可能である。
したがって、所与の瞬間tについて、動き成分は、次のように表すことができる、
ただし、iは組vu(p)における点のインデックスであり、また組vv(q)における点のインデックスである。
最後に、2つを超えるセンサを使用することにより、この式を一般化することが可能である。例えば、Q個のセンサ{u、v、w、...}の場合、(前に輝度成分に対して使用されたものと同じ表記を用いることにより)書くことが可能である。
図5aおよび図5bは、本発明の一実施形態における幾何学的成分を計算する例の図である。
2つのセンサ501および502が、1つの同じシーン(例えば、点X(t)を含むシーン、図5aを参照)に対向している場合であって、第1のセンサ501の点
が、点X(t)を表している(すなわち、点
、X(t)、およびRuが一直線に並んでいる)とき、センサ502に関してエピポーラ直線luvを定義することが可能である。
Ruはセンサ501の投影中心であり、Rvはセンサ502の投影中心である。
このエピポーラ直線luvは、平面(X(t)、Ru、Rv)とセンサ502との交差部であるとして定義される。
より一般的には、最後のセンサ501の点pは、第2のセンサ502上のエピポーラ直線lv(p)を定義し、第2のセンサ502の点qは、第1のセンサ501上のエピポーラ直線lu(q)を定義する。
したがって、第1のセンサおよび第2のセンサの2つの点pおよびqについて幾何学的成分を定義することが可能である。
撮影デバイスが、3つのセンサを備える場合(図3bを参照)、2つのエピポーラ直線を、センサごとに定義することができ、これらの直線は、2つの他のセンサ上にあると見なされる点により定義される。したがって、これらの2つのエピポーラ直線は、その場合、以下でエピポーラ交差部と呼ぶ交差部を有する。したがって、
第1のセンサの点pおよび第2のセンサの点qは、第3のセンサ上でエピポーラ交差部iw(p、q)を定義する、
第1のセンサの点pおよび第3のセンサの点rは、第2のセンサ上でエピポーラ交差部iv(p、r)を定義する、
第2のセンサの点qおよび第3のセンサの点rは、第1のセンサ上でエピポーラ交差部iu(q、r)を定義する。
第1のセンサの点pおよび第2のセンサの点qは、第3のセンサ上でエピポーラ交差部iw(p、q)を定義する、
第1のセンサの点pおよび第3のセンサの点rは、第2のセンサ上でエピポーラ交差部iv(p、r)を定義する、
第2のセンサの点qおよび第3のセンサの点rは、第1のセンサ上でエピポーラ交差部iu(q、r)を定義する。
したがって、第1、第2、および第3のセンサの3つの点p、q、およびrに対する幾何学的成分を定義することが可能である。
ただし、εgは最大の受け入れ可能な幾何学的差を表す距離の所定の値である。
撮影デバイスが、3つを超えるセンサ(例えば、Q個のセンサ)を備える場合、センサのエピポーラ交差部が、他のセンサの現在の点によりこのセンサ上で定義されるエピポーラ直線のセットの最も近くに位置する点であること(例えば、エピポーラ直線に対する前記点の距離の合計を最小化することにより、または距離の2乗を最小化することによる)を考慮することにより、前の式を一般化することが可能である。
第1のセンサのイベントe(p,tu)、および第2のセンサのイベントe(q,tv)に対する時間成分を決定することも可能である。
ただし、εtは、時間の次元を有し、これらの2つのイベント間の最大の受け入れ可能な時間差を表す数である。
撮影デバイスが、3つを超えるセンサ(例えば、Q個のセンサ)を備える場合、前の式を一般化することが可能である。
図6は、本発明による一実施形態を提示する流れ図を示す。
2つの別々の非同期センサからの非同期イベント601および602の2つの組を受け取り、1つの同じシーンと比較すると、これらのセンサから2つのイベントを選択することが可能である(ステップ603、第1のセンサに対する画素piおよび時間t1i、ならびに第2のセンサに対する画素qjおよび時間t2jにより定義される)。
これらのイベントが選択された後、上記で述べられた以下の成分の中から、少なくとも1つの成分を決定することができる、すなわち、
幾何学的成分(ステップ604)、
時間成分(ステップ605)、
動き成分(ステップ606)、
輝度成分(ステップ607)である。
幾何学的成分(ステップ604)、
時間成分(ステップ605)、
動き成分(ステップ606)、
輝度成分(ステップ607)である。
第1のセンサに対するイベントe1(pi,t1i)の組について、多数のイベントe2(qj,t2j)にわたって、(例えば、インデックスjを変化させることにより)反復させる(テスト608、出力j+1)ことが可能である。反復は、第2のセンサのすべてのイベント、または有利には、これらのイベントのサブセットだけ(例えば、エピポーラ直線から、もしくは少なくともpiにより定義されるエピポーラ交差部から、所定の幾何学的距離に位置するものだけ、および/または時間t1iの所定の時間距離に位置するものだけ)の概要を示すことができる。
反復が終了した後(テスト608、出力OK)、イベントe1(pi,t1i)の組に対する費用関数Eを最小化するイベントe2(qj,t2j)を決定することが可能である(ステップ609)。費用関数は、例えば、前に計算された成分の単純な合計(E=ET+EM+EG+EI)、または重み付けられた合計(E=ωTET+ωMEM+ωGEG+ωIEI)とすることができる(これらの成分を含む任意の他の関数も可能である)。
輝度成分および/または動き成分を考慮する費用関数は、行われる3D再構成の精度を大幅に増加させることができることが、実験を通して観察されている。
最小化が実行された後、点piと点qjを接続することができ(ステップ610)、したがって、接続された点piと点qjを表す、観察されるシーンの点X(t)の空間における距離または位置を計算することができる(ステップ611)。
計算された距離(または空間中の点X(t)の位置)が次いで返される(612)。
図7は、本発明による一実施形態を実装するためのデバイスを示している。
この実施形態では、デバイスは、コンピュータ700を備え、コンピュータ700は、方法を実装できるようにする命令と、受け取った測定値からのデータと、前述したような方法の様々なステップを実行するための時間データとを記憶するためのメモリ705を備える。
コンピュータは、回路704をさらに備える。この回路は、例えば、
- コンピュータプログラムの形態の命令を解釈できるプロセッサ、または
- 本発明の方法のステップが、シリコンチップに記述される電子基板、または、さらに
- FPGA(「書替え可能ゲートアレイ」)チップなどのプログラム可能な電子チップ
とすることができる。
- コンピュータプログラムの形態の命令を解釈できるプロセッサ、または
- 本発明の方法のステップが、シリコンチップに記述される電子基板、または、さらに
- FPGA(「書替え可能ゲートアレイ」)チップなどのプログラム可能な電子チップ
とすることができる。
このコンピュータは、センサからイベントを受け取るための入力インターフェース703と、距離707を供給するための出力インターフェース706とを備える。最後に、コンピュータは、ユーザと容易に対話することができるようにするために、スクリーン701およびキーボード702を備えることができる。当然であるが、キーボードは、特に、例えば、タッチスクリーンタブレットの形態を有するコンピュータの一部として任意選択のものである。
さらに、図6で提示された機能的な図は、説明されたデバイスについて一定の命令が作成され得るプログラムの典型的な例である。これに関して、図6は、本発明の意味において、コンピュータプログラムの一般的なアルゴリズムの流れ図に対応することができる。
当然ながら、本発明は、例として上記で述べた実施形態の形態に限定されない。本発明は、他の変形形態に及ぶ。
他の実施形態も可能である。
例えば、図6の流れ図はまた、第1のセンサのいくつかのイベントを、第2のセンサのイベントと関連付けるために、イベントe1(pi,t1i)に対する反復を含むこともできる。
101 画素
102a 感光性素子、フォトダイオード
102b 感光性素子、フォトダイオード
103a 電子検出回路
103b 電子検出回路
104 パルス列
401 カード
402 カード
403 p
404 q
405 組vu(p)、カード、オプティカルフロー
406 組vv(q)、カード、オプティカルフロー
410 極性イベントpol
411 イベント
412 イベント
413 イベント
414 イベント
421 イベント
422 イベント
501 第1のセンサ
502 第2のセンサ
700 コンピュータ
701 スクリーン
702 キーボード
703 入力インターフェース
704 回路、プロセッサ
705 メモリ
706 出力インターフェース
707 距離
102a 感光性素子、フォトダイオード
102b 感光性素子、フォトダイオード
103a 電子検出回路
103b 電子検出回路
104 パルス列
401 カード
402 カード
403 p
404 q
405 組vu(p)、カード、オプティカルフロー
406 組vv(q)、カード、オプティカルフロー
410 極性イベントpol
411 イベント
412 イベント
413 イベント
414 イベント
421 イベント
422 イベント
501 第1のセンサ
502 第2のセンサ
700 コンピュータ
701 スクリーン
702 キーボード
703 入力インターフェース
704 回路、プロセッサ
705 メモリ
706 出力インターフェース
707 距離
Claims (10)
- シーンを3D再構成する方法であって、
- 前記シーンに対向して位置する第1の画素マトリックスを有する第1のセンサ(501)から非同期情報の第1の部分を受け取るステップ(601)であって、非同期情報の前記第1の部分が、前記第1のマトリックスの各画素(p)について、前記画素からの第1の連続イベントを含む、受け取るステップ(601)と、
- 前記シーンに対向して位置する第2の画素マトリックスを有する第2のセンサ(502)から非同期情報の第2の部分を受け取るステップ(602)であって、非同期情報の前記第2の部分が、前記第2のマトリックスの各画素(q)について、前記画素からの第2の連続イベントを含み、前記第2のセンサが前記第1のセンサから分離されている、受け取るステップ(602)と、
- 費用関数(E)の最小化(609)に応じて、前記第1の連続イベントの中からの第1のイベントを、前記第2の連続イベントの中からの第2のイベントとマッチングさせるステップ(610)と
を含み、
前記費用関数は、
- 輝度成分(EI)であって、少なくとも
- 畳み込みコア(gσ(t))を用いて畳み込まれた前記第1のセンサの画素からの第1の輝度信号(Iu)であり、前記画素の輝度は、前記第1の信号の最大値(te-,u、te+,u)間の差に依存する、第1の輝度信号(Iu)、および
- 前記畳み込みコアを用いて畳み込まれた前記第2のセンサの画素からの第2の輝度信号(Iv)であり、前記画素の輝度は、前記第2の信号の最大値(te-,v、te+,v)間の差に依存する、第2の輝度信号(Iv)
に依存する輝度成分(EI)と、
動き成分(EM)であって、少なくとも
- 前記第1のセンサの画素から所定の距離に空間的に位置するイベントの発生に関係する時間値、および
前記第2のセンサの画素から所定の距離に空間的に位置するイベントの発生に関係する時間値
に依存する動き成分(EM)と
の中から少なくとも1つの成分を含む、方法。 - 前記費用関数(E)は、
- 時間成分(ET)であって、
- 前記第1のセンサのイベントに関係する時間値と、
- 前記第2のセンサのイベントに関係する時間値と
の間の差に依存する時間成分(ET)
をさらに含む、請求項1に記載の方法。 - 前記費用関数(E)は、
- 幾何学的成分(EG)であって、
- 前記第1のセンサの少なくとも1つの画素により定義されるエピポーラ直線またはエピポーラ交差部における前記第2のセンサの画素からの空間距離
に依存する幾何学的成分(EG)
をさらに含む、請求項1または2に記載の方法。 - 前記第1のセンサの前記画素および前記第2のセンサの前記画素の前記輝度信号(Iu、Iv)は、輝度変動の発生時間をコード化した最大値を含み、前記畳み込みコアは、所定のガウス分散である、請求項1から3のいずれか一項に記載の方法。
- 前記輝度成分(EI)は、
- 前記第1のセンサの前記第1の画素から所定の距離に空間的に位置し、前記畳み込みコアを用いて畳み込まれる、前記第1のセンサの画素の輝度信号と、
- 前記第2のセンサの前記第2の画素から所定の距離に空間的に位置し、前記畳み込みコアを用いて畳み込まれる、前記第2のセンサの画素の輝度信号と
にさらに依存する、請求項1から4のいずれか一項に記載の方法。 - 前記動き成分(EM)は、
- 前記第1のセンサの前記画素から所定の距離に空間的に位置する、前記第1のセンサの画素イベントの発生に関係する前記時間値の平均値(
前記第2のセンサの前記画素から所定の距離に空間的に位置する、前記第2のセンサの画素イベントの発生に関係する前記時間値の平均値(
に依存する、請求項1から5のいずれか一項に記載の方法。 - 前記動き成分(EM)は、所与の時間について、
- 前記第1のセンサの画素から所定の距離に空間的に位置する、前記イベントの発生に関係する各現在の時間値について、前記所与の時間の距離から前記現在の時間値へと減少する関数値と、
- 前記第2のセンサの画素から所定の距離に空間的に位置する、前記イベントの発生に関係する各現在の時間値について、前記所与の時間の距離から前記現在の時間値へと減少する関数値と
に依存する、請求項1から6のいずれか一項に記載の方法。 - 前記動き成分(EM)は、
- 前記第1のセンサの画素から所定の距離に空間的に位置する、前記イベントの発生に関係する各時間値についてのディラックを含む信号を用いた減少関数の第1の畳み込みと、
- 前記第2のセンサの画素から所定の距離に空間的に位置する、前記イベントの発生に関係する各時間値についてのディラックを含む信号を用いた減少関数の第2の畳み込みと
に依存する、請求項1から6のいずれか一項に記載の方法。 - シーンの3D再構成のためのデバイスであって、
- 前記シーンに対向して位置する第1の画素マトリックスを有する第1のセンサ(501)から非同期情報の第1の部分を受け取る(601)ためのインターフェース(703)であって、前記非同期情報の第1の部分が、前記第1のマトリックスの各画素(p)について、前記画素からの第1の連続イベントを含む、インターフェース(703)と、
- 前記シーンに対向して位置する第2の画素マトリックスを有する第2のセンサ(502)から非同期情報の第2の部分を受け取る(602)ためのインターフェース(703)であって、前記非同期情報の第2の部分が、前記第2のマトリックスの各画素(q)について、前記画素からの第2の連続イベントを含み、前記第2のセンサが前記第1のセンサから分離されている、インターフェース(703)と、
- 費用関数(E)の最小化(609)に応じて、前記第1の連続イベントの中からの第1のイベントを、前記第2の連続イベントの中からの第2のイベントとマッチングさせる(610)のに適したプロセッサ(704)と
を備え、
前記費用関数は、
- 輝度成分(EI)であって、少なくとも
- 畳み込みコア(gσ(t))を用いて畳み込まれた前記第1のセンサの画素からの第1の輝度信号(Iu)であり、前記画素の輝度は、前記第1の信号の最大値(te-,u、te+,u)間の差に依存する、第1の輝度信号(Iu)、および
- 前記畳み込みコアを用いて畳み込まれた前記第2のセンサの画素からの第2の輝度信号(Iv)であり、前記画素の輝度は、前記第2の信号の最大値(te-,v、te+,v)間の差に依存する、第2の輝度信号(Iv)、
に依存する輝度成分(EI)と、
- 動き成分(EM)であって、少なくとも
- 前記第1のセンサの画素から所定の距離に空間的に位置するイベントの発生に関係する時間値、および
- 前記第2のセンサの画素から所定の距離に空間的に位置するイベントの発生に関係する時間値
に依存する動き成分(EM)と
の中から少なくとも1つの成分を含む、デバイス。 - コンピュータプログラム製品であって、プロセッサによってこのプログラムが実行されたときに、請求項1から8のいずれか一項に記載の方法を実装するための命令を含む、コンピュータプログラム製品。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1552154A FR3033973A1 (fr) | 2015-03-16 | 2015-03-16 | Procede de reconstruction 3d d'une scene |
| FR1552154 | 2015-03-16 | ||
| PCT/FR2016/050575 WO2016146938A1 (fr) | 2015-03-16 | 2016-03-15 | Procede de reconstruction 3d d'une scene |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2018516395A true JP2018516395A (ja) | 2018-06-21 |
| JP2018516395A5 JP2018516395A5 (ja) | 2019-04-18 |
| JP6839091B2 JP6839091B2 (ja) | 2021-03-03 |
Family
ID=53879566
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017549009A Active JP6839091B2 (ja) | 2015-03-16 | 2016-03-15 | シーンを３ｄ再構成するための方法 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US11335019B2 (ja) |
| EP (1) | EP3272119B1 (ja) |
| JP (1) | JP6839091B2 (ja) |
| KR (1) | KR102432644B1 (ja) |
| CN (1) | CN107750372B (ja) |
| FR (1) | FR3033973A1 (ja) |
| WO (1) | WO2016146938A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE112021004600T5 (de) | 2020-11-25 | 2023-06-29 | Fanuc Corporation | Dreidimensionale messvorrichtung und dreidimensionales messverfahren |
| DE112021004793T5 (de) | 2020-09-07 | 2023-07-06 | Fanuc Corporation | Vorrichtung für dreidimensionale Messungen |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108764078B (zh) * | 2018-05-15 | 2019-08-02 | 上海芯仑光电科技有限公司 | 一种事件数据流的处理方法及计算设备 |
| CN108765487B (zh) * | 2018-06-04 | 2022-07-22 | 百度在线网络技术（北京）有限公司 | 重建三维场景的方法、装置、设备和计算机可读存储介质 |
| EP3690736A1 (en) | 2019-01-30 | 2020-08-05 | Prophesee | Method of processing information from an event-based sensor |
| EP3694202A1 (en) | 2019-02-11 | 2020-08-12 | Prophesee | Method of processing a series of events received asynchronously from an array of pixels of an event-based light sensor |
| CN111369482B (zh) * | 2020-03-03 | 2023-06-23 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140333730A1 (en) * | 2011-12-08 | 2014-11-13 | Centre National De La Recherche Scientifique | Method of 3d reconstruction of a scene calling upon asynchronous sensors |
| JP2015028780A (ja) * | 2013-07-29 | 2015-02-12 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | イベント情報を含む映像を分析する装置及び方法並びにユーザ入力処理装置 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100731350B1 (ko) * | 2005-07-26 | 2007-06-21 | 삼성전자주식회사 | 공간적 균일성 보상 장치 및 그 방법 |
| US8290250B2 (en) * | 2008-12-26 | 2012-10-16 | Five Apes, Inc. | Method and apparatus for creating a pattern recognizer |
| US8797387B2 (en) * | 2011-04-27 | 2014-08-05 | Aptina Imaging Corporation | Self calibrating stereo camera |
| EP2574511B1 (en) * | 2011-09-30 | 2016-03-16 | Honda Research Institute Europe GmbH | Analyzing road surfaces |
| FR2985065B1 (fr) * | 2011-12-21 | 2014-01-10 | Univ Paris Curie | Procede d'estimation de flot optique a partir d'un capteur asynchrone de lumiere |
| KR101896666B1 (ko) * | 2012-07-05 | 2018-09-07 | 삼성전자주식회사 | 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템 |
| KR20140056986A (ko) * | 2012-11-02 | 2014-05-12 | 삼성전자주식회사 | 모션 센서 어레이 장치, 상기 모선 센서 어레이를 이용한 거리 센싱 시스템, 및 거리 센싱 방법 |
| KR20140095793A (ko) * | 2013-01-25 | 2014-08-04 | 삼성디스플레이 주식회사 | 패널 얼룩 평가 방법 및 시스템 |
| US10055013B2 (en) * | 2013-09-17 | 2018-08-21 | Amazon Technologies, Inc. | Dynamic object tracking for user interfaces |
| KR101861515B1 (ko) * | 2016-04-21 | 2018-05-25 | 송경희 | 급수 가압용 부스터 펌프 시스템에서 설정 양정에 대한 회전수별 유량 계산 방법 |
-
2015
- 2015-03-16 FR FR1552154A patent/FR3033973A1/fr active Pending
-
2016
- 2016-03-15 KR KR1020177029337A patent/KR102432644B1/ko active IP Right Grant
- 2016-03-15 WO PCT/FR2016/050575 patent/WO2016146938A1/fr active Application Filing
- 2016-03-15 EP EP16713966.6A patent/EP3272119B1/fr active Active
- 2016-03-15 JP JP2017549009A patent/JP6839091B2/ja active Active
- 2016-03-15 US US15/556,596 patent/US11335019B2/en active Active
- 2016-03-15 CN CN201680016173.XA patent/CN107750372B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140333730A1 (en) * | 2011-12-08 | 2014-11-13 | Centre National De La Recherche Scientifique | Method of 3d reconstruction of a scene calling upon asynchronous sensors |
| JP2015028780A (ja) * | 2013-07-29 | 2015-02-12 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | イベント情報を含む映像を分析する装置及び方法並びにユーザ入力処理装置 |
Non-Patent Citations (5)
| Title |
|---|
| CHRISTOPH SULZBACHNER, 外２名: ""An Optimized Silicon Retina Stereo Matching Algorithm Using Time-space Correlation"", CVPR 2011 WORKSHOPS, JPN6020018303, 25 June 2011 (2011-06-25), US, pages 1 - 7, XP031926492, ISSN: 0004277642, DOI: 10.1109/CVPRW.2011.5981722 * |
| EWA PIATKOWSKA, 外２名: ""Asynchronous Stereo Vision for Event-Driven Dynamic Stereo Sensor Using an Adaptive Cooperative App", 2013 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOPS, JPN6020018305, 6 March 2014 (2014-03-06), US, pages 45 - 50, ISSN: 0004277645 * |
| JUN HAENG LEE, 外６名: ""Real-Time Gesture Interface Based on Event-Driven Processing from Stereo Silicon Retinas"", IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS, vol. 第２５巻, 第１２号, JPN6020018304, 17 March 2014 (2014-03-17), US, pages 2250 - 2263, ISSN: 0004277644 * |
| PAUL ROGISTER, 外４名: ""Asynchronous Event-Based Binocular Stereo Matching"", IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS, vol. 第２３巻, 第２号, JPN6020018302, 23 December 2011 (2011-12-23), US, pages 347 - 353, ISSN: 0004277646 * |
| 長尾祥一, 外３名: ""スマートイメージセンサとＦＰＧＡを用いた高速動物体追跡と奥行き推定"", 映像情報メディア学会誌, vol. 第５７巻, 第９号, JPN6020018301, 1 September 2003 (2003-09-01), JP, pages 1142 - 1148, ISSN: 0004277643 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE112021004793T5 (de) | 2020-09-07 | 2023-07-06 | Fanuc Corporation | Vorrichtung für dreidimensionale Messungen |
| DE112021004600T5 (de) | 2020-11-25 | 2023-06-29 | Fanuc Corporation | Dreidimensionale messvorrichtung und dreidimensionales messverfahren |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3272119A1 (fr) | 2018-01-24 |
| WO2016146938A1 (fr) | 2016-09-22 |
| JP6839091B2 (ja) | 2021-03-03 |
| US20180063506A1 (en) | 2018-03-01 |
| US11335019B2 (en) | 2022-05-17 |
| CN107750372A (zh) | 2018-03-02 |
| FR3033973A1 (fr) | 2016-09-23 |
| CN107750372B (zh) | 2021-12-10 |
| KR102432644B1 (ko) | 2022-08-16 |
| KR20180020952A (ko) | 2018-02-28 |
| EP3272119B1 (fr) | 2021-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6839091B2 (ja) | シーンを３ｄ再構成するための方法 | |
| JP6226876B2 (ja) | 非同期光センサに基づいてオプティカルフローを推定する方法 | |
| US11215700B2 (en) | Method and system for real-time motion artifact handling and noise removal for ToF sensor images | |
| EP3271869B1 (fr) | Procédé de traitement d'un signal asynchrone | |
| US9684840B2 (en) | Detection system | |
| US10852208B2 (en) | Quantifying gas leak rates using frame images acquired by a camera | |
| US9906717B1 (en) | Method for generating a high-resolution depth image and an apparatus for generating a high-resolution depth image | |
| CN113315878A (zh) | 单程对象扫描 | |
| JP7272428B2 (ja) | 深度推定装置、深度推定モデル学習装置、深度推定方法、深度推定モデル学習方法、及び深度推定プログラム | |
| EP3791210A1 (en) | Device and method | |
| CN109040525B (zh) | 图像处理方法、装置、计算机可读介质及电子设备 | |
| CN112434679A (zh) | 康复运动的评估方法及装置、设备、存储介质 | |
| CN115147831A (zh) | 三维目标检测模型的训练方法和装置 | |
| JP5976126B2 (ja) | ターゲットサイズを見積もるためのシステム及び方法 | |
| CN111179328A (zh) | 数据同步标定方法、装置、可读存储介质及电子设备 | |
| CN111866493B (zh) | 基于头戴显示设备的图像校正方法、装置及设备 | |
| JP4942197B2 (ja) | テンプレート作成装置及び表情認識装置並びにその方法、プログラム及び記録媒体 | |
| US20230260149A1 (en) | Position-posture estimation device, position-posture estimation method, and storage medium storing program | |
| WO2023095564A1 (ja) | 情報処理装置及び情報処理方法 | |
| Oishi et al. | Range image smoothing and completion utilizing laser intensity | |
| KR20210157846A (ko) | 압축 가이드를 이용한 비행 시간 다운-업 샘플링 | |
| JP4926163B2 (ja) | 移動対象検出装置、移動対象検出方法及び移動対象検出プログラム | |
| CN117280707A (zh) | 用于高效生成具有余辉的单光子雪崩二极管图像的系统和方法 | |
| Cain | Bayesian-based Fusion of 2-D and 3-D LADAR Imagery | |
| CN118119966A (zh) | 用于获得暗电流图像的系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190306 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190306 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200424 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200608 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201204 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20201204 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20201204 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210112 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210212 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6839091 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |