JP2019121349A - 視差マップを生成するための方法、画像処理デバイス、およびシステム - Google Patents

視差マップを生成するための方法、画像処理デバイス、およびシステム Download PDF

Info

Publication number
JP2019121349A
JP2019121349A JP2018179635A JP2018179635A JP2019121349A JP 2019121349 A JP2019121349 A JP 2019121349A JP 2018179635 A JP2018179635 A JP 2018179635A JP 2018179635 A JP2018179635 A JP 2018179635A JP 2019121349 A JP2019121349 A JP 2019121349A
Authority
JP
Japan
Prior art keywords
pixel
reduced
original
image
disparity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018179635A
Other languages
English (en)
Other versions
JP6838021B2 (ja
Inventor
崇▲ウェイ▼ 李
chong wei Li
崇▲ウェイ▼ 李
明哲 何
ming zhe He
明哲 何
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wistron Corp
Original Assignee
Wistron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wistron Corp filed Critical Wistron Corp
Publication of JP2019121349A publication Critical patent/JP2019121349A/ja
Application granted granted Critical
Publication of JP6838021B2 publication Critical patent/JP6838021B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226Determination of depth image, e.g. for foreground/background separation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】視差マップを生成するための方法、画像処理デバイス、およびシステムを提案すること。【解決手段】方法は、次のステップを含む。特定シーンの画像が、2つの画像センサによって取り込まれて、2つのオリジナル画像が生成される。2つのオリジナル画像に対して縮小プロセスが実施されて、2つの縮小後画像が生成される。2つの縮小後画像を使用することによって、縮小後視差マップが生成される。縮小後視差マップに対して拡大プロセスが実施されて、拡大後視差マップが生成される。拡大後視差マップの各拡大後視差値が、信頼性のあるものかどうかかが判定され、それによって、精選した視差マップがそれに応じて生成される。【選択図】図2

Description

本開示は、画像処理方法、画像処理デバイス、およびそのシステムに関し、より詳細には、視差マップを生成するための方法、画像処理デバイス、およびシステムに関する。
画像処理におけるフレームワークの発展によって、ステレオ・ビジョンは、構造化光、ステレオ画像、距離検出、監視、その他など、多くの分野に広範に応用されてきた。ステレオ・ビジョンは一般に、2つの段階を含む。第1の段階では、深度カメラ、ステレオ・カメラ、または関連のアルゴリズムを使用することによって、深度情報が生成される。第2の段階では、深度情報を使用することによって、ステレオ画像が生成される。したがって、快適なステレオ観視体験を提供するためには、正確な深度情報が徹底的に重要となる。
ステレオ・ビジョンにおける深度計算の基本は、左右の画像から同一物体を探索し、2つの画像内に出現する物体のオフセット(すなわち視差)に基づいて物体距離を決定することである。より高い解像度をもつ画像が、高い精度レベルの視差推定、すなわちより正確な物体距離推定をもたらすことができる。とはいえ、計算量および時間量は、必然的に増加することになる。
本開示は、視差マップを生成するための方法、画像処理デバイス、およびシステムを対象とする。
本開示の一実施形態では、方法は、第1の画像センサおよび第2の画像センサを有するシステムに適用可能であり、以下のステップを含む。特定シーンの画像が、第1の画像センサおよび第2の画像センサを使用することによって取り込まれて、第1のオリジナル画像および第2のオリジナル画像がそれぞれ生成する。第1のオリジナル画像および第2のオリジナル画像に対して縮小プロセスが実施されて、第1の縮小後画像および第2の縮小後画像がそれぞれ生成する。第1の縮小後画像および第2の縮小後画像を使用することによって、縮小後視差値を含む縮小後視差マップが生成される。縮小後視差マップに対して拡大プロセスが実施されて、拡大後視差値を有する拡大後視差マップが生成される。拡大後視差値の各々の信頼性に従って、第1のオリジナル画像および第2のオリジナル画像の精選した視差マップが生成される。
本開示の一実施形態では、システムは、第1の画像センサと、第2の画像センサと、メモリと、プロセッサとを含み、ここで、プロセッサは、第1の画像センサ、第2の画像センサ、およびメモリに接続されている。第1の画像センサおよび第2の画像センサは、画像を取り込むように構成される。メモリは、データを記憶するように構成される。プロセッサは、特定シーンの画像を、第1の画像センサおよび第2の画像センサを使用することによって取り込んで、第1のオリジナル画像および第2のオリジナル画像をそれぞれ生成するステップと、第1のオリジナル画像および第2のオリジナル画像に対して縮小プロセスを実施して、第1の縮小後画像および第2の縮小後画像をそれぞれ生成するステップと、第1の縮小後画像および第2の縮小後画像を使用することによって、縮小後視差値を含む縮小後視差マップを生成するステップと、縮小後視差マップに対して拡大プロセスを実施して、拡大後視差値を有する拡大後視差マップを生成するステップと、拡大後視差値の各々の信頼性に従って、第1のオリジナル画像および第2のオリジナル画像の精選した視差マップを生成するステップとを実行するように構成される。
本開示の一実施形態では、画像処理デバイスは、メモリと、通信インターフェースと、プロセッサとを含み、ここで、プロセッサは、メモリおよび通信インターフェースに接続されている。メモリは、データを記憶するように構成される。通信インターフェースは、画像処理デバイスを第1の画像センサおよび第2の画像センサに接続するように構成される。プロセッサは、それぞれ第1の画像センサおよび第2の画像センサからの特定シーンから取り込まれた、第1のオリジナル画像および第2のオリジナル画像を取得するステップと、第1のオリジナル画像および第2のオリジナル画像に対して縮小プロセスを実施して、第1の縮小後画像および第2の縮小後画像をそれぞれ生成するステップと、第1の縮小後画像および第2の縮小後画像を使用することによって、縮小後視差値を含む縮小後視差マップを生成するステップステップと、縮小後視差マップに対して拡大プロセスを実施して、拡大後視差値を有する拡大後視差マップを生成するステップと、拡大後視差値の各々の信頼性に従って、第1のオリジナル画像および第2のオリジナル画像の精選した視差マップを生成するステップとを実行するように構成される。
上記に基づいて、本開示において提案する、視差マップを生成するための方法、画像処理デバイス、およびシステムによれば、2つの縮小後画像を使用することによって縮小後視差マップが最初に計算され、次いで、縮小後視差マップから2つのオリジナル画像にマッピングされた、より精選した視差値が取得される。結果として、縮小後視差マップと2つのオリジナル画像との間のミスマッチ、ならびに縮小後深度マップがそのオリジナル・サイズに回復された後の視差値の精度の低さが、未然に防がれる。本開示において生成される視差マップは、低コスト制約下でのステレオ・マッチングの際の視差推定に関する計算が多大なことによる、システム・スピードの低さという問題を解決するのみならず、深度推定の精度を上げることもし、それによって、構造化光、ステレオ、距離検出、および監視などのステレオ・ビジョン応用の効果が、大幅に向上する。
本開示の上記の特徴および利点をより理解できるようにするために、図面を伴ういくつかの実施形態について、以下の通り詳細に説明する。
添付の図面は、本開示のさらなる理解をもたらすために含められたものであり、本明細書に組み込まれ、その一部を成している。図面は、本開示の実施形態を示し、本説明とともに、本開示の原理を説明する働きをする。
本開示の一実施形態による深度情報を生成するためのシステムを示すブロック図である。
本開示の一実施形態による深度情報を生成するための方法を示すフローチャートである。
本開示の一実施形態による視差マップを生成するための方法を示すフローチャートである。
本開示の一実施形態による視差マップを生成するための方法を示す概略図である。
本開示の一実施形態による深度情報を生成するための方法を示す概略図である。
ここで、本開示のいくつかの実施形態について、本出願の、全てのではないがいくつかの実施形態が示されている添付の図面を参照して、以下により詳細に説明する。実際、本開示のさまざまな実施形態は、多くの異なる形態で具現化することができ、本明細書に記載した実施形態に限定されると解釈すべきではない。そうではなく、これらの実施形態は、該当する法的要件を本開示が満たすように提供されるものである。同様の参照番号は、全体を通じて同様の要素を指す。
図1は、本開示の一実施形態による深度情報を生成するための提案するシステムを示すブロック図である。しかし、これは説明のための一例にすぎず、本開示はこの点に関して限定されないことに留意されたい。システムの全ての構成要素およびそれらの構成について、最初に図1において紹介する。構成要素の機能については、図2と併せてより詳細に開示する。
図1を参照すると、システム100は、第1の画像センサ110、第2の画像センサ120、メモリ130、およびプロセッサ140を含む。本実施形態では、システム100は、第1の画像センサ110、第2の画像センサ120、メモリ130、およびプロセッサ140を統合した、デュアル・レンズ付きのデジタル・カメラ、SLRカメラ、デジタル・ビデオ・カメラ、スマート・フォン、またはタブレット・コンピュータなどの一体型画像取込みデバイスとすることができる。
本実施形態では、第1の画像センサ110および第2の画像センサ120の各々が、光学レンズおよび感知要素を有するカメラ・レンズである。感知要素は、光学レンズに入る光強度を感知し、それによって、画像を生成するように構成される。感知要素は、例えば、電荷結合素子(CCD)要素、相補型金属酸化膜半導体(CMOS)要素、または同様のものとすることができる。レンズによって取り込まれた画像は、感知要素に対して結像され、デジタル信号に変換されて、プロセッサ140に出力される。
メモリ130は、画像やプログラミング・コードなどのデータを記憶するように構成され、固定またはモバイルのランダム・アクセス・メモリ(RAM)、読出し専用メモリ(ROM)、フラッシュ・メモリ、ハード・ドライブ、他の類似のデバイスもしくは集積回路のうちの1つ、またはそれらの組合せとすることができる。
プロセッサ140は、システム100内の構成要素の間で動作を制御するように構成され、例えば、中央処理装置(CPU)、グラフィック処理装置(GPU)、またはマイクロプロセッサおよびデジタル信号プロセッサ(DSP)、プログラマブル・コントローラ、特定用途向け集積回路(ASIC)、プログラマブル・ロジック・デバイス(PLD)、他の類似のデバイスなど、汎用もしくは専用の他のプログラマブル・デバイス、上述のデバイスもしくは集積回路の組合せとすることができる。
別の実施形態では、メモリ130およびプロセッサ140は、画像処理機能を有する電子デバイス(例えばパーソナル・コンピュータ、ノートブック・コンピュータ、スマート・フォン、タブレット・コンピュータなど)内に含まれてよく、そのような電子デバイスは、視差マップを生成するために、第1の画像センサ110および第2の画像センサ120によって異なる角度から取り込まれた特定シーンの画像を、通信インターフェース(図示せず)を介して有線で、またはワイヤレスに受信してよいことに留意されたい。本実施形態では、第1の画像センサ110および第2の画像センサ120は、同一デバイス上に配設されてもよく、異なるデバイス上に配設されてもよい。本開示はこの点に関して限定されない。
視差マップを生成するための方法をシステム100がどのように実施するかについての詳細なステップが、以下の実施形態に示されており、ここで、システム100は、デュアル・レンズ付きの画像取込みデバイスによって実装されている。
図2は、本開示の一実施形態による視差マップを生成するための方法を示すフローチャートである。
図1と図2を併せて参照すると、プロセッサ140が、特定シーンの画像を、第1の画像センサ110および第2の画像センサ120を使用することによって取り込んで、第1のオリジナル画像および第2のオリジナル画像をそれぞれ生成する(ステップS202)。詳細には、第1のオリジナル画像および第2のオリジナル画像は、それぞれ第1の画像センサ110および第2の画像センサ120によって同一シーンから異なる視角において取り込まれた2つの画像とすることができる。ここにおいて、第1の画像センサ110および第2の画像センサ120は、例えば同一撮影パラメータを使用することによって、画像を取り込んでよい。しかし、本開示はこの点に関して限定されない。
次に、プロセッサ140が、第1のオリジナル画像および第2のオリジナル画像に対して縮小プロセスを実施して、第1の縮小後画像および第2の縮小後画像をそれぞれ生成する(ステップS204)。ここにおいて、プロセッサ140は、第1のオリジナル画像および第2のオリジナル画像に対して、同一スケーリング比を用いて縮小プロセスを実施してよい。例えば、第1のオリジナル画像および第2のオリジナル画像の各々の水平軸および垂直軸が50%縮小されると、スケーリング比は25%となる。縮小プロセスにおいて使用される手法は、第1のオリジナル画像および第2のオリジナル画像内の画素(以後「第1のオリジナル画素」および「第2のオリジナル画素」と呼ぶ)の各々の画素値を算出すること、ならびに複数の画素を新たな1つの画素に、例えば最近傍補間、双一次補間、双三次補間、エリア・ベースの補間を通じて組み合わせ、それによって、縮小後画像(すなわち前述の第1の縮小後画像および前述の第2の縮小後画像)を取得すること、とすることができる。
次に、プロセッサ140が、第1の縮小後画像および第2の縮小後画像を使用することによって、縮小後視差マップを生成し(ステップS206)、ここで、縮小後視差マップは、第1の縮小後画像に基づいて生成され、複数の縮小後視差画素を含み、縮小後視差画素の各々は、縮小後視差値を有する。ここにおいて、プロセッサ140は、第1の縮小後画像および第2の縮小後画像の各画素(以後「第1の縮小後画素」および「第2の縮小後画素」と呼ぶ)について解析を実施して、第1の縮小後画素の各々の、第2の縮小後画像に対する視差値を算出し、それにより、第1の縮小後画像に基づく縮小後視差マップを生成する。別の実施形態では、プロセッサ140は、第2の縮小後画像に基づく縮小後視差マップを生成することができる。本開示はこの点に関して限定されない。
次に、プロセッサ140が、縮小後視差マップに対して拡大プロセスを実施して、拡大後視差マップを生成する(ステップS208)。拡大後視差マップは、拡大後視差値を有する複数の拡大後視差画素を含み、ここで、拡大後視差値は、縮小後視差値に従って生成される。プロセッサ140は、縮小後視差マップを、第1のオリジナル画像および第2のオリジナル画像と同一のサイズに拡大することができる。例として、縮小後視差マップの垂直軸と水平軸が2X拡大されると、縮小後視差マップ内の縮小後視差値もおよそ2X拡大される。
第1の縮小後画像および縮小後画像を使用することによって縮小後視差マップを生成し、かつ第2の縮小後視差マップを拡大して、第1のオリジナル画像および第2のオリジナル画像に対応する視差マップを取得する、という手法によって、計算および時間の量が著しく低減し得る。しかし、拡大後視差マップ内の拡大後視差値は、第1のオリジナル画像および第2のオリジナル画像に基づいて算出されていないので、拡大後視差から取得されるシーン分布と実際のシーン分布との間の差が、視差の精度の低さを生じさせる。
上記に基づいて、プロセッサ140は、拡大後視差値の各々が信頼性のあるものかどうかを、第1のオリジナル画像および第2のオリジナル画像に従って判定し(ステップS210)、それによって、プロセッサ140は、拡大後視差値の各々が信頼性のあるものかどうかの判定結果に従って、第1のオリジナル画像および第2のオリジナル画像の精選した視差マップを生成する。本実施形態では、そのような判定は、第1のオリジナル画像および第2のオリジナル画像内の対応する画素間の類似性に基づくものとすることができる。次に、プロセッサ140は、信頼性のある拡大後視差値の各々について、第1の探索範囲に従って、対応する精選した拡大後視差値を取得し、信頼性のない拡大後視差値の各々について、第2の探索範囲に従って、対応する置換えの拡大後視差値を取得する(ステップS212)ことができ、ここで、第1の探索範囲は、第2の探索範囲より狭い。
例として、拡大後視差マップが、第1のオリジナル画像内の第1の現行オリジナル画素および第2のオリジナル画像内の第2の現行オリジナル画素に対応する、1つの「現行拡大後視差画素」を含むと仮定されたい。プロセッサ140は、第1の現行オリジナル画素と第2の現行オリジナル画素が類似しているかどうかを判定し、それにより、現行拡大後視差画素の拡大後視差値が信頼性のあるものかどうかを判定することができる。
現行拡大後視差画素の拡大後視差値が信頼性のあるものである場合、プロセッサ140は、現行拡大後視差画素の拡大後視差値を、第1の探索範囲に従って、より精密に調整することができる。本明細書では、「拡大後視差値を調整すること」とは、第2の現行オリジナル画素に隣接する領域内の、調整後の第2の現行オリジナル画素となるべき対応する別の第2のオリジナル画素を探索することを意味する。例として、プロセッサ140は、第2の現行オリジナル画素の第1の探索範囲内の、新たな第2の現行オリジナル画素となるべき、第1の現行オリジナル画素と最も高い類似性を有する第2のオリジナル画素を探索し、第1の現行オリジナル画素とその第2の現行オリジナル画素との間の視差値を、調整後の現行拡大後視差画素の拡大後視差値として設定することができ、ここで、第1の探索範囲は、縮小後視差マップと拡大後視差マップとの間のスケーリング比、ならびに縮小後視差画素の縮小後視差値に基づいて設定される。その設定のための詳細な方法については、以下の実施形態において網羅的に説明する。
拡大後視差画素の拡大後視差値が信頼性のないものである場合、プロセッサ140はさらに、第2の探索範囲に従って、現行拡大後視差画素の拡大後視差値を直接置き換えることのできる視差値を探索することができる。例として、プロセッサ140は、第2の現行オリジナル画素の第2の探索範囲内の、新たな第2の現行オリジナル画素となるべき、第1の現行オリジナル画素と最も高い類似性を有する第2のオリジナル画素を探索し、第1の現行オリジナル画素とその第2の現行オリジナル画素との間の視差値を、調整後の現行拡大後視差画素の拡大後視差値として使用することができ、ここで、第2の探索範囲は、第2の現行オリジナル画素の所定の範囲(例えば0から64)とすることができる。換言すれば、第2の探索範囲はもはや、縮小後視差画素の縮小後視差値に基づいて設定されない。
次に、プロセッサ140は、精選した視差マップを、全ての精選した拡大後視差値および全ての置換えの拡大後視差値を使用することによって生成する(ステップS214)。拡大後視差値差マップと相対的に比較して、精選した視差マップは、縮小後視差マップが再びそのオリジナル・サイズに回復された後の視差値に関する精度の不十分さの問題を解決し、それによって、より効率的かつ正確な深度推定を達成して、後続のステレオ・ビジョン応用例における性能を向上させることができる。
よりよく理解するために、図2の実装形態および詳細について、以後、図3(本開示の一実施形態による視差マップを生成するための方法を示すフローチャート)、ならびに図4Aから図4G(本開示の一実施形態による視差マップを生成するための方法を示す概略図)を参照してより具体的に説明し、ここで、図3および図4Aから図4Gの方法におけるフローもまた、システム100によって実装され得る。
図3のフローに進む前に、プロセッサ140は、特定シーンの画像を、第1の画像センサ110および第2の画像センサ120を使用することによって取り込んで、第1のオリジナル画像および第2のオリジナル画像をそれぞれ生成することと、第1のオリジナル画像および第2のオリジナル画像に対して縮小プロセスを実施して、第1の縮小後画像および第2の縮小後画像をそれぞれ生成することと、第1の縮小後画像および第2の縮小後画像を使用することによって、縮小後視差マップを生成することとを終えていると仮定される。
図4Aを例にとると、第1のオリジナル画像Lおよび第2のオリジナル画像Rが両方とも、水平軸および垂直軸に沿って50%縮小される場合、スケーリング比は25%となる。換言すれば、第1のオリジナル画像Lおよび第2のオリジナル画像Rが両方とも16画素を有する場合、第1の縮小後画像L’および第2の縮小後画像R’は両方とも、4画素を有する。縮小プロセスが実施された後、第1のオリジナル画像Lの左上の4つの画素A1〜A4(以後「第1のオリジナル画素A1〜A4」と呼ぶ)は、縮小後画像L’の左上の画素「a」(以後「第1の縮小後画素「a」と呼ぶ」)になる。プロセッサ140は、第1の縮小後画像L’および第2の縮小後画像R’を使用して深度マップを算出することによって、計算および時間の量を著しく低減させることができるが、生成された縮小後視差マップDM’内の視差値da〜dd(以後「縮小後視差値da〜dd」と呼ぶ)は、実際のところ、第1のオリジナル画素A1〜D4ではなく組み合わせられた第1の縮小後画素a〜dに基づいて算出された、視差値である。オリジナル画素が組み合わされるときに、異なる物体の縁部のところの画素がしばしば、視差値の精度に影響を及ぼすので、第1のオリジナル画素A1〜D4の実際の視差値は、図3に提案する方法のフローによって推定され得る。
図1および図3を参照すると、縮小後視差マップを取得した後、プロセッサ140は、縁部のところの画素を組み合わせることに関する問題を解決するために、縮小後視差画素が信頼性のあるものかどうかを判定する(ステップS302)。図4Aの例では、第1のオリジナル画素A1が背景画素であり、第1のオリジナル画素A2〜A4が前景画素である(すなわち、第1のオリジナル画素A1は背景領域の縁部であり、第1のオリジナル画素A2〜A4は前景領域の縁部である)、と仮定されたい。したがって、第1の縮小後画素「a」の画素値(以後「第1の縮小後画素値「a」と呼ぶ」)は、前景により近く、したがって、第1の縮小後画素「a」は、前景領域の一部とみなされる。この場合、対応する縮小後視差値daは、第1のオリジナル画素A1にとって誤った情報となる(すなわち信頼性のないものである)。したがって、このステップでは、縮小後視差画素の各々が信頼性のあるものかどうかをプロセッサ140が判定するという手法が、第1の縮小後画素の各々と対応する第1のオリジナル画素との間の類似性を最初に比較し、それによって、第1の縮小後画素が信頼性のあるものかどうかを判定すること、であってよい。
第1のオリジナル画像Lを例にとると、類似性比較は、第1の縮小後画素「a」の画素値対第1のオリジナル画素A1〜A4の画素値に関して実施され、ここで、画素値は、グレースケールで表してもよく、カラースケールで表してもよい。例として、グレースケール値またはRGB値間の差の絶対値が5未満であることが、高い類似性を表している。第1の縮小後画素「a」と第1のオリジナル画素A2〜A4が、高い類似性を有すると仮定されたい。この場合、第1の縮小後画素「a」は、信頼性のあるものである。換言すれば、縮小前の第1のオリジナル画素A2〜A4と第1の縮小後画素「a」は、撮影シーン内の同一物体に対応する(例えば、その全てが前景物体である)。第1の縮小後画素「a」と第1のオリジナル画素A1が、高い類似性を有していないと仮定されたい。この場合、第1の縮小後画素「a」は、信頼性のないものである。換言すれば、縮小前の第1のオリジナル画素A1と第1の縮小後画素「a」は、撮影シーン内の異なる物体に対応する(例えば、第1のオリジナル画素A1は背景であり、第1の縮小後画素「a」は前景物体である)。
縮小後視差画素が信頼性のあるものであると判定すると、プロセッサ140は、拡大後視差マップ内の対応する拡大後視差画素の拡大後視差値が信頼性のあるものかどうかを判定する(ステップS304)。ここで、プロセッサ140は、拡大後視差値が信頼性のあるものかどうかを、拡大後視差値、ならびに第1のオリジナル画素と拡大後視差値に対応する第2のオリジナル画素との間の類似性に従って、判定することができる。
図4Aの縮小後視差値daを例にとると、プロセッサが縮小後視差マップDM’に対して拡大プロセスを実施した後、対応する拡大後視差値はndaとなる。プロセッサ140が縮小後視差マップDM’の水平軸に対してスケーリング比2Xだけ拡大プロセスを実施すると仮定されたく、その場合、拡大後視差値は2daとなる。次に、プロセッサ140は、拡大後視差値2daに従って、第1のオリジナル画像L内の第1のオリジナル画素A2〜A4に対応する、第2のオリジナル画像R内の第2のオリジナル画素を探索する。図4Bの第1のオリジナル画像Lの第1のオリジナル画素A2を例にとると、プロセッサ140は、第2のオリジナル画像R内の、2daだけ間隔の空いた、対応する第2のオリジナル画素RA2を取得する。次に、プロセッサ140は、第1のオリジナル画素A2〜A4と第2のオリジナル画素RA2〜RA4の画素値に対して類似性比較を実施し、ここで、画素値は、グレースケールで表してもよく、カラースケールで表してもよい。本実施形態では、グレースケール値またはRGB値間の差の絶対値が5未満であることが、第1のオリジナル画素A2と第2のオリジナル画素RA2との間の高い類似性を表している。別の実施形態では、中心としての第1のオリジナル画素A2をもつ境界付き領域(「第1の領域」と呼ぶ)、および中心としての第2のオリジナル画素RA2をもつ別の境界付き領域(「第2の領域」と呼ぶ)が画定される。次いで、2つの領域内の対応する画素間の類似性が判定される。2つの領域内の対応する画素の、ある一定比率が類似している場合(例えば、対応する画素の70%が、グレースケールまたはRGB値で表した、5未満の差の絶対値を有する場合)、第1のオリジナル画素A2と第2のオリジナル画素RA2は高い類似性を有すると判定される。第1のオリジナル画素A2と第2のオリジナル画素RA2との間の類似性が高いと仮定されたい。この場合、拡大後視差値2daは、信頼性のあるものである。第1のオリジナル画素A3と第2のオリジナル画素RA3との間の類似性が低いと仮定されたい。この場合、拡大後視差値2daは、信頼性のないものである。
拡大後視差画素の視差値が信頼性のあるものであると判定すると、プロセッサ140は、精度の不十分さを未然に防ぐために、第1の探索範囲内で、精選した拡大後視差画素を探索し(ステップS306)、それに応じて、精選した視差マップを構築する(ステップS308)。表1によって示すように、「精度の不十分さ」とは、縮小後視差値が拡大後視差値に拡大し戻されるときに(例えばdaがndaに拡大し戻されるときに)、ヌル視差値、すなわち使用されていない視差値が存在することを意味する。
Figure 2019121349
水平軸のスケーリング比が2Xである場合、第1のオリジナル画素A2の視差値が拡大後視差値2daによって直接定められるならば、「2da−1」および「2da+1」は使用されない。換言すれば、拡大後視差値は2だけ離隔され、それにより、精度がより低くなる。したがって、このステップでは、精度の不十分さを未然に防ぐために、拡大後視差値と、それと相まって隣接するヌル視差値とに基づいて、正確な視差値が決定される。
最初に、プロセッサ140は、第1の探索範囲を、縮小後視差マップと拡大後視差マップとの間のスケーリング比、ならびに縮小後視差画素の縮小後視差値に基づいて設定する(例えば、n(da−1)<SR1<n(da+1)、ただしSR1は第1の探索範囲である)。例えば、図4Bでは、第1の探索範囲SR1は、2da−2<SR1<2da+2となる。すなわち、第1の探索範囲SR1は、3つの視差値、2da−1、2da、および2da+1を含む。
次に、プロセッサ140は、第2のオリジナル画像Rから、第1の探索範囲SR1内で、第1のオリジナル画素A2と最も高い類似性を有する第2のオリジナル画素を探索し、ここで、上で説明したように、類似性はグレースケールまたはカラースケールで表した画素値に基づいて判定され得る。例えば、図4Cでは、第2のオリジナル画素RA2、RA2、およびRA2が、第1のオリジナル画素A2に対する3つの視差値2da−1、2da、および2da+1を有する。プロセッサ140は、第2のオリジナル画素RA2、RA2、およびRA2のうちのどれが、第1のオリジナル画素A2と最も高い類似性を有するかを判定し、それによって、精選した拡大後視差値をそれに応じて定める。このフローは、第1のオリジナル画素A2の精選した拡大後視差値後が確認された後に終了し、次いで、プロセッサ140は、引き続きその次のオリジナル画素(例えば、第1のオリジナル画素A3)を処理する。
図3を再度参照すると、ステップS302において、縮小後視差画素が信頼性のないものであると判定すると、プロセッサ140は、隣接する縮小後視差画素が信頼性のあるものかどうかを判定する(ステップS310)。プロセッサ140は、隣接する縮小後視差画素が信頼性のあるものかどうかを判定するために、第1の縮小後画素の縮小される前の位置に従って、第1の縮小後画素に対応する方向に隣接する第1の縮小後画素を探索する。プロセッサ140は、判定のために、水平および垂直方向に隣接する縮小後画素(「直向の第1の縮小後画素」と呼ぶ)を、斜め方向に隣接する縮小後画素(「斜向の第1の縮小後画素」と呼ぶ)よりも最優先事項として選択すると仮定されたい。
図4Dを例にとって、第1のオリジナル画素A1と第1の縮小後画素「a」との間の類似性が低いと仮定されたい。第1の縮小後画素「a」は第1のオリジナル画素A1〜A4を縮小することによって形成され、かつ第1のオリジナル画素A1は左上隅に位置するので、プロセッサ140は最初に、第1の縮小後画像L’の第1の縮小後画素「a」に水平および垂直方向に隣接する第1の縮小後画素(すなわち、第1の縮小後画素aの左側および上側の第1の縮小後画素xおよびy)を探索し、第1のオリジナル画素A1が第1の縮小後画素xおよびyに類似しているかどうかを判定する。第1のオリジナル画素A1と第1の縮小後画素xおよびyのうちのいずれか一方との間の類似性が高い場合、第1の縮小後画素A1に隣接する第1の縮小後画素は信頼性のあるものであると判定される。したがって、フローはステップS304に戻る。例として、第1のオリジナル画素A1と第1の縮小後画素xとの間の類似性が高い場合、プロセッサ140は、第1のオリジナル画素A1と第1の縮小後画素xが実質的に同一物体である(例えば、その両方が背景である)と判定する。したがって、第1の縮小後画素xの情報(例えば、第1の縮小後画素xの縮小後視差値dx)が、対応する拡大後視差画素の視差値とみなされ得る。第1のオリジナル画素A1が、第1の縮小後画素xと第1の縮小後画素yの両方と高い類似性を有する場合、第1のオリジナル画素A1と最も高い類似性を有するものが、信頼性のある第1の縮小後画素とみなされ得る。
一方、第1のオリジナル画素A1と第1の縮小後画素xおよび第1の縮小後画素yの各々との間の類似性が低い場合、プロセッサ140は、第1の縮小後画素「a」に斜め方向に隣接する第1の縮小後画素(すなわち、左上の第1の縮小後画素z)を探索し、第1のオリジナル画素A1と第1の縮小後画素zとの間の類似性が高いかどうかを判定する。第1のオリジナル画素A1と第1の縮小後画素zとの間の類似性が高い場合、プロセッサ140は、隣接する縮小後視差画素が信頼性のあるものであると判定し、フローがステップS304に戻る。第1のオリジナル画素A1と第1の縮小後画素zとの間の類似性が低い場合、プロセッサ140は、隣接する縮小後視差画素が信頼性のないものであると判定する。
上で説明したように、類似性比較は、第1のオリジナル画素A1対左側の第1の縮小後画素xおよび上部の第1の縮小後画素yに関して最初に実施される。類似性が高くないときに類似性比較が左上の第1の縮小後画素zに関してさらに実施される理由は、画素の連続性のためである。水平および垂直方向に隣接する画素は、斜め方向に隣接する画素に比べて、同一物体である可能性が高い(その両方が同一前景物体であるか、または同一背景領域である可能性がある)。加えて、図4Eに示すように、第1のオリジナル画像Lの第1のオリジナル画素A1〜A9が縮小されて、第1の縮小後画像L’の第1の縮小後画素「a」になっており、かつ第1のオリジナル画像Lの中央にある第1のオリジナル画素A5と第1の縮小後画素「a」との間の類似性が低い、と仮定されたい。この場合、第1のオリジナル画素A5は、斜め方向に隣接する第1の縮小後画素z、w、d、およびvは考慮せずに、第1の縮小後画素「a」に垂直および水平方向に隣接する第1の縮小後画素x、y、b、およびcと比較され得る。
一方、ステップS304において、拡大後視差マップ内の対応する拡大後視差画素の視差値が信頼性のないものであると判定するか、またはステップS310において、隣接する縮小後視差画素が信頼性のないものであると判定すると、プロセッサ140は、置換えの拡大後視差値が第2の探索範囲内で探索可能であるかどうかをさらに判定する(ステップS312)。図2の実施形態において説明したように、第2の探索範囲は、所定の探索範囲(例えば、0から64の視差値)とすることができる。換言すれば、その設定値はもはや、縮小後視差画素の縮小後視差値に基づいて決定されるのではなく、その代わりに、最も高い類似性を有する第2のオリジナル画素(すなわち、置換えの拡大後視差値)が第2の探索範囲内で探索されて、精選した視差マップが構築される(ステップS308)。他方では、置換えの拡大後視差値を第2の探索範囲内で見出すことができないとき、プロセッサ140は、第1のオリジナル画素を不良画素として設定する(ステップS314)。不良画素は、第1の画像センサ110および第2の画像センサ120に近すぎる領域内、または第1の画像センサ110および第2の画像センサ120のうちの一方が遮られている領域内に位置することがある。
例えば、図4Fにおいて、第1のオリジナル画像Lの第1のオリジナル画素A3の場合に、プロセッサ140がステップS312に進むと仮定されたい。この場合、プロセッサ140は、第2の探索範囲SR2(すなわち、0から64の視差値)に従って、第2のオリジナル画像R内の65個の対応する第2のオリジナル画素RA3からRA364を探索し、第1のオリジナル画素A3と第2のオリジナル画素RA3からRA364の各々との間の類似性を比較する。図4Gにおいて、プロセッサ140が、第1のオリジナル画素A3と高い類似性を有する第2のオリジナル画素RA3およびRA3を見出したと仮定されたく、次いで、第1のオリジナル画素A3と最も高い類似性を有するものが判定される。第1のオリジナル画素A3と第2のオリジナル画素RA3が最も高い類似性を有する場合、第1のオリジナル画素A3と第2のオリジナル画素RA3との間の視差値xが、第1のオリジナル画素A3に対応する拡大後視差画素の精選した拡大後視差値となる。
一方、第1のオリジナル画素A3が、第2のオリジナル画素RA3からRA364のうちのいずれとも高い類似性を有していない場合、プロセッサ140は、第1のオリジナル画素A3が、対応する画素を有していないと判定し、第1のオリジナル画素A3を不良画素として設定する。
サイズが320×180の2つのオリジナル画像を例にとると、最大探索範囲の視差値が32である場合、従来の手法において1つの視差マップを出力するための探索動作の回数は、320×180×32=1843200となる。しかし、システム100の場合、オリジナル画像が50%縮小される(すなわち、画像サイズが160×90になる)と仮定されたい。視差値の探索範囲は16に狭められ得、その場合、探索動作の回数は160×90×16=230400となる。理想的な状況下で、2つの縮小後画像が再び320×180というサイズに回復され、最大探索範囲の視差値が32である、と仮定されたい。追加の探索動作の回数は、320×180×3=172800となる。換言すれば、合計で403200回の探索動作が実施される。従来手法における1843200回の探索動作に比べて、本実施形態は、80%の計算量を節約し、それでもなお、視差マップの信頼性を維持することができる。
縮小プロセスは、前述の実施形態では、オリジナル画像に対して1回だけ実施されることに留意されたい。とはいえ、図5(本開示の一実施形態による深度情報を生成するための方法を示す概略図)に示すように、縮小プロセスは、オリジナル画像に対して2回(以上)実施されてもよく、オリジナル画像に対応する視差マップが階層的に取得されてよい。図5の方法もまた、図1に提案するシステム100によって実装され得る。
図1および図5を参照して、画像サイズが640×360の画像セットLRが、第1の画像センサ110および第2の画像センサ120によって取り込まれると仮定されたい。プロセッサ140は最初に、画像セットLRを縮小して、画像サイズが320×180の画像セットLR’にすることができる。次に、プロセッサ140は、画像セットLR’をさらに縮小して、画像サイズが160×90の画像セットLR’’にすることができる。
その後、プロセッサ140は、画像セットLR’’に対してステレオ・マッチングを実施して、サイズが160×90の視差マップD’’を生成することができる。次に、プロセッサ140は、前述の実施形態において提案した方法を使用して、サイズが160×90の視差マップD’’および画像サイズが320×180の画像セットLR’に従って、縮小後視差マップの助けを借りてステレオ・マッチングすることによって、サイズが320×180の視差マップD’を生成することができる。同様に、プロセッサ140は、サイズが320×180の視差マップD’および画像サイズが640×360の画像セットLRに従って、縮小後視差マップの助けを借りてステレオ・マッチングすることによって、サイズが640×360の視差マップDを生成することができる。
要約すると、本開示において提案した、視差マップを生成するための方法、画像処理デバイス、およびシステムによれば、2つの縮小後画像を使用することによって縮小後視差マップが最初に計算され、次いで、縮小後視差マップから2つのオリジナル画像にマッピングされた、より精選した視差値が取得される。結果として、縮小後視差マップと2つのオリジナル画像との間のミスマッチ、ならびに縮小後深度マップがそのオリジナル・サイズに回復された後の視差値の精度の低さが、未然に防がれる。本開示において生成される視差マップは、低コスト制約下でのステレオ・マッチングの際の視差推定に関する計算が多大なことによる、システム・スピードの低さという問題を解決するのみならず、深度推定の精度を上げることもし、それによって、構造化光、ステレオ、距離検出、および監視などのステレオ・ビジョン応用の効果が、大幅に向上する。
本出願の開示した実施形態の詳細な説明の中で使用される要素、行為、または指示は、そのように明示的に記載されない限り、本開示にとって絶対的に重要または不可欠であると解釈すべきではない。また、本明細書では、不定冠詞「1つの(a)」および「1つの(an)」の各々は、2つ以上の項目を含み得る。ただ1つの項目が意図される場合、「単一の」という表現、または類似の文言が使用される。さらに、「のうちのいずれか」という表現と、それに続く、複数の項目および/または複数の項目種類の列挙は、本明細書では、「のうちのいずれか」、「のいずれかの組合せ」、「のうちのいずれか複数」、ならびに/あるいは「複数の項目および/または項目種類の、個別のまたは他の項目および/もしくは他の項目種類と併せた、いずれかの組合せ」を含むことが意図される。さらに、本明細書では、「セット」という用語は、ゼロを含む任意数の項目を含むことが意図される。さらに、本明細書では、「数」という用語は、ゼロを含む任意数を含むことが意図される。
本開示について、上記の実施形態に即して説明してきたが、本開示の趣旨から逸脱することなく、説明した実施形態に対する修正が行えることが当業者には明らかとなろう。したがって、本開示の範囲は、上記の詳細な説明によってではなく、添付の特許請求の範囲によって定められる。
本開示において提案した、視差マップを生成するための方法、画像処理デバイス、およびシステムは、低コスト制約下でのステレオ・マッチングの際の視差推定に関する計算が多大なことによる、システム・スピードの低さという問題を解決するのみならず、深度推定の精度を上げることもし、それによって、構造化光、ステレオ、距離検出、および監視などのステレオ・ビジョン応用の効果が、大幅に向上する。
100 システム
110 第1の画像センサ
120 第2の画像センサ
130 メモリ
140 プロセッサ
S202〜S214、S302〜S314 ステップ
L 第1のオリジナル画像
A1〜A4、B1〜B4、C1〜C4、D1〜D4、X1〜X4、Y1〜Y4、Z1〜Z4、A5〜A9 第1のオリジナル画素
L’ 第1の縮小後画像
a〜d、v〜z 第1の縮小後画素
R 第2のオリジナル画像
RA1〜RA4、RB1〜RB4、RC1〜RC4、RD1〜RD4、RA2、RA2、RA3、RA3、RA3 第2のオリジナル画素
R’ 第2の縮小後画像
ra〜rd 第2の縮小後画素
DM’ 縮小後視差マップ
da〜dd、2da、x、y 視差値
SR1 第1の探索範囲
SR2 第2の探索範囲
LR、LR’、LR’’ 画像セット
D、D’、D’’ 視差マップ

Claims (5)

  1. 第1の画像センサおよび第2の画像センサを有するシステムに適用可能な、視差マップを生成するための方法であって、
    特定シーンの画像を、該第1の画像センサおよび該第2の画像センサを使用することによって取り込んで、第1のオリジナル画像および第2のオリジナル画像をそれぞれ生成するステップと、
    該第1のオリジナル画像および該第2のオリジナル画像に対して縮小プロセスを実施して、第1の縮小後画像および第2の縮小後画像をそれぞれ生成するステップと、
    該第1の縮小後画像および該第2の縮小後画像を使用することによって、複数の縮小後視差値を備える縮小後視差マップを生成するステップと、
    該縮小後視差マップに対して拡大プロセスを実施して、複数の拡大後視差値を有する拡大後視差マップを生成するステップと、
    該拡大後視差値の各々の信頼性に従って、該第1のオリジナル画像および該第2のオリジナル画像の精選した視差マップを生成するステップと
    を含む、方法。
  2. 前記縮小後視差マップが、前記第1の縮小後画像に基づいて生成され、前記縮小後視差値を有する複数の縮小後視差画素を備え、前記拡大後視差マップが、前記拡大後視差値を有する複数の拡大後視差画素を備え、前記拡大後視差値が、前記縮小後視差値に従って生成され、前記拡大後視差値の各々の前記信頼性に従って、前記第1のオリジナル画像および前記第2のオリジナル画像の前記精選した視差マップを生成する前記ステップが、
    前記拡大後視差値の各々が信頼性のあるものかどうかを、前記第1のオリジナル画像および前記第2のオリジナル画像に従って判定するステップと、
    信頼性のある拡大後視差値の各々について、第1の探索範囲に従って、対応する精選した拡大後視差値を取得し、信頼性のない拡大後視差値の各々について、第2の探索範囲に従って、対応する置換えの拡大後視差値を取得するステップであって、該第1の探索範囲が、前記拡大後視差値と関連し、該第2の探索範囲より狭い、ステップと、
    前記第1のオリジナル画像および前記第2のオリジナル画像の前記精選した視差マップを、該精選した拡大後視差値および該置換えの拡大後視差値を使用することによって生成するステップと
    を含む、請求項1記載の方法。
  3. 前記拡大後視差値の各々が信頼性のあるものかどうかを、前記第1のオリジナル画像および前記第2のオリジナル画像に従って判定する前記ステップの前に、
    前記第1の縮小後画像の第1の縮小後画素の各々について、
    該第1の縮小後画素が前記第1のオリジナル画像内の対応する複数の第1のオリジナル画素の各々に対して信頼性のあるものかどうかを判定するステップであって、
    該対応する複数の第1のオリジナル画素の各々について、
    該第1の縮小後画素と該対応する第1のオリジナル画素との間の、画素値と関連する類似性を判定するステップであって、
    該第1の縮小後画素の画素値と該対応する第1のオリジナル画素の画素値との間の差の絶対値を算出するステップ、
    該差の該絶対値が第1のしきい値より小さいとき、該第1の縮小後画素と該対応する第1のオリジナル画素が高い類似性を有すると判定するステップ、および
    該差の該絶対値が該第1のしきい値以上であるとき、該第1の縮小後画素と該対応する第1のオリジナル画素が高い類似性を有していないと判定するステップ
    を含む、類似性を判定するステップ、
    該第1の縮小後画素と該対応する第1のオリジナル画素が高い類似性を有すると判定されるとそれに応答して、該第1の縮小後画素が該対応する第1のオリジナル画素に対して信頼性のあるものであると判定するステップ、ならびに
    該第1の縮小後画素と該対応する第1のオリジナル画素が該高い類似性を有していないと判定されるとそれに応答して、該第1の縮小後画素が該対応する第1のオリジナル画素に対して信頼性のないものであると判定するステップ
    を含む、ステップと、
    該第1の縮小後画素が該対応する複数の第1のオリジナル画素のうちの第1の現行オリジナル画素に対して信頼性のないものであると判定されるとそれに応答して、該第1の縮小後画素に隣接する第1の隣接する縮小後画素を探索し、該第1の現行オリジナル画素を該第1の隣接する縮小後画素と関連付けるステップと
    をさらに含む、請求項2記載の方法。
  4. 前記拡大後視差値の各々が信頼性のあるものかどうかを、前記第1のオリジナル画像および前記第2のオリジナル画像に従って判定する前記ステップの前に、
    前記第1の縮小後画像の第1の縮小後画素の各々について、
    該第1の縮小後画素が前記第1のオリジナル画像内の対応する複数の第1のオリジナル画素の各々に対して信頼性のあるものかどうかを判定するステップと、
    該第1の縮小後画素が該対応する複数の第1のオリジナル画素のうちの第1の現行オリジナル画素に対して信頼性のないものであると判定されるとそれに応答して、該第1の縮小後画素に隣接する第1の隣接する縮小後画素を探索し、該第1の現行オリジナル画素を該第1の隣接する縮小後画素と関連付けるステップであって、
    該第1の現行オリジナル画素と、該第1の縮小後画素に水平方向および垂直方向に隣接する他の直向の第1の縮小後画素のうちの少なくとも1つが、高い類似性を有するかどうかを判定するステップ、
    該第1の現行オリジナル画素と該他の直向の第1の縮小後画素のうちの該少なくとも1つが、該高い類似性を有することに応答して、該他の直向の第1の縮小後画素のうちの、該第1の現行オリジナル画素と最も高い類似性を有する1つを、該第1の隣接する縮小後画素として設定するステップ、
    該第1の現行オリジナル画素と該他の直向の第1の縮小後画素の各々が、該高い類似性を有していないことに応答して、該第1の現行オリジナル画素と、該第1の縮小後画素に斜め方向に隣接する他の斜向の第1の縮小後画素が、高い類似性を有するかどうかを判定するステップ、
    該第1の現行オリジナル画素と該他の斜向の第1の縮小後画素のうちの少なくとも1つが、該高い類似性を有することに応答して、該他の斜向の第1の縮小後画素のうちの、該第1の現行オリジナル画素と最も高い類似性を有する1つを、該第1の隣接する縮小後画素として設定するステップ、および
    該第1の現行オリジナル画素と該他の斜向の第1の縮小後画素の各々が、該高い類似性を有していないことに応答して、前記第2の探索範囲に従って、該第1の現行オリジナル画素の前記置換えの拡大後視差値を取得するステップ
    を含む、ステップと
    をさらに含む、請求項2記載の方法。
  5. 視差マップを生成するためのシステムであって、
    画像を取り込むように構成された、第1の画像センサおよび第2の画像センサと、
    データを記憶するように構成された、メモリと、
    該第1の画像センサ、該第2の画像センサ、および該メモリに接続されており、
    特定シーンの画像を、該第1の画像センサおよび該第2の画像センサを使用することによって取り込んで、第1のオリジナル画像および第2のオリジナル画像をそれぞれ生成することと、
    該第1のオリジナル画像および該第2のオリジナル画像に対して縮小プロセスを実施して、第1の縮小後画像および第2の縮小後画像をそれぞれ生成することと、
    該第1の縮小後画像および該第2の縮小後画像を使用することによって、複数の縮小後視差値を備える縮小後視差マップを生成することと、
    該縮小後視差マップに対して拡大プロセスを実施して、複数の拡大後視差値を有する拡大後視差マップを生成することと、
    該拡大後視差値の各々の信頼性に従って、該第1のオリジナル画像および該第2のオリジナル画像の精選した視差マップを生成することと
    を行うように構成された、プロセッサと
    を備える、視差マップを生成するためのシステム。
JP2018179635A 2018-01-09 2018-09-26 視差マップを生成するための方法、画像処理デバイス、およびシステム Active JP6838021B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW107100837A TWI637350B (zh) 2018-01-09 2018-01-09 產生視差圖的方法及其影像處理裝置與系統
TW107100837 2018-01-09

Publications (2)

Publication Number Publication Date
JP2019121349A true JP2019121349A (ja) 2019-07-22
JP6838021B2 JP6838021B2 (ja) 2021-03-03

Family

ID=64797476

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018179635A Active JP6838021B2 (ja) 2018-01-09 2018-09-26 視差マップを生成するための方法、画像処理デバイス、およびシステム

Country Status (4)

Country Link
US (1) US11024048B2 (ja)
JP (1) JP6838021B2 (ja)
CN (1) CN110021055B (ja)
TW (1) TWI637350B (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020140497A (ja) * 2019-02-28 2020-09-03 日立オートモティブシステムズ株式会社 演算装置、視差算出方法
JP2021096846A (ja) * 2019-12-13 2021-06-24 ネクストヴイピーユー(シャンハイ)カンパニー リミテッドNextvpu(Shanghai)Co.,Ltd. 視差確定方法、電子機器及びコンピュータ可読記憶媒体
JP2021096850A (ja) * 2019-12-13 2021-06-24 ネクストヴイピーユー(シャンハイ)カンパニー リミテッドNextvpu(Shanghai)Co.,Ltd. 視差推定システムと方法、電子機器及びコンピュータ可読記憶媒体
US11127115B2 (en) 2019-12-13 2021-09-21 NextVPU (Shanghai) Co., Ltd. Determination of disparity

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767293B (zh) * 2021-01-11 2023-04-11 达闼机器人股份有限公司 获取视差图像的方法、电子设备及存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4517449B2 (ja) * 2000-05-10 2010-08-04 株式会社豊田中央研究所 画像における相関演算方法
US8488870B2 (en) 2010-06-25 2013-07-16 Qualcomm Incorporated Multi-resolution, multi-window disparity estimation in 3D video processing
JP2012133408A (ja) * 2010-12-17 2012-07-12 Sharp Corp 画像処理装置およびプログラム
US9554114B2 (en) * 2011-09-15 2017-01-24 Broadcom Corporation Depth range adjustment for three-dimensional images
KR20130084850A (ko) * 2012-01-18 2013-07-26 삼성전자주식회사 시차 값을 생성하는 영상 처리 방법 및 장치
CN103327346B (zh) 2012-03-22 2015-04-01 奇景光电股份有限公司 判断凹区块以及凸区块的立体匹配装置及其方法
US9711110B2 (en) * 2012-04-06 2017-07-18 Semiconductor Energy Laboratory Co., Ltd. Display device comprising grayscale conversion portion and display portion
CN103177451B (zh) 2013-04-17 2015-12-23 南京理工大学 基于图像边缘的自适应窗口和权重的立体匹配算法
US9414016B2 (en) * 2013-12-31 2016-08-09 Personify, Inc. System and methods for persona identification using combined probability maps
JP6377970B2 (ja) * 2014-06-12 2018-08-22 トヨタ自動車株式会社 視差画像生成装置及び視差画像生成方法
JP6478496B2 (ja) * 2014-07-03 2019-03-06 キヤノン株式会社 撮像装置およびその制御方法
PL411631A1 (pl) * 2015-03-18 2016-09-26 Politechnika Poznańska System do generowania mapy głębi i sposób generowania mapy głębi
KR101832189B1 (ko) * 2015-07-29 2018-02-26 야마하하쓰도키 가부시키가이샤 이상화상 검출장치, 이상화상 검출장치를 구비한 화상 처리 시스템 및 화상 처리 시스템을 탑재한 차량
KR102415505B1 (ko) * 2015-12-14 2022-07-01 삼성전자주식회사 스테레오 영상 매칭 방법 및 장치
CN108604371A (zh) * 2016-02-25 2018-09-28 深圳市大疆创新科技有限公司 成像系统和方法
TWI658720B (zh) * 2016-12-30 2019-05-01 創研光電股份有限公司 運用變焦影像資訊以改善原視差影像匹配錯誤之方法
JP7024736B2 (ja) * 2017-02-07 2022-02-24 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020140497A (ja) * 2019-02-28 2020-09-03 日立オートモティブシステムズ株式会社 演算装置、視差算出方法
JP7136721B2 (ja) 2019-02-28 2022-09-13 日立Astemo株式会社 演算装置、視差算出方法
JP2021096846A (ja) * 2019-12-13 2021-06-24 ネクストヴイピーユー(シャンハイ)カンパニー リミテッドNextvpu(Shanghai)Co.,Ltd. 視差確定方法、電子機器及びコンピュータ可読記憶媒体
JP2021096850A (ja) * 2019-12-13 2021-06-24 ネクストヴイピーユー(シャンハイ)カンパニー リミテッドNextvpu(Shanghai)Co.,Ltd. 視差推定システムと方法、電子機器及びコンピュータ可読記憶媒体
US11127115B2 (en) 2019-12-13 2021-09-21 NextVPU (Shanghai) Co., Ltd. Determination of disparity
US11158077B2 (en) 2019-12-13 2021-10-26 NextVPU (Shanghai) Co., Ltd. Disparity estimation
JP7030356B2 (ja) 2019-12-13 2022-03-07 ネクストヴイピーユー(シャンハイ)カンパニー リミテッド 視差確定方法、電子機器及びコンピュータ可読記憶媒体

Also Published As

Publication number Publication date
US20190213749A1 (en) 2019-07-11
JP6838021B2 (ja) 2021-03-03
TWI637350B (zh) 2018-10-01
US11024048B2 (en) 2021-06-01
CN110021055B (zh) 2022-11-29
TW201931312A (zh) 2019-08-01
CN110021055A (zh) 2019-07-16

Similar Documents

Publication Publication Date Title
JP6838021B2 (ja) 視差マップを生成するための方法、画像処理デバイス、およびシステム
US10509954B2 (en) Method and system of image segmentation refinement for image processing
TWI524306B (zh) 圖像轉換和多視圖輸出系統及方法
US9674505B2 (en) Disparity search range determination for images from an image sensor array
US10621446B2 (en) Handling perspective magnification in optical flow processing
US9712808B2 (en) Image acquisition device and image processing method and system
WO2020007320A1 (zh) 多视角图像的融合方法、装置、计算机设备和存储介质
US10896348B2 (en) End to end framework for geometry-aware multi-scale keypoint detection and matching in fisheye images
US10027947B2 (en) Image processing apparatus and image processing method
US10529081B2 (en) Depth image processing method and depth image processing system
US9807313B2 (en) Method and system of increasing integer disparity accuracy for camera images with a diagonal layout
TWI764506B (zh) 視差校正方法及裝置、電腦可讀儲存介質
CN114529456B (zh) 一种视频的超分辨率处理方法、装置、设备及介质
TW201626782A (zh) 可改變縮放比例的影像調整方法及其攝影機與影像處理系統
US9712807B2 (en) Disparity determination for images from an array of disparate image sensors
JP2012216992A (ja) 画像再構成装置、画像再構成方法、及び画像再構成プログラム
CN113935934A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
JP2016519343A (ja) 他の画像からの情報の関数に基づく汎関数を利用する目的画像の生成
CN114979462A (zh) 图像信号处理器、图像处理方法和图像处理系统
US9432690B2 (en) Apparatus and method for video processing
US10769805B2 (en) Method, image processing device, and system for generating depth map
TWI494900B (zh) 即時影像追蹤方法
CN116228607B (zh) 图像处理方法和电子设备
US11902676B2 (en) Image signal processor, operation method of image signal processor, and image sensor device including image signal processor
CN110274573B (zh) 双目测距方法、装置、设备、存储介质及计算设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180926

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200811

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210210

R150 Certificate of patent or registration of utility model

Ref document number: 6838021

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250