JP2018194346A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】 ステレオ画像が距離の計測に適しているか否かを適切に判定する。【解決手段】画像処理装置は、第１画像及び第２画像を含むステレオ画像を受けつけ、第１画像が撮影された撮影環境と、第２画像が撮影された撮影環境とに応じて、ステレオ画像が、撮影された対象物に対する距離の計測に適しているか否かを判定する適切性判定部と、ステレオ画像が距離の計測に適しているか否かに応じて、そのステレオ画像を用いた距離の計測を実行するか否かを制御可能な出力部と、を備える。【選択図】 図１

Description

本発明は、ステレオ画像を処理する技術に関する。

ステレオカメラにより撮影された対象物に対する距離を、三角測量の原理を応用して計測する技術が実用化されている。ステレオカメラを用いて撮影したステレオ画像を処理する技術として、以下の特許文献が知られている。

特許文献１には、ステレオ画像を構成する一対の画像について、隣接画素間の輝度変化量を閾値と比較することで、距離データの算出に用いる画素ブロックを特定し、特定した画素ブロック間の視差をから算出された距離データの数に応じて、閾値を調整する技術が記載されている。

特許文献２には、２つのステレオ画像のうち、レンズの特性に応じて生じる「ぼけ味」が強い方の画像の「ぼけ味」を、「ぼけ味」が弱い方の画像の「ぼけ味」に合わせるように、調整フィルタを用いて画像を調整する技術が記載されている。

ステレオ画像ではない２枚の画像を用いた物体認識に関する技術として、特許文献３が知られている。特許文献３には、異なる時刻に撮影された２つの画像に関する物体認識の確信度の差分と、画像に含まれる特徴点における特徴量の差分とに基づいて、物体認識の精度に影響する画像中の重要領域を検出する技術が記載されている。

特許第３３４４６２７号公報 特開２０１２−２６８４１号公報 特開２０１３−９７６４５号公報

ステレオ画像を用いて距離を計測する場合、ステレオ画像を構成する各画像間の視差が算出され、係る視差から三角測量の原理を用いて距離が算出される。このため、ステレオ画像から視差を精度よく検出することが求められる。一方、ステレオカメラを用いてステレオ画像を撮影した場合、撮影時の環境等により、かならずしも距離の計測（特には、視差の算出）に適した画像が撮影されているとは限らない。この場合、例えば、あるステレオ画像を用いて、実際に距離の計測処理を実行することで、その画像が距離の計測に適していたか否かを判定できる可能性がある。しかしながら、このような処理を実行するには、ある程度の処理時間を要する。また、距離の計測処理を実行するまで、元のステレオ画像が適切な画像であったか否かを判定できない、という問題がある。

これに対して、特許文献１に記載された技術は、視差計算のパラメータを調整する方法であり、あるステレオ画像が距離の計測に適しているか否かを判定可能な技術ではない。更に、特許文献１の技術を用いた場合、元のステレオ画像の適切性によらず、距離の計測に関する処理が実行されてしまう。なお、特許文献２に記載された技術は、レンズの収差を補正する方法である。特許文献３に記載された技術は、物体認識に用いられる特徴領域を抽出する方法である。これらの技術は、いずれもステレオ画像が距離の計測に適しているか否かを判定可能な技術ではない。

本開示はこのような事情を鑑みてなされたものである。即ち、本開示は、あるステレオ画像が距離の計測に適しているか否かを適切に判定可能な技術を提供することを、主たる目的の一つとする。

上記目的を達成すべく、本開示の一態様に係る画像処理装置は、以下のように構成される。即ち、本開示の一態様に係る画像処理装置は、第１画像及び第２画像を含むステレオ画像を受けつけ、上記第１画像が撮影された撮影環境と、上記第２画像が撮影された撮影環境とに応じて、上記ステレオ画像が、そのステレオ画像に撮影された対象物に対する距離の計測に適しているか否かを判定する適切性判定手段と、上記ステレオ画像が距離の計測に適しているか否かに応じて、そのステレオ画像を用いた距離の計測を実行するか否かを制御可能な出力手段と、を備える。

本開示の他の一態様に係る画像処理方法は、第１画像及び第２画像を含むステレオ画像を受けつけ、
上記第１画像が撮影された撮影環境と、上記第２画像が撮影された撮影環境とに応じて、上記ステレオ画像が、そのステレオ画像に撮影された対象物に対する距離の計測に適しているか否かを判定し、
上記ステレオ画像が距離の計測に適しているか否かに応じて、そのステレオ画像を用いた距離の計測を実行するか否かを制御することを含む。

また、同目的は、上記構成を有する画像処理装置、画像処理方法等をコンピュータによって実現するコンピュータ・プログラム（画像解析プログラム）、及び、そのコンピュータ・プログラムが格納されているコンピュータ読み取り可能な記録媒体等によっても達成される。

即ち、本開示の一態様に係るコンピュータ・プログラムは、第１画像及び第２画像を含むステレオ画像を受けつける処理と、上記第１画像が撮影された撮影環境と、上記第２画像が撮影された撮影環境とに応じて、上記ステレオ画像が、そのステレオ画像に撮影された対象物に対する距離の計測に適しているか否かを判定する処理と、上記ステレオ画像が距離の計測に適しているか否かに応じて、そのステレオ画像を用いた距離の計測を実行するか否かを制御する処理とを、画像処理装置を構成するコンピュータに実行させる。また、本開示の一態様に係る記録媒体には、上記したコンピュータ・プログラムが記録されてもよい。

本開示によれば、あるステレオ画像が距離の計測に適しているか否かを適切に判定することができる。

図１は、本開示の第１実施形態に係る画像処理装置の機能的な構成を例示するブロック図である。 図２は、本開示の第１実施形態に係る画像処理装置の動作の一例を示すフローチャートである。 図３は、本開示の第１実施形態に係る画像処理装置の他の機能的な構成を例示するブロック図である。 図４は、本開示の第１実施形態に係る画像処理装置の更に他の機能的な構成を例示するブロック図である。 図５は、本開示の第１実施形態に係る画像処理装置の更に他の機能的な構成を例示するブロック図である。 図６は、本開示の第１実施形態に係る画像処理装置における、ステレオ画像の適切性を判断する処理の一例を示す説明図である。 図７は、本開示の第１実施形態に係る画像処理装置における、ステレオ画像の適切性を判断する処理の他の一例を示す説明図である。 図８は、本開示の第１実施形態に係る画像処理装置における、ステレオ画像の適切性を判断する処理の更に他の一例を示す説明図である。 図９Ａは、本開示の第１実施形態に係る画像処理装置における、ユーザに提示されるインタフェース画面の一例を示す説明図である。 図９Ｂは、本開示の第１実施形態に係る画像処理装置において、ユーザに提示されるインタフェース画面の他の一例を示す説明図である。 図１０は、本開示の第２実施形態に係る画像処理装置の機能的な構成を例示するブロック図である。 図１１は、本開示の第２実施形態に係る画像処理装置における明るさ補正のパラメータを説明する説明図である。 図１２は、本開示の第２実施形態に係る画像処理装置の動作の一例を示すフローチャートである。 図１３は、本開示の第２実施形態に関する第１の変形例に係る画像処理装置の動作の一例を示すフローチャートである。 図１４は、本開示の第３実施形態に係る画像処理装置の機能的な構成を例示するブロック図である。 図１５は、本開示の第３実施形態に係る画像処理装置における、ステレオ画像に関するシーン判定処理の一例を示す説明図である。 図１６は、本開示の第３実施形態に係る画像処理装置の動作の一例を示すフローチャートである。 図１７は、本開示の第３実施形態に関する第１の変形例に係る画像処理装置の動作の一例を示すフローチャートである。 図１８は、本開示の第４実施形態に係る画像処理装置の機能的な構成を例示するブロック図である。 図１９は、本開示に係る各実施形態における画像処理装置を実現可能なハードウェア構成の一例を示す説明図である。

各実施形態の詳細な説明に先立って、本開示における技術的な検討事項等について詳細に説明する。

ステレオ画像は、一般的に、ステレオカメラを用いて撮影することが可能である。距離の計測に適切なステレオ画像を撮影するように、例えば、ステレオカメラの物理的な配置及び各種撮影パラメータ等が調整される。

一方で、ステレオカメラにより撮影されたステレオ画像は、撮影環境に影響される。例えば、撮影環境における光学的な状況（例えば、逆光、暗所、明所、霧、もや、フレア（ハレーションの要因）等の状況、及び、光源とステレオカメラとの位置関係等）に影響されたステレオ画像から、距離の計測に用いられる視差を適切に算出することは、困難なことがある。

例えば、ステレオ画像を構成する一対の画像の内、少なくとも一方が撮影環境の影響を受けた場合、一方の画像と、他方の画像とで、画像の状態（例えば、明るさ、鮮明度、光源の映り込み、対象物への焦点、等）が異なる状況が発生し得る。この場合、そのステレオ画像を用いて、精度よく視差を算出することができない可能性があり、これにより、距離を正確に計測することができない可能性がある。また、不適切なステレオ画像を用いて距離の計測処理を実行した場合、係る処理に用いられる処理時間及び処理能力が無駄になる可能性がある。

また、ステレオ画像を撮影したタイミングとは異なるタイミングで、そのステレオ画像を用いた距離の計測処理が実行される場合がある。例えば、撮影したステレオ画像を何らかの方法（データベースやファイルシステム等）を用いて記憶しておき、その後、記憶されたステレオ画像を用いて、距離の計測処理が実行されることがある。この場合、距離の計測処理を実行した結果として、元のステレオ画像が距離の計測に適していないことが判明しても、距離の計測に適したステレオ画像を再度取得できるとは限らない。

上記のような状況から、本出願人らは、あるステレオ画像を用いた距離の計測処理を実行する前に、そのステレオ画像が、距離の計測処理に適しているか否かを判定可能な、本開示に係る技術を着想するに至った。以下において説明する本開示に係る技術は、例えば、一対のステレオ画像を取得可能な構成と、そのステレオ画像に含まれるそれぞれの画像が撮影された際の撮影環境に応じて、そのステレオ画像が距離の計測に適しているか否かを判定可能な構成と、を含んでよい。

このような本開示に係る技術によれば、例えば、比較的処理時間が長く、処理負荷が高い処理である距離の計測処理を実行することなく、あるステレオ画像の適否を判定可能である。このため、適切なステレオ画像を用いて、精度よく距離を計測することが可能となる。

また、本開示に係る技術によれば、例えば、撮影されたステレオ画像の適否を、距離の計測処理を実行する前の比較的早期の段階で判定可能である。このため、不適切なステレオ画像が撮影された場合、例えば、不適切なステレオ画像を用いて距離の計測処理が実行されることを抑制可能である。また、適切なステレオ画像を撮影しなおすことも可能である。

以下、本開示に係る技術について、具体的な実施形態を用いて更に詳細に説明する。以下の具体的な実施形態（及びその変形例）の構成は例示であり、本開示に係る技術の技術範囲は、それらには限定されない。以下の各実施形態を構成する構成要素の分割（例えば、機能的な単位による分割）は、その実施形態を実現可能な一例である。各実施形態を実現可能な構成は、以下の例示に限定されず、様々な構成が想定され得る。以下の各実施形態を構成する構成要素は、更に分割されてもよく、また、以下の各実施形態を構成する１以上の構成要素が統合されてもよい。

以下に例示する各実施形態が１以上の物理的装置、仮想的装置、及びその組合せを用いて実現される場合、１以上の構成要素が１以上の装置により実現されてもよく、１つの構成要素が複数の装置を用いて実現されてもよい。

＜第１実施形態＞
以下、本開示に係る技術を実現可能な第１の実施形態（第１実施形態）について説明する。以下において説明する画像処理装置は、単体の装置（物理的又は仮想的な装置）として実装されてもよく、複数の離間した装置（物理的又は仮想的な装置）を用いたシステムとして実装されてもよい。画像処理装置が、複数の装置を用いて実装される場合、各装置の間は有線、無線、又はそれらを適切に組み合わせた通信ネットワークにより通信可能に接続されてもよい。以下において説明する画像処理装置を実現可能なハードウェア構成については、後述する。

図１は、本実施形態における画像処理装置１００の機能的な構成を例示するブロック図である。

図１に示すように、画像処理装置１００は、適切性判定部１０１と、出力部１０２とを備える。画像処理装置１００を構成するこれらの構成要素の間は、適切な通信方法を用いて通信可能に接続されていてよい。

画像処理装置１００には、ステレオ画像が提供される。係るステレオ画像は、例えば、ステレオカメラ等により撮影された画像であってよい。以下、ステレオ画像に含まれる一対の画像を、第１画像、第２画像と記載する場合がある。

第１画像及び第２画像に撮影された対象物に関するマッチング処理（例えば、画素ごとのマッチング処理や、複数の画素を含む画素ブロックごとのマッチング等）を実行することで、視差を算出することが可能である。なお、ステレオ画像から視差を算出する方法は特に制限されず、種々の方法を採用可能である。

適切性判定部１０１（適切性判定手段）は、あるステレオ画像が距離の計測に適しているか否かを判定するよう構成される。

適切性判定部１０１は、例えば、第１画像及び第２画像を含むステレオ画像を取得し、第１画像が撮影された撮影環境と、第２画像が撮影された撮影環境と、に応じて、あるステレオ画像が、撮影された対象物との間の距離の計測に適しているか否か（ステレオ画像の適切性）を判定する。適切性判定部１０１は、適切性の判定に際して、例えば、第１画像及び第２画像の画素値を用いてもよく、第１画像及び第２画像から抽出された特徴量を用いてもよい。また、適切性判定部１０１は、例えば、あるステレオ画像の適切性を表す情報（スコア）を算出してもよい。適切性判定部１０１による処理のバリエーションについては、後述する。

出力部１０２（出力手段）は、適切性判定部１０１による適切性の判定結果に応じて、あるステレオ画像を用いた距離の計測を実行するか否かを制御可能に構成される。出力部１０２は、例えば、あるステレオ画像が距離の計測に適しているか否かを表すデータを生成してもよい。

出力部１０２は、例えば、あるステレオ画像が距離の計測に適している場合、当該ステレオ画像を用いた距離の計測処理が実行されるように出力を制御してもよい。一方、あるステレオ画像が距離の計測に適していない場合、出力部１０２は、当該ステレオ画像が不適切であることを表す警報処理（アラート処理）が実行されるよう、出力を制御してもよい。また、出力部１０２は、あるステレオ画像が距離の計測に適していない場合、当該ステレオ画像を用いた距離の計測処理が抑制されるように出力を制御してもよい。出力部１０２による処理のバリエーションについては後述する。

上記のように構成された画像処理装置１００の動作について、図２に例示するフローチャートを参照して説明する。

画像処理装置１００にステレオ画像が提供され、適切性判定部１０１は、そのステレオ画像を受けつける（ステップＳ２０１）。

適切性判定部１０１は、ステレオ画像の適切性を判定する（ステップＳ２０２）。適切性判定部１０１は、例えば、ステレオ画像に含まれる画像のうち、一方の画像（第１画像）が撮影された撮影環境と、他方の画像（第２画像）が撮影された撮影環境とに応じて、そのステレオ画像の適切性を判定してもよい。適切性判定部１０１は、当該ステレオ画像を用いた距離の計測処理を実行せずに（例えば、視差の算出処理等を実行する前に）、ステレオ画像に含まれる画像の適切性を判定する。

適切性判定部１０１は、例えば、第１画像及び第２画像を用いて、それらの画像に関する適切性を表すスコアを算出し、そのスコアに応じて、それらの画像を含むステレオ画像が距離の計測に適しているか否かを判定してもよい。

出力部１０２は、ステレオ画像に関する適切性の判定結果に応じて、そのステレオ画像を用いた距離の計測を実行するか否かを制御する（ステップＳ２０３−Ｓ２０５）。

ステップＳ２０１において受けつけたステレオ画像が距離の計測に適した画像である場合（ステップＳ２０３においてＹＥＳ）、出力部１０２は、例えば、そのステレオ画像を用いた距離の計測が実行されるよう、適切な処理を実行してもよい。

出力部１０２は、例えば、そのステレオ画像が適切な画像であることを表すデータを生成してもよく、そのステレオ画像を用いて距離の計測処理を実行するよう、距離の計測処理を実行可能な他の装置等を制御してもよい。なお、この場合、出力部１０２は、距離の計測処理を実行可能な他の装置等にステレオ画像を提供してもよい。距離の計測処理を実行可能な他の装置は、画像処理装置１００に含まれてもよく、画像処理装置１００と通信可能に接続された別の装置であってもよい。

一方、ステップＳ２０１において受けつけたステレオ画像が、距離の計測に適した画像ではない場合（ステップＳ２０３においてＮＯ）、出力部１０２は、例えば、そのステレオ画像を用いた距離の計測処理を抑制するよう、適切な処理を実行してもよい。

出力部１０２は、例えば、そのステレオ画像が不適切な画像であることを表すデータを生成してもよく、そのステレオ画像を用いた距離の計測処理が実行されないよう、距離の計測処理を実行可能な他の装置等を制御してもよい。

上記のように構成された画像処理装置１００によれば、あるステレオ画像が距離の計測に適しているか否かを適切に判定することができる。その理由は、適切性判定部１０１が、受けつけたステレオ画像に含まれる第１画像及び第２画像の撮影環境に応じて、それらの画像の適切性を判定可能に構成されるからである。また、出力部１０２が、適切性判定部１０１による判定結果に応じて、そのステレオ画像を用いて距離の計測を実行するか否かを制御可能に構成されるからである。

これにより、画像処理装置１００は、比較的処理時間が長く、処理負荷が高い処理である距離の計測処理を実行する前に、あるステレオ画像が距離の計測に適しているか否かを判定可能である。また、画像処理装置１００は、不適切なステレオ画像を用いて距離の計測処理が実行されることを抑制可能であり、例えば、適切なステレオ画像を取得しなおすことも可能である。

［具体例］
以下、画像処理装置１００を実現可能な具体例について説明する。

本実施形態における画像処理装置１００は、図３に例示するように、画像提供装置２００、距離計測装置３００と通信可能に接続されていてよい。また、以下の具体例においては、図４に例示するように、ユーザインタフェースを表示可能な表示デバイスを含む表示装置４００が、画像処理装置１００に接続されていることを想定する。なお、表示装置４００は、画像処理装置１００に接続されてもよく、画像提供装置２００に接続されてもよい。また、表示装置４００を構成する表示デバイスは、特に限定されず、例えば液晶パネル等を適宜選択可能である。

画像提供装置２００は、例えば、ステレオ画像を撮影する撮影装置である１以上のカメラ２０１（第１カメラ、第２カメラ）と、それらの撮影部により撮影されたステレオ画像を画像処理装置１００に提供する画像提供部２０２とを含む。

図３に示す具体例においては、カメラ２０１として２台のカメラ（第１カメラ及び第２カメラ）が示されている。画像提供装置には、３台以上のカメラ２０１が含まれてもよい。例えば、３台以上のカメラ２０１により撮影された画像の内、２枚の画像を組（ペア）とすることで、ステレオ画像が生成されてもよい。以下、説明の便宜上、２台のカメラ２０１を用いて撮影した画像から、ステレオ画像が生成されることを想定する。

２台のカメラ２０１は、ステレオ画像を撮影可能な位置に適宜配置される。例えば、２台のカメラ２０１は、距離計測の方法に応じて、特定の方向（例えば、水平方向、垂直方向、及び、斜め方向等）に、適切な間隔で離間するよう配置されてもよい。なお、カメラ２０１の種類は特に限定されず、適切に選択可能である。

２台のカメラ２０１は、同期して画像を撮影してもよい。また、２台のカメラ２０１は、画像を撮影する際に、当該画像を撮影したタイミングを表す情報（例えば、時刻、カウンタ等）を生成し、画像提供部２０２に提供してもよい。

画像提供部２０２は、２台のカメラ２０１より撮影された画像を組（ペア）として含むステレオ画像を、画像処理装置１００に提供する。画像提供部２０２は、例えば、２台のカメラ２０１により同じタイミングで撮影された画像からなるステレオ画像を生成し、画像処理装置１００に提供してもよい。この際、画像提供部２０２は、カメラ２０１により撮影された画像（画像データ）に対して各種の信号処理を適用してもよい。

画像提供部２０２は、カメラ２０１における画像の撮影処理を制御可能に構成されてもよい。具体的には、画像提供部２０２は、例えば、カメラ２０１における撮影の開始、停止、撮影に関する各種設定（撮影パラメータ）の変更等を制御するよう構成されてもよい。カメラ２０１を制御する具体的な方法は特に限定されず、カメラ２０１の仕様に応じて適宜選択可能である。そのような方法として、例えば、カメラ２０１と画像提供部２０２とを各種通信路（例えば、各種シリアルバス等）を介して接続し、係る通信路を介して、画像提供部２０２が、カメラ２０１に制御コマンドを送信してもよい。

距離計測装置３００は、ステレオ画像を用いて距離を計測する処理を実行する距離計測部３０１を含む。距離計測装置３００は、例えば、画像処理装置１００から距離の測定に適したステレオ画像を受けつけ、そのステレオ画像を用いて、距離の計測処理を実行するよう構成される。

距離計測部３０１は、例えば、画像処理装置１００により、距離の計測に適切であると判定されたステレオ画像を用いて、撮影された対象物に関する第１画像と、第２画像との間の視差を算出する。距離計測部３０１は、算出した視差を用いて、三角測量の原理を応用して、ステレオ画像に撮影された対象物に対する距離を算出する。ステレオ画像を用いた距離の算出方法は、特段限定されず、適切な方法を適宜採用可能である。そのような方法の一つの具体例として、例えば、特許文献１、特許文献２、又はその他の周知技術を採用することも可能であるが、本実施形態はこれには限定されない。

なお、図５に例示するように、距離計測装置３００を画像処理装置１００と別に設けることなく、距離計測部３０１が、画像処理装置１００に含まれてもよい。

出力部１０２は、あるステレオ画像に関する適切性の判定結果に応じて、例えば、そのステレオ画像が距離の計測に適しているか否かを提示する処理を実行するよう構成されてよい。具体的には、出力部１０２は、例えば、あるステレオ画像が距離の計測に適しているか否かを提示するよう、表示装置４００を制御してもよい。また、出力部１０２は、あるステレオ画像に関する適切性の判定結果に応じて、その画像を用いた距離の計測処理を抑制してもよい。

出力部１０２は、また、あるステレオ画像が距離の計測に不適切である場合には、その旨を提示する各種のアラート（警報）処理を実行してもよい。アラートの提示方法は特に限定されず、適切に選択されてよい。アラートの提示方法の一例として、出力部１０２は、各種の表示画面に適切な文字、記号、図形、標章等を組み合わせたアラート画面を表示するよう、表示部４００を制御してもよい。出力部１０２は、適切性判定部１０１において算出されたスコアを、アラート画面等を介してユーザに提示するよう、表示部４００を制御してもよい。また、出力部１０２は、警報音など、画面表示とは異なる方法によりアラートを通知してもよい。

以下、適切性判定部１０１により実行される、あるステレオ画像の適切性を判定する処理の具体例について説明する。

〔第１の判定処理〕
適切性判定部１０１は、第１の判定処理として、画像提供装置２００から提供されたステレオ画像に関するヒストグラムを用いて、そのステレオ画像の適切性を判定してもよい。以下、第１の判定処理について、図６に示す説明図を用いて説明する。

図６においては、説明の便宜上、ステレオ画像Ａが画像提供装置２００から提供された場合の具体例と、ステレオ画像Ｂが画像提供装置２００から提供された場合の具体例とが、併記されている。ステレオ画像Ａと、ステレオ画像Ｂとは、異なるタイミングで撮影された異なるステレオ画像である。

以下、ステレオ画像Ａは、撮影環境が良好な状況で撮影されたステレオ画像であることを想定する。ステレオ画像Ｂは、少なくとも一方のカメラ２０１より撮影された画像が、撮影環境が不良な状況で撮影された画像であることを想定する。図６に示す具体例の場合、例えば、ステレオ画像Ｂのうち、一方の第２画像Ｂが、逆光状態で撮影された画像であることを想定する。

第１の判定処理を実行する場合、適切性判定部１０１は、例えば、図６に示すように、ヒストグラム算出処理（Ｓ６０１）と、類似性判定処理（Ｓ６０２）と、適切性判定処理（Ｓ６０３）と、を実行することが可能である。なお、図６に示す処理の分割は、一つの具体例であり、各処理が更に分割されてもよく、複数の処理が統合されてもよい。

ヒストグラム算出処理Ｓ６０１は、画像提供装置２００から受けつけたステレオ画像に関する画素値のヒストグラムを算出する処理である。適切性判定部１０１は、例えば、ステレオ画像に含まれる第１画像及び第２画像について、各画素の輝度値のヒストグラムを算出してもよく、各画素のカラーヒストグラムを算出してもよい。ヒストグラムを算出する具体的な方法は特に限定されず、適切に選択されてよい。係るヒストグラムは、第１画像及び第２画像の特徴を表す特徴量であると考えられる。以下、第１画像を表す特徴量を第１特徴量と記載し、第２画像を表す特徴量を第２特徴量と記載することがある。

図６に示す具体例の場合、ステレオ画像Ａに含まれる第１画像Ａ、第２画像Ａから、第１ヒストグラムＡ、第２ヒストグラムＡが生成される。また、ステレオ画像Ｂに含まれる第１画像Ｂ、第２画像Ｂから、第１ヒストグラムＢ、第２ヒストグラムＢが生成される。

類似性判定処理Ｓ６０２は、ヒストグラム算出処理Ｓ６０１により生成された第１画像のヒストグラムと、第２画像のヒストグラムとの間の類似性（第１画像のヒストグラムと、第２画像のヒストグラムとが類似している程度）を判定する処理である。第１画像のヒストグラムと、第２画像のヒストグラムとの類似性は、第１画像が撮影された撮影環境と、第２画像が撮影された撮影環境との類似性を表すとも考えられる。

適切性判定部１０１は、類似性判定処理Ｓ６０２において、第１画像のヒストグラムと、第２画像のヒストグラムとの類似度を表すスコアを算出する。

類似性判定処理Ｓ６０２において、スコアを算出する方法は特に限定されることなく、適切な方法を選択可能である。スコアを算出する方法の一つとして、例えば、ヒストグラムインターセクション法（Ｈｉｓｔｏｇｒａｍ Ｉｎｔｅｒｓｅｃｔｉｏｎ）を採用してもよい（下記参考文献１）。

ヒストグラムインターセクション法は、２つのヒストグラムの類似度を表すスコア値を算出可能な方法である。スコア値は、例えば、（０．０−１．０）の間の値であり、２つのヒストグラムが類似している程、大きなスコア値が算出される。２つのヒストグラムが完全に一致する場合、スコア値が１．０となる。算出されるスコア値は、第１画像のヒストグラムと、第２画像のヒストグラムとの差分（差異の程度）を表すとも考えられる。

（参考文献１）Ｍ．Ｊ．Ｓｗａｉｎ等、”Ｃｏｌｏｒ Ｉｎｄｅｘｉｎｇ”、 Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、 Ｖｏｌ．７−１、ｐｐ．１１−３２、１９９１．
図６に示す具体例の場合、ステレオ画像Ａから生成された第１ヒストグラムＡと、第２ヒストグラムＡとは、比較的類似した形状である。適切性判定部１０１は、例えば、類似性判定処理Ｓ６０２において、第１ヒストグラムＡと、第２ヒストグラムＡとの間の類似度を表すスコア値を”０．９”と算出する。一方、上記したように、第２画像Ｂは、逆光（光源が画像に移り込んでいる）状態で撮影された画像であり、第１ヒストグラムＢと、第２ヒストグラムＢとは非類似である。適切性判定部１０１は、例えば、類似性判定処理Ｓ６０２において、第１ヒストグラムＢと、第２ヒストグラムＢとの間の類似度を表すスコアスコア値を”０．４”と算出する。

適切性判定処理Ｓ６０３は、類似性判定処理Ｓ６０２において算出されたスコアに応じて、画像提供装置２００から提供されたステレオ画像が、距離の計測に適しているか否かを判定する処理である。具体的には、適切性判定部１０１は、類似性判定処理Ｓ６０２により算出されたスコアと、ある特定の閾値（第１閾値）とを比較した結果に応じて、あるステレオ画像が距離の計測に適しているか否かを判定する。係る第１閾値は、予め画像処理装置１００に設定されていてもよく、画像処理装置のユーザ等により適宜設定されてもよい。図６に示す具体例の場合、第１閾値の具体例として”０．８”が設定されている。

適切性判定処理Ｓ６０３において、適切性判定部１０１は、例えば、あるステレオ画像から算出されたスコア値が第１閾値以上であれば、当該ステレオ画像が、距離の計測に適していると判定する。一方、適切性判定部１０１は、例えば、あるステレオ画像から算出されたスコア値が第１閾値未満であれば、当該ステレオ画像が、距離の計測に適していないと判定する。図６に示す具体例の場合、ステレオ画像Ａから算出されたスコア（”０．９”）は、第１閾値（”０．８”）以上である。これより、適切性判定部１０１は、ステレオ画像Ａについて、距離の計測に適していると判定する。一方、ステレオ画像Ｂから算出されたスコア（”０．４”）は、第１閾値（”０．８”）未満である。これより、適切性判定部１０１は、ステレオ画像Ｂについて、距離の計測に適していないと判定する。この場合、適切性判定部１０１は、第１画像のヒストグラムと、第２画像のヒストグラムとの差分（即ち、第１画像の特徴量と、第２画像の特徴量との差分）に基づいて、それらの画像を含むステレオ画像が、距離の計測に適しているか否かを判定する、とも考えられる。適切性判定部１０１は、判定結果を出力部１０２に提供する。

出力部１０２は、適切性判定部１０１から提供された判定結果に応じて、ステレオ画像Ａ、ステレオ画像Ｂについて、距離の計測を実行するか否かを制御する。

図６に示す具体例の場合、ステレオ画像Ａは、適切性判定部１０１により、距離の計測に適していると判定されている。このため、出力部１０２は、ステレオ画像Ａを用いて距離の計測を実行するよう、距離計測装置３００に通知してもよい。この際、出力部１０２は、ステレオ画像Ａを距離計測装置３００に提供してもよい。

一方、ステレオ画像Ｂは、適切性判定部１０１により、距離の計測に適していないと判定されている。このため、出力部１０２は、ステレオ画像Ｂが不適切な画像であることを表すアラート処理を実行してもよい。この際、出力部１０２は、ステレオ画像Ｂを用いた距離の計測処理を抑制してもよい。

〔第２の判定処理〕
適切性判定部１０１は、第２の判定処理として、パターン認識技術を用いて、あるステレオ画像が距離の計測に適しているか否かを判定してもよい。

適切性判定部１０１が用いるパターン認識技術は、特に限定されず、適切に選択可能である。そのようなパターン認識技術の具体例として、例えば、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）、一般化学習ベクトル量子化（ＧＬＶＱ：Ｇｅｎｅｒａｌｉｚｅｄ Ｌｅａｒｎｉｎｇ Ｖｅｃｔｒｏ Ｑｕａｎｔｉｚａｔｉｏｎ”）、多層ニューラルネットワーク（ＮＮ：Ｎｅｗｒａｌ Ｎｅｔｗｏｒｋ）等が採用されてもよい。以下、説明の便宜上、これらのパターン認識技術を具体例として用いて、適切性判定部１０１における処理について説明する。

（参考文献２）：Ｒ．Ｏ．Ｄｕｄａ、Ｐ．Ｅ．Ｈａｒｔ、Ｄ．Ｇ．Ｓｔｏｒｋ、”パターン識別”、新技術コミュニケーションズ、２００１年、ｐ．２５６−２５７．
（参考文献３）：佐藤 敦、”一般化学習ベクトル量子化による画像認識”、精密工学会誌、Ｖｏｌ．８３（２０１７）Ｎｏ．４、ｐ．３３５−３４０．
（参考文献４）：岡谷貴之、”深層学習”、講談社、２０１５年４月、ｐ．２３−５３、７９−１１０
これらのパターン認識技術が用いられる場合、まず、学習フェーズにおいて、学習データを用いたモデル（適切性判定モデル）の学習処理が実行される。そして、運用フェーズ（評価フェーズ）において、学習済みモデルを用いて、評価データ（本実施形態の場合は、画像提供装置２００から提供されるステレオ画像）が評価される。

以下、学習フェーズの概要を説明する。なお、以下の説明は一例であり、採用するパターン認識技術に応じて、適切な処理が適宜実行されてよい。以下においては、説明の便宜上、モデルの作成者が、別途学習フェーズを実行することを想定する。

本実施形態の場合、適切性モデルの作成者が、学習データとして用いられるステレオ画像を用意する。適切性モデルの作成者は、距離の計測に適したステレオ画像と、距離の計測に適さないステレオ画像とを、予め収集することで、学習データを作成してもよい。

一例として、適切性モデルの作成者は、対象物との間の距離が既知であるステレオ画像を複数用意してもよい。適切性モデルの作成者は、それらのステレオ画像を距離計測装置３００に供給して距離を算出し、正しい距離が算出されたステレオ画像を、距離の計測に適したステレオ画像の学習データとしてもよい。また、正しい距離が算出されなかったステレオ画像を、距離の計測に不適切なステレオ画像の学習データとしてもよい。

モデルの作成者は、用意した学習データに含まれる、距離の算出に適したステレオ画像を構成する画像の少なくとも一方について、その画像が適切であることを示すラベル（教師ラベル）を付与する。

また、モデルの作成者は、用意した学習データに含まれる、距離の算出に適さないステレオ画像を構成する画像の少なくとも一方について、その画像が不適切であることを示すラベルを付与してもよい。

この処理により、距離の算出に適切か否かを表す教師ラベル付きの学習データが得られる。なお、上記学習データを作成する段階においては、あるステレオ画像を用いて適切な距離が算出されたか否かが、人手により判定されてもよく。他の周知の技術を用いて判定されてもよい。

モデル作成者は、元の画像から適切な方法を用いて特徴量を抽出し、その特徴量に対して上記各ラベルを付与することで、学習データを作成してもよい。学習データとして用いられる特徴量の種類は特に限定されず、適宜選択可能である。そのような特徴量として、例えば、輝度ヒストグラム、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量、ＮＮを用いた自己符号化器による特徴量等が用いられてもよい。

モデル作成者は、例えば、上記のように生成された教師ラベル付きの学習データを用いて、ある画像が距離の計測に適切か否かを判定可能なモデルを生成する。係るモデルは、例えば、あるステレオ画像が撮影された撮影環境と、距離の算出に適切な学習データセットに含まれる画像が撮影された撮影環境との間の類似性を判定可能なモデルであってもよい。より具体的には、係るモデルは、例えば、あるステレオ画像が、距離の算出に適切な撮影環境における画像（学習データセット）を含むクラス（カテゴリ）に分類されるか、距離の算出に不適切な撮影環境における画像（学習データセット）を含むクラス（カテゴリ）分類されるか、を判定可能なモデルであってもよい。

以下、距離の計測に適した画像の撮影環境を表すカテゴリを、単に距離の計測に適した画像のカテゴリと記載することがある。また、距離の計測に不適切な画像の撮影環境を表すカテゴリを、単に距離の計測に不適切な画像のカテゴリと記載することがある。

例えば、パターン認識技術としてＳＶＭを用いる場合、係るモデルは、距離の計測に適した画像のカテゴリと、距離の計測に不適切な画像のカテゴリとを識別可能な評価関数（識別平面）を含んでもよい。これにより、例えば、評価関数が表す識別平面と、評価データとしての画像（又は画像から抽出された特徴量）との間の距離に応じて、その画像の適切性を表すスコアを算出することができる。

例えば、パターン認識技術として、ＧＬＶＱを用いる場合、モデル作成者は、教師ラベル付きの学習データを用いて、距離の計測に適切な画像を表すカテゴリの参照ベクトルと、距離の計測に不適切な画像を表すカテゴリの参照ベクトルと、を含むモデルを生成することができる。係るモデルは、例えば、それぞれのカテゴリを表す参照ベクトルと、ある評価データ（画像）との間の距離に応じて、評価データが含まれるカテゴリを識別する評価関数を含んでもよい。これにより、あるカテゴリを表す参照ベクトルと、ある画像（又は画像から抽出された特徴量）との間の距離に応じて、その画像の適切性を表すスコアを算出することができる。

例えば、パターン認識技術として多層ＮＮを用いる場合、モデル作成者は、ある画像が、距離の計測に適切な画像を表すカテゴリに属する確率、及び、距離の計測に不適切な画像を表すカテゴリに属する確率を出力するように、多層ＮＮの出力層を構成してもよい。この場合、係るモデルは、例えば、ある評価データがそれぞれのカテゴリに属する確率に応じて、評価データが含まれるカテゴリを識別可能な評価関数を含んでもよい。これにより、学習済みの多層ＮＮに、評価データとしての画像（又は画像から抽出した特徴量）を入力した際の出力層の出力から、その画像の適切性を表すスコアを算出することができる。

以下、適切性判定部１０１が、上記のように作成された学習済みモデルを用いて、画像提供装置２００から受けつけたステレオ画像の適切性を判定する処理について、図７に示す具体例を参照して説明する。

第２の判定処理を実行する場合、適切性判定部１０１は、例えば、図７に示すように、特徴量抽出処理（Ｓ７０１）と、スコア算出処理（Ｓ７０２）と、適切性判定処理（Ｓ７０３）と、を実行するよう構成されてもよい。なお、図７に示す処理の分割は、一つの具体例であり、各処理が更に分割されてもよく、複数の処理が統合されてもよい。

特徴量抽出処理Ｓ７０１は、画像提供装置２００から受けつけたステレオ画像から、特徴量を抽出する処理である。適切性判定部１０１は、例えば、上記したパターン認識技術に適した特徴量を抽出し、抽出した特徴量を表す特徴ベクトルを作成してもよい。画像から特徴量を抽出する具体的な処理方法は特に限定されず、上記した周知技術を含め、適宜選択されてよい。

スコア算出処理Ｓ７０２は、学習データにより学習された学習済みモデルを用いて、あるステレオ画像が、距離の計測に適しているか否かを表すスコアを算出する処理である。具体的には、適切性判定部１０１は、例えば、特徴量抽出処理Ｓ７０１により抽出された特徴量に対して、学習済みモデルを用いた評価を実行することにより、その特徴量に関するスコアを算出する。

例えば、パターン認識技術としてＳＶＭが用いられる場合、適切性判定部１０１は、特徴量抽出処理Ｓ７０１により得られた特徴量を入力した際の評価関数の出力を、スコアとしてもよい。この場合、スコアは、例えば、ある特徴量と、評価関数が表す識別平面との間の距離を表してもよい。

例えば、パターン認識技術としてＧＬＶＱが用いられる場合、適切性判定部１０１は、特徴量抽出処理Ｓ７０１により得られた特徴量を入力した際の評価関数の出力を、スコアとしてもよい。この場合、スコアは、例えば、ある特徴量と、距離の計測に適切な画像を表すカテゴリの参照ベクトルとの間の距離を表してもよい。ある特徴量と、距離の計測に適切な画像を表すカテゴリの参照ベクトルとの間の距離の逆数をスコアとしてもよい。これにより、ある特徴量と、ＧＬＶＱの参照ベクトルとの間の距離が短いほど、スコアが大きくなる。

例えば、パターン認識技術として多層ＮＮが用いられる場合、適切性判定部１０１は、特徴量抽出処理Ｓ７０１により得られた特徴量を入力した際の、多層ＮＮの出力を、スコアとしてもよい。

適切性判定処理Ｓ７０３は、あるステレオ画像に含まれる画像に対して、スコア算出処理Ｓ７０２により算出されたスコアに応じて、そのステレオ画像が距離の計測に適しているか否かを判定する処理である。適切性判定部１０１は、例えば、特定の閾値（第２閾値）と、スコア算出処理Ｓ７０２において算出されたスコアとを比較した結果に応じて、あるステレオ画像が距離の計測に適しているか否かを判定してもよい。第２閾値は、予め画像処理装置１００に設定されてもよく、画像処理装置１００のユーザにより適宜設定されてもよい。

例えば、パターン認識技術としてＳＶＭが用いられる場合を想定する。この場合、適切性判定部１０１は、例えば、あるステレオ画像に含まれる画像に対して算出されたスコアが、第２閾値以上であれば、そのステレオ画像が、距離の計測に適した撮影環境における画像であると判定する。この場合、例えば、画像から抽出された特徴量と、識別平面との間の距離が第２閾値以上であれば、そのステレオ画像が、距離の計測に適した撮影環境における画像であると判定される。一方、そのスコアが、第２閾値未満である場合、そのステレオ画像が距離の計測に適していないと判定してもよい。

例えば、パターン認識技術としてＧＬＶＱが用いられる場合を想定する。この場合、適切性判定部１０１は、例えば、あるステレオ画像に含まれる画像に対して算出されたスコアが、第２閾値以上であれば、そのステレオ画像が距離の計測に適した撮影環境における画像であると判定する。この場合、例えば、画像から抽出された特徴量と、距離の計測に適切な画像を表すカテゴリの参照ベクトルとの間の距離の逆数が第２閾値以上であれば、そのステレオ画像が、距離の計測に適した撮影環境における画像であると判定される。一方、そのスコアが、第２閾値未満である場合、そのステレオ画像が距離の計測に適していないと判定してもよい。

例えば、パターン認識技術として多層ＮＮが用いられる場合を想定する。この場合、適切性判定部１０１は、あるステレオ画像に含まれる画像に対して、距離の計測に適切な画像を表すカテゴリに相当するユニットからの出力値が第２閾値以上であれば、そのステレオ画像が距離の計測に適した撮影環境における画像であると判定する。一方、そのスコアが、第２閾値未満である場合、そのステレオ画像が距離の計測に適していないと判定してもよい。

上記したような処理により、適切性判定部１０１は、あるステレオ画像が、距離の計測に適した撮影環境において撮影された画像として分類されるか否か（即ち、係るステレオ画像が距離の計測に適しているか否か）判定可能である。

上記のバリエーションとして、適切性判定部１０１は、例えば、あるステレオ画像に含まれる第１画像及び第２画像に関して算出されたスコアと、それらのスコア間の差異（差分）と、に応じて、そのステレオ画像の適切性を判定してもよい。この場合、適切性判定部１０１は、例えば、第１画像及び第２画像に関して算出されたスコアが、それぞれ第２閾値以上であり、かつ、それらのスコアの差分が、ある特定の閾値以下である場合、そのステレオ画像が距離の計測に適していると判定してもよい。例えば、第１画像及び第２画像に関して算出されたスコアが、それぞれ第２閾値以上であれば、第１画像及び第２画像が、距離の計測に適切な画像を表すカテゴリに属すると考えられる。また、第１画像と第２画像との類似性が高い場合、それらから算出されるスコアは近い値になると考えられる。これにより、適切性判定部１０１は、あるステレオ画像に関する適切性を、より精度よく判定することが可能である。

適切性判定部１０１は、判定結果を出力部１０２に提供する。

出力部１０２は、適切性判定部１０１から提供された判定結果に応じて、あるステレオ画像を用いて距離の計測を実行するか否かを制御する。あるステレオ画像が距離の計測に適切であると判定された場合、出力部１０２は、距離計測装置３００に、そのステレオ画像を用いて距離の計測処理を実行するよう通知してもよい。あるステレオ画像が距離の計測に適切ではないと判定された場合、出力部１０２は、そのステレオ画像が不適切であることを提示するアラート処理を実行してもよい。また、出力部１０２は、そのステレオ画像を用いた距離の計測処理を抑制してもよい。

なお、上記いずれのパターン認識技術を用いた場合であっても、学習済みのモデルを用いたスコアの算出に要する処理時間は比較的短く、また処理負荷は比較的低い。このため、画像処理装置１００に、学習済みのモデルを予め提供することにより、適切性判定部１０１は、高い処理能力を要することなく、比較的短時間で、あるステレオ画像が距離の計測に適しているか否かを判定可能である。

〔第３の判定処理〕
適切性判定部１０１は、第３の判定処理として、ステレオ画像に含まれる画像の特徴点を用いて、そのステレオ画像が距離の計測に適しているか否かを判定してもよい。特徴点を検出する方法は特に限定されず、適切に選択されてよい。

一つの具体例として、適切性判定部１０１は、画像提供装置２００から提供されたステレオ画像に含まれる各画像に対して、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）による特徴点と、その特徴量とを算出してもよい。ＳＩＦＴは、画像に含まれる特徴点を検出し、その特徴量を記述することが可能である。ＳＩＦＴによる特徴量は、画像の回転、スケール変化、照明変化等に頑強である（参考文献５）。以下、ＳＩＦＴにより検出された特徴点をＳＩＦＴ特徴点と記載し、その特徴量をＳＩＦＴ特徴量と記載する。

（参考文献５）：Ｄａｖｉｄ Ｇ．Ｌｏｗｅ、”Ｄｉｓｔｉｎｃｔｉｖｅ ｉｍａｇｅ ｆｅａｔｕｒｅｓ ｆｒｏｍ ｓｃａｌｅ−ｉｎｖ ａｒｉａｎｔ ｋｅｙｐｏｉｎｔｓ”、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、６０（２）、２００４年、ｐ．９１−１１０．
以下、ＳＩＦＴ特徴点を用いる場合の第３の判定処理について、図８に示す説明図を用いて説明する。

ＳＩＦＴ特徴点検出処理Ｓ８０１は、ＳＩＦＴアルゴリズムを用いて、画像提供装置２００から提供されたステレオ画像に含まれる各画像から特徴点を検出し、その特徴点を記述する特徴量を生成する処理である。適切性判定部１０１は、上記参考文献５に記載された方法を用いて、ＳＩＦＴ特徴点を検出し、ＳＩＦＴ特徴量を生成することが可能である。

スコア算出処理Ｓ８０２は、ＳＩＦＴ特徴点検出処理Ｓ８０１により生成された、ＳＩＦＴ特徴点を及びＳＩＦＴ特徴量から、スコアを算出する処理である。スコア算出処理Ｓ８０２は、例えば、各画像に含まれるＳＩＦＴ特徴点の類似性（一致度）に応じてスコア（後述）を算出してもよく、各画像に含まれるＳＩＦＴ特徴点の個数に応じてスコアを算出してもよい。

具体的には、適切性判定部１０１は、例えば、ステレオ画像に含まれる２つの画像（第１画像、第２画像）から抽出された各ＳＩＦＴ特徴点の特徴量を比較することで、それぞれの画像において、対応するＳＩＦＴ特徴点の組（ペア）を特定する。この際、適切性判定部１０１は、例えば、第１画像に含まれる、あるＳＩＦＴ特徴点を表す特徴量と、第２画像に含まれる各ＳＩＦＴ特徴点を表す特徴量との間のユークリッド距離に基づいて、第１画像に含まれるＳＩＦＴ特徴点と、第２画像に含まれるＳＩＦＴ特徴点との組（ペア）を特定してもよい。第１画像及び第２画像において、対応する特徴点の組を、特徴点ペアと記載する場合がある。

適切性判定部１０１は、例えば、第１画像における１以上のＳＩＦＴ特徴点と、それらに対応する、第２画像におけるＳＩＦＴ特徴点との間の距離（具体的には、特徴点ペア間の距離）の和を、特徴点の一致度を表すスコアとして算出してもよい。また、適切性判定部１０１は、例えば、第１画像における各ＳＩＦＴ特徴点と、それらに対応する、第２画像における各ＳＩＦＴ特徴点との間の距離の総和（全特徴点ペア間の距離の総和）を、特徴点の一致度を表すスコアとして算出してもよい。この場合、特徴点ペア間の距離が短いほど、第１画像に撮影された対象物と、第２画像に撮影された対象物との間の対応関係が適切に特定されていることを表す。

例えば、第１画像に関する撮影環境と、第２画像に関する撮影環境とが類似していない場合、これらの画像から適切な特徴点ペアを特定できない可能性がある。この場合、特徴点間の距離が大きく（遠く）なると考えられる。これより、特徴点間の一致度を表す距離が短いほど、第１画像に関する撮影環境と、第２画像に関する撮影環境とが、比較的類似していると考えられる。

なお、適切性判定部１０１は、特徴点間の距離に反比例する関数を用いて、特徴点の一致度を表すスコアを算出してもよい。この場合、係る関数として、下式（１）に示す反比例関数が用いられてもよい。

式（１）において、Ｙは一致度を表し、Ｒは特徴点間の距離を表す。式（１）によりスコアが算出される場合、特徴点ペア間の距離が短いほど、第１画像に撮影された対象物と、第２画像に撮影された対象物との間の対応関係が適切に特定されていることを表す。式（１）を用いる場合、特徴点ペア間の距離が短いほど、スコアが大きくなる。

適切性判定部１０１は、また、ペアを構成する特徴点間の距離が特定の閾値（第３閾値）以下である特徴点ペアの個数を、スコアとして算出してもよい。この場合、係るスコアが大きいほど、第１画像に撮影された対象物と、第２画像に撮影された対象物との間の対応関係が適切に特定されていることを表す。

上記したように、例えば、第１画像に関する撮影環境と、第２画像に関する撮影環境とが類似していない場合、これらの画像から適切な特徴点ペアを特定できない可能性がある。この場合、特徴点間の距離が特定の閾値以下である特徴点ペアの個数は、比較的少なくなると考えられる。このため、特徴点間の距離が特定の閾値以下である特徴点ペアの個数を表すスコアが大きいほど、第１画像に関する撮影環境と、第２画像に関する撮影環境とが、比較的類似していると考えられる。

適切性判定処理Ｓ８０３は、あるステレオ画像に含まれる画像に対して、スコア算出処理Ｓ８０２により算出されたスコアに応じて、そのステレオ画像が距離の計測に適しているか否かを判定する処理である。適切性判定部１０１は、例えば、特定の閾値（第４閾値）と、スコア算出処理Ｓ８０２において算出されたスコアとを比較した結果に応じて、あるステレオ画像が距離の計測に適しているか否かを判定してもよい。第４閾値は、予め画像処理装置１００に設定されてもよく、画像処理装置１００のユーザにより適宜設定されてもよい。

例えば、スコア算出処理Ｓ８０２において、各画像に含まれるＳＩＦＴ特徴量間の距離に反比例する関数を用いて特徴点の一致度を表すスコアが算出された場合を想定する。この場合、適切性判定部１０１は、例えば、あるステレオ画像について算出されたスコアが第４閾値以上であれば、当該ステレオ画像は距離の計測に適していると判定してよい。一方、適切性判定部１０１は、あるステレオ画像について算出されたスコアが、第４閾値未満であれば、当該ステレオ画像は距離の計測に適していないと判定してよい。

また、例えば、スコア算出処理Ｓ８０２において、特定の条件を満たす特徴点ペアの個数に応じてスコア算出された場合を想定する。この場合、適切性判定部１０１は、あるステレオ画像について算出されたスコアが第４閾値以上（即ち、特徴点間の距離が第３閾値以下である特徴点ペアの個数が第４閾値以上）であれば、当該ステレオ画像は距離の計測に適していると判定してよい。一方、適切性判定部１０１は、あるステレオ画像について算出されたスコアが第４閾値未満であれば、当該ステレオ画像が距離の計測に適していないと判定してよい。

適切性判定部１０１は、判定結果を出力部１０２に提供する。

出力部１０２は、適切性判定部１０１から提供された判定結果に応じて、あるステレオ画像を用いて距離の計測を実行するか否かを制御する。出力部１０２の処理は、上記第２の判定処理の場合と同様としてよい。

なお、適切性判定部１０１は、上記に限定されず、ＳＩＦＴとは異なる方法（、例えは、Ｈａｒｒｉｓコーナー検出アルゴリズム等）を用いて特徴点を検出してもよい。

〔アラート処理〕
以下、出力部１０２によるアラート処理の具体例について説明する。なお、以下に記載する具体例は、説明のための一例であり、本実施形態はこれに限定されるものではない。

図９Ａ、図９Ｂは、距離の計測に用いられるステレオ画像を撮影するユーザに対して、表示装置４００を用いて提示されるユーザインタフェース９００の一例である。

図９Ａ（（ａ）部分）に例示するユーザインタフェース９００は、距離計測用に撮影される画像を表示する画像表示領域９０１と、距離計測用の撮影を実行するための操作ボタン９０２と、を含む。画像表示領域９０１には、ステレオ画像を構成する２つの画像のうち、一方の画像が表示されてもよく、２つの画像が合成された画像が表示されてもよい。また、図９Ｂに例示するように、画像表示領域９０１には、ステレオ画像を構成する２つの画像がそれぞれ表示されてもよい。画像表示領域９０１には、距離が計測される対象物を特定するターゲット表示９０１ａが、画像に重畳して表示されてもよい。

ユーザインタフェース９００を用いて、距離の計測に用いられる画像を撮影する処理は、概略以下のように実行されてよい。

例えば、ユーザは、距離の計測に用いられる対象物が画像表示領域９０１に表示されるように、適宜カメラ２０１を操作してもよい。カメラ２０１を操作する方法は適宜選択可能である。ユーザは、例えば、カメラ２０１に対して、パン、チルト等の操作を実行してもよい。カメラ２０１が各種可動体（各種車両、及び、ブーム、アーム等の腕状体など）に設置されている場合には、ユーザは、係る可動体を操作してもよい。

画像表示領域９０１に表示されている画像（ステレオ画像）が、カメラ２０１により撮影され、画像提供装置２００から画像処理装置１００に供給される。

適切性判定部１０１が、例えば上記説明した各種方法を用いて、画像提供装置２００から提供されたステレオ画像が、距離の計測に適しているか否かを判定する。

係るステレオ画像が距離の計測に適していると判定された場合、出力部１０２は、例えば、係るステレオ画像が適切な画像であることを表すユーザインタフェースを表示するよう、表示装置４００を制御してもよい。この場合、出力部１０２は、係るユーザインタフェースの生成に用いられるデータを生成し、表示装置４００に提供してもよい。

あるステレオ画像が距離の計測に適していると判定された場合、出力部１０２は、例えば、図９Ａの（ｃ）部分に示すようなユーザインタフェース９００を表示するよう、表示装置４００を制御してもよい。この場合、例えば、ターゲット表示９０１ａの表示態様が変化し、操作ボタン９０２が有効化される。これにより、ユーザは、例えば、操作ボタン９０２を押下することで、係るステレオ画像を、距離の計測用のステレオ画像として確定することができる。

あるステレオ画像が距離の計測に適していないと判定された場合、出力部１０２は、例えば、図９Ａの（ｂ）部分に示すようなユーザインタフェース９００を表示するよう、表示装置４００を制御してもよい。この場合、例えば、警告メッセージ９０４（ダイアログボックス等）が表示され、操作ボタン９０２が無効化される。警告メッセージ９０４には、適切性判定部１０１において算出されたスコアが表示されてもよい。この場合、ユーザが操作ボタン９０２を押下しても、距離の計測に用いられるステレオ画像は確定されない。

上記具体例のバリエーションとして、距離の計測に用いられるステレオ画像を撮影（確定）する操作が、物理的なスイッチ（例えば、ユーザが操作可能なトリガスイッチや、シャッターボタン等）を用いて実行されることを想定する。出力部１０２は、あるステレオ画像が距離の計測に適していないと判定された場合には、例えば、係るスイッチの操作を無効化してもよい。

上記のような処理により、本実施形態における画像処理装置１００は、距離の計測に用いられるステレオ画像として、不適切な画像が撮影されることを抑制可能である。また、上記説明した通り、画像処理装置１００における適切性判定部１０１は、比較的処理時間が長く、処理負荷が高い処理である距離の計測処理を実行することなく、あるステレオ画像が距離の計測に適しているか否かを判定可能である。よって、本実施形態における画像処理装置１００は、あるステレオ画像に関する判定結果を速やかにユーザに提供可能である。係る判定結果をユーザに提示することで、本実施形態における画像処理装置１００は、例えば、不適切なステレオ画像を用いて距離の計測処理が実行されることを抑制可能であり、適切なステレオ画像を取得しなおすよう、ユーザを促すことも可能である。

以上より、本実施形態における画像処理装置１００によれば、あるステレオ画像が距離の計測に適しているか否かを適切に判定することが可能である。

＜第２実施形態＞
以下、本開示に係る技術を実現可能な第２の実施形態（第２実施形態）について説明する。

図１０は、本実施形態における画像処理装置１０００の機能的な構成を例示するブロック図である。本実施形態における画像処理装置１０００は、第１実施形態における画像処理装置１００と同様の処理を実行可能であってよい。画像処理装置１０００は、更に、距離の計算に適さないと判定されたステレオ画像を補正することが可能である。以下においては、主に第１実施形態との相違点について記載する。なお、上記第１実施形態と同じ構成については、同じ参照符号を付すことで詳細な説明を省略する。

画像処理装置１００は、第１実施形態と同様、画像提供装置２００と通信可能に接続される。画像提供装置２００は、第１実施形態と同様としてよい。なお、説明の都合上図１０においては省略されているが、画像処理装置１０００は、第１実施形態と同様、距離計測装置３００、表示装置４００と通信可能に接続されてもよい。

画像処理装置１０００は、適切性判定部１００１と、出力部１００２と、補正部１００３とを含む。画像処理装置１０００を構成するこれらの構成要素の間は、適切な通信方法を用いて通信可能に接続されていてよい。

適切性判定部１００１は、第１実施形態における適切性判定部１０１と同様の処理を実行可能である。即ち、適切性判定部１００１は、画像提供装置２００から提供されたステレオ画像が、距離の計測に適しているか否かを判定する。これに加えて、適切性判定部１００１は、後述する補正部１００３により補正されたステレオ画像が、距離の計測に適しているか否かを判定するよう構成される。

出力部１００２は、上記第１実施形態と同様に構成されてよい。即ち、出力部１００２は、適切性判定部１００１による適切性の判定結果に応じて、あるステレオ画像を用いた距離の計測を実行するか否かを制御する。

補正部１００３（補正手段）は、適切性判定部１００１において距離の計測に不適切であると判定されたステレオ画像を補正し、補正後の画像を適切性判定部１００１に提供する。

具体的には、補正部１００３は、距離の計測に不適切であると判定されたステレオ画像に対して、明るさ補正処理（第１補正処理）を実行するよう構成される。補正部１００３が実行する明るさ補正処理には、輝度補正と、コントラスト補正との少なくとも一方が含まれてよい。本実施形態において、輝度補正及びコントラスト補正の具体的な方法は特に限定されず、適宜選択可能である。なお、明るさ補正処理には、上記した処理以外に、画像処理の分野で一般的に適用可能な処理が含まれてもよい。

本実施形態においては、輝度補正の一例として、ガンマ補正（ガンマ変換）が用いられてもよい。これにより、画像全体の明るさを調整することができる。

輝度補正としてガンマ補正が用いられる場合、例えば、図１１の（ａ）部分に例示するような階調変換関数（トーンカーブ）を用いることにより、入力画像（画像Ｙ１）の輝度を変換することで、輝度補正後の出力画像（画像Ｙ２）が得られる。トーンカーブは、例えば、下式（２）により表される。

式（２）において、Ｙ１（ｘ、ｙ）は、画像Ｙ１の座標（ｘ、ｙ）における画素値（例えば輝度値）を表す。Ｙ２（ｘ、ｙ）は、画像Ｙ１から変換された画像Ｙ２の座標（ｘ、ｙ）における画素値（例えば輝度値）を表す。式（２）により表されるトーンカーブは、パラメータγ（ガンマ）に応じて、形状が変化する。なお、式（２）における定数”２５５”は、画像を構成する各画素値の最大値（量子化レベル数）を表す数値であり、適宜選択されてよい。

補正部１００３は、例えば、入力画像全体の輝度の平均値を、特定の目標値に変換可能なγの値を求め、式（２）により入力画像を変換することで、入力画像の全的な輝度を調整してもよい。

コントラスト補正は、画像のコントラスト（濃淡）を調整する処理である。コントラスト補正の一例として、例えば、図１１の（ｂ）部分に例示するようなトーンカーブを用いて、入力画像の画素値を出力画像の画素値に変換する方法が用いられてもよい。

図１１の（ｂ）部分に例示するトーンカーブにおいては、Ａ（０，０）、Ｂ（１６＋ｃｏ＿ｓｈ，１６）、Ｃ（２３９−ｃｏ＿ｈｉ，２３９）、Ｄ（２５５，２５５）の４点が制御点として設定される。なお、”ｃｏ＿ｓｈ”、”ｃｏ＿ｈｉ”は、それぞれコントラスト調整用のパラメータである。”ｃｏ＿ｓｈ”の値域は、例えば、”０≦ｃｏ＿ｓｈ≦６３”に設定されてもよく、”ｃｏ＿ｈｉ”の値域は、例えば、”０≦ｃｏ＿ｈｉ≦６３”、に設定されてもよい。

上記説明した輝度補正及びコントラスト補正は、比較的処理負荷が低い計算処理により実装可能である。これより、補正部１００３は、比較的短い処理時間、低い処理負荷で、明るさ補正を実行することができる。

以下、図１２に例示するフローチャートを参照して、本実施形態における画像処理装置１０００の動作について説明する。なお、図１２において、第１実施形態における処理（図２）と同様の処理には、第１実施形態と同様の参照符号が付されている。

ステップＳ２０１乃至ステップＳ２０３は、上記第１実施形態と同様としてよい。即ち、適切性判定部１００１は、画像提供装置２００からステレオ画像を受けつけ（ステップＳ２０１）、そのステレオ画像の適切性を判定する（ステップＳ２０２）。

以下、ステップＳ２０２の結果、あるステレオ画像が距離の計測に適していないと判定された場合（ステップＳ２０３においてＮＯ）について説明する。

この場合、補正部１００３は、そのステレオ画像に対する明るさ補正処理を実行する（ステップＳ１２０１）。補正部１００３は、明るさ補正として、例えば、輝度補正と、コントラスト補正との少なくとも一方を実行してよい。以下、補正部１００３における具体的な処理について説明する。

補正部１００３は、例えば、ステレオ画像に含まれる２つの画像からヒストグラムを算出してもよい。補正部１００３は、算出したそれぞれのヒストグラムと、良好な撮影環境（良好環境）におけるヒストグラムとの類似度を、例えば、Ｈｉｓｔｏｇｒａｍ Ｉｎｔｅｒｓｅｃｔｉｏｎのスコア値として求めることができる。補正部１００３は、例えば、２枚の画像のうち、スコア値が低い方の画像（即ち、良好環境のヒストグラムとの類似度が低い方）に対して、輝度補正を適用する。これにより、補正部１００３は、２枚の画像の明るさを合わせることができる。

補正部１００３は、また、例えば、ステレオ画像に含まれる２つの画像から、エッジ成分を抽出してもよい。エッジ成分の抽出方法は、特に限定されず適宜選択可能である。エッジ成分の抽出方法として、各種のエッジ検出フィルタ（例えば、微分フィルタ、ラプラシアンフィルタ等）を用いる方法が採用されてもよい。補正部１００３は、２つの画像から抽出したエッジ成分の輝度ヒストグラムをそれぞれ算出する。補正部１００３は、算出された２つのヒストグラムの形状が近くなるように、コントラスト補正を適用することで、２つの画像のコントラストを合わせることができる。

補正部１００３は、上記のような処理により明るさを補正した画像を含むステレオ画像を、適切性判定部１００１に提供する。

適切性判定部１００１は、補正部１００３から受けつけた補正後のステレオ画像について、適切性を判定する（ステップＳ１２０２）。ステップＳ１２０２における処理は、ステップＳ２０２と同様としてよい。

ステップＳ１２０２の結果、補正後のステレオ画像が距離の計測に適していると判定された場合（ステップＳ１２０３においてＹＥＳ）、出力部１００２は、ステップＳ２０４から処理を続行する。ステップＳ２０４における処理は、上記第１実施形態と同様としてよい。

ステップＳ１２０２の結果、補正後のステレオ画像が距離の計測に適していないと判定された場合（ステップＳ１２０３においてＮＯ）、出力部１００２は、ステップＳ２０５から処理を続行する。ステップＳ２０５における処理は、上記第１実施形態と同様としてよい。

上記のように構成された本実施形態における画像処理装置１０００は、上記第１実施形態と同様、あるステレオ画像が、距離の計測に適しているか否かを適切に判定可能である。本実施形態における画像処理装置１０００は、更に、距離の計測に不適切であると判定されたステレオ画像を補正することで、補正後の画像が距離の計測に適しているか否かを判定することが可能である。即ち、本実施形態における画像処理装置１０００は、あるステレオ画像が距離の計測に適しているか否かを、より精度よく判定可能である。

また、仮に、補正後のステレオ画像が距離の計測に適した画像であると、画像処理装置１０００が判定できた場合、そのステレオ画像を用いて速やかに距離を計測することが可能となる。即ち、この場合、新たなステレオ画像を取得することなく、既に取得済みのステレオ画像を用いて、距離を計測することが可能となる。これにより、画像処理装置１０００によれば、例えば、新たなステレオ画像の取得等に要する処理時間、処理能力等を削減可能である。

また、これにより、例えば、新たにステレオ画像を取得できない状況（ステレオ画像を取得するタイミングと、距離を計測するタイミングとが異なる場合等）であっても、距離の計測に適さないと判定されたステレオ画像を補正することで、距離の計測が可能となる場合がある。

〔第２実施形態の変形例〕
以下、第２実施形態の変形例について説明する。本変形例における画像処理装置１０００の構成は図１０に例示する構成と同様としてよい。本変形例においては、適切性判定部１００１及び補正部１００３の処理が、第２実施形態と一部相違する。

以下、図１３に例示するフローチャートを用いて、本変形例における画像処理装置１０００の動作について説明する。

図１３において、ステップＳ２０１乃至ステップＳ２０３は、上記第２実施形態と同様としてよい。

本変形例においては、ステップＳ２０３においてＹＥＳの場合（即ち、あるステレオ画像について、距離の計測に適切であると判定された場合）、補正部１００３が明るさ補正処理を実行する（ステップＳ１２０１）。ステップＳ１２０１における処理は、上記第２実施形態と同様としてよい。

図１３におけるステップＳ１２０２−Ｓ１２０３の処理は、上記第２実施形態と同様としてよい。

補正部１００３は、ステップS１２０３においてＮＯの場合、補正部１００３は、明るさ補正処理が実行されていない画像（即ち、ステップＳ２０３においてＹＥＳと判定された画像）を、出力部１００２に提供する。補正部１００３は、ステップＳ１２０１における明るさ補正処理が実行された画像を元に戻し、出力部１００２に提供してもよい。

出力部１００２は、明るさ補正前の画像を用いて、距離の計測処理が実行されるよう制御する（ステップＳ１２０４）。なお、ステップＳ２０４、Ｓ２０５の処理は上記第２実施形態と同様としてよい。

本変形例において、画像処理装置１０００は、１段目の適切性判定（ステップＳ２０２）において適切であると判定されたステレオ画像について、意図的に明るさ補正を実行する。そして、２段目の適切性判定（ステップＳ１２０２）において、再度、明るさ補正後のステレオ画像が距離の計測に適切であるか否かを判定する。これにより、本変形例における画像処理装置１０００は、更に精度よく距離の計測処理を実行可能な画像を提供できる。

また、更なる変形例として、画像処理装置１０００は、以下のように構成されてもよい。即ち、ステップＳ１２０３においてＮＯと判定された場合、補正部１００３が、ステップＳ１２０４における処理に替えて、アラート処理（ステップＳ２０５）を実行するよう構成されてもよい。即ち、補正部１００３は、あるステレオ画像について、１段目の適切性判定（ステップＳ２０２）と、２段目の適切性判定（ステップＳ１２０２）とにおいて、異なる判定結果が得られた場合、そのステレオ画像が距離の計測に不適切であると判定する。例えば、撮影された対象物及び撮影環境等の影響から、本来距離の計測に不適切なステレオ画像が、１段目の適切性判定において適切であると判定される可能性がある。上記のように構成された画像処理装置１０００は、このような場合であっても、２段目の適切性判定を実行することで、そのステレオ画像の適切性を、再度判定することが可能である。

＜第３実施形態＞
以下、本開示に係る技術を実現可能な第３の実施形態（第３実施形態）について説明する。

図１４は、本実施形態における画像処理装置１４００の機能的な構成を例示するブロック図である。本実施形態における画像処理装置１４００は、上記各実施形態における画像処理装置（１００、１０００）と同様の処理を実行可能であってよい。更に、画像処理装置１４００は、ステレオ画像が撮影されたシーン（場面）に応じて、そのステレオ画像を補正することが可能である。以下においては、主に上記各実施形態との相違点について記載する。なお、上記各実施形態と同じ構成については、同じ参照符号を付すことで詳細な説明を省略する。

画像処理装置１４００は、上記各実施形態と同様、画像提供装置２００と通信可能に接続される。画像提供装置２００は、第１実施形態と同様としてよい。なお、説明の都合上図１４においては省略されているが、画像処理装置１４００は、上記各実施形態と同様、距離計測装置３００、表示装置４００と通信可能に接続されてもよい。

画像処理装置１４００は、適切性判定部１４０１と、出力部１４０２と、シーン解析部１４０３とを含む。画像処理装置１４００を構成するこれらの構成要素の間は、適切な通信方法を用いて通信可能に接続されていてよい。

適切性判定部１４０１は、後述するシーン解析部１４０３により補正されたステレオ画像を受けつけ、そのステレオ画像が距離の計測に適しているか否かを判定するよう構成される。なお、受けつけた画像の適切性を判断する処理は、上記各実施形態と同様としてよい。即ち、本実施形態における適切性判定部１４０１は、上記各実施形態における適切性判定部（１０１、１００１）とは、受けつけるステレオ画像が異なるものの、受けつけた画像については同様の処理を実行可能である。

出力部１４０２は、上記第１実施形態と同様に構成されてよい。即ち、出力部１４０２は、適切性判定部１４０１による適切性の判定結果に応じて、あるステレオ画像を用いた距離の計測を実行するか否かを制御する。

シーン解析部１４０３（シーン解析手段）は、ステレオ画像が撮影されたシーンを判定するシーン判定部１４０３ａと、シーンに応じてステレオ画像を補正するシーン別画像補正部１４０３ｂとを含む。また、シーン解析部１４０３は、シーン判定モデル１４０３ｃ及びパラメータリスト１４０３ｄを含んでもよい。

シーン判定部１４０３ａは、画像提供装置２００から提供されたステレオ画像が撮影されたシーンを、後述するシーン判定モデル１４０３ｃを用いて判定する。ステレオ画像が撮影されたシーンとしては、例えば、「良好」、「逆光」、「夜間」、「霧」、などが、予め定められていてよい。なお、テレオ画像が撮影されたシーンは、これらに限定されず、他のシーンが含まれてもよい。シーン判定部１４０３ａにおける具体的な処理については、後述する。

シーン判定モデル１４０３ｃは、例えば、あるステレオ画像が撮影されたシーンを、予め定められたシーンの中から判定（特定）可能なモデルである。シーン判定モデルは、例えば、ＳＶＭ、ＧＬＶＱなど、パターン認識技術において用いられるモデルであってもよい。

シーン別画像補正部１４０３ｂは、シーン判定部１４０３ａにより判定されたシーンに応じて、そのシーンに適した補正パラメータを用いてステレオ画像を補正する。シーン別画像補正部１４０３ｂにおける具体的な処理については、後述する。画像を補正する処理の具体的な内容は特に限定されず、例えば、画像の鮮明化に用いられる補正処理（第２補正処理）が、適宜選択されてよい。係る補正処理として、例えば、ホワイトバランス補正処理、輝度補正処理、コントラスト補正処理、ヘイズ補正処理、ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）補正処理、ノイズ除去処理、デフォグ処理、エッジ先鋭化処理等が用いられてもよいが、これらには限定されない。

パラメータリスト１４０３ｄは、画像の補正に用いられるシーンごとの補正パラメータを含むリストである。補正パラメータは、シーン別画像補正部１４０３ｂにおいて実行され得る画像の補正方法に応じて、適宜選択される。補正パラメータには、例えば、明度、彩度、コントラスト、シャープネス、等を調整するパラメータが含まれてもよい。

補正パラメータを用いて画像を補正する具体的な方法として、例えば、下記参考文献６に記載された方法を採用してもよいが、これには限定されない。

（参考文献６）：Ｍａｓａｔｏ Ｔｓｕｋａｄａ，Ｃｈｉｓａｔｏ Ｆｕｎａｙａｍａ，Ｍａｓａｔｏ Ｔｏｄａ，Ｒｙｏｔａ Ｏａｍｉ，Ｍａｓａｔｏｓｈｉ Ａｒａｉ， ａｎｄ Ａｋｉｒａ Ｉｎｏｕｅ， “Ｉｍａｇｅ Ｑｕａｌｉｔｙ Ｅｎｈａｎｃｅｍｅｎｔ Ｍｅｔｈｏｄ ｂａｓｅｄ ｏｎ Ｓｃｅｎｅ Ｃａｔｅｇｏｒｙ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ Ｉｔｓ Ｅｖａｌｕａｔｉｏｎ”， Ｄｉｇｅｓｔ ｏｆ Ｔｅｃｈｎｉｃａｌ Ｐａｐｅｒｓ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ （ＩＣＣＥ２００９）， ＩＥＥＥ， ２００９年， ｐ．１−２
以下、図１５に例示する説明図を用いて、シーン判定処理、及び、シーンに応じたステレオ画像の補正処理について説明する。

図１５に示すように、学習フェーズにおいては、シーン判定モデルが作成される。なお、学習フェーズにおける処理は、画像処理装置１４００とは別の装置を用いて別途実行されてよい。即ち、シーン判定部１４０３ａには学習済みのシーン判定モデルが提供されればよく、かならずしもシーン判定部１４０３ａが、学習フェーズにおける処理を実行する必要はない。

学習フェーズにおいて、まず、学習データを用いたシーン判定モデルの学習処理が実行される。学習データは、例えば、シーンごとに撮影したステレオ画像であり、予め用意されてもよい。各学習データ（ステレオ画像）には、その画像が撮影されたシーンを特定可能なデータが、ラベル（教師ラベル）として付与されていてよい。

シーン判別モデルの作成者は、ラベル付き学習データから、特徴量（特徴ベクトル）を抽出する。特徴量の種類は特に限定されず、適宜選択可能である。特徴量として、例えば、ＳＶ（Ｓａｔｕｒａｔｉｏｎ Ｖａｌｕｅ）色空間のヒストグラムが用いられてもよい。

シーン判別モデルの作成者は、抽出された特徴量を用いた学習処理を実行することにより、シーン判別モデルを生成する。

例えば、シーン判別モデルとして、ＳＶＭによる識別器が用いられる場合には、教師付き学習データを用いて、ＳＶＭの識別平面が学習されてもよい。この場合、複数のカテゴリ（シーン）を識別可能なＳＶＭモデルが学習されてもよい。また、単独のシーンを判定可能な複数のＳＶＭモデルが学習されてもよい。

また、例えば、シーン判別モデルとしてＧＬＶＱを用いた識別器が用いられる場合には、教師付き学習データを用いて、ＧＬＶＱの参照ベクトルが学習されてもよい。

学習フェーズで作成されたシーン判定モデルは、画像処理装置１４００に提供され、シーン判定モデル１４０３ｃとして保持される。

また、パラメータリスト１４０３ｄには、ステレオ画像の補正に用いられる、シーンごとの補正パラメータが、予め与えられてよい。補正パラメータは、例えば、予備的な実験、テスト、及び、専門家による知見等に基づいて、シーンごとに予め設計されてもよい。一例として、「良好」、「逆光」、「暗所」、「霧」がシーンに含まれる場合、「逆光」、「暗所」、「霧」と判定された画像を、「良好」の画像に近づけるような補正パラメータが、予め設計されてもよい。補正パラメータの設計方法は、適宜選択可能であり、特に限定されない。また、補正パラメータは、例えば、画像処理装置１４００とは異なる装置を用いて別途設計されてよい。この場合、設計された補正パラメータが画像処理装置１４００に提供され、シーン解析部１４０３が、その補正パラメータを、パラメータリスト１４０３ｄとして保持してもよい。

以下、図１５に示す評価フェーズ（運用フェーズ）について説明する。運用フェーズにおける処理は、画像処理装置１４００におけるシーン解析部１４０３により実行される。

評価フェーズにおいては、まず、画像提供装置２００から、入力画像としてステレオ画像が提供される。

シーン判定部１４０３ａは、ステレオ画像に含まれる各画像から、特徴量を抽出する（図１５におけるＳ１５０１）。係る特徴量は、学習フェーズにおいてシーン判定モデルの学習に用いられた特徴量と同じ種類の特徴量である。

シーン判定部１４０３ａは、各画像から抽出した特徴量と、学習フェーズにおいて作成されたシーン判定モデル１４０３ｃとを用いて、各画像のシーンを判定する（図１５におけるＳ１５０２）。

一例として、シーン判定部１４０３ａは、ある画像について、シーン判定モデル１４０３ｃを用いて算出されるスコアが最も高いシーンを、その画像が含まれるシーンとして特定してもよい。

一つの具体例として、シーン判定モデル１４０３ｃがＳＶＭによるモデルである場合、シーン判定部１４０３ａは、画像から抽出された特徴量（特徴ベクトル）と識別平面との間の距離が大きいシーンを、その画像が含まれるシーンとして特定してもよい。他の一つの具体例として、シーン判定モデル１４０３ｃがＧＬＶＱによるモデルである場合、シーン判定部１４０３ａは、ある画像から抽出された特徴量（特徴ベクトル）との間の距離が最も近い参照ベクトルが表すシーンを、その画像が含まれるシーンとして特定してもよい。

他の例として、シーン判定部１４０３ａは、各画像について、各シーンに対する帰属度を算出してもよい。帰属度は、例えば、ある画像が、ある特定のシーンに含まれる（帰属する）ことの尤もらしさを表す値である。具体例として、シーンに「良好」、「逆光」、「暗所」、「霧」が含まれる場合を想定する。この場合、シーン判定部１４０３ａは、シーン判定モデル１４０３ｃを用いて、「良好」、「逆光」、「暗所」、「霧」の各シーンについて、ある画像の帰属度を算出する。

一つの具体例として、シーン判定モデル１４０３ｃがＳＶＭによるモデルである場合、シーン判定部１４０３ａは、ある画像から抽出された特徴量（特徴ベクトル）と、各シーンの識別平面との間の距離に応じて、各シーンに対する帰属度を算出してもよい。他の一つの具体例として、シーン判定モデル１４０３ｃがＧＬＶＱによるモデルである場合、シーン判定部１４０３ａは、ある画像から抽出された特徴量（特徴ベクトル）と、各シーンを表す参照ベクトルとの間の距離に応じて、各シーンに対する帰属度を算出してもよい。なお、各シーンへの帰属度の総和が特定値（例えば、”１００”や、”１．０”）となるように、帰属度の値が正規化されてもよい。

シーン判定部１４０３ａは、各画像及び各画像について判定したシーンを、シーン別画像補正部１４０３ｂに提供する。シーン判定部１４０３ａは、各画像について算出したシーンの帰属度を、シーン別画像補正部１４０３ｂに提供してもよい。

シーン別画像補正部１４０３ｂは、各画像について判定されたシーンに応じて、各画像の補正に用いられる補正パラメータを生成する（図１５におけるＳ１５０３）。

一例として、各画像が含まれるシーンが特定されている場合、シーン別画像補正部１４０３ｂは、パラメータリストから、その特定されたシーンに応じた補正パラメータを選択する。例えば、ステレオ画像のうち、一方の画像が「逆光」シーンと判定され、他方の画像が「良好」シーンであると判定された場合を想定する。この場合、シーン別画像補正部１４０３ｂは、パラメータリスト１４０３ｄから、逆光シーンと判定された画像の補正に用いられる補正パラメータ（逆光補正のパラメータ）を選択する。

他の一例として、ある画像について、各シーンに対する帰属度が算出されている場合、シーン別画像補正部１４０３ｂは、各シーンに対する帰属度から、その画像の補正に用いられる補正パラメータを合成してもよい。例えば、あるステレオ画像に含まれる画像について、「逆光」シーンへの帰属度が”０．７”、「良好」シーンへの帰属度が”０．３”である場合を想定する。この場合、シーン別画像補正部１４０３ｂは、例えば、「逆光」シーンの補正パラメータと、「良好」シーンの補正パラメータとをパラメータリスト１４０３ｄから取得する。そして、シーン別画像補正部１４０３ｂは、「逆光」シーンの補正パラメータと、「良好」シーンの補正パラメータとを、７対３の割合で調整（合成）することで、その画像の補正に用いられる補正パラメータ（合成パラメータ）を生成する。

シーン別画像補正部１４０３ｂは、生成された補正パラメータを用いて、ステレオ画像に含まれる画像を補正する（図１５におけるＳ１５０４）。例えば、ステレオ画像のうち、一方の画像が「逆光」シーンと判定され、他方の画像が「良好」シーンであると判定された場合を想定する。この場合、シーン別画像補正部１４０３ｂは、逆光シーンと判定された画像に対して、逆光補正のパラメータを適用する。これにより、シーン別画像補正部１４０３ｂは、「逆光」シーンと判定された画像と、「良好」シーンであると判定された画像との差異を削減可能である。また、シーン別画像補正部１４０３ｂは、例えば、ステレオ画像に含まれる画像を、各シーンへの帰属度に基づいて生成されたパラメータを用いて補正することで、２つの画像間の差異を削減可能である。

本実施形態においては、画像処理装置１４００（特にはシーン解析部１４０３）を上記のような構成とすることで、ステレオ画像に含まれる画像のシーンが自動的に判定される。また、必要に応じて、画像の補正に用いられる補正パラメータがシーン毎に生成される。これにより、例えば、画像処理装置１４００のユーザは、画像補正の方法及び補正パラメータを選択する必要がない。また、例えば、各シーンに対する画像の帰属度に応じて、その画像の補正パラメータが合成（生成）される場合、シーンに適応した補正パラメータの自動調整が可能となる。

以下、画像処理装置１４００の動作について、図１６に例示するフローチャートを参照して説明する。なお、図１６において、上記各実施形態における処理（図２、図１２、図１３）と同様の処理には、第１実施形態と同様の参照符号が付されている。

画像処理装置１４００は、画像提供装置２００から提供されたステレオ画像を受けつける（ステップＳ２０１）。本実施形態においては、例えば、適切性判定部１４０１がステレオ画像を受けつけ、シーン解析部１４０３に提供してもよく、シーン解析部１４０３が直接ステレオ画像を受けつけてもよい。

シーン解析部１４０３（シーン判定部１４０３ａ）は、受けつけたステレオ画像に含まれる各画像のシーンを判定する（ステップＳ１６０１）。シーン判定部１４０３ａは、例えば、上記説明した処理により、各画像のシーンを判定してもよい。

シーン解析部１４０３（シーン別画像補正部１４０３ｂ）は、ステップＳ１６０１において判定したシーンに応じた補正パラメータを生成する（ステップＳ１６０２）。シーン別画像補正部１４０３ｂは、例えば、上記説明した処理により、補正パラメータを生成してもよい。

シーン解析部１４０３（シーン別画像補正部１４０３ｂ）は、ステップＳ１６０２において生成した補正パラメータを用いて、ステレオ画像に含まれる画像を補正する（ステップＳ１６０３）。シーン別画像補正部１４０３ｂは、例えば、上記説明した処理により、補正パラメータを用いて画像を補正してもよい。なお、シーン別画像補正部１４０３ｂは、ステレオ画像に含まれる２枚の画像のうちのいずれかの画像を補正してもよく、両方の画像を補正してもよい。シーン解析部１４０３は、補正後の画像を含むステレオ画像を、適切性判定部１４０１に提供してよい。

図１６におけるステップＳ２０２乃至Ｓ２０５の処理は、上記各実施形態と同様としてよい。即ち、適切性判定部１４０１は、補正後のステレオ画像が距離の計測に適しているか否かを判定する（ステップＳ２０２）。出力部１４０２は、その判定結果に応じて（ステップＳ２０３）、距離の計測処理の実行を制御するか（ステップＳ２０４）、アラート処理の実行を制御する（ステップＳ２０５）。

上記のように構成された画像処理装置１４００は、ステレオ画像が撮影されたシーンに応じて、画像を適切に補正することができる。これにより、画像処理装置１４００は、補正後のステレオ画像が距離の計測に適しているか否かを判定することができる。即ち画像処理装置１４００は、ステレオ画像が撮影されたシーンによる影響を低減することが可能であり、あるステレオ画像が距離の計測に適しているか否かを、より精度よく判定することができる。

〔第３実施形態の変形例１〕
以下、第３実施形態に関する第１の変形例について説明する。本変形例における画像処理装置１４００の構成は図１４に例示する構成と同様としてよい。本変形例においては、適切性判定部１４０１及びシーン解析部１４０３の処理が、第３実施形態と一部相違する。本変形例において、画像処理装置１４００は、第２実施形態における明るさ補正処理の代わりに、第３実施形態におけるシーン判定及びシーンごとの画像補正処理を実行する。

以下、図１７に例示するフローチャートを用いて、本変形例における画像処理装置１４００の動作について説明する。

図１７に例示するフローチャートにおいて、ステップＳ２０１乃至ステップＳ２０３は、上記第２実施形態と同様としてよい。

ステップＳ２０３においてＮＯ（即ち、あるステレオ画像について、距理の計測に適切ではないと判定された場合）、画像処理装置１４００は、そのステレオ画像のシーンを判定し、シーンに応じた補正処理を実行する（図１７におけるステップＳ１６０１乃至ステップＳ１６０３）。

図１７におけるステップＳ１２０３以降の処理は、第２実施形態と同様としてよい。

上記のように構成された本変形例によれば、画像処理装置１４００は、全てのステレオ画像についてシーン判定を実行するのではなく、距離の計測に不適切であると判定されたステレオ画像について、シーン判定を実行する。これにより、本変形例における画像処理装置１４００は、シーン判定を実行するステレオ画像を削減することができ、シーン判定及び画像補正に要する処理時間、処理能力等を低減可能である。

〔第３実施形態の変形例２〕
以下、第３実施形態に関する第２の変形例について説明する。本変形例における画像処理装置１４００の構成は図１４に例示する構成と同様としてよい。本変形例においては、適切性判定部１４０１及びシーン解析部１４０３の処理が、第３実施形態と一部相違する。本変形例において、画像処理装置１４００は、第２実施形態の変形例における明るさ補正処理の代わりに、第３実施形態におけるシーン判定及びシーンごとの画像補正処理を実行する。

即ち、本変形例における画像処理装置１４００は、あるステレオ画像について、距離の計測に適切であると判定された場合、そのステレオ画像のシーンを判定し、シーンに応じた補正処理を実行する。そして、本変形例における画像処理装置１４００は、補正後のステレオ画像について、再度距離の計測に適切であるか否かを判定する。

例えば、撮影された対象物及びシーンの影響から、本来距離の計測に不適切なステレオ画像が、距離の計測に適切であると判定される可能性がある。このような場合、本変形例における画像処理装置１４００は、シーンに応じて画像を補正することで、そのステレオ画像の適切性を、再度判定することが可能である。

＜第４実施形態＞
以下、本開示に係る技術を実現可能な第４の実施形態（第４実施形態）について説明する。

図１８は、本実施形態における画像処理装置１８００の機能的な構成を例示するブロック図である。本実施形態における画像処理装置１８００は、上記各実施形態における画像処理装置（１００、１０００、１４００）と同様の処理を実行可能である。本実施形態における画像処理装置１８００は、更に、あるステレオ画像が、距離の計測に適しているか否かを判定した結果に応じて、画像提供装置２００（特には、カメラ２０１）を制御することが可能である。以下においては、主に上記各実施形態との相違点について記載する。なお、上記各実施形態と同じ構成については、同じ参照符号を付すことで詳細な説明を省略する。

画像処理装置１８００は、上記各実施形態と同様、画像提供装置２００と通信可能に接続される。画像提供装置２００は、上記各実施形態と同様としてよい。なお、説明の都合上図１８においては省略されているが、画像処理装置１８００は、上記各実施形態と同様、距離計測装置３００、表示装置４００と通信可能に接続されてもよい。

画像処理装置１８００は、適切性判定部１８０１と、出力部１８０２とを含む。画像処理装置１８００は、上記各実施形態において説明した補正部１００３、シーン解析部１４０３を含んでもよい。画像処理装置１８００を構成するこれらの構成要素の間は、適切な通信方法を用いて通信可能に接続されていてよい。

画像処理装置１８００において、適切性判定部１８０１は、上記各実施形態における適切性判定部１０１、適切性判定部１００１、及び、適切性判定部１４０１の少なくともいずれかと同様の機能を提供するよう構成される。また、補正部１００３、シーン解析部１４０３は、それぞれ上記各実施形態と同様としてよい。

本実施形態において、出力部１８０２は、あるステレオ画像に関する適切性の判定結果に応じて、画像提供装置２００におけるカメラ２０１を制御するよう構成される。

本実施形態において、出力部１８０２は、例えば、カメラ２０１と適切な通信路を介して通信可能に接続されていてよい。出力部１８０２と、カメラ２０１とを接続する通信路は、特に限定されず、適切に選択されてよい。係る通信路として、例えば、各種シリアルバス（例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等）が用いられてもよく、各種無線通信路が用いられてもよい。

適切性判定部１８０１から、あるステレオ画像に関する適切性の判定結果が提供された際、出力部１８０２は、概略以下のような処理を実行する。

即ち、出力部１８０２は、あるステレオ画像について、距離の計測に適していないと判定された場合、撮影パラメータを適切に調整するよう、カメラ２０１を制御する。出力部１８０２は、例えば、上記した通信路を介して、カメラ２０１に対して、撮影パラメータを調整するコマンドを送信する。出力部１８０２は、例えばＰＴＰ（Ｐｉｃｔｕｒｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）を用いて、カメラ２０１におけるシャッタースピード、絞り値、感度等を調整してもよい。

画像処理装置１８００にシーン解析部１４０３が含まれる場合、出力部１８０２は、シーン解析部１４０３において判定されたシーンに応じて、カメラ２０１の撮影パラメータを調整してもよい。１つの具体例として、画像提供装置２００から提供されたステレオ画像の内、一方の画像が「暗所」シーンであると判定された場合、出力部１８０２は、その画像を撮影したカメラ２０１について、より明るい画像が撮影されるように撮影パラメータを調整してもよい。

なお、出力部１８０２は、上記に加え、上記各実施形態における出力部１０２、出力部１００２、及び、出力部１４０２の少なくともいずれかと同様の機能を提供するよう構成されてもよい。

上記のように構成された画像処理装置１８００によれば、画像提供装置２００から提供された画像が、距離の計測に適しているか否かに応じて、カメラ２０１の撮影パラメータを調整することが可能である。これにより、カメラ２０１は、距離の計測により適したステレオ画像を撮影することが可能となる。これより、画像処理装置１８００は、ある画像が距離の計測に適しているか否かを、より精度よく判定することができる。

＜ハードウェア及びソフトウェア・プログラム（コンピュータ・プログラム）の構成＞
以下、上記説明した各実施形態及び変形例を実現可能なハードウェア構成について説明する。以下の説明においては、上記各実施形態において説明した各画像処理装置（１００、１０００、１４００、１８００）を、まとめて「画像処理装置」と記載する。

上記各実施形態において説明した各画像処理装置は、１つ又は複数の専用のハードウェア装置により構成されてもよい。その場合、上記各図（例えば、図１、３、４、６、７、８、１０、１５、１８）に示した各構成要素は、一部又は全部を統合したハードウェア（処理ロジックを実装した集積回路等）として実現してもよい。

例えば、画像処理装置をハードウェアにより実現する場合、画像処理装置の構成要素は、それぞれの機能を提供可能な集積回路（例えば、ＳｏＣ（Ｓｙｓｔｅｍ ｏｎ ａ Ｃｈｉｐ）等）として実装されてもよい。この場合、例えば、画像処理装置の構成要素が有するデータは、ＳｏＣに統合されたＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）領域やフラッシュメモリ領域に記憶されてもよい。

また、この場合、画像処理装置の構成要素を接続する通信回線としては、周知の通信バスを含む通信ネットワークが採用されてもよい。また、各構成要素を接続する通信回線は、それぞれの構成要素間をピアツーピアで接続してもよい。画像処理装置を複数のハードウェア装置により構成する場合、それぞれのハードウェア装置の間は、適切な通信方法（有線、無線、またはそれらの組み合わせ）により通信可能に接続されていてもよい。

例えば、画像処理装置は、適切性判定部（１０１、１００１、１４０１、１８０１）、出力部（１０２、１００２、１４０２、１８０２）、補正部１００３、シーン解析部１４０３の機能を実現可能な処理回路（ｐｒｏｃｅｓｓｉｎｇ ｃｉｒｃｕｉｔｒｙ）、通信回路、及び記憶回路等を用いて実現されてよい。なお、画像処理装置を実現する回路構成の実装においては、様々なバリエーションが想定される。

また、上述した画像処理装置は、図１９に例示するような汎用のハードウェア装置１９００と、ハードウェア装置１９００によって実行される各種ソフトウェア・プログラム（コンピュータ・プログラム）とによって構成されてもよい。この場合、画像処理装置は、１以上の適切な数のハードウェア装置１９００及びソフトウェア・プログラムにより構成されてもよい。

図１９における演算装置１９０１（プロセッサ）は、例えば、汎用のＣＰＵ（中央処理装置：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やマイクロプロセッサである。演算装置１９０１は、例えば、後述する不揮発性記憶装置１９０３に記憶された各種ソフトウェア・プログラムをメモリ１９０２に読み出し、そのソフトウェア・プログラムに従って処理を実行してもよい。この場合、上記各実施形態における画像処理装置の構成要素は、例えば、演算装置１９０１により実行されるソフトウェア・プログラムとして実現可能である。

上記各実施形態における画像処理装置は、例えば、適切性判定部（１０１、１００１、１４０１、１８０１）、出力部（１０２、１００２、１４０２、１８０２）、補正部１００３、シーン解析部１４０３の機能を実現可能な１以上のプログラムにより実現されてよい。なお、係るプログラムの実装においては、様々なバリエーションが想定される。

メモリ１９０２は、演算装置１９０１から参照可能な、ＲＡＭ等のメモリデバイスであり、ソフトウェア・プログラムや各種データ等を記憶する。なお、メモリ１９０２は、揮発性のメモリデバイスであってもよい。

不揮発性記憶装置１９０３は、例えば磁気ディスクドライブや、フラッシュメモリによる半導体記憶装置のような、不揮発性の記憶装置である。不揮発性記憶装置１９０３は、各種ソフトウェア・プログラムやデータ等を記憶可能である。上記画像処理装置において、シーン解析部１４０３は、例えば、不揮発性記憶装置１９０３にシーン判定モデル１４０３ｃ、パラメータリスト１４０３ｄ等を記憶してもよい。

ドライブ装置１９０４は、例えば、後述する記録媒体１９０５に対するデータの読み込みや書き込みを処理する装置である。上記画像処理装置におけるシーン解析部１４０３は、例えば、ドライブ装置１９０４を介して、後述する記録媒体１９０５に記憶されたシーン判定モデル１４０３ｃ、パラメータリスト１４０３ｄを読み込んでもよい。

記録媒体１９０５は、例えば光ディスク、光磁気ディスク、半導体フラッシュメモリ等、データを記録可能な記録媒体である。本開示において、記録媒体の種類及び記録方法（フォーマット）は、特に限定されず、適宜選択されてよい。

ネットワークインタフェース１９０６は、通信ネットワークに接続するインタフェース装置であり、例えば有線及び無線のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）接続用インタフェース装置等を採用してもよい。

入出力インタフェース１９０７は、外部装置との間の入出力を制御する装置である。外部装置は、例えば、ユーザからの入力を受けつけ可能な入力機器（例えば、キーボード、マウス、タッチパネル等）であってもよい。また、外部装置は、例えばユーザに対して各種出力を提示可能出力機器であってもよい（例えば、モニタ画面、タッチパネル等）。画像処理装置は、例えば、入出力インタフェースを介して、画像提供装置２００、表示装置４００等と接続されてもよい。

上述した各実施形態を例に説明した本開示における画像処理装置は、例えば、図１９に例示するハードウェア装置１９００に対して、上記各実施形態において説明した機能を実現可能なソフトウェア・プログラムを供給することにより、実現されてもよい。より具体的には、例えば、ハードウェア装置１９００に対して供給されたソフトウェア・プログラムを、演算装置１９０１が実行することによって、本開示に係る技術が実現されてもよい。この場合、ハードウェア装置１９００で稼働しているオペレーティングシステムや、データベース管理ソフト、ネットワークソフト等のミドルウェアなどが、各処理の一部を実行してもよい。

上述した各実施形態において、上記各図に示した各部は、上述したハードウェアにより実行されるソフトウェア・プログラムの機能（処理）の単位である、ソフトウェアモジュールとして実現されてもよい。例えば、上記各部をソフトウェアモジュールとして実現する場合、これらのソフトウェアモジュールは、不揮発性記憶装置１９０３に記憶されてもよい。そして、演算装置１９０１が、それぞれの処理を実行する際に、これらのソフトウェアモジュールをメモリ１９０２に読み出してもよい。

また、これらのソフトウェアモジュールは、共有メモリやプロセス間通信等の適宜の方法により、相互に各種データを伝達できるように構成されてもよい。このような構成により、これらのソフトウェアモジュールは、相互に通信可能に接続される。

更に、上記各ソフトウェア・プログラムは、記録媒体１９０５に記録されてもよい。この場合、上記各ソフトウェア・プログラムは、上記通信装置等の出荷段階、あるいは運用段階等において、適宜ドライブ装置１９０４を通じて不揮発性記憶装置１９０３に格納されてもよい。

各種ソフトウェア・プログラムは、画像処理装置の出荷前の製造段階、あるいは出荷後のメンテナンス段階等において、適当な治具（ツール）を利用してハードウェア装置１９００内にインストールされてもよい。また、各種ソフトウェア・プログラムは、インターネット等の通信回線を介して外部からダウンロードされてもよい。ソフトウェア・プログラムを供給する方法として、各種の一般的な手順を採用することができる。

このような場合において、本開示に係る技術は、ソフトウェア・プログラムを構成するコード、あるいはコードが記録されたところの、コンピュータ読み取り可能な記録媒体によって構成されてもよい。この場合、記録媒体は、ハードウェア装置１９００と独立した媒体に限らず、ＬＡＮやインターネットなどにより伝送されたソフトウェア・プログラムをダウンロードして記憶又は一時記憶した記憶媒体を含む。

また、上述した画像処理装置、あるいは、当該画像処理装置の構成要素は、図１９に例示するハードウェア装置１９００を仮想化した仮想化環境と、その仮想化環境において実行されるソフトウェア・プログラム（コンピュータ・プログラム）とによって構成されてもよい。この場合、図１９に例示するハードウェア装置１９００の構成要素は、仮想化環境における仮想デバイスとして提供される。

以上、本開示に係る技術を、上述した模範的な実施形態に適用した例として説明した。しかしながら、本開示に係る技術の範囲は、上述した各実施形態に記載した範囲には限定されない。当業者には、上記したような実施形態に対して多様な変更又は改良を加えることが可能であることは明らかである。そのような場合、変更又は改良を加えた新たな実施形態も、本開示に係る技術の範囲に含まれ得る。更に、上述した各実施形態、あるいは、係る変更又は改良を加えた新たな実施形態を組み合わせた実施形態も、本開示に係る技術の範囲に含まれ得る。そしてこのことは、特許請求の範囲に記載した事項から明らかである。

なお、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
第１画像及び第２画像を含むステレオ画像を受けつけ、上記第１画像が撮影された撮影環境と、上記第２画像が撮影された撮影環境とに応じて、上記ステレオ画像について、撮影された対象物に対する距離の計測に適しているか否かを判定する適切性判定手段と、
上記ステレオ画像が距離の計測に適しているか否かに応じて、そのステレオ画像を用いた距離の計測を実行するか否かを制御可能な出力手段と、を備える
画像処理装置。

（付記２）
上記適切性判定手段は、
上記第１画像を表す第１特徴量と、上記第２画像を表す第２特徴量とを抽出し、
上記第１特徴量及び上記第２特徴量を用いて、上記第１画像及び上記第２画像に関する撮影環境の類似性を判定するか、又は、
上記第１特徴量及び上記第２特徴量の少なくとも一方を用いて、上記第１画像及び上記第２画像について、距離の計測に適した撮影環境における画像であるか否かを判定することにより、
当該ステレオ画像が距離の計測に適しているか否かを判定する
付記１に記載の画像処理装置。

（付記３）
上記適切性判定手段は、
上記第１特徴量と、上記第２特徴量とに基づいて、上記第１画像に関する撮影環境と、上記第２画像に関する撮影環境との間の類似性を表すスコアを算出し、
そのスコアの値に応じて、上記ステレオ画像が距離の計測に適しているか否かを判定する
付記２に記載の画像処理装置。

（付記４）
上記適切性判定手段は、距離の計測に適しているか否かを表す教師ラベルが付与された画像を学習データとして、ある上記ステレオ画像が距離の計測に適した撮影環境における画像であるか否かを判定するよう学習されたモデルである適切性判定モデルと、上記第１特徴量及び上記第２特徴量と、を用いて、上記第１画像及び上記第２画像が、距離の計測に適した撮影環境における画像に分類されるか否かを判定可能なスコアを算出し、そのスコアの値に応じて、上記ステレオ画像が距離の計測に適しているか否かを判定する
付記２に記載の画像処理装置。

（付記５）
ある上記ステレオ画像に含まれる上記第１画像と、上記第２画像との少なくとも一方について、輝度とコントラストとの少なくとも一方を補正する第１補正処理を適用する補正手段を更に備え、
上記補正手段は、上記適切性判定手段により距離の計測に不適切であると判定された上記第１画像と、上記適切性判定手段により距離の計測に不適切であると判定された上記第２画像と、の少なくとも一方について上記第１補正処理を実行し、
上記適切性判定手段は、上記補正手段による補正後の上記第１画像に関する上記第１特徴量と、上記補正手段による補正後の上記第２画像に関する上記第２特徴量と、の少なくとも一方を用いて、上記スコアを算出し、そのスコアに基づいて、上記ステレオ画像の距離の計測に関する適切性を再度判定する
付記３又は４に記載の画像処理装置。

（付記６）
ある上記ステレオ画像に含まれる上記第１画像と、上記第２画像との少なくとも一方について、その画像が撮影された状況を表すシーンを判定し、上記シーンに応じて、上記第１画像と、上記第２画像との少なくとも一方について、その画像を鮮明化する処理である第２補正処理を実行可能なシーン解析手段を更に備え、
上記適切性判定手段は、上記シーン解析手段による補正後の上記第１画像に関する上記第１特徴量と、上記シーン解析手段による補正後の上記第２画像に関する上記第２特徴量と、の少なくとも一方を用いて、上記スコアを算出し、そのスコアに基づいて、上記ステレオ画像の距離の計測に関する適切性を判定する
付記３又は４に記載の画像処理装置。

（付記７）
上記シーン解析手段は、
上記第２補正処理に用いられる補正パラメータを、上記シーンごとに保持し、
上記シーンを特定可能な教師ラベルが付与された画像を学習データとして、上記第１画像及び上記第２画像が含まれる上記シーンを判定可能に学習されたシーン判定モデルを用いて、上記第１画像及び上記第２画像について、それぞれ上記シーンを判定し、
判定した上記シーンに応じた上記補正パラメータを用いて、上記第１画像と、上記第２画像との少なくとも一方について、上記第２補正処理を実行する
付記６に記載の画像処理装置。

（付記８）
上記シーン解析手段は、
上記第２補正処理に用いられる補正パラメータを、上記シーンごとに保持し、
上記シーンを特定可能な教師ラベルが付与された画像を学習データとして、上記第１画像及び上記第２画像について、上記シーンに含まれることの尤もらしさを表す帰属度を算出可能に学習されたモデルであるシーン判定モデルを用いて、上記第１画像と、上記第２画像とについて、各上記シーンに関する帰属度を算出し、
上記シーンごとに保持している上記補正パラメータを、上記シーンごとの帰属度に応じて合成することで、上記第２補正処理に用いられる合成パラメータを生成し、
上記合成パラメータを用いて、上記第１画像と、上記第２画像との少なくとも一方について、上記第２補正処理を実行する
付記６に記載の画像処理装置。

（付記９）
上記出力手段は、ある上記ステレオ画像が、距離の計測に不適切であると判定された場合、
当該ステレオ画像を用いた距離の計測を抑制し、当該ステレオ画像が距離の計測に不適切であることを提示するアラート処理を実行する
付記１乃至付記８のいずれかに記載の画像処理装置。

（付記１０）
第１画像及び第２画像を含むステレオ画像を受けつけ、
上記第１画像が撮影された撮影環境と、上記第２画像が撮影された撮影環境とに応じて、上記ステレオ画像が、そのステレオ画像に撮影された対象物に対する距離の計測に適しているか否かを判定し、
上記ステレオ画像が距離の計測に適しているか否かに応じて、そのステレオ画像を用いた距離の計測を実行するか否かを制御する、
画像処理方法。

（付記１１）
画像処理装置を構成するコンピュータに、
第１画像及び第２画像を含むステレオ画像を受けつける処理と、
上記第１画像が撮影された撮影環境と、上記第２画像が撮影された撮影環境とに応じて、上記ステレオ画像が、そのステレオ画像に撮影された対象物に対する距離の計測に適しているか否かを判定する処理と、
上記ステレオ画像が距離の計測に適しているか否かに応じて、そのステレオ画像を用いた距離の計測を実行するか否かを制御する処理と、を実行させる
画像処理プログラム。

（付記１２）
上記適切性判定手段は、
上記第１特徴量として、上記第１画像の画素値に関する第１ヒストグラムを算出し、
上記第２特徴量として、上記第２画像の画素値に関する第２ヒストグラムを算出し、
上記第１ヒストグラムと上記第２ヒストグラムとの類似性を表す上記スコアを算出する
付記３に記載の画像処理装置。

（付記１３）
上記適切性判定手段は、
上記第１画像及び上記第２画像から、それぞれ複数の上記第１特徴量と、上記第２特徴量とを、抽出し、
上記第１特徴量と、上記第２特徴量との間の距離に基づいて、上記第１画像と上記第２画像とにおいて対応する上記第１特徴量及び上記第２特徴量の組である特徴点ペアを特定し、
１以上の上記特徴点ペアに含まれる上記第１特徴量及び上記第２特徴量の間の距離と、上記第１特徴量及び上記第２特徴量の間の距離がある特定の距離以下である上記特徴点ペアの個数と、の少なくとも一方に基づいて、上記スコアを算出する
付記３に記載の画像処理装置。

（付記１４）
上記適切性判定モデルは、距離の計測に適していることを表す上記教師ラベルが付与された画像と、距離の計測に不適切であることを表す上記教師ラベルが付与された画像と、を上記学習データとして用いることで、少なくとも、距離の画像に適した画像を表すカテゴリと、距離の計測に不適切な画像を表すカテゴリとを判定するよう学習された評価関数を含み、
上記適切性判定手段は、上記第１特徴量及び第２特徴量を上記評価関数に入力することで得られる出力を、上記スコアとして算出する
付記４に記載の画像処理装置。

（付記１５）
上記第２補正処理は、少なくとも、輝度補正処理と、コントラスト補正処理と、デフォグ処理と、エッジ先鋭化処理との中の１以上の処理を含み、
上記シーン解析手段は、上記第２補正処理において、上記シーンごとに、画像の明度を補正可能な補正パラメータと、彩度を補正可能な補正パラメータと、コントラストを補正可能な補正パラメータと、シャープネスを補正可能な補正パラメータとのうち少なくとも１つを用いて上記第１画像と、上記第２画像との少なくとも一方を補正する
付記６に記載の画像処理装置。
（付記１６）
上記出力手段は、ある上記ステレオ画像が、距離の計測に不適切であると判定された場合、
当該ステレオ画像を用いた距離の計測を抑制し、当該ステレオ画像に関して上記適切性判定手段により算出された上記スコアを提示するとともに、当該ステレオ画像が距離の計測に不適切であることを提示するアラート処理を実行する
付記３乃至付記６のいずれかに記載の画像処理装置。

（付記１７）
上記出力手段は、ある上記ステレオ画像が、距離の計測に不適切であると判定された場合、上記シーン解析手段により判定された上記シーンに応じて、上記ステレオ画像を撮影した撮影装置における撮影パラメータを制御する
付記６乃至付記８のいずれかに記載の画像処理装置。

（付記１８）
ある上記ステレオ画像に含まれる上記第１画像と、上記第２画像との少なくとも一方について、輝度とコントラストとの少なくとも一方を補正する第１補正処理を適用する補正手段を更に備え、
上記補正手段は、上記適切性判定手段により、距離の計測に適切であると判定された上記第１画像及び上記第２画像の少なくとも一方について上記第１補正処理を実行し、
上記適切性判定手段は、上記補正手段による補正後の上記第１画像に関する上記第１特徴量と、上記補正手段による補正後の上記第２画像に関する上記第２特徴量と、の少なくとも一方を用いて、上記スコアを算出し、そのスコアに基づいて、上記ステレオ画像の距離の計測に関する適切性を再度判定する
付記３又は４に記載の画像処理装置。

（付記１９）
ある上記ステレオ画像に含まれる上記第１画像と、上記第２画像との少なくとも一方について、その画像が撮影された状況を表すシーンを判定し、上記シーンに応じて、上記第１画像と、上記第２画像との少なくとも一方について、その画像を鮮明化する処理である第２補正処理を実行可能なシーン解析手段を更に備え、
上記シーン解析手段は、上記適切性判定手段により、距離の計測に適切であると判定された上記第１画像及び上記第２画像の少なくとも一方について上記第２補正処理を実行し、
上記適切性判定手段は、上記シーン解析手段による補正後の上記第１画像に関する上記第１特徴量と、上記シーン解析手段による補正後の上記第２画像に関する上記第２特徴量と、の少なくとも一方を用いて、上記スコアを算出し、そのスコアに基づいて、上記ステレオ画像の距離の計測に関する適切性を再度判定する
付記３又は４に記載の画像処理装置。

１００ 画像処理装置
１０１ 適切性判定部
１０２ 出力部
２００ 画像提供装置
２０１ カメラ
２０２ 画像提供部
３００ 距離計測装置
４００ 表示装置
１０００ 画像処理装置
１００１ 適切性判定部
１００２ 出力部
１００３ 補正部
１４００ 画像処理装置
１４０１ 適切性判定部
１４０２ 出力部
１４０３ シーン解析部
１８００ 画像処理装置
１８０１ 適切性判定部
１８０２ 出力部

Claims (10)

1. 第１画像及び第２画像を含むステレオ画像を受けつけ、前記第１画像が撮影された撮影環境と、前記第２画像が撮影された撮影環境とに応じて、前記ステレオ画像について、撮影された対象物に対する距離の計測に適しているか否かを判定する適切性判定手段と、
   前記ステレオ画像が距離の計測に適しているか否かに応じて、そのステレオ画像を用いた距離の計測を実行するか否かを制御可能な出力手段と、を備える
   画像処理装置。
2. 前記適切性判定手段は、
   前記第１画像を表す特徴量である第１特徴量と、前記第２画像を表す特徴量である第２特徴量とを抽出し、
   前記第１特徴量及び前記第２特徴量を用いて、前記第１画像及び前記第２画像に関する撮影環境の類似性を判定するか、又は、
   前記第１特徴量及び前記第２特徴量の少なくとも一方を用いて、前記第１画像及び前記第２画像について、距離の計測に適した撮影環境における画像であるか否かを判定することにより、
   当該ステレオ画像が距離の計測に適しているか否かを判定する
   請求項１に記載の画像処理装置。
3. 前記適切性判定手段は、
   前記第１特徴量と、前記第２特徴量とに基づいて、前記第１画像に関する撮影環境と、前記第２画像に関する撮影環境との間の類似性を表すスコアを算出し、
   そのスコアの値に応じて、前記ステレオ画像が距離の計測に適しているか否かを判定する
   請求項２に記載の画像処理装置。
4. 前記適切性判定手段は、距離の計測に適しているか否かを表す教師ラベルが付与された画像を学習データとして、ある前記ステレオ画像が距離の計測に適した撮影環境における画像であるか否かを判定するよう学習されたモデルである適切性判定モデルと、前記第１特徴量及び前記第２特徴量と、を用いて、前記第１画像及び前記第２画像が、距離の計測に適した撮影環境における画像に分類されるか否かを判定可能なスコアを算出し、そのスコアの値に応じて、前記ステレオ画像が距離の計測に適しているか否かを判定する
   請求項２に記載の画像処理装置。
5. ある前記ステレオ画像に含まれる前記第１画像と、前記第２画像との少なくとも一方について、輝度とコントラストとの少なくとも一方を補正する第１補正処理を適用する補正手段を更に備え、
   前記補正手段は、前記適切性判定手段により距離の計測に不適切であると判定された前記ステレオ画像に含まれる前記第１画像と、前記第２画像と、の少なくとも一方について前記第１補正処理を実行し、
   前記適切性判定手段は、前記補正手段により補正された前記第１画像と、前記第２画像との少なくも一方の特徴量を用いて前記スコアを算出し、そのスコアに基づいて、前記ステレオ画像の距離の計測に関する適切性を再度判定する
   請求項３又は４に記載の画像処理装置。
6. ある前記ステレオ画像に含まれる前記第１画像と、前記第２画像との少なくとも一方について、その画像が撮影された状況を表すシーンを判定し、前記シーンに応じて、前記第１画像と、前記第２画像との少なくとも一方について、その画像を鮮明化する処理である第２補正処理を実行可能なシーン解析手段を更に備え、
   前記適切性判定手段は、前記シーン解析手段による補正後の前記第１画像に関する前記第１特徴量と、前記シーン解析手段による補正後の前記第２画像に関する前記第２特徴量と、の少なくとも一方を用いて、前記スコアを算出し、そのスコアに基づいて、前記ステレオ画像の距離の計測に関する適切性を判定する
   請求項３又は４に記載の画像処理装置。
7. 前記シーン解析手段は、
   前記第２補正処理に用いられる補正パラメータを、前記シーンごとに保持し、
   前記シーンを特定可能な教師ラベルが付与された画像を学習データとして、前記第１画像及び前記第２画像が含まれる前記シーンを判定可能に学習されたシーン判定モデルを用いて、前記第１画像及び前記第２画像について、それぞれ前記シーンを判定し、
   判定した前記シーンに応じた前記補正パラメータを用いて、前記第１画像と、前記第２画像との少なくとも一方について、前記第２補正処理を実行する
   請求項６に記載の画像処理装置。
8. 前記シーン解析手段は、
   前記第２補正処理に用いられる補正パラメータを、前記シーンごとに保持し、
   前記シーンを特定可能な教師ラベルが付与された画像を学習データとして、前記第１画像及び前記第２画像について、前記シーンに含まれることの尤もらしさを表す帰属度を算出可能に学習されたモデルであるシーン判定モデルを用いて、前記第１画像と、前記第２画像とについて、各前記シーンに関する帰属度を算出し、
   前記シーンごとに保持している前記補正パラメータを、前記シーンごとの帰属度に応じて合成することで、前記第２補正処理に用いられる合成パラメータを生成し、
   前記合成パラメータを用いて、前記第１画像と、前記第２画像との少なくとも一方について、前記第２補正処理を実行する
   請求項６に記載の画像処理装置。
9. 第１画像及び第２画像を含むステレオ画像を受けつけ、
   前記第１画像が撮影された撮影環境と、前記第２画像が撮影された撮影環境とに応じて、前記ステレオ画像が、そのステレオ画像に撮影された対象物に対する距離の計測に適しているか否かを判定し、
   前記ステレオ画像が距離の計測に適しているか否かに応じて、そのステレオ画像を用いた距離の計測を実行するか否かを制御する、
   画像処理方法。
10. 画像処理装置を構成するコンピュータに、
    第１画像及び第２画像を含むステレオ画像を受けつける処理と、
    前記第１画像が撮影された撮影環境と、前記第２画像が撮影された撮影環境とに応じて、前記ステレオ画像が、そのステレオ画像に撮影された対象物に対する距離の計測に適しているか否かを判定する処理と、
    前記ステレオ画像が距離の計測に適しているか否かに応じて、そのステレオ画像を用いた距離の計測を実行するか否かを制御する処理と、を実行させる
    画像処理プログラム。

Images