JP2023105766A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】画像処理の結果を選択的に出力し得る画像処理装置を提供すること。【解決手段】画像処理装置は、互いに異なる複数の視点の画像を取得する画像取得手段と、取得した画像から距離情報に変換する演算を行う演算手段と、距離情報を出力することのできる複数の出力手段と、演算手段による演算結果を複数の出力手段から出力する制御を行う制御手段と、を備える。制御手段は、演算手段による演算過程で得られる演算量の異なる複数の演算結果を複数の出力手段に振り分け、画像処理装置の動作状況に応じて、振り分ける演算結果を選択的に切り替える。【選択図】 図１０

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

現在、映画やテレビで一般的に用いられている画像合成技術として、画像の特定の色の部分を透明にし、そこに異なる画像を合成するクロマキー合成という方法がある。クロマキー合成用の画像を撮影する際には、グリーンバックやブルーバックといった特定色の背景を用意する必要があり、その背景に色むらができないように皺を伸ばし、照明を調整するといった作業も必要となる。また、グリーンバックからの反射光が被写体に映り込むと背景分離が上手くできなくなることがあるため、撮影後の後処理で反射光の映り込みを消すなどの作業が必要となる場合もある。これら一連の作業は、非常に多くの時間や人手がかかっている実情がある。

一方、近年用いられている画像合成技術として、被写体までの距離情報を使用することで被写体と背景との分離を行い、被写体を別の画像と合成する方法がある。この方法を用いると、グリーンバックなどの背景を準備する必要がなくなり、前述したクロマキー合成のための煩雑な作業も不要となる。

被写体までの距離情報を取得する方法としては、例えば、画像撮影用の画像処理装置とは別に、距離センサを備えた距離測定装置を用いて被写体までの距離を測定する方法がある。その場合、画像処理装置と距離測定装置とで画角や解像度が異なり、また、画像処理装置と距離測定装置の光軸が一致しないため、後処理で画像合成を行うために、撮影前にキャリブレーション作業を行う必要が生じる。

一方、被写体までの距離情報を取得する別の方法として、例えば、特許文献１の技術が知られている。特許文献１には、撮像面位相差方式の測距機能を有した撮像素子を用いることで、画像処理装置から被写体までの距離を示す距離情報を生成する技術が開示されている。この技術を用いると、１つの撮像素子で画像撮影と距離情報の生成を同時に行うことができるため、上述したキャリブレーション作業は不要となる。

特開２０２１－０４８５６０号公報

ところで、特許文献１においては、撮像機器内ですべての演算処理を行って、ユーザーに距離情報を見せるところまで提供しているが、一般的に撮像機器内ですべての演算処理を行うには、演算処理量が多くなる傾向がある。特に、動画処理に当てはめると、解像度の縮小やフレームレートの低下を伴わなければ実現できない場合もある。一方、現在の映像制作の業界では、撮像機器内には最低限の役割のみを任せ、撮像できた画像は撮像機器外に出力し、各種補正処理などは後段の映像処理ＰＣなどのワークフロー内で行うという考え方もある。このような現状から、システムとして運用する場合に、どこまでを撮像機器に任せ、どこまでを後段の映像処理ワークフローに任せるかは使用者のニーズや環境に合わせて、任意に選択できることが望ましい。

本発明は、上記の状況に鑑みてなされたものであって、画像処理の結果を選択的に出力し得る画像処理装置を提供することを目的とする。

本発明の一実施形態に係る画像処理装置は、
互いに異なる複数の視点の画像を取得する画像取得手段と、
取得した前記画像から距離情報に変換する演算を行う演算手段と、
前記距離情報を出力することのできる複数の出力手段と、
前記演算手段による演算結果を前記複数の出力手段から出力する制御を行う制御手段と、を備えた画像処理装置において、
前記制御手段は、前記演算手段による演算過程で得られる演算量の異なる複数の演算結果を前記複数の出力手段に振り分け、前記画像処理装置の動作状況に応じて、振り分ける前記演算結果を選択的に切り替える
ことを特徴とする。

本発明によれば、画像処理の結果を選択的に出力し得る画像処理装置を提供することができる。

画像処理装置のハードウェア構成例を示す概略ブロック図である。 （Ａ）は、撮像素子の受光面に配置されたカラーフィルタ例を示す図である。（Ｂ）は、図２（Ａ）のカラーフィルタの配列に対応させて、各画素に光電変換部（フォトダイオード）を２つ配置した例を示す図である。 距離情報の生成処理を説明するためのフローチャートである。 ノイズが存在しない理想的な状態において、一対の画像信号列の相関が高い場合の式（１）の演算結果を示す図である。 ノイズが存在する微小ブロックに式（１）を適用した場合の演算結果を示す図である。 第１実施形態における撮影画像の図である。 第１実施形態におけるＡ像信号とＢ像信号の図である。 第１実施形態における像ズレ画像、デフォーカス画像、距離画像の図である。 （Ａ）～（Ｂ）は、第１実施形態における距離レイヤー画像の図である。 （Ａ）～（Ｄ）は、第１実施形態における出力切替パターンの図表である。 第１実施形態におけるフローチャートである。

＜第１実施形態＞
以下、本発明を実施するための形態について図面などを参照して説明する。ただし、以下の実施形態は特許請求の範囲に係る発明を限定するものでなく、以下の実施形態で説明されている特徴のすべてが本発明に必須のものであるとは限らない。なお、以下の実施形態における画像は静止画だけでなく、動画等の映像を含む。

はじめに、本発明の前提となるシステムの説明をする。図１は、画像処理装置１００のハードウェア構成例を示す概略ブロック図である。同図において、画像処理装置１００は、映像の入力から出力、さらに記録まで可能な装置となっている。

図１において、内部バス１０１に対してコンピュータとしてのＣＰＵ１０２、ＲＯＭ１０３、ＲＡＭ１０４、画像処理部１０５、レンズユニット１０６、撮像部１０７、ネットワークモジュール１０８、画像出力部１０９が接続されている。又、内部バス１０１に対して記録媒体Ｉ／Ｆ（インターフェース）１１０、物体検出部１１５等が接続されている。内部バス１０１に接続される各ブロックは、内部バス１０１を介して互いにデータのやりとりを行うことができるように構成されている。

なお、図１に示されるブロックの一部は、画像処理装置に含まれるコンピュータとしてのＣＰＵに、記憶媒体としてのＲＯＭなどのメモリに記憶されたコンピュータプログラムを実行させることによって実現されている。しかし、それらの一部又は全部をハードウェアで実現するようにしても構わない。ハードウェアとしては、専用回路（ＡＳＩＣ）やプロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ）などを用いることができる。また、図１に示されるそれぞれのブロックは、同じ筐体に内蔵されていなくても良く、互いに信号路を介して接続された別々の装置により構成しても良い。

レンズユニット１０６は、ズームレンズ、フォーカスレンズを含むレンズ群や絞り機構及び駆動モータ等から成るユニットである。レンズユニット１０６を通過した光学像は、撮像部１０７の受光面に形成される。撮像部１０７は被写体を含む画像を取得する画像取得手段として機能しており、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの撮像素子を含み、光学的な信号を電気的な信号に置き換える役割を果たしている。ここで得られる電気信号はアナログ値であるので、デジタル値に変換する機能も合わせ備えている。尚、本実施形態の撮像素子は像面位相差検出機能を有するセンサでありその詳細については後述する。

ＣＰＵ１０２は、ＲＯＭ１０３に格納されるコンピュータプログラムに従い、ＲＡＭ１０４をワークメモリとして用いて、画像処理装置１００の各部を制御する。ＲＯＭ１０３は、不揮発性の半導体メモリであり、ＣＰＵ１０２を動作させるためのコンピュータプログラムや各種調整パラメータなどが記録されている。ＲＡＭ１０４は、半導体素子を利用した揮発性のメモリであり、一般的に、フレームメモリ１１１に比べて、低速、低容量のものが使用される。

フレームメモリ１１１は、画像信号を一時的に溜めておき、必要な時に読み出すことが可能な半導体素子である。画像信号は膨大なデータ量であるため、高帯域かつ大容量のものが求められる。ここではＤＤＲ４－ＳＤＲＡＭ（Ｄｕａｌ Ｄａｔａ Ｒａｔｅ４－Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ ＲＡＭ）などを用いる。このフレームメモリ１１１を使用することで、例えば、時間的に異なる画像を合成したり、必要な領域だけを切り出すなどの処理を行うことが可能となる。

画像処理部１０５は、ＣＰＵ１０２の制御に基づいて、撮像部１０７からのデータ、又はフレームメモリ１１１や記録媒体１１２に格納された画像データに対して各種画像処理を施す。画像処理部１０５が行う画像処理には、画像データの画素補間、符号化処理、圧縮処理、デコード処理、拡大／縮小処理（リサイズ）、ノイズ低減処理、色変換処理などが含まれる。

また、画像処理部１０５は、撮像部１０７の画素の特性のばらつきを補正したり、欠陥画素の補正、ホワイトバランスの補正、輝度の補正、レンズの特性により発生する歪みや周辺光量落ちの補正などの補正処理を行う。又、画像処理部１０５は、距離情報を生成するが、その詳細については後述する。なお、画像処理部１０５は、特定の画像処理を施すための専用の回路ブロックで構成しても良い。また、画像処理の種別によっては画像処理部１０５を用いずにＣＰＵ１０２がプログラムに従って画像処理を施すことも可能である。

画像処理部１０５により得られた演算結果に基づいて、ＣＰＵ１０２はレンズユニット１０６の制御を行い、光学的に画像の拡大や焦点距離、光量を調整する絞りなどの調整を行う。また、レンズ群の一部を、光軸に直交する平面内で移動させることにより、手ブレ補正を行うようにしても良い。

操作部１１３は、機器外部とのインターフェースとして、ユーザの操作を受け付ける。操作部１１３は、メカニカルなボタンやスイッチなどの素子で構成され、電源スイッチ、モード切替スイッチなどを含む。

表示部１１４は、画像を表示するための機能であり、ユーザが視認することができる表示デバイスである。例えば、画像処理部１０５で処理された画像や設定メニューや画像処理装置１００の動作状況を確認することができる。表示部１１４は、表示デバイスとしてＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）などの、小型で低消費電力のデバイスを用いる。更に、抵抗膜方式や静電容量方式の薄膜素子などを用いたタッチパネル構造とし、操作部１１３の一部として利用しても良い。

ＣＰＵ１０２は、画像処理装置１００の設定状態などをユーザに知らせるための文字列や、画像処理装置１００の設定をするためのメニューを生成し、画像処理部１０５で処理された画像に重畳して、表示部１１４に表示させる。文字情報の他にも、ヒストグラム、ベクトルスコープ、波形モニタ、ゼブラ、ピーキング、フォルスカラーなどのような撮影アシスト表示も重畳することが可能である。

その他のインターフェースとして、画像出力部１０９がある。代表的なインターフェースとして、ＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）やＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）などを採用する。或いはＤｉｓｐｌａｙ Ｐｏｒｔ（登録商標）などのインターフェースを用いても良い。画像出力部１０９を介して外部モニタなどにリアルタイム画像を表示することが可能である。

また、画像だけでなくコントロール信号も伝送可能な、ネットワークモジュール１０８も備えている。ネットワークモジュール１０８は、画像信号や音声信号の入出力を行うためのインターフェースである。ネットワークモジュール１０８は、インターネットなどを介して外部機器と通信し、ファイルやコマンドなどの各種データの送受信を行うこともできる。ネットワークモジュール１０８は無線でも良いし有線でも良い。

画像処理装置１００は、画像を外部に出力するだけでなく、本体内に記録する機能も備えている。記録媒体１１２は、画像データや種々の設定データを記録することが可能で、大容量記憶素子が使用される。例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などがあり、記録媒体Ｉ／Ｆ１１０に装着可能となっている。

物体検出部１１５は、物体を検出するためのブロックであり、例えば、ニューラルネットワークを用いたディープラーニングに代表される人工知能を用いて物体検出を行う。ディープラーニングによる物体検出をする場合、ＣＰＵ１０２は、ＲＯＭ１０３に格納された処理のためのプログラムやＳＳＤやＹＯＬＯなどのネットワーク構造や重みパラメータなどを物体検出部１１５に送信する。

なお、ＳＳＤはＳｉｎｇｌｅ Ｓｈｏｔ Ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒの略であり、ＹＯＬＯはＹｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅの略である。物体検出部１１５は、ＣＰＵ１０２から得られる各種パラメータに基づいて、画像信号から物体を検出するための処理を行い、処理結果をＲＡＭ１０４に展開する。

図２（Ａ）は、撮像素子の受光面に配置されたカラーフィルタ例を示す図である。図２（Ａ）では、赤（Ｒ）、青（Ｂ）、緑（Ｇｂ、Ｇｒ）のベイヤ配列例を示しており、撮像素子は複数の画素が２次元状に配置されており、各画素の前面には図２（Ａ）のように、Ｒ、Ｂ、Ｇｂ、Ｇｒのいずれかのカラーフィルタが配置されている。図２（Ａ）では２行分のカラーフィルタ配列だけが示されているが、このカラーフィルタ配列が垂直走査方向に２行ずつ繰り返し配置される。

また、撮像素子の各画素の前面に配置されたカラーフィルタの前面にはマイクロレンズが配置されると共に、各画素は、水平走査方向に並べて配置された２つの光電変換部（フォトダイオードＡ、フォトダイオードＢ）を有する。

図２（Ｂ）は、図２（Ａ）のカラーフィルタの配列に対応させて、各画素に光電変換部（フォトダイオード）を２つ配置した例を示す図である。図２（Ｂ）においては、各画素はフォトダイオードＡとフォトダイオードＢの対により構成され、対である２つのフォトダイオードに対して同じ色のカラーフィルタが配置されている。なお、フォトダイオードＡ、フォトダイオードＢはマイクロレンズを介して、光学系の異なる射出瞳からの光束をそれぞれ受光する。

本実施形態の撮像素子においては、行方向に並んだ画素の複数のフォトダイオードＡからＡ像信号を取得することができる。同様に、行方向に並んだ画素の複数のフォトダイオードＢからＢ像信号を取得することができる。これらのＡ像信号とＢ像信号は位相差検出用の信号として処理される。

即ち、例えばＣＰＵ１０２や画像処理部１０５においてＡ像信号とＢ像信号の相関演算を行い、Ａ像信号とＢ像信号の位相差を検出し、位相差に基づき被写体距離を算出する。即ち、ＣＰＵ１０２や画像処理部１０５は、被写体までの距離を示す距離情報を取得する距離情報取得手段として機能している。

なお、各画素の２つのフォトダイオードＡ、Ｂの信号を加算した画像用の信号（Ａ像信号＋Ｂ像信号）も取得できる。この加算した画像用の信号は、図２（Ａ）に示されるベイヤ配列に応じたカラーの画像信号として画像処理部１０５で処理される。

撮像部１０７においては、画素毎に位相差検出用信号（Ａ像信号、Ｂ像信号）を出力することも可能であるが、近接する複数画素のＡ像信号を加算平均すると共に、近接する複数画素のＢ像信号を加算平均した値を出力する事も可能である。加算平均した値を出力することで、撮像部１０７から信号を読み出す時間の短縮や、内部バス１０１の帯域削減ができる。

このような撮像素子を有する撮像部１０７からの出力信号を使って、ＣＰＵ１０２や画像処理部１０５が２つの像信号の相関演算を行い、２つの像信号の位相差に基づきデフォーカス量や視差情報、各種信頼性などの情報を算出する。受光面でのデフォーカス量は、Ａ像信号、Ｂ像信号のズレ（位相差）に基づき算出される。デフォーカス量は正負の値を持っており、デフォーカス量が正の値であるか負の値であるかによって、前ピンか後ピンかがわかる。

また、デフォーカス量の絶対値によって、合焦までの度合いが分かり、デフォーカス量が０であれば合焦である。即ち、ＣＰＵ１０２は、デフォーカス量の正負を元に前ピンか後ピンかの情報を算出し、デフォーカス量の絶対値に基づいて、合焦の度合い（ピントズレ量）である合焦度合い情報を算出する。前ピンか後ピンかの情報は、デフォーカス量が所定値を超える場合に出力し、デフォーカス量の絶対値が所定値以内である場合には、合焦であるという情報を出力する。

ＣＰＵ１０２は、デフォーカス量に応じてレンズユニット１０６を制御してフォーカス調整を行う。また、ＣＰＵ１０２は、前記位相差情報とレンズユニット１０６のレンズ情報から三角測量の原理を用いて被写体までの距離を算出する。

図２では、１つのマイクロレンズに対して光電変換部としてのフォトダイオードを２つ配置した画素をアレイ状に並べた例について説明した。しかし、各画素は、１つのマイクロレンズに対して光電変換部としてのフォトダイオードを３つ以上配置した構成としても良い。また、全ての画素が上記のような構成でなくても良く、例えば２次元状に配置された画像検出用の複数の画素の中に、距離検出用の画素を離散的に配置しても良い。

その場合、距離検出用の画素は上記のような２つのフォトダイオードを有する構造としても良いし、或いは距離検出用の各画素はフォトダイオードＡ、フォトダイオードＢの一方だけを有する構造としても良い。フォトダイオードＡ、フォトダイオードＢの一方だけを有する場合には、フォトダイオードＡ、フォトダイオードＢはレンズユニットの異なる射出瞳の像が入射するように配置する。或いは一方の光束を遮光する。このように、本実施形態は、Ａ像信号とＢ像信号などの位相差検出可能な２つの像信号が得られる構成になっていれば良く、上記のような画素構造に限定されない。また、撮像部１０７は、視差を有する２つの撮像素子からなる所謂ステレオカメラであっても良い。

次に図３～図５を用いて距離情報の生成処理を説明する。図３は、距離情報の生成処理を説明するためのフローチャートである。なお、コンピュータとしてのＣＰＵ１０２が記憶媒体としてのＲＯＭ１０３などに記憶されたコンピュータプログラムを実行することによって図３のフローチャートの各ステップの動作が行われる。

図３のフローチャートにおいて、まず、撮像部１０７から、撮像用の（Ａ像信号＋Ｂ像信号）と位相差検出用のＡ像信号の２つの信号をそれぞれ読出すことで取得する。ついでステップＳ３０１で、画像処理部１０５は、（Ａ像信号＋Ｂ像信号）とＡ像信号の差を求めることで位相差検出用のＢ像信号を算出する。

なお、上記のステップＳ３００とステップＳ３０１では（Ａ像信号＋Ｂ像信号）とＡ像信号を読出して差を演算することによりＢ信号を算出する例を説明した。しかし、Ａ像信号とＢ像信号をそれぞれ撮像部１０７から読出すようにしても良い。また、ステレオカメラのようにイメージセンサを２つ具備している場合においては、それぞれのイメージセンサから出力される画像信号をＡ像信号及びＢ像信号としても処理すれば良い。

ステップＳ３０２では、位相差検出用のＡ像信号と位相差検出用のＢ像信号のそれぞれについて光学的なシェーディングの補正を行う。ステップＳ３０３では、位相差検出用のＡ像信号と位相差検出用のＢ像信号のそれぞれにフィルタ処理を行う。例えば、ＦＩＲで構成されたハイパスフィルタで低域をカットする。なお、フィルタ係数を変えたバンドパスフィルタやローパスフィルタをそれぞれ通しても良い。ＦＩＲとは、Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅの略である。

次に、ステップＳ３０４で、ステップＳ３０３でフィルタ処理を行った位相差検出用のＡ像信号と位相差検出用のＢ像信号に対して微小ブロックに分割し相関演算を行う。なお、微小ブロックのサイズまたは形状についての制限はなく、近接するブロック同士で領域が重なっても良い。

以下、一対の画像であるＡ像信号、Ｂ像信号の相関演算について説明する。着目画素位置におけるＡ像信号の信号列をＥ（１）～Ｅ（ｍ）と表記し、着目画素位置におけるＢ像信号の信号列をＦ（１）～Ｆ（ｍ）と表記する。Ａ像信号の信号列Ｅ（１）～Ｅ（ｍ）に対して、Ｂ像信号の信号列Ｆ（１）～Ｆ（ｍ）を相対的にずらしながら、式（１）を用いて２つの信号列間のずれ量ｋにおける相関量Ｃ（ｋ）が演算される。

式（１）において、Σ演算はｎについて総和を算出する演算を意味する。Σ演算において、ｎ、ｎ＋ｋの取る範囲は、１からｍの範囲に限定される。ずれ量ｋは整数値であり、一対のデータの検出ピッチを単位とした相対的画素ずれ量である。

図４は、ノイズが存在しない理想的な状態において、一対の画像信号列の相関が高い場合の式（１）の演算結果を示す図である。図４に示すように、一対の画像信号列の相関が高いずれ量（ｋ＝ｋｊ＝０）において、差分である相関量Ｃ（ｋ）は最小になる。以下、離散的な相関量Ｃ（ｋ）が最小となるときのｋを、ｋｊと表記する。式（２）から（４）に示す３点内挿処理によって、連続的な相関量に対する最小値Ｃ（ｘ）を与えるｘが算出される。尚、画素ずれ量ｘは実数値であり、単位をｐｉｘｅｌとする。

式（４）のＳＬＯＰは、最小かつ極小となる相関量と、その隣接する相関量における変化の傾きを表す。図４において、具体例として、
Ｃ（ｋｊ）＝Ｃ（０）＝１０００
Ｃ（ｋｊ－１）＝Ｃ（－１）＝１７００
Ｃ（ｋｊ＋１）＝Ｃ（１）＝１８３０
とする。

この例では、ｋｊ＝０である。式（２）から（４）より、
ＳＬＯＰ＝８３０
ｘ＝－０．０７８ｐｉｘｅｌ
となる。なお、合焦状態の場合、Ａ像の信号列とＢ像の信号列に対する画素ずれ量ｘは０．００が理想値である。

一方、図５は、ノイズが存在する微小ブロックに式（１）を適用した場合の演算結果を示す図である。図５に示すように、ランダムに分布しているノイズの影響により、Ａ像の信号列とＢ像の信号列との相関が低下する。相関量Ｃ（ｋ）の最小値は、図４に示す最小値に比べて大きくなり、相関量の曲線は全体的に平坦な形状（最大値と最小値との差分絶対値が小さい形状）となる。

図５において、具体例として、
Ｃ（ｋｊ）＝Ｃ（０）＝１３００
Ｃ（ｋｊ－１）＝Ｃ（－１）＝１４８０
Ｃ（ｋｊ＋１）＝Ｃ（１）＝１８００
とする。

この例では、ｋｊ＝０である。式（２）から式（４）より、
ＳＬＯＰ＝５００
ｘ＝－０．３２ｐｉｘｅｌ
となる。即ち、図４に示すノイズが存在しない状態での演算結果と比べて、画素ずれ量ｘが理想値から離れている。

一対の画像信号系列間の相関が低い場合、相関量Ｃ（ｋ）の変化量が小さくなり、相関量の曲線は全体的に平坦な形状となるため、ＳＬＯＰの値が小さくなる。また、被写体像が低コントラストである場合にも、同様に一対の画像信号系列間の相関が低くなり、相関量の曲線が平坦な形状となる。この性質に基づき、算出された画素ずれ量ｘの信頼性をＳＬＯＰの値で判断することができる。即ち、ＳＬＯＰの値が大きい場合には、一対の画像信号系列間の相関が高く、また、ＳＬＯＰの値が小さい場合には、一対の画像信号系列間に有意な相関が得られなかったと判断することができる。

なお、本実施形態では、相関演算に式（１）を用いたため、一対の画像信号系列の相関が最も高いずれ量において相関量Ｃ（ｋ）が最小かつ極小となる。しかし、一対の画像信号系列の相関が最も高いずれ量において相関量Ｃ（ｋ）が最大かつ極大となる相関演算法を用いても良い。

次にステップＳ３０５では信頼度を算出する。前述したようにステップＳ３０４で算出した２つの画像の一致度を示すＣ（ｋｊ）とＳＬＯＰの値とに基づき信頼度を算出できる。次にステップＳ３０６で補間処理を行う。ステップＳ３０４で相関演算を行えたがステップＳ３０５で算出した信頼性が低いために画素ずれ量として採用できない場合がある。

その場合には、周囲の画素で算出された画素ずれ量から補間する。補間方法としてはメディアンフィルタを掛けても良いし、画素ずれ量のデータを縮小した後に再度拡大する演算をしても良い。また、撮像用の（Ａ像信号＋Ｂ像信号）から色データを抽出し、色データを用いて画素ずれ量を補間しても良い。

次にステップＳ３０７で、ステップＳ３０４で算出された量ｘを参照してデフォーカス量を計算する。具体的には、デフォーカス量（ＤＥＦと記す）を下記式（５）で求めることができる。

式（５）において、Ｐは検出ピッチ（画素配置ピッチ）と一対の視差画像における左右２つの視点の投影中心の距離とによって決まる変換係数であり、単位はｍｍ／ｐｉｘｅｌである。

次に、ステップＳ３０８で、ステップＳ３０７で算出したデフォーカス量から距離を算出する。被写体までの距離をＤａ、焦点位置をＤｂ、焦点距離をＦとしたときに近似的に以下の式（６）が成り立つ。

従って、被写体までの距離Ｄａは式（７）となる。

従って、ＤＥＦ＝０のときのＤｂをＤｂ０とすると式（７）は以下の式（８）

となり被写体までの絶対距離を求めることができる。

一方、相対距離はＤａ－Ｄａ’となるので式（７）と式（８）より以下の式（９）で求めることができる。

以上のように、図３のフローチャートに従って相関演算を行えば、位相差検出用のＡ像信号と位相差検出用のＢ像信号から画素ずれ量、デフォーカス量、距離情報を算出することができる。即ち、複数の光電変換部の出力の位相差に基づき距離情報を取得可能である。なお、距離情報は、距離データ自体であっても良いし、シフト量やデフォーカス量であっても良く、距離情報はそれらを含むものであっても良い。

ここまで、位相差検出用のＡ像信号と位相差検出用のＢ像信号を用いて、距離情報を算出するところまで説明してきた。以後、本実施形態を説明するため、各過程において生成される情報を、それぞれ以下のように定義する。撮影画像とは、撮像用の（Ａ像信号＋Ｂ像信号）である。ＡＢ独立画像とは、位相差検出用のＡ像信号と位相差検出用のＢ像信号において、特に補正しないそのままの映像信号である。像ズレ画像とは、ＡＢ独立画像を各種補正し、式（１）で得られる像ズレ量を２次元で画像化した情報である。デフォーカス画像とは、像ズレ画像に画素ピッチを乗ずることによって得られるデフォーカス量を２次元で画像化した情報である。距離画像とは、デフォーカス画像に、レンズの位置情報など撮像光学系の情報を加えることで得られる距離情報である。距離レイヤー画像とは、距離画像の数値的情報に複数の閾値を設け、その閾値近傍の数値は閾値に丸め込み、層のように表現した情報である。画像処理装置１００において、ＣＰＵ１０２は、演算手段及び制御手段として機能し、画像処理部１０５を制御することによって、これら演算や画像生成を実現する。

本実施形態の画像処理装置１００では、撮像部１０７が、互いに異なる複数の視点の画像を取得し、ＣＰＵ１０２が、撮像部１０７での取得画像から距離情報に変換する演算を行う。また、画像処理装置１００は、取得画像や距離情報を出力することのできる複数の出力手段から構成される画像出力部１０９を有する。ＣＰＵ１０２は、演算を行うとともに演算結果を画像出力部１０９から出力する制御を行う。

図６は、第１実施形態における撮影画像の図である。本実施形態の撮影画像は、手前から奥にわたって木が立っている風景画を例示して説明する。例えば、手前から二つ目の木１００３に焦点を合わせているものとし、一番手前の木１００１と、一番奥の木１００２は少し焦点が合っていない状態であるものとする。

図７は、第１実施形態におけるＡ像信号とＢ像信号の図である。上述の風景画をＡＢ独立画像で表示すると、図７のように示すことができる。二つの画像を比較すると、手前から二つ目の木１００３に焦点が合っているので、Ａ像信号もＢ像信号も画像のほぼ同じ位置に表示される。一番手前の木１００１と、一番奥の木１００２は焦点が合っていない状態であるため、位相差検出用のＡ像信号と位相差検出用のＢ像信号は視差によるズレが生じている。

図８は、第１実施形態における像ズレ画像、デフォーカス画像、距離画像の図である。相関演算実施後の像ズレ画像を可視化すると、図８のように表示できる。図８の例は、像ズレ量（単位Ｐｉｘｅｌ）を輝度で表現し、灰色を像ズレ量がゼロとして中心値としている。このため、明るくなるほど、または暗くなる程、像ズレ量が大きいことを示している。本例では、像ズレ量として検出できない領域は黒色で表現している。像ズレ画像に画素ピッチを乗ずると単位をＰｉｘｅｌからｍｍに変換することができ、デフォーカス画像として扱うことができる。表示としては図８と同様の見せ方ができる。デフォーカス量に、レンズの位置情報など撮像光学系の情報を加えることで距離画像を生成できる。これもまた表示としては図８と同様の見せ方ができる。図８は輝度情報だけでなくヒートマップと呼ばれるような色を変えて表現することも可能である。

図９（Ａ）～（Ｂ）は、第１実施形態における距離レイヤー画像の図である。図９に示す距離レイヤー画像は、距離画像に、層という概念をいれ、ある距離範囲内の被写体は、単一の層に当てはめることによって表示したものである。一般的に、撮影される被写体は凹凸を持っているため、距離画像では判別しにくいときなどは、距離レイヤー画像を表示すると、わかりやすい。図９（Ａ）は、輝度情報で表示する距離レイヤー画像の例であり、図９（Ｂ）は色や、マーカーで示した距離レイヤー画像の例である。

ここまで、距離情報を取得するまでの各過程の情報を可視化することを説明してきた。次に、図１にあるような画像処理装置１００をカメラ機器と考えて説明する。まず、表示部１１４、画像出力部１０９、ネットワークモジュール１０８に着目する。表示部１１４は、各種演算結果を表示する表示手段として機能し、画像処理装置１００に直接装備された表示ユニットである。表示部１１４は、ＥＶＦ（Ｅｌｅｃｔｒｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ）などとも呼ばれ、カメラマンが常時撮影画像を確認する接眼モニタである。撮影している画像に、ＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）といわれる文字情報が重畳されて表示される。一般的に、表示部１１４の表示は、撮像部１０７の撮影解像度よりも縮小して表示することが多い。

画像出力部１０９は、ケーブルが接続され、少し離れた場所に設置されたモニタなどと接続することでカメラマンが見ている撮影画像と同じものを表示し、撮影監督や、露出調整指示をする人などに利用される。一般的に、画像処理装置１００は、画像出力部１０９が有する複数の出力手段として、複数の出力端子を装備している。例えば、一つ目のＳＤＩ端子には、ＥＶＦと同様に撮影画像とＯＳＤを伝送し、二つ目のＳＤＩ端子には、解像度は最高にして、ＯＳＤなども重畳せず、記録用の画像として伝送したりする。他にもＨＤＭＩなどの端子も備え、これも同様に記録用の画像を伝送して使用されることが多い。場合によっては、画像処理装置１００に追加の小型サブモニタなどを装備して、カメラマンが、表示部１１４とは別の表示手段として確認するような用途にも利用できる。

ネットワークモジュール１０８は、伝送遅延が大きくリアルタイム性に欠ける場合が多いが、距離的に大きく離れた場所への画像の伝送や、コントロール信号の受信などに利用される。ネットワークには、Ｅｔｈｅｒｎｅｔケーブルの接続やＷｉ－Ｆｉ（登録商標）と呼ばれる無線接続がある。ネットワークを利用する場合、データレートを下げる目的から、画像は縮小し、フレームレートも遅くして、送出することとしてもよい。これら出力手段は、画像処理装置１００のＣＰＵ１０２によって制御されるが、画像をどのように加工して送出するかは、上記に限るものではない。

本実施形態では、被写体と別の画像を合成する際の利便性を向上させるため、被写体までの距離情報や、その過程において入手できた情報を機器外へ出力する。特に、撮影時において、各種出力手段と、そこに表示する画像は、使用する人や、後段に接続される機器に応じて用途が変わる。そのため、出力手段に各種画像を分配するかを、画像処理装置１００の動作設定に応じて決定する。ここでの出力手段としては、先述したＥＶＦ、ＳＤＩ、ＨＤＭＩ、ネットワーク端子であり、各種画像としては、先述した撮影画像、ＡＢ独立画像、像ズレ画像、デフォーカス画像、距離画像、距離レイヤー画像である。これらの画像に関連する演算結果としては、互いに異なる複数の視点の画像、視差情報、像ズレ情報、デフォーカス情報、距離情報、距離レイヤー情報である。

図１０（Ａ）～（Ｄ）は、第１実施形態における出力切替パターンの図表である。一例として、出力する画像をどのように分配するかについて、画像処理装置１００の動作設定に応じて図１０に示すようなテーブルなどで管理する。

図１０（Ａ）は、演算モードに応じて、出力方式を切り替えるテーブルの一例である。図１０（Ａ）を用いることで、ユーザが設定する演算量の設定値に応じて、振り分ける演算結果を選択的に切り替える制御が可能である。高負荷モードとは、画像処理装置１００で距離情報の演算まですべて行うような設定をしたモードである。ＥＶＦにはカメラマンが確認できるように撮影画像を表示し、ＳＤＩ－１には、外部記録や外部ＰＣに入力するための距離画像を出力し、ＳＤＩ－２には、外部記録や外部ＰＣに入力するための撮影画像を出力する。ＨＤＭＩには被写体の距離感を見ながらチェックできるように距離レイヤー画像を出力する。

低負荷モードとは、画像処理装置１００では最小限の演算処理のみ実行する設定をしたモードである。先述したように、距離情報を算出するまでには、様々な演算処理が必要である。このため、高精度な結果を必要とした場合、画像処理部１０５での演算種類を増やしたり、物体検出部１１５などの追加情報を使用して実現する必要性も出てくる。この場合、処理画像の縮小やフレームレートの低減などを行わないと動画撮影などに支障をきたす場合がある。そのため、低負荷モードも選択可能とし、演算量の少ないＡＢ独立画像のみを出力して、外部ＰＣなどに接続して、ＰＣで画像処理、距離情報算出演算まで実行させることを想定した出力に切り替えることができる。

ここでは説明を容易にするために、高負荷モードと低負荷モードの２種類しか説明しなかったが、演算量を減らす方法は、これだけに限らない。例えば、相関演算の相対的なずらし量を小さくしたり、信頼度を高める補助演算を省略したりなど、様々な工夫は考えられる。また、高負荷モードでは、画像処理装置１００に高い負荷をかけてしまう事実はあるものの、装着している他の機能ブロックから有益な情報を得られるため、外部ＰＣよりも精度の高い演算ができる可能性もある。

図１０（Ｂ）は、画像処理装置１００が非記録状態か記録状態なのかによって出力方式を切り替えるテーブルの例である。図１０（Ｂ）のように、画像処理装置１００の動作状況に応じて、出力方式を切り替えるようにしてもよい。図１０（Ｂ）を用いることで、演算結果を保存（記録）するか否かに応じて、振り分ける演算結果を選択的に切り替える制御が可能である。非記録とは、いわゆるスタンバイ状態であり、機器のパラメータの設定や、撮影する構図のチェック、リハーサルなど、まだ本撮影（記録）していない状態のことである。非記録時は、視認性の良い距離レイヤー画像でモニタリングして、記録時には情報量の多い距離画像で外部記録機器に保存したい場合などに適用できる。外部記録機器に高精細なモニターが装着されている場合、このような出力方式の利便性が向上する。

図１０（Ｃ）は、装着されたレンズが、画像処理装置１００が認識できるもの（対応できるもの）であるかどうかで切り替えるテーブルの例である。図１０（Ｃ）に示すように、画像処理装置１００のレンズユニット１０６に応じて、出力方式のテーブルを切り替えてもよい。装着されたレンズの種類を認識できれば、あらかじめＲＯＭ１０３に保存されている光学的なパラメータを使用することができるので、距離画像の生成まで可能となる。しかし、レンズ情報がない場合、距離画像の生成は困難になり、ＡＢ独立画像までしか対応できない。また、たとえ光学的なパラメータを持っていたとしても、超望遠レンズなど、レンズの種類によって距離画像の生成が困難になる場合もある。このため、必要に応じて制限をかけるような構造にしてもよい。このように、図１０（Ｃ）を用いることで、レンズ特性または被写体状況に応じて、出力可能な演算結果を選択する制御が可能である。ここで、レンズ特性または被写体状況とは、レンズの種類、Ｆ値の状態、被写体コントラスト等がある。

図１０（Ｄ）は、装着されたレンズが操作されているか（操作）、されていないか（非操作）に応じて出力方式を切り替えるテーブルの例である。図１０（Ｄ）を用いることで、レンズが操作されている場合に、振り分ける演算結果を選択的に切り替える制御が可能である。レンズを操作するのは主にカメラマンであり、カメラマンは、画角調整の他にも焦点合わせ（フォーカス合わせ）なども行う。この時、撮影画像よりもデフォーカス画像のほうがフォーカス合わせがやりやすい。このように、レンズの状態に応じて出力方式のテーブルを切り替えることも可能である。

なお、説明には加えていないが、画像信号の出力端子としてはネットワーク端子も使用可能である。これらテーブルはユーザーが任意の設定にしてもよく、上述した条件以外でも切り替えるような構成も可能である。また、説明には加えていないが、ＣＰＵ１０２は、センサ内での読出しモードに応じて、振り分ける前記演算結果を選択的に切り替える制御を行ってもよい。以上、種々の設定や、動作モードに合わせて出力方式を切り替えることについて説明した。

図１１は、第１実施形態におけるフローチャートである。図１１を用いて、出力を切替える制御を説明する。ＣＰＵ１０２が記憶媒体としてのＲＯＭ１０３などに記憶されたプログラムを実行することによって図１１のフローチャートの各ステップの動作が行われる。

ステップＳ１５０１において、画像処理装置１００のＣＰＵ１０２は、レンズユニット１０６と通信を行う。ここで、レンズユニット１０６に装着されているレンズが、ＲＯＭ１０３に記憶されているものと等しいかどうかをチェックする。通信判定が不可の場合や、記憶されていない非対応のレンズが装着されていた場合は、ステップＳ１５０２に遷移する。一方、ステップＳ１５０１において、通信判定が可能で、対応レンズであると判定された場合は、ステップＳ１５０３に遷移する。

ステップＳ１５０２において、ＣＰＵ１０２は、非対応レンズ用端子出力の設定テーブルをＲＯＭ１０３から読み出す。そして、画像処理部１０５、画像出力部１０９の動作を切り替える制御を行う。

ステップＳ１５０３において、ＣＰＵ１０２は、ＲＯＭ１０３から、初期端子出力の設定テーブルを読み出し、画像処理部１０５、画像出力部１０９の動作を切り替える制御を行う。そして、ステップＳ１５０４に遷移する。

ステップＳ１５０４において、演算モードの設定状態が高負荷か低負荷かを判定する。画像処理装置１００の処理負荷を軽くするために、低負荷モードが選択されている場合は、ステップＳ１５０５に進む。一方、ステップＳ１５０４において、高負荷モードが選択されている場合は、ステップＳ１５０６に進む。

ステップＳ１５０５において、ＣＰＵ１０２は、低負荷演算用端子出力のテーブルをＲＯＭ１０３から読み出し、画像処理部１０５、画像出力部１０９の動作を切り替える制御を行う。

ステップＳ１５０６において、ＣＰＵ１０２は、非記録用端子出力の設定テーブルをＲＯＭ１０３から読み出し、画像処理部１０５、画像出力部１０９の動作を切り替える制御を行う。

ステップＳ１５０７において、記録が開始されたかどうかの判定を行う。記録がまだ開始されていない状態であれば、ステップＳ１５０８に進む。一方、記録が開始されたと判断されれば、ステップＳ１５１１に進む。

ステップＳ１５０８において、レンズ操作を検出する。レンズが操作されていなければ、ステップＳ１５０６に戻る。レンズが操作されていれば、ステップＳ１５０９に進む。

ステップＳ１５０９において、ＣＰＵ１０２は、レンズ操作用端子出力の設定テーブルをＲＯＭ１０３から読み出し、画像処理部１０５、画像出力部１０９の動作を切り替える制御を行う。その後、ステップＳ１５１０に進む。

ステップＳ１５１０において、レンズ操作が継続しているか終了しているかを判定する。継続していればステップＳ１５０９へ戻る。一方、終了していればステップＳ１５０６に戻る。

ステップＳ１５１１において、ＣＰＵ１０２は、記録時用端子出力の設定テーブルをＲＯＭ１０３から読み出し、画像処理部１０５、画像出力部１０９の動作を切り替える制御を行う。

本実施形態では、ＣＰＵ１０２が、演算過程で得られる演算量の異なる複数の演算結果を複数の出力手段に振り分け、画像処理装置１００の動作状況に応じて、振り分ける演算結果を選択的に切り替える。ここで、複数の演算結果は、初期結果、中間結果、最終結果を含む。複数の演算結果は、記録媒体１１２に保存可能であり、且つ、異なる領域に記録可能である。このため、例えば、初期結果を保存する領域を第一保存手段、中間結果を保存する領域を第二保存手段、最終結果を保存する領域を第三保存手段としてもよい。

初期結果は、少なくとも互いに異なる複数の視点の画像である。中間結果は、ＣＰＵ１０２が視差情報を取得し距離情報を演算するまでの過程において得られる情報である。最終結果は、距離情報である。また、画像処理装置１００は、距離情報を距離レイヤー情報に変換する変換手段を有し、距離レイヤー情報を出力手段から出力可能である。ＣＰＵ１０２は、演算結果のそれぞれの振り分け先を任意に変更可能である。ここで、振り分け先の変更は、ユーザによる設定に基づいて行ってもよい。

本実施形態において、ＣＰＵ１０２は、設定される演算量とフレームレートに応じて、距離情報の信頼性を高めるための補助演算を行わない制御をしてもよい。このようにして距離情報や距離レイヤー情報を生成することにより、演算量を減らしつつフレームレートを向上させることができる。

本実施形態において、画像処理装置１００がバッテリーにより駆動されることとしてもよい。ここで、表示部１１４は、画像処理装置１００がバッテリー駆動される場合、より演算量が少ない演算結果が表示可能であることを表示することとしてもよい。演算量を少なくすることにより、バッテリーの消費電力を抑えることができる。

＜第２実施形態＞
本発明の第２実施形態の説明をする。本実施形態では、前述した実施形態と同様の構成については、同符号を付して説明を省略する。第１実施形態においては、画像処理装置１００の動作設定に応じたテーブルを用いて、画像処理部１０５、画像出力部１０９の動作を切り替えることを説明した。本実施形態では、当該テーブルを採用するにあたって、信頼度の概念を取り入れる。これにより、出力端子の出力方式の利便性を上げることができる。

例えば、ＣＰＵ１０２が、図４や図５などで説明したＳＬＯＰなどの値を判定し、画面全体の信頼性が低いと判断したとする。その場合、ＣＰＵ１０２は、現在表示している画像が距離画像などの演算結果の表示であると判断したら、表示方法を切り替えるよう促すため警告表示を出す。または、ＣＰＵ１０２は、強制的に撮影画像に切り替える処理などを行う。この理由は、例えば、図８は、演算できない領域が多いと黒表示としているため、結果的に信頼度が低いと、画像が真っ黒になってしまったり、ノイズの多い画となる。この場合、使い勝手が悪くなるため、表示方法を切り替える処理をする。

信頼度をどのように使用するかは、ユーザーが任意に決めても良い。例えば、人物を重視した撮影をしたいとした場合、物体検出部１１５などを利用して、人物の領域を特定し、人物の領域内における信頼度を用いて画像の信頼度を判定する。信頼度が低い画像だと判断した場合には、警告表示や、強制切り替えを行うこととしても良い。

なお、信頼度の情報（信頼度情報）は、複数の演算結果のうち、中間結果から得られる。ＣＰＵ１０２は、中間結果から信頼度情報を取得する信頼度情報取得手段として機能し、信頼度情報に応じて、出力手段に振り分ける演算結果を切り替える。なお、信頼度情報は、互いに異なる複数の視点の画像の相関関係によって決定される。

ここまで説明してきたように、種々の設定や、動作モードに合わせて出力方式を切り替えることによって、使用する人や、使用する環境、システムに応じた出力手段を選択することが可能となる。これにより、被写体と背景の分離を行い、被写体を別の画像と合成する一連の作業を効率よく進めることができる。

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

本発明は、実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 画像処理装置
１０２ ＣＰＵ
１０５ 画像処理部
１０７ 撮像部
１０９ 画像出力部
１１２ 記録媒体
１１４ 表示部
１００１ 焦点が合っていない手前の被写体
１００２ 焦点が合っていない奥の被写体
１００３ 焦点が合っている被写体

Claims (19)

1. 互いに異なる複数の視点の画像を取得する画像取得手段と、
   取得した前記画像から距離情報に変換する演算を行う演算手段と、
   前記距離情報を出力することのできる複数の出力手段と、
   前記演算手段による演算結果を前記複数の出力手段から出力する制御を行う制御手段と、を備えた画像処理装置において、
   前記制御手段は、前記演算手段による演算過程で得られる演算量の異なる複数の演算結果を前記複数の出力手段に振り分け、前記画像処理装置の動作状況に応じて、振り分ける前記演算結果を選択的に切り替える
   ことを特徴とする画像処理装置。
2. 前記複数の演算結果は、初期結果、中間結果、最終結果を含む
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段は、ユーザによる設定に基づいて、前記複数の演算結果を前記複数の出力手段へ振り分ける制御を行う
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記画像取得手段に対して光学像を形成するレンズを有するレンズユニットを備え、
   前記制御手段は、前記レンズが操作されている場合に、振り分ける前記演算結果を選択的に切り替える制御を行う
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記制御手段は、レンズ特性または被写体状況に応じて、前記複数の演算結果のうち出力可能な演算結果を選択する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記制御手段は、ユーザが設定する前記演算手段の演算量の設定値に応じて、振り分ける前記演算結果を選択的に切り替える
   ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記複数の演算結果を保存する保存手段を備え、
   前記制御手段は、前記複数の演算結果を保存するか否かに応じて、振り分ける前記演算結果を選択的に切り替える
   ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記制御手段は、センサ内での読出しモードに応じて、振り分ける前記演算結果を選択的に切り替える
   ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記制御手段は、設定される前記演算手段における演算量とフレームレートに応じて、前記演算手段が前記距離情報の信頼性を高めるための補助演算を行わない制御をする
   ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記複数の演算結果を表示する表示手段を備え、
    前記制御手段は、前記画像処理装置をバッテリー駆動する場合は、前記表示手段に、より演算量が少ない演算結果が表示可能であることを表示する
    ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記初期結果は、少なくとも互いに異なる複数の視点の画像である
    ことを特徴とする請求項２に記載の画像処理装置。
12. 前記中間結果は、前記演算手段が視差情報を取得し前記距離情報を演算するまでの過程において得られる情報である
    ことを特徴とする請求項２に記載の画像処理装置。
13. 前記最終結果は、前記距離情報である
    ことを特徴とする請求項２に記載の画像処理装置。
14. 前記距離情報を距離レイヤー情報に変換する変換手段を有する
    ことを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
15. 前記制御手段は、前記演算結果のそれぞれの振り分け先を任意に変更可能である
    ことを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理装置。
16. 前記中間結果から信頼度情報を取得する信頼度情報取得手段を備え、
    前記制御手段は、前記信頼度情報に応じて、前記演算結果を切り替える
    ことを特徴とする請求項２に記載の画像処理装置。
17. 前記信頼度情報は、互いに異なる複数の視点の画像の相関関係によって決定されることを特徴とする請求項１６に記載の画像処理装置。
18. 距離情報を出力することのできる複数の出力手段を有する画像処理装置における画像処理方法において、
    互いに異なる複数の視点の画像を取得する画像取得ステップと、
    取得した前記画像から距離情報に変換する演算を行う演算ステップと、
    演算過程で得られる演算量の異なる複数の演算結果を前記複数の出力手段に振り分け、前記画像処理装置の動作状況に応じて、振り分ける前記演算結果を選択的に切り替えるこのにより、演算結果を前記複数の出力手段から出力する出力ステップと、を有する
    ことを特徴とする画像処理方法。
19. 請求項１～１７のいずれか１項に記載の画像処理装置の各手段をコンピュータにより制御するためのプログラム。
    
    

Images