JP2019129446A - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Abstract

【課題】カラー画像基準合成画像と白黒画像基準合成画像の切り替えを観察者が気づきにくい最適タイミングで実行する装置、方法を実現する。【解決手段】異なる視点から撮影されたカラー画像と白黒画像を入力し、（ａ）カラー画像の画像位置に白黒画像を位置合わせしたカラー画像基準合成画像、または、（ｂ）白黒画像の画像位置にカラー画像を位置合わせした白黒画像基準合成画像、これら２種類の合成画像を予め規定された基準画像切り替えしきい値に基づいて切り替えて生成する構成において、基準画像切り替えしきい値にヒステリシスを設定し、ヒステリシスを状況に応じて変更し、基準画像切り替えを観察者が気づきにくい最適タイミングで実行可能とする。【選択図】図５

Description

本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、複数の撮像部で撮影された２つの画像を合成して高品質画像を生成する画像処理装置、および画像処理方法、並びにプログラムに関する。

画質の異なる複数の画像を合成することで高品質な画像を生成することが知られている。
例えば特許文献１（特開２０１５−１９７７４５号公報）には、カラー画像と白黒画像を合成して、カラー画像の色彩情報と、白黒画像の輝度情報を用いて高品質画像を生成する構成が開示されている。

特開２０１５−１９７７４５号公報

上記特許文献１には、カラー画像と白黒画像を合成して高品質画像を生成する構成が開示されている。
しかし、この特許文献１に記載の合成画像生成処理は、撮影状況に応じてカラー画像と白黒画像のいずれかを基準画像に設定して画像合成を行う構成ではない。

これに対して本開示の処理においては、例えば、撮影状況に応じてより高画質な合成画像を生成するように、カラー画像と白黒画像の一方の画像を基準画像（メイン画像）として合成画像を生成する。ただし、このような構成とすると、例えば撮影画像が動画である場合、撮影条件の変化により基準画像を切り替える必要が発生する。この画像切り替えが頻繁に発生すると２つの画像の視差に基づく視点移動が起こり、画像の観察ユーザに違和感を生じさせる。

本開示は、２つの基準画像の切り替え制御を行い、画像観察ユーザの違和感を解消、または低減する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

本開示の第１の側面は、
異なる視点から撮影されたカラー画像と白黒画像の合成処理を実行して合成画像を生成する画像処理部を有し、
前記画像処理部は、
（ａ）カラー画像の画像位置に白黒画像を位置合わせしたカラー画像基準合成画像、または、
（ｂ）白黒画像の画像位置にカラー画像を位置合わせした白黒画像基準合成画像、
上記（ａ），（ｂ）２種類の合成画像を、予め規定された基準画像切り替えしきい値に基づいて切り替えて生成する構成であり、さらに、
カラー画像と白黒画像のいずれを基準画像とするかを決定する基準画像決定処理を実行する基準画像決定部を有し、
前記基準画像決定部は、
前記基準画像切り替えしきい値にヒステリシスを設定し、前記ヒステリシスを状況に応じて変更する制御を行う画像処理装置にある。

さらに、本開示の第２の側面は、
異なる視点から撮影された第１画像と第２画像の合成処理を実行して合成画像を生成する画像処理部を有し、
前記画像処理部は、
（ａ）前記第１画像の画像位置に前記第２画像を位置合わせした第１画像基準合成画像、または、
（ｂ）前記第２画像の画像位置に前記第１画像を位置合わせした第２画像基準合成画像、
上記（ａ），（ｂ）２種類の合成画像を、予め規定された基準画像切り替えしきい値に基づいて切り替えて生成する構成であり、さらに、
前記第１画像と前記第２画像のいずれを基準画像とするかを決定する基準画像決定処理を実行する基準画像決定部を有し、
前記基準画像決定部は、
前記基準画像切り替えしきい値にヒステリシスを設定し、前記ヒステリシスを状況に応じて変更する制御を行う画像処理装置にある。

さらに、本開示の第３の側面は、
画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、異なる視点から撮影されたカラー画像と白黒画像の合成処理を実行して、
（ａ）カラー画像の画像位置に白黒画像を位置合わせしたカラー画像基準合成画像、または、
（ｂ）白黒画像の画像位置にカラー画像を位置合わせした白黒画像基準合成画像、
上記（ａ），（ｂ）２種類の合成画像を、予め規定された基準画像切り替えしきい値に基づいて切り替えて生成する構成であり、
前記画像処理装置の基準画像決定部が、
カラー画像と白黒画像のいずれを基準画像とするかを決定する基準画像決定処理を実行し、
前記基準画像決定部は、
前記基準画像切り替えしきい値にヒステリシスを設定し、前記ヒステリシスを状況に応じて変更する制御を行う画像処理方法にある。

さらに、本開示の第４の側面は、
画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、異なる視点から撮影された第１画像と第２画像の合成処理を実行して、
（ａ）第１画像の画像位置に第２画像を位置合わせした第１画像基準合成画像、または、
（ｂ）第２画像の画像位置に第１画像を位置合わせした第２画像基準合成画像、
上記（ａ），（ｂ）２種類の合成画像を、予め規定された基準画像切り替えしきい値に基づいて切り替えて生成する構成であり、
前記画像処理装置の基準画像決定部が、
第１画像と第２画像のいずれを基準画像とするかを決定する基準画像決定処理を実行し、
前記基準画像決定部は、
前記基準画像切り替えしきい値にヒステリシスを設定し、前記ヒステリシスを状況に応じて変更する制御を行う画像処理方法にある。

さらに、本開示の第５の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、異なる視点から撮影されたカラー画像と白黒画像の合成処理を実行して、
（ａ）カラー画像の画像位置に白黒画像を位置合わせしたカラー画像基準合成画像、または、
（ｂ）白黒画像の画像位置にカラー画像を位置合わせした白黒画像基準合成画像、
上記（ａ），（ｂ）２種類の合成画像を、予め規定された基準画像切り替えしきい値に基づいて切り替えて生成する構成であり、
前記プログラムは、前記画像処理装置の基準画像決定部に、
カラー画像と白黒画像のいずれを基準画像とするかを決定する基準画像決定処理を実行させ、
前記基準画像決定処理において、
前記基準画像切り替えしきい値にヒステリシスを設定し、前記ヒステリシスを状況に応じて変更する制御を行わせるプログラムにある。

なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本開示の一実施例の構成によれば、カラー画像基準合成画像と白黒画像基準合成画像の切り替えを観察者が気づきにくい最適タイミングで実行する装置、方法が実現される。
具体的には、例えば、異なる視点から撮影されたカラー画像と白黒画像を入力し、（ａ）カラー画像の画像位置に白黒画像を位置合わせしたカラー画像基準合成画像、または、（ｂ）白黒画像の画像位置にカラー画像を位置合わせした白黒画像基準合成画像、これら２種類の合成画像を予め規定された基準画像切り替えしきい値に基づいて切り替えて生成する構成において、基準画像切り替えしきい値にヒステリシスを設定し、ヒステリシスを状況に応じて変更し、基準画像切り替えを観察者が気づきにくい最適タイミングで実行可能とする。
本構成により、カラー画像基準合成画像と白黒画像基準合成画像の切り替えを観察者が気づきにくい最適タイミングで実行する装置、方法が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

画像処理装置の外観構成例について説明する図である。 画像処理装置の構成例について説明する図である。 撮像素子の構成例について説明する図である。 白黒画像の画質について説明する図である。 カラー画像の画質について説明する図である。 オクルージョンについて説明する図である。 画像処理部の構成例について説明する図である。 基準画像決定処理の一例について説明する図である。 基準画像決定処理の一例について説明する図である。 基準画像切り替えに基づく問題点について説明する図である。 基準画像切り替えに基づく問題点について説明する図である。 基準画像決定部の構成と処理について説明する図である。 ヒステリシスを適用した基準画像切り替え処理について説明する図である。 ヒステリシスを適用した基準画像切り替え処理について説明する図である。 ヒステリシスを適用した基準画像切り替え処理について説明する図である。 基準画像決定部の実行する処理のシーケンスについて説明するフローチャートを示す図である。 基準画像決定部の実行する処理のシーケンスについて説明するフローチャートを示す図である。 基準画像決定部の実行する処理のシーケンスについて説明するフローチャートを示す図である。 基準画像決定部の実行する処理のシーケンスについて説明するフローチャートを示す図である。 ヒステリシス制御パラメータについて説明する図である。 ユーザ設定可能なパラメータについて説明する図である。

以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
１．画像処理装置の構成例について
２．画像処理部の実行する合成画像の生成処理について
３．基準画像決定部の実行する基準画像の決定処理について
４．基準画像決定部の実行する処理のシーケンスについて
５．ユーザ設定可能なパラメータについて
６．その他の実施例について
７．本開示の構成のまとめ

［１．画像処理装置の構成例について］
図１は、本開示の画像処理装置の一構成例を示す図である。図１は、カメラ機能を備えた情報処理端末（スマホ）であり、本開示の画像処理装置の一例である。
なお、本開示の画像処理装置は、このような情報処理端末（スマホ）に限らず、例えばカメラ等の撮像装置、あるいはカメラ撮影画像を入力して画像処理を行うＰＣ等の装置も含まれる。

図１（ａ）は画像処理装置１０の表側を示しており、表示部１１および操作部１２が表側に設けられている。図１（ｂ）は画像処理装置１０の裏側を示しており、複数の撮像部、すなわちカラー画像撮像部２１、白黒画像撮像部２２が裏側に設けられている。

図２は、画像処理装置の構成例を示している。
画像処理装置１００は、撮像部１１０を構成するカラー画像撮像部１１１、白黒画像撮像部１１２、画像処理部１２０、さらに、画像処理部１２０の処理画像の出力部１３０として表示部１３１、記憶部１３２を有する。
さらに、センサ部１４１、操作部１４２、制御部１５０、通信部１６０を有している。

カラー画像撮像部１１１、白黒画像撮像部１１２は、図１（ｂ）に示すように画像処理装置１００の同一面側に設けられている。カラー画像撮像部１１１、白黒画像撮像部１１２は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどの撮像素子を用いて構成されており、レンズ（図示せず）により取り込まれた光の光電変換を行い、撮像画の画像データを生成して画像処理部１２０へ出力する。また、カラー画像撮像部１１１、白黒画像撮像部１１２は特性差を有している。

図３は、撮像部の画素配列を例示している。図３（ａ）は、白黒画像撮像部１１２の画素配列を示している。白黒画像撮像部１１２は、全画素が、可視光の全波長領域の入射光量に基づく電気信号を出力するＷ（ホワイト）画素によって構成される。したがって、白黒画像撮像部１１２は、白黒画像の画像データを生成する。

図３（ｂ）は、カラー画像撮像部１１１の画素配列を示している。カラー画像撮像部１１１は、例えば赤色（Ｒ）画素と青色（Ｂ）画素と緑色（Ｇ）画素をベイヤ配列としたカラーフィルタを用いて構成されている。ベイヤ配列では２×２画素の画素単位において対角位置の２つの画素が緑色（Ｇ）画素で、残りの画素が赤色（Ｒ）画素と青色（Ｂ）画素とされている。すなわち、カラー画像撮像部１１１は、各画素が赤色と青色と緑色のいずれか１つの色成分の入射光量に基づく電気信号を出力する色画素によって構成されている。したがって、カラー画像撮像部１１１は、各画素が三原色（ＲＧＢ）成分のいずれかを示すカラー画像の画像データを生成する。

画像処理部１２０は、カラー画像撮像部１１１、白黒画像撮像部１１２で取得された撮像画を用いて、合成画像を生成する。すなわち、画像処理部１２０は、カラー画像撮像部１１１、白黒画像撮像部１１２で取得された撮像画を用いて画像処理を行い、カラー画像撮像部１１１や、白黒画像撮像部１１２で個々に取得される撮像画を高画質化した合成画像を生成して、出力部１３０内の表示部１３１や記憶部１３２へ出力する。なお、画像処理部１２０の構成および動作の詳細については後述する。

センサ部１４１はジャイロセンサなどを用いて構成されており、画像処理装置１００に生じた揺れを検出する。センサ部１４１は、検出した揺れの情報を制御部１５０へ出力する。

通信部１６０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットなどのネットワーク上の機器と通信を行う。

表示部１３１は、画像処理部１２０から供給された画像データに基づき撮像画の表示、制御部１５０からの情報信号に基づきメニュー画面や各種アプリケーション画面等の表示を行う。なお、表示部１３１の表示面はタッチパネル構成を有し、ＧＵＩ機能利用できるように構成されている。

操作部１４２は操作スイッチ等を用いて構成されており、ユーザ操作に応じた操作信号を生成して制御部１５０へ出力する。

記憶部１３２は、画像処理装置１００で生成された情報例えば画像処理部１２０から供給された画像データや、画像処理装置１００で通信やアプリケーションを実行するために用いられる各種情報を記憶する。

制御部１５０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ），ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）（図示せず）などで構成されている。制御部１５０は、ＲＯＭまたはＲＡＭに記憶されたプログラムを実行して、表示部１３１を構成するタッチパネルや操作部１４２に対するユーザ操作に応じた動作が画像処理装置１００で行われるように各部の動作を制御する。

なお、画像処理装置１００は、図２に示す構成に限られず、例えば画像データを符号化して記憶部１３２に記憶するための符号化処理部、画像データを表示部の解像度に合わせる解像度変換部等が設けられてもよい。

［２．画像処理部の実行する合成画像の生成処理について］
次に、画像処理部１２０の実行する合成画像の生成処理について説明する。
図２に示す画像処理部１２０は、白黒画像撮像部１１２で取得された白黒画像とカラー画像撮像部１１１で取得されたカラー画像を用いて画像合成処理を行う。

図４は、白黒画像を基準画像とした画像合成処理によって得られる画質を説明するための図である。例えば、白黒画像を基準として、白黒画像の画像位置にカラー画像を位置合わせした後、画像合成を行って合成画像を生成すると、白黒画像撮像部１１２で用いられているレンズおよびセンサの特性に応じて輝度を忠実に再現することができる。

一方、図５は、カラー画像を基準画像とした画像合成処理によって得られる画質を説明するための図である。例えば、カラー画像を基準として、カラー画像の画像位置に白黒画像を位置合わせした後、画像合成を行って合成画像を生成すると、カラー画像を基準としていることから合成画像では色ずれを生じることがなく、白黒画像撮像部１１２で用いられているレンズおよびセンサの特性に応じて輝度を忠実に再現することができる。

しかし、白黒画像撮像部１１２とカラー画像撮像部１１１では視点が異なることから、遠景に比べて近景では色ずれを生じるリスクが高くなる。また、遠景に比べて近景ではオクルージョン領域が増加する。
オクルージョン領域は、例えば撮像部に近い障害物等によって、一方の画像にのみ撮影され、他方の画像に撮影されない領域である。

図６は、白黒画像撮像部１１２で取得される白黒画像を基準としたときのオクルージョン領域を示している。視差によってオクルージョンが生じると、カラー画像撮像部１１１で取得されたカラー画像ではオクルージョン領域に対応する画像データがない。このため画像合成処理によって生成された合成画像ではオクルージョン領域で色情報が欠落した画像となる。さらに、遠景に比べて近景の画素では一方の撮像画における注目画素に対応する画素が視差検出の探索範囲を超えて、視差ベクトルを算出できないおそれもある。したがって、画像合成処理によって得られる合成画像は、カラー画像撮像部１１１で取得されたカラー画像よりも画質が劣化する場合がある。

また、白黒画像撮像部１１２はカラーフィルタを用いたカラー画像撮像部１１１に比べて感度が高いことから、被写体の輝度が高くなると、カラー画像撮像部１１１に比べて画素の飽和を生じやすい。このように白黒画像において飽和した画素が多くなると、合成画像では、カラー画像撮像部１１１で取得されたカラー画像に比べて被写体の高輝度部分がより多く飽和している画質の劣化したカラー画像となってしまう。

このため、画像処理部１２０は、撮像画に基づき視差や画素の飽和に起因する画質の劣化を生じるか否かの画像合成判定を行う。画像処理部１２０は、画像合成判定結果に応じて、以下の２種類の合成画像のいずれか一方を生成する。
カラー画像撮像部１１１で取得されたカラー画像を基準画像とした合成画像、
白黒画像撮像部１１２で取得された白黒画像を基準画像とした合成画像。

図７は、画像処理部１２０の詳細構成例を示す図である。
画像処理部１２０は、前処理部１２１，１２２、視差＆オクルージョン検出部１２３、基準画像決定部１２４、画像合成部１２５を有している。

前処理部１２１，１２２は、カラー画像撮像部１１１、白黒画像撮像部１１２の取得した撮像画の画像データに対して、レンズ歪補正や欠陥画素補正、ホワイトバランス調整等の画像補正処理を行う。補正後の画像データは、視差＆オクルージョン検出部１２３と、基準画像決定部１２４、画像合成部１２５へ出力する。

視差＆オクルージョン検出部１２３は、前処理部１２１，１２２から供給された白黒画像データとカラー画像データに基づいて視差検出とオクルージョン検出を行う。
白黒画像撮像部１１２とカラー画像撮像部１１１は、図１の（ｂ）に示すように異なる視点位置から撮像を行うため、白黒画像撮像部１１２とカラー画像撮像部１１１で取得された撮像画は視差を持つ画像となる。

視差＆オクルージョン検出部１２３は、ブロックマッチングなどの対応点検出処理によって、画素単位の視差情報と、オクルージョン領域検出を行う。この検出情報は、基準画像決定部１２４に出力される。

基準画像決定部１２４は、前処理部１２１，１２２から供給された白黒画像データとカラー画像データ、さらに、視差＆オクルージョン検出部１２３の検出した２つの画像データの画素単位または画像領域単位の視差情報と、オクルージョン領域検出情報を入力する。
基準画像決定部１２４は、これらの情報に基づいて、カラー画像、白黒画像、どちらの画像を基準画像に設定するかを決定する。
基準画像は、合成画像を生成する際の基準となる画像である。

カラー画像を基準画像に設定した場合、画像合成部１２５では、前処理部１２１から供給されたカラー画像データをベースとして、白黒画像から得られる輝度情報に基づく画素値補正を行い、合成画像を生成する。
一方、白黒画像を基準画像に設定した場合、画像合成部１２５では、前処理部１２２から供給された白黒画像データをベースとして、カラー画像から得られる色情報に基づく画素値補正を行い、合成画像を生成する。

基準画像決定部１２４は、
白黒画像を基準画像として生成した合成画像と、
カラー画像を基準画像として生成した合成画像、
これら２種類のいずれの合成画像が高画質な画像となり得るかを判定し、高画質合成画像を生成可能な方を選択する。

以下、この判定処理の一つの具体例について説明する。
基準画像決定部１２４は、視差＆オクルージョン検出部１２３の検出した２つの画像データの視差情報と、オクルージョン領域検出情報に基づいて、カラー画像、白黒画像、どちらの画像を基準画像に設定するかを決定する。
この基準画像決定処理の一例について、図８を参照して説明する。

図８に示すグラフは、横軸にオクルージョン面積、縦軸に視差を設定したグラフである。
横軸のオクルージョン面積は、カラー画像撮像部１１１の撮影したカラー画像と、白黒画像撮像部１１２の撮影した白黒画像、これら２つの画像の画像領域に含まれるオクルージョン領域の占有率（％）に相当する。
縦軸の視差は、カラー画像撮像部１１１の撮影したカラー画像と、白黒画像撮像部１１２の撮影した白黒画像、これら２つの画像の視差（例えば画素数）である。

基準画像決定部１２４は、これらのオクルージョン領域占有率と視差を、まず、画像を分割した分割領域単位で算出する。
図９を参照してこの処理について説明する。
図９はカラー画像撮像部１１１の撮影したカラー画像、または白黒画像撮像部１１２の撮影した白黒画像撮影画像である。
基準画像決定部１２４は、２つの画像のいずれか一方の画像を選択し、選択画像に複数の分割領域を設定する。図９に示す点線で区分けされた分割領域である。

基準画像決定部１２４は、各分割領域単位のオクルージョン領域占有率と視差（平均値）を算出する。
例えば、図９に示す例では、８×５＝４０個の分割領域が設定されており、４０個のオクルージョン領域占有率と視差（平均値）を算出する。
この４０個のオクルージョン領域占有率と視差（平均値）を、図８に示すグラフ上に配置する。
すなわち、
オクルージョン領域占有率＝ｘ、
視差（平均値）＝ｙ、
としたときの座標（ｘ，ｙ）を図８に示すグラフ上に配置する。

この処理によって、例えば、５０％以上がカラー画像基準領域に含まれていれば、基準画像をカラー画像とする。
また、５０％以上が白黒画像基準領域に含まれていれば、基準画像を白黒画像とする。
基準画像決定部１２４は、このような処理によって、基準画像を決定する。

なお、上述した処理例は一例であり、その他の処理も可能である。
例えば画像の中央領域にある分割領域に大きな重みを設定して、中央領域のオクルージョン領域占有率と視差（平均値）をより大きく反映させて基準画像を決定する処理を行ってもよい。
あるいは、顔領域が検出された分割領域の重みを高くして基準画像を決定する処理を行ってもよい。

図８に示すグラフから理解されるように、
オクルージョン面積占有率がしきい値Ｔｈｘ未満で、視差が視差しきい値Ｔｈｙ未満の場合は、白黒画像を基準画像とする。
一方、オクルージョン面積占有率がしきい値Ｔｈｘ以上、あるいは視差が視差しきい値Ｔｈｙ以上の場合は、カラー画像を基準画像とする。
基準画像決定部１２４は、このような処理によって、基準画像を決定する。

オクルージョン面積占有率が小さく、かつ視差が小さい場合、白黒画像を基準画像として白黒画像の忠実な輝度情報を画像全体に適用することで、高画質な画像を生成することができる。
すなわち、オクルージョン面積占有率が小さく、かつ視差が小さい場合は、オクルージョンによってカラー画像から色情報が取得できない領域が小さく、また視差による色ずれの問題も少ないため、白黒画像を基準画像として白黒画像の忠実な輝度情報を画像全体に適用した高画質な白黒画像基準合成画像を生成する。

一方、オクルージョン面積占有率が大きい場合、または視差が大きい場合は、オクルージョンによってカラー画像から色情報が取得できない領域が大きいか、あるいは視差による色ずれの問題が発生する領域が大きくなる可能性があり、これらの問題を低減させるためカラー画像を基準画像としたカラー画像基準合成画像を生成する。
なお、カラー画像基準合成画像においても白黒画像の輝度情報を適用した合成画像生成処理を行う。

なお、この図８、図９を参照して説明した基準画像決定処理は一例であり、基準画像決定部１２４は、その他の画像特徴量を用いて、
白黒画像を基準画像として生成した合成画像と、
カラー画像を基準画像として生成した合成画像、
これら２種類のいずれの合成画像が高画質であるかを判定し、高画質合成画像を生成可能な方を選択する構成とすることが可能である。
基準画像決定部１２４の決定した基準画像情報は、画像合成部１２５に入力される。

画像合成部１２５は、前処理部１２１，１２２から供給された白黒画像データとカラー画像データ、さらに、基準画像決定部１２４の決定した基準画像情報を入力する。

画像合成部１２５は、
基準画像決定部１２４の決定した基準画像がカラー画像である場合、前処理部１２１から供給されたカラー画像データをベースとして、白黒画像から得られる輝度情報に基づく画素値補正を行い、合成画像を生成する。
この場合、カラー画像の画像位置に白黒画像を位置合わせしたのち画像合成を行って合成画像を生成する。

一方、基準画像決定部１２４の決定した基準画像が白黒画像である場合、前処理部１２２から供給された白黒画像データをベースとして、カラー画像から得られる色情報に基づく画素値補正を行い、合成画像を生成する。
この場合、白黒画像の画像位置にカラー画像を位置合わせしたのち画像合成を行って合成画像を生成する。

しかし、このような合成画像生成処理を行うと、以下の問題が発生する。
この問題点について図１０、図１１を参照して説明する。
この問題は、撮影す画像が動画である場合に発生する。
上述したように、最終的な出力画像である合成画像は、
（ａ）カラー画像を基準としたカラー画像基準合成画像
（ｂ）白黒画像を基準とした白黒画像基準合成画像、
これらの２種類のいずれかが生成される。

どちらの画像が生成されるかは、基準画像決定部１２４の決定情報に基づくものとなる。
先に図８を参照して説明したように、基準画像決定部１２４は、例えば２つの画像（カラー画像、白黒画像）のオクルージョン領域と視差に基づいて、どちらの画像を基準画像として決定する。
しかし、動画の撮影時には、２つの画像（カラー画像、白黒画像）のオクルージョン領域と視差は、逐次変化する。
従って、例えば、図１０に示すように、動画の撮影中に、オクルージョン面積しきい値Ｔｈｘ、あるいは視差しきい値Ｔｈｙを挟んだ領域Ｐ，Ｑ内で激しく変動する可能性がある。
すなわち、カラー画像基準領域と、白黒画像基準領域との間を行ったり来たりする可能性がある。

このような事態が発生すると、図１０下部の（ａ）動画像フレームシーケンスの一例に示すように、各フレームで基準画像が入れ替わる現象が発生する。
先に図１を参照して説明したように、カラー画像撮像部と、白黒画像撮像部は異なる位置に設定されており、撮影画像は位置ずれのある画像となる。

図１１に示すように、カラー画像基準合成画像と、白黒画像基準合成画像は、位置ずれのある異なる画像になる。
この位置ずれのある２つの画像を短時間で頻繁に切り替えると画像を観察するユーザは、画像の揺れを認識し違和感を生じる。
以下、この問題を解決する本開示の画像処理装置の構成と処理について説明する。

［３．基準画像決定部の実行する基準画像の決定処理について］
以下、本開示の画像処理装置の実行する基準画像の決定処理について説明する。
図１２以下を参照して、本開示の画像処理装置１００の基準画像決定部１２４の構成と処理について説明する。

図１２に示すように、本開示の画像処理装置１００の基準画像決定部１２４は、ヒステリシス算出部１５１、記憶部１５２、基準画像選択部１５３を有する。

ヒステリシス算出部１５１は、画面内動きベクトル算出部２０１、カメラ動き検出部（ジャイロセンサ等）２０２、ズーム変化率検出部２０３、照度変化率検出部（照度センサ等）２０４、ＩＳＯ感度変化率取得部２０５、シーン判定部２０６、ホワイトバランス変化率取得部２０７、顔検出部２０８の検出情報を取得する。

なお、画面内動きベクトル算出部２０１、カメラ動き検出部（ジャイロセンサ等）２０２、ズーム変化率検出部２０３、照度変化率検出部（照度センサ等）２０４、ＩＳＯ感度変化率取得部２０５、シーン判定部２０６、ホワイトバランス変化率取得部２０７、顔検出部２０８、これらの構成は、画像処理装置１００の構成要素である。これらの各構成は、基準画像決定部１２４、またはヒステリシス算出部１５１内に構成してもよく、また、外部に構成してもよい。

例えば、これらの構成要素の一部をヒステリシス算出部１５１内に構成してもよい。この場合は、ヒステリシス算出部１５１自身が検出情報の生成、取得を行うことになる。例えば、画面内動きベクトル算出部２０１をヒステリシス算出部１５１内に設けた場合、ヒステリシス算出部１５１にカラー画像と白黒画像を入力して、これらの画像解析を行って動きベクトルの取得を行うといった処理が可能である。

ヒステリシス算出部１５１は、画面内動きベクトル算出部２０１〜顔検出部２０８の検出情報を取得し、これらの検出情報に基づいてヒステリシスを算出する。
ヒステリシスについて、図１３を参照して説明する。
図１３下部に示す（１）ヒステリシスを適用した状態遷移時の基準画像切り換え処理例には、上部に示すオクルージョン面積と視差とに基づく基準画像決定グラフのしきい値近傍の拡大図を示している。
オクルージョン面積しきい値（Ｔｈｘ）、または視差しきい値（Ｔｈｙ）の近傍に相当する。

動画撮影中に図１３（１）に示す状態遷移Ａが発生した場合、すなわち、白黒画像基準領域から、しきい値を超えてカラー画像基準領域に状態（オクルージョンまたは視差）が変化した場合、本開示の画像処理装置１００の基準画像決定部１２４は、しきい値（Ｔｈｘ、またはＴｈｙ）で基準画像を切り替えることなく、しきい値から離間した位置Ｐに至るまで、現在の基準画像（白黒画像）を維持する。位置Ｐを超えると基準画像を白黒画像からカラー画像に切り替える。

同様に、図１３（１）に示す状態遷移Ｂが発生した場合、すなわち、カラー画像基準領域から、しきい値を超えて白黒画像基準領域に状態（オクルージョンまたは視差）が変化した場合、本開示の画像処理装置１００の基準画像決定部１２４は、しきい値（Ｔｈｘ、またはＴｈｙ）で基準画像を切り替えることなく、しきい値から離間した位置Ｑに至るまで、現在の基準画像（カラー画像）を維持する。位置Ｑを超えると基準画像をカラー画像から白黒画像に切り替える。
すなわち、基準画像の切り替えをしきい値を境界にして実行するのではなく、所定のヒステリシスを設定して、しきい値を超えた位置デ実行する。

このようなヒステリシスを設定することで、先に図１０、図１１を参照して説明したような基準画像の頻繁な切り換えによる画像の揺れを防止することができる。

なお、本開示の画像処理装置１００の基準画像決定部１２４は、このヒステリシスの大きさ（ヒステリシス量）を、図１２に示す画面内動きベクトル算出部２０１〜顔検出部２０８の検出情報に基づいて変更する制御を行う。
図１３（１）に示す例ではヒステリシスの大きさ（ヒステリシス量）＝２Ｌであるが、このヒステリシス量を画面内動きベクトル算出部２０１〜顔検出部２０８からの検出情報に基づいて変更する。

例えば、図１４（１）には、基準ヒステリシスを適用した状態遷移時の基準画像切り替え処理例を示しているが、基準画像決定部１２４は、画面内動きベクトル算出部２０１〜顔検出部２０８からの検出情報に基づいて、図１４（２）に示すように、ヒステリシス量を大きくする。
図１４（２）には、拡張ヒステリシスを適用した状態遷移時の基準画像切り替え処理例を示している。この場合、基準ヒステリシスを適用した状態遷移時の基準画像切り替え処理より、基準画像の切り替えが発生しにくくなる。

また、基準画像決定部１２４は、画面内動きベクトル算出部２０１〜顔検出部２０８からの検出情報に基づいて、図１５（２）に示すように、ヒステリシス量を小さくする制御も行う。
図１５（２）には、縮小ヒステリシスを適用した状態遷移時の基準画像切り替え処理例を示している。この場合、基準ヒステリシスを適用した状態遷移時の基準画像切り替え処理より、基準画像の切り替えが発生しやすくなる。

図１２を参照して説明したように、基準画像決定部１２４は、ヒステリシス算出部１５１、記憶部１５２、基準画像選択部１５３を有する。
基準画像決定部１２４は、
（ａ）カラー画像の画像位置に白黒画像を位置合わせしたカラー画像基準合成画像、または、
（ｂ）白黒画像の画像位置にカラー画像を位置合わせした白黒画像基準合成画像、
これら（ａ），（ｂ）２種類の合成画像のいずれを生成するかを決定する。
すなわち、予め規定された基準画像切り替えしきい値に基づいて基準画像の切り替えを行う。
基準画像決定部１２４は、基準画像切り替えしきい値に、図１３〜図１５を参照して説明したヒステリシスを設定し、さらに、設定するヒステリシスを状況に応じて変更する制御を行う。

基準画像決定部１２４のヒステリシス算出部１５１は、画面内動きベクトル算出部２０１、カメラ動き検出部（ジャイロセンサ等）２０２、ズーム変化率検出部２０３、照度変化率検出部（照度センサ等）２０４、ＩＳＯ感度変化率取得部２０５、シーン判定部２０６、ホワイトバランス変化率取得部２０７、顔検出部２０８からの検出情報に基づいてヒステリシスの大きさを変更する。すなわちヒステリシス量を変更する制御を行う。

なお、具体的には、予め規定された大きさ（図１３（１）に示すＰ〜Ｑ＝２Ｌ）の基準ヒステリシスに対する調整値を、画面内動きベクトル算出部２０１〜顔検出部２０８各々の検出情報に基づいて算出し、算出した調整値を適用して、最終的に適用するヒステリシスを算出する。
すなわち、
ヒステリシス＝基準ヒステリシス＋調整値
として、最終的な適用ヒステリシス（量）を算出する。
具体的な処理シーケンスについては後述する。

図１２に示す基準画像決定部１２４内の記憶部１５２には、例えば、以下のデータが格納される。
（１）オクルージョン面積しきい値（Ｔｈｘ）、視差しきい値（Ｔｈｙ）、
（２）基準ヒステリシス（＝デフォルトヒステリシス）、
（３）画面内動きベクトル算出部２０１〜顔検出部２０８各々の検出情報（ヒステリシス制御パラメータ）に基づいて算出した算出ヒステリシス、
（４）画面内動きベクトル算出部２０１〜顔検出部２０８各々の検出情報に対応して設定されるしきい値（ヒステリシス制御パラメータ対応しきい値）、
（５）画面内動きベクトル算出部２０１〜顔検出部２０８各々の検出情報（ヒステリシス制御パラメータ）に対応する調整値、

基準画像選択部１５３は、ヒステリシス算出部１５１の算出したヒステリシスを適用して基準画像の切り替え制御を実行する。

先に説明したように、ヒステリシス算出部１５１は、画面内動きベクトル算出部２０１、カメラ動き検出部（ジャイロセンサ等）２０２、ズーム変化率検出部２０３、照度変化率検出部（照度センサ等）２０４、ＩＳＯ感度変化率取得部２０５、シーン判定部２０６、ホワイトバランス変化率取得部２０７、顔検出部２０８の検出情報を取得する。

画面内動きベクトル算出部２０１は、カラー画像撮像部１１１の撮影したカラー画像、または白黒画像撮像部１１２の撮影した白黒画像の少なくともいずれかの画像に基づいて、各画素または画像領域単位の動きベクトルを算出する。
例えば算出した動きベクトルの平均値がヒステリシス算出部１５１に入力される。
なお、画面内動きベクトル算出部２０１は、例えば画像中央部の動きベクトルに重みを大きく設定した算出値、あるいは顔検出領域の動きベクトルに重みを大きく設定した算出値を算出してヒステリシス算出部１５１に入力してもよい。

カメラ動き検出部（ジャイロセンサ等）２０２は、例えば、カメラ（画像処理装置１００）に備えられたジャイロセンサの検出値、すなわちカメラの動き情報を取得してヒステリシス算出部１５１に出力する。

ズーム変化率検出部２０３は、カメラ（画像処理装置１００）のズーム設定の変化率を取得する。すなわち、ズーム設定の変化率情報を取得してヒステリシス算出部１５１に出力する。

照度変化率検出部（照度センサ等）２０４は、カメラ（画像処理装置１００）に備えられた照度センサの検出値に基づく照度変化率情報を取得してヒステリシス算出部１５１に出力する。

ＩＳＯ感度変化率取得部２０５は、カメラ（画像処理装置１００）のＩＳＯ感度変化率情報を取得してヒステリシス算出部１５１に出力する。

シーン判定部２０６は、カラー画像撮像部１１１の撮影したカラー画像、または白黒画像撮像部１１２の撮影した白黒画像の少なくともいずれかの画像に基づいて、動画像の各フレームのシーンの切り換え状況を判別する。具体的には、例えば予め規定したルールに従ったフレーム間画像変化率（シーン変化判定指標値）を算出してヒステリシス算出部１５１に出力する。

ホワイトバランス変化率取得部２０７は、撮影画像に適用されるホワイトバランス設定値の変化率を画像処理部または記憶部から取得してヒステリシス算出部１５１に出力する。

顔検出部２０８は、カラー画像撮像部１１１の撮影したカラー画像、または白黒画像撮像部１１２の撮影した白黒画像の少なくともいずれかの画像に基づく顔検出を実行し、例えば、画像内に顔が検出されたか否かの情報、あるいは、画像内に含まれる顔領域の占有率情報を算出してヒステリシス算出部１５１に出力する。

［４．基準画像決定部の実行する処理のシーケンスについて］
次に、本開示の画像処理装置１００の基準画像決定部１２４の実行する処理のシーケンスについて、図１６に示すフローチャートを参照して説明する。

なお、このフローに従った処理は、記憶部に格納されたプログラムに従って実行することが可能であり、例えばプログラム実行機能を有するＣＰＵ等のプロセッサによるプログラム実行処理として行うことができる。
以下、図１６のフローチャートに示す各ステップの処理について説明する。

（ステップＳ１１）
まず、基準画像決定部１２４は、ステップＳ１１において入力情報に基づくヒステリシス算出処理を実行する。

この処理は基準画像決定部１２４のヒステリシス算出部１５１において実行される。
ヒステリシス算出部１５１は、画面内動きベクトル算出部２０１、カメラ動き検出部（ジャイロセンサ等）２０２、ズーム変化率検出部２０３、照度変化率検出部（照度センサ等）２０４、ＩＳＯ感度変化率取得部２０５、シーン判定部２０６、ホワイトバランス変化率取得部２０７、顔検出部２０８からの検出情報に基づいてヒステリシスを算出する。

この具体的な算出処理シーケンスについては、後段で図１７に示すフローを参照して説明する。

（ステップＳ１２〜Ｓ１３）
次に、基準画像決定部１２４は、ステップＳ１２〜Ｓ１３において、ステップＳ１１で算出したヒステリシスを適用して、基準画像の切り替え処理が必要か否かを判定する。

この処理は基準画像決定部１２４の基準画像選択部１５３において実行される。
基準画像選択部１５３は、ステップＳ１１で算出したヒステリシスを適用して、基準画像の切り替え処理が必要か否かを判定する。

基準画像選択部１５３は、前処理部１２１，１２２から供給された白黒画像データとカラー画像データ、さらに、視差＆オクルージョン検出部１２３の検出した２つの画像データの画素単位の視差情報と、オクルージョン領域検出情報を入力する。
基準画像決定部１２４は、これらの情報と、ステップＳ１１で算出したヒステリシスを適用して、基準画像の切り替え処理が必要か否かを判定する。

すなわち、例えば先に図１３（１）を参照して説明した状態遷移Ａや状態遷移Ｂ等において、状態（視差、オクルージョン領域）が、ヒステリシス境界点Ｐ，Ｑを横切ったか否かを判定し、基準画像の切り替え処理が必要か否かを判定する。
なお、ヒステリシス量は、ステップＳ１１におけるヒステリシス算出結果として設定された大きさを持つ。

ステップＳ１３において、基準画像の切り替え処理が必要と判定した場合はステップＳ１４に進む。
一方、ステップＳ１３において、基準画像の切り替え処理が不要と判定した場合はステップＳ１５に進む。

（ステップＳ１４）
ステップＳ１３において、基準画像の切り替え処理が必要と判定した場合はステップＳ１４に進む。
ステップＳ１４において、基準画像選択部１５３は、基準画像の切り替え処理を実行する。

（ステップＳ１５）
ステップＳ１３において、基準画像の切り替え処理が実行された場合、または、ステップＳ１３において、基準画像の切り替え処理が不要と判定した場合、ステップＳＳ１５に進む。

ステップＳ１５において、画像処理装置１００の基準画像決定部１２４は、画像撮影処理が実行中か否かを判定し、実行中であれば、ステップＳ１１以下の処理を繰り返す。
画像撮影処理が終了した場合は、処理を終了する。
なお、画像処理装置１００の基準画像決定部１２４は、例えば動画像の撮影実行中に継続してこのフローを繰り返し実行してヒステリシスを変更する制御を行う。

次に、ステップＳ１１において実行するヒステリシス算出処理、すなわち、基準画像決定部１２４が入力情報に基づいて行うヒステリシス算出処理の具体例について、図１７〜図１９に示すフローを参照して説明する。

（ステップＳ１０１ａ〜ｈ）
図１７、図１８に示すステップＳ１０１ａ〜ｈの処理は、ヒステリシス算出部１５１が各検出情報（ヒステリシス制御パラメータ）を取得する処理である。これらの処理は、並列またはシーケンシャルに実行することが可能である。

ヒステリシス算出部１５１は、画面内動きベクトル算出部２０１、カメラ動き検出部（ジャイロセンサ等）２０２、ズーム変化率検出部２０３、照度変化率検出部（照度センサ等）２０４、ＩＳＯ感度変化率取得部２０５、シーン判定部２０６、ホワイトバランス変化率取得部２０７、顔検出部２０８からの検出情報を取得する。

ステップＳ１０１ａにおいて、画面内動きベクトル算出部２０１の算出した動きベクトル量ａを取得する。
前述したように、画面内動きベクトル算出部２０１は、カラー画像撮像部１１１の撮影したカラー画像、または白黒画像撮像部１１２の撮影した白黒画像の少なくともいずれかの画像に基づいて、各画素または画像領域単位の動きベクトルを算出する。
例えば算出した動きベクトルの平均値が、動きベクトル量ａとしてヒステリシス算出部１５１に入力される。
なお、画面内動きベクトル算出部２０１は、例えば画像中央部の動きベクトルに重みを大きく設定した算出値、あるいは顔検出領域の動きベクトルに重みを大きく設定した算出値をヒステリシス算出部１５１に入力してもよい。

ステップＳ１０１ｂにおいて、カメラ動き検出部（ジャイロセンサ等）２０２の検出したカメラ動き量ｂを取得する。
前述したように、カメラ動き検出部（ジャイロセンサ等）２０２は、例えば、カメラ（画像処理装置１００）に備えられたジャイロセンサの検出値、すなわちカメラの動き情報を取得してヒステリシス算出部１５１に出力する。

ステップＳ１０１ｃにおいて、ズーム変化率検出部２０３の検出したズーム変化率ｃを取得する。
前述したように、ズーム変化率検出部２０３は、カメラ（画像処理装置１００）に備えられたズーム設定値からズーム変化率情報を取得してヒステリシス算出部１５１に出力する。

ステップＳ１０１ｄにおいて、照度変化率検出部（照度センサ等）２０４の検出した照度ｄを取得する。
前述したように、照度変化率検出部（照度センサ等）２０４は、カメラ（画像処理装置１００）に備えられた照度センサの検出値から照度変化率情報を取得してヒステリシス算出部１５１に出力する。

ステップＳ１０１ｅにおいて、ＩＳＯ感度変化率取得部２０５の取得したＩＳＯ感度変化率ｅを取得する。
前述したように、ＩＳＯ感度変化率取得部２０５は、カメラ（画像処理装置１００）のメモリに記録されたＩＳＯ感度の変化率情報を取得してヒステリシス算出部１５１に出力する。

ステップＳ１０１ｆにおいて、シーン判定部２０６からシーン変化判定指標値ｆを取得する。
前述したように、シーン判定部２０６は、カラー画像撮像部１１１の撮影したカラー画像、または白黒画像撮像部１１２の撮影した白黒画像の少なくともいずれかの画像に基づいて、動画像の各フレームのシーンの切り換え状況を判別する。具体的には、例えば予め規定したルールに従ったフレーム間画像変化率（シーン変化判定指標値）を算出してヒステリシス算出部１５１に出力する。
なお、シーン変化判定指標値ｆは、シーン変化率が大きいほど大きな値となる指標値である。

ステップＳ１０１ｇにおいて、ホワイトバランス変化率取得部２０７から、ホワイトバランス変化率ｇを取得する。
前述したように、ホワイトバランス変化率取得部２０７は、撮影画像に適用されるホワイトバランス変化率を画像処理部または記憶部から取得してヒステリシス算出部１５１に出力する。

ステップＳ１０１ｈにおいて、顔検出部２０８から、画像内顔領域占有率ｈを取得する。
前述したように、顔検出部２０８は、カラー画像撮像部１１１の撮影したカラー画像、または白黒画像撮像部１１２の撮影した白黒画像の少なくともいずれかの画像に基づく顔検出を実行し、例えば、画像内に顔が検出されたか否かの情報、あるいは、画像内に含まれる顔領域の占有率情報を算出してヒステリシス算出部１５１に出力する。

（ステップＳ１０２ａ〜ｈ、ステップＳ１０３ａ〜ｈ）
次に、基準画像決定部１２４のヒステリシス算出部１５１は、ステップＳ１０１ａ〜ｈにおいて入力した入力情報ａ〜ｈ（ヒステリシス制御パラメータ）の各々について、予め設定されたしきい値（Ｔｈａ〜Ｔｈｈ＝ヒステリシス制御パラメータ対応しきい値）との比較処理を実行する。
なお、これらのしきい値（Ｔｈａ〜Ｔｈｈ）は、記憶部１５２に格納されている。

次に、ステップＳ１０３ａ〜ｈにおいて、比較結果に基づくヒステリシス調整値Ａ〜Ｈを算出する。
ヒステリシス調整値Ａ〜Ｈの各々の値は、予め規定された値であり記憶部１５２に格納されている。また、これらの値は、ユーザによって変更可能な値である。

以下、各入力情報ａ〜ｈ（ヒステリシス制御パラメータ）に対応する処理について、順次、説明する。

ステップＳ１０２ａでは、
画面内動きベクトル算出部２０１の算出した動きベクトル量ａと、しきい値Ｔｈａを比較する。
ａ＞Ｔｈａ
上記式が成立した場合、
ステップＳ１０３ａにおいて、
ヒステリシス調整値Ａを算出（記憶部１５２から取得）する。
なお、ヒステリシス調整値Ａは、０以下の値である。
すなわち、動きベクトル量ａがしきい値Ｔｈａより大である場合、ヒステリシスを小さくする調整値Ａ（Ａ＜０）を算出する。

一方、ステップＳ１０２ａにおいて、
ａ＞Ｔｈａ
上記式が成立しない場合は、ステップＳ１０３ａの調整値Ａ算出処理は省略され、ステップＳ１０４に進む。
この場合、調整値Ａ＝０となる。

すなわち、動きベクトル量ａがしきい値Ｔｈａより大である場合はヒステリシスを小さくし、それ以外の場合はヒステリシス量を変化させない設定とした動きベクトル量対応調整値Ａを算出する。

この処理は、画像内の動きが大きい場合は、基準画像の切り替えに伴う画像の揺れが目立ちにくいため、ヒステリシスを小さくして基準画像切り替えの発生を過度に抑制せず、一方、画像内の動きが小さい場合は、基準画像の切り替えに伴う画像の揺れが目立ちやすいため、ヒステリシスを小さくせず、基準画像切り替えの発生を低減することを可能とするための処理に相当する。

ステップＳ１０２ｂでは、
カメラ動き検出部（ジャイロセンサ等）２０２の検出したカメラ動き量ｂと、しきい値Ｔｈｂを比較する。
ｂ＞Ｔｈｂ
上記式が成立した場合、
ステップＳ１０３ｂにおいて、
ヒステリシス調整値Ｂを算出（記憶部１５２から取得）する。
なお、ヒステリシス調整値Ｂは、０以下の値である。
すなわち、カメラ動き量ｂがしきい値Ｔｈｂより大である場合、ヒステリシスを小さくする調整値Ｂ（Ｂ＜０）を算出する。

一方、ステップＳ１０２ｂにおいて、
ｂ＞Ｔｈｂ
上記式が成立しない場合は、ステップＳ１０３ｂの調整値Ｂ算出処理は省略され、ステップＳ１０４に進む。
この場合、調整値Ｂ＝０となる。

すなわち、カメラ動き量ｂがしきい値Ｔｈｂより大である場合はヒステリシスを小さくし、それ以外の場合はヒステリシス量を変化させない設定としたカメラ動き量対応調整値Ｂを算出する。

この処理は、カメラ動き量が大きい場合は、基準画像の切り替えに伴う画像の揺れが目立ちにくいため、ヒステリシスを小さくして基準画像切り替えの発生を過度に抑制せず、一方、カメラ動き量が小さい場合は、基準画像の切り替えに伴う画像の揺れが目立ちやすいため、ヒステリシスを小さくせず、基準画像切り替えの発生を低減することを可能とするための処理に相当する。

ステップＳ１０２ｃでは、
ズーム変化率取得部２０３の検出したズーム変化率ｃと、しきい値Ｔｈｃを比較する。
ｃ＞Ｔｈｃ
上記式が成立した場合、
ステップＳ１０３ｃにおいて、
ヒステリシス調整値Ｃを算出（記憶部１５２から取得）する。
なお、ヒステリシス調整値Ｃは、０以下の値である。
すなわち、ズーム変化率ｃがしきい値Ｔｈｃより大である場合、ヒステリシスを小さくする調整値Ｃ（Ｃ＜０）を算出する。

一方、ステップＳ１０２ｃにおいて、
ｃ＞Ｔｈｃ
上記式が成立しない場合は、ステップＳ１０３ｃの調整値Ｃ算出処理は省略され、ステップＳ１０４に進む。
この場合、調整値Ｃ＝０となる。

すなわち、ズーム変化率ｃがしきい値Ｔｈｃより大である場合はヒステリシスを小さくし、それ以外の場合はヒステリシス量を変化させない設定としたズーム変化率対応調整値Ｃを算出する。

この処理は、ズーム変化率が大きい場合は、基準画像の切り替えに伴う画像の揺れが目立ちにくいため、ヒステリシスを小さくして基準画像切り替えの発生を過度に抑制せず、一方、ズーム変化率が小さい場合は、基準画像の切り替えに伴う画像の揺れが目立ちやすいため、ヒステリシスを小さくせず、基準画像切り替えの発生を低減することを可能とするための処理に相当する。

ステップＳ１０２ｄでは、
照度変化率検出部（照度センサ等）２０４の検出した照度変化率ｄと、しきい値Ｔｈｄを比較する。
ｄ＞Ｔｈｄ
上記式が成立した場合、
ステップＳ１０３ｄにおいて、
ヒステリシス調整値Ｄを算出（記憶部１５２から取得）する。
なお、ヒステリシス調整値Ｄは、０以下の値である。
すなわち、照度変化率ｄがしきい値Ｔｈｄより大である場合、ヒステリシスを小さくする調整値Ｄ（Ｄ＜０）を算出する。

一方、ステップＳ１０２ｄにおいて、
ｄ＞Ｔｈｄ
上記式が成立しない場合は、ステップＳ１０３ｄの調整値Ｄ算出処理は省略され、ステップＳ１０４に進む。
この場合、調整値Ｄ＝０となる。

すなわち、照度変化率ｄがしきい値Ｔｈｄより大である場合はヒステリシスを小さくし、それ以外の場合はヒステリシス量を変化させない設定とした照度変化率対応調整値Ｄを算出する。

この処理は、照度の変化率が大きい場合は、基準画像の切り替えに伴う画像の揺れが目立ちにくいため、ヒステリシスを小さくして基準画像切り替えの発生を過度に抑制せず、一方、照度の変化率が小さい場合は、基準画像の切り替えに伴う画像の揺れが目立ちやすいため、ヒステリシスを小さくせず、基準画像切り替えの発生を低減することを可能とするための処理に相当する。

ステップＳ１０２ｅでは、
ＩＳＯ感度変化率取得部２０５の取得したＩＳＯ感度変化率ｅと、しきい値Ｔｈｅを比較する。
ｅ＞Ｔｈｅ
上記式が成立した場合、
ステップＳ１０３ｅにおいて、
ヒステリシス調整値Ｅを算出（記憶部１５２から取得）する。
なお、ヒステリシス調整値Ｅは、０以下の値である。
すなわち、ＩＳＯ感度変化率ｅがしきい値Ｔｈｅより大である場合、ヒステリシスを小さくする調整値Ｅ（Ｅ＜０）を算出する。

一方、ステップＳ１０２ｅにおいて、
ｅ＞Ｔｈｅ
上記式が成立しない場合は、ステップＳ１０３ｅの調整値Ｅ算出処理は省略され、ステップＳ１０４に進む。
この場合、調整値Ｅ＝０となる。

すなわち、ＩＳＯ感度変化率ｅがしきい値Ｔｈｅより大である場合はヒステリシスを小さくし、それ以外の場合はヒステリシス量を変化させない設定としたＩＳＯ感度変化率対応調整値Ｅを算出する。

この処理は、ＩＳＯ感度の変化率が大きい場合は、基準画像の切り替えに伴う画像の揺れが目立ちにくいため、ヒステリシスを小さくして基準画像切り替えの発生を過度に抑制せず、一方、ＩＳＯ感度の変化率が小さい場合は、基準画像の切り替えに伴う画像の揺れが目立ちやすいため、ヒステリシスを小さくせず、基準画像切り替えの発生を低減することを可能とするための処理に相当する。

ステップＳ１０２ｆでは、
シーン判定部２０６から入力したシーン変化判定指標値ｆと、しきい値Ｔｈｆを比較する。
ｆ＞Ｔｈｆ
上記式が成立した場合、
ステップＳ１０３ｆにおいて、
ヒステリシス調整値Ｆを算出（記憶部１５２から取得）する。
なお、ヒステリシス調整値Ｆは、０以下の値である。
すなわち、シーン変化判定指標値ｆがしきい値Ｔｈｆより大である場合、ヒステリシスを小さくする調整値Ｆ（Ｆ＜０）を算出する。

一方、ステップＳ１０２ｆにおいて、
ｆ＞Ｔｈｆ
上記式が成立しない場合は、ステップＳ１０３ｆの調整値Ｆ算出処理は省略され、ステップＳ１０４に進む。
この場合、調整値Ｆ＝０となる。

すなわち、シーン変化判定指標値ｆがしきい値Ｔｈｆより大である場合はヒステリシスを小さくし、それ以外の場合はヒステリシス量を変化させない設定としたシーン変化判定指標値対応調整値Ｆを算出する。

この処理は、シーン変化が大きい場合は、基準画像の切り替えに伴う画像の揺れが目立ちにくいため、ヒステリシスを小さくして基準画像切り替えの発生を過度に抑制せず、一方、シーン変化が小さい場合は、基準画像の切り替えに伴う画像の揺れが目立ちやすいため、ヒステリシスを小さくせず、基準画像切り替えの発生を低減することを可能とするための処理に相当する。

ステップＳ１０２ｇでは、
ホワイトバランス変化率取得部２０７から入力したホワイトバランス変化率ｇと、しきい値Ｔｈｇを比較する。
ｇ＞Ｔｈｇ
上記式が成立した場合、
ステップＳ１０３ｇにおいて、
ヒステリシス調整値Ｇを算出（記憶部１５２から取得）する。
なお、ヒステリシス調整値Ｇは、０以下の値である。
すなわち、ホワイトバランス変化率ｇがしきい値Ｔｈｇより大である場合、ヒステリシスを小さくする調整値Ｇ（Ｇ＜０）を算出する。

一方、ステップＳ１０２ｇにおいて、
ｇ＞Ｔｈｇ
上記式が成立しない場合は、ステップＳ１０３ｇの調整値Ｇ算出処理は省略され、ステップＳ１０４に進む。
この場合、調整値Ｇ＝０となる。

すなわち、ホワイトバランス変化率ｇがしきい値Ｔｈｇより大である場合はヒステリシスを小さくし、それ以外の場合はヒステリシス量を変化させない設定としたホワイトバランス変化率対応調整値Ｇを算出する。

この処理は、ホワイトバランス変化率が大きい場合は、基準画像の切り替えに伴う画像の揺れが目立ちにくいため、ヒステリシスを小さくして基準画像切り替えの発生を過度に抑制せず、一方、ホワイトバランス変化率が小さい場合は、基準画像の切り替えに伴う画像の揺れが目立ちやすいため、ヒステリシスを小さくせず、基準画像切り替えの発生を低減することを可能とするための処理に相当する。

ステップＳ１０２ｈでは、
顔検出部２０８から入力した画像内顔領域占有率ｈと、しきい値Ｔｈｈを比較する。
ｈ＞Ｔｈｈ
上記式が成立した場合、
ステップＳ１０３ｈにおいて、
ヒステリシス調整値Ｈを算出（記憶部１５２から取得）する。
なお、ヒステリシス調整値Ｈは、０以上の値である。
すなわち、画像内顔領域占有率ｈがしきい値Ｔｈｈより大である場合、ヒステリシスを大きくする調整値Ｈ（Ｈ＞０）を算出する。

一方、ステップＳ１０２ｈにおいて、
ｈ＞Ｔｈｈ
上記式が成立しない場合は、ステップＳ１０３ｈの調整値Ｈ算出処理は省略され、ステップＳ１０４に進む。
この場合、調整値Ｈ＝０となる。

すなわち、画像内顔領域占有率ｈがしきい値Ｔｈｈより大である場合はヒステリシスを大きくし、それ以外の場合はヒステリシス量を変化させない設定とした画像内顔領域占有率対応調整値Ｈを算出する。

この処理は、画像内顔領域占有率が大きい場合は、注目されやすい画像であり、基準画像の切り替えに伴う画像の揺れが目立ちやすいため、ヒステリシスを大きくして、基準画像切り替えの発生を低減し、一方、画像内顔領域占有率が小さい場合は、注目されにくい画像であり、基準画像の切り替えに伴う画像の揺れが目立ちにくいため、ヒステリシスを小さくして基準画像切り替えの発生を過度に抑制しないための処理に相当する。

（ステップＳ１０４）
ステップＳ１０３ａ〜ｈの処理が完了し、ヒステリシス調整値Ａ〜Ｈの算出が完了すると、ヒステリシス算出部１５１は、ステップＳ１０４において、ヒステリシス総合調整値を算出する。

ヒステリシス総合調整値は、ヒステリシス調整値Ａ〜Ｈの加算値である。すなわち、
動きベクトル量対応調整値Ａ、
カメラ動き量対応調整値Ｂ、
ズーム変化率対応調整値Ｃ、
照度変化率対応調整値Ｄ、
ＩＳＯ感度変化率対応調整値Ｅ、
シーン変化判定指標値対応調整値Ｆ、
ホワイトバランス変化率対応調整値Ｇ、
画像内顔領域占有率対応調整値Ｈ、
これらのヒステリシス調整値Ａ〜Ｈの加算値、すなわち、
ヒステリシス総合調整値＝Ａ＋Ｂ＋Ｃ＋Ｄ＋Ｅ＋Ｆ＋Ｇ＋Ｈ
上記のヒステリシス総合調整値を算出する。

なお、前述したように、
Ａ〜Ｇは、０以下の値であり、ヒステリシスを小さくする方向に作用する調整値であり、Ｈのみが、０以上の値であり、ヒステリシスを大きくする方向に作用する調整値である。

（ステップＳ１０５）
次に、ヒステリシス算出部１５１は、ステップＳ１０５において、
最終的に適用予定のヒステリシス、すなわち、
（基準ヒステリシス）＋（ヒステリシス総合調整値）
この算出ヒステリシスが０以上であるか否かを確認する。

基準ヒステリシスとは、ヒステリシスの調整を行わないデフォルト設定のヒステリシスである。この値は記憶部１５２に格納されている。

（基準ヒステリシス）＋（ヒステリシス総合調整値）
この算出ヒステリシスが０未満になると、算出ヒステリシスの適用が不可能となる。
この場合、ステップＳ１０７に進み、ヒステリシス＝０として処理を行うことになる。

（基準ヒステリシス）＋（ヒステリシス総合調整値）
この算出ヒステリシスが０以上であることが翰林された場合はステップＳ１０６に進む。

（ステップＳ１０６）
ステップＳ１０６において、ヒステリシス算出部１５１は、最終的に適用するヒステリシス、すなわち、
ヒステリシス＝（基準ヒステリシス）＋（ヒステリシス総合調整値）
このヒステリシスを算出する。

すなわち、
ヒステリシス＝（基準ヒステリシス）＋（Ａ＋Ｂ＋Ｃ＋Ｄ＋Ｅ＋Ｆ＋Ｇ＋Ｈ）
を算出する。
ここで算出したヒステリシスが、図１２に示す基準画像決定部１２４の基準画像選択部１５３に出力される。
なお、Ａ〜Ｇ≦０、Ｈ≧０である。

基準画像選択部１５３は、ヒステリシス算出部１５１が算出したヒステリシス、すなわち、
ヒステリシス＝（基準ヒステリシス）＋（Ａ＋Ｂ＋Ｃ＋Ｄ＋Ｅ＋Ｆ＋Ｇ＋Ｈ）
上記式に従って算出されるヒステリシスを適用して、基準画像の切り替え処理を実行する。
この基準画像切り替え処理は、例えば、先に図１３〜図１５を参照して説明した処理である。

このように本開示の画像処理装置は、基準画像の切り替え処理に適用するヒステリシスを、以下の各調整値によって変更する。
動きベクトル量対応調整値Ａ、
カメラ動き量対応調整値Ｂ、
ズーム変化率対応調整値Ｃ、
照度変化率対応調整値Ｄ、
ＩＳＯ感度変化率対応調整値Ｅ、
シーン変化判定指標値対応調整値Ｆ、
ホワイトバランス変化率対応調整値Ｇ、
画像内顔領域占有率対応調整値Ｈ、

これらの各調整値のヒステリシス調整例について、図２０を参照してまとて説明する。図２０に示すように、ヒステリシス制御パラメータとしては、例えば以下のパラメータがある。
（１）画面内動きベクトル量、
（２）カメラ動き量、
（３）ズーム変化率、
（４）照度変化率、
（５）ＩＳＯ感度変化率、
（６）シーン変化判定指標値、
（７）ホワイトバランス変化率、
（８）画像内顔領域占有率、
（９）基準画像変更抑制モード設定値（ＯＮ／ＯＦＦ）

上記パラメータ中（１）〜（８）の各パラメータは、図１２の構成図に示す画面内動きベクトル算出部２０１、カメラ動き検出部（ジャイロセンサ等）２０２、ズーム変化率検出部２０３、照度変化率検出部（照度センサ等）２０４、ＩＳＯ感度変化率取得部２０５、シーン判定部２０６、ホワイトバランス変化率取得部２０７、顔検出部２０８からの検出情報に相当し、図１７〜図１９に示すフローを参照して説明した処理に適用されるパラメータである。

パラメータ（９）基準画像変更抑制モード設定値（ＯＮ／ＯＦＦ）は、ユーザ設定パラメータであり、例えば操作部を介して設定可能なパラメータである。
ユーザが、基準画像変更抑制モード設定値をＯＮに設定すると、ヒステリシスを低減することができる。

その他のパラメータについて説明する。
（１）画面内動きベクトル量は、画面内動きベクトル算出部２０１の算出する動きベクトル量ａであり、カラー画像や白黒画像から検出される動きベクトル量ａがしきい値Ｔｈａより大である場合はヒステリシスを小さくし、それ以外の場合はヒステリシス量を変化させないヒステリシス制御パラメータである。
（２）カメラ動き量は、カラー画像や白黒画像を撮影したカメラのカメラ動き検出部（ジャイロセンサ等）２０２の検出するカメラ動き量ｂであり、しきい値Ｔｈｂより大である場合はヒステリシスを小さくし、それ以外の場合はヒステリシス量を変化させないヒステリシス制御パラメータである。

（３）ズーム変化率は、ズーム変化率取得部２０３の検出するズーム変化率ｃであり、カラー画像や白黒画像を撮影したカメラのズーム変化率ｃがしきい値Ｔｈｃより大である場合はヒステリシスを小さくし、それ以外の場合はヒステリシス量を変化させないヒステリシス制御パラメータである。

（４）照度変化率は、照度変化率検出部（照度センサ等）２０４の検出する照度変化率ｄであり、カラー画像や白黒画像撮影時の照度変化率ｄがしきい値Ｔｈｄより大である場合はヒステリシスを小さくし、それ以外の場合はヒステリシス量を変化させないヒステリシス制御パラメータである。

（５）ＩＳＯ感度変化率は、ＩＳＯ感度変化率取得部２０５の取得するＩＳＯ感度変化率ｅであり、カラー画像や白黒画像撮影時のＩＳＯ感度変化率ｅがしきい値Ｔｈｅより大である場合はヒステリシスを小さくし、それ以外の場合はヒステリシス量を変化させないヒステリシス制御パラメータである。

（６）シーン変化判定指標値は、シーン判定部２０６の算出するシーン変化判定指標値ｆであり、カラー画像や白黒画像のシーン変化判定指標値ｆがしきい値Ｔｈｆより大である場合はヒステリシスを小さくし、それ以外の場合はヒステリシス量を変化させないヒステリシス制御パラメータである。
なお、シーン変化判定指標値ｆは、シーン変化率が大きいほど大きな値となる指標値である。

（７）ホワイトバランス変化率は、ホワイトバランス変化率取得部２０７から入力するホワイトバランス変化率ｇであり、カラー画像のホワイトバランス変化率ｇがしきい値Ｔｈｇより大である場合はヒステリシスを小さくし、それ以外の場合はヒステリシス量を変化させないヒステリシス制御パラメータである。

（８）画像内顔領域占有率は、顔検出部２０８から入力する画像内顔領域占有率ｈであり、カラー画像や白黒画像の画像内顔領域占有率ｈがしきい値Ｔｈｈより大である場合はヒステリシスを大きくし、それ以外の場合はヒステリシス量を変化させないヒステリシス制御パラメータである。

このように、本開示の画像処理装置は、基準画像の切り替え処理に適用するヒステリシスを様々なヒステリシス制御パラメータを利用して調整を行う。
この調整処理によって、観察者に画像揺れを気づかれやすい画像フレーム位置での基準画像切り替えを低減することが可能となる。

［５．ユーザ設定可能なパラメータについて］
次に、図２１以下参照して、ユーザ設定可能なパラメータについて説明する。
図２１に示すように、ユーザ設定可能なパラメータとしては以下のパラメータがある。
（１）基準しきい値
（２）基準ヒステリシス
（３）各ヒステリシス制御パラメータ対応ヒステリシス調整値
（４）各ヒステリシス制御パラメータ対応しきい値
（５）各ヒステリシス制御パラメータ対応適用範囲

（１）基準しきい値は、先に図８を参照して説明したオクルージョン面積しきい値Ｔｈｘや、視差しきい値Ｔｈｙであり、記憶部１５２に格納されている。
ユーザは、例えば操作部やタッチパネルを介してこれらの設定値を変更することができる。

（２）基準ヒステリシスは、先に図１３〜図１５を参照して説明した予め規定されたデフォルトのヒステリシスであり、記憶部１５２に格納されている。
ユーザは操作部やタッチパネルを介してこの基準ヒステリシスの設定値を変更することができる。

（３）各ヒステリシス制御パラメータ対応ヒステリシス調整値は、先に図１７〜図１９のフローチャートを参照して説明した以下の調整値である。
動きベクトル量対応調整値Ａ、
カメラ動き量対応調整値Ｂ、
ズーム変化率対応調整値Ｃ、
照度変化率対応調整値Ｄ、
ＩＳＯ感度変化率対応調整値Ｅ、
シーン変化判定指標値対応調整値Ｆ、
ホワイトバランス変化率対応調整値Ｇ、
画像内顔領域占有率対応調整値Ｈ、
これらの調整値Ａ〜Ｈは、記憶部１５２に格納されている。
ユーザは操作部やタッチパネルを介してこの調整値Ａ〜Ｈの設定値を変更することができる。

また、例えばこれらの調整値Ａ〜Ｈは固定値とせず、所定の関数によって算出する設定とすることもできる。
例えば、動きベクトル量対応調整値Ａの算出に関数ｆを用い、動きベクトル量ａを関数ｆに入力して、
動きベクトル量対応調整値Ａ＝ｆ（ａ）として算出する設定としてもよい。
ユーザは、図２２に示す操作部３００を介して関数を設定するこの調整値Ａ〜Ｈの算出関数を設定することができる。

（４）各ヒステリシス制御パラメータ対応しきい値は、先に図１７〜図１９のフローチャートを参照して説明したしきい値Ｔｈａ〜Ｔｈｈであり、記憶部１５２に格納されている。
ユーザは操作部やタッチパネルを介してこれらの設定値を変更することができる。

（５）各ヒステリシス制御パラメータ対応適用範囲のユーザによる設定例としては、例えば、画像内動きベクトルの検出範囲の設定がある。具体的には、動きベクトル検出範囲を画面全体にするか、画面中央のみにするか、顔領域検出範囲のみとするか、あるいはそれぞれの領域に重みを設定する等の処理を行うことができる。
ユーザは操作部やタッチパネルを介して各ヒステリシス制御パラメータ対応適用範囲を変更することができる。

［６．その他の実施例について］
上述した実施例では、カラー画像と白黒画像の組み合わせによる合成画像の生成処理例について説明したが、本開示の処理は、この２種類の画像の組み合わせに限らず、その他の種類の画像の組み合わせにおいても適用可能である。

例えば、以下のような設定でも適用できる。
（１）２つのカラー画像撮像部で撮影した２つのカラー画像を合成して１つの合成カラー画像を生成する構成
（２）２つの白黒画像撮像部で撮影した２つの白黒画像を合成して１つの合成白黒画像を生成する構成
（３）カラーまたは白黒画像と、赤外光撮影画像を合成した合成画像の生成
（４）カラーまたは白黒画像と、距離画像を合成した合成画像の生成
これらの様々な合成画像の生成においても、本開示の処理が適用できる。

さらに、基準画像の切り替え対応のヒステリシス制御構成として、以下のような構成も可能である。
ユーザ操作（操作部の押下等）により、予め規定した規定時間のみ、ヒステリシスを増加させ、基準画像の切り替えを抑制する。
ただし、この場合、合成画像の画質劣化が著しいと判定された場合、基準画像の切り替えを行う構成としてもよい。
また、規定時間経過後は、元のヒステリシス設定に戻る設定とする。
また、規定時間は、ユーザ設定可能な時間とする。

また、上述した実施例では、基準画像決定部１２４は、
（１）カラー画像を基準画像とした合成画像、
（２）白黒画像を基準画像とした合成画像、
これらの２つの合成画像の切り替え制御を行う構成として説明したが、例えば以下のような処理を行う構成としてもよい。

基準画像決定部１２４は、
（１）カラー画像を基準画像とした合成画像、
（２）白黒画像を基準画像とした合成画像、
（３）合成処理を実行しないカラー画像、
（４）合成処理を実行しない白黒画像、
例えばこれらの４種類の画像のいずれかを、画面内動きベクトル算出部２０１〜顔検出部２０８の検出情報や、画質情報、あるいはユーザ設定に基づいて出力する構成としてもよい。

［７．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 異なる視点から撮影されたカラー画像と白黒画像の合成処理を実行して合成画像を生成する画像処理部を有し、
前記画像処理部は、
（ａ）カラー画像の画像位置に白黒画像を位置合わせしたカラー画像基準合成画像、または、
（ｂ）白黒画像の画像位置にカラー画像を位置合わせした白黒画像基準合成画像、
上記（ａ），（ｂ）２種類の合成画像を、予め規定された基準画像切り替えしきい値に基づいて切り替えて生成する構成であり、さらに、
カラー画像と白黒画像のいずれを基準画像とするかを決定する基準画像決定処理を実行する基準画像決定部を有し、
前記基準画像決定部は、
前記基準画像切り替えしきい値にヒステリシスを設定し、前記ヒステリシスを状況に応じて変更する制御を行う画像処理装置。

（２） 前記基準画像切り替えしきい値は、
前記カラー画像基準合成画像と、前記白黒画像基準合成画像の画質に基づいて決定されるしきい値である（１）に記載の画像処理装置。

（３） 前記基準画像切り替えしきい値は、
カラー画像と白黒画像の視差、またはオクルージョン面積の少なくともいずれかに基づいて決定されるしきい値である（１）または（２）に記載の画像処理装置。

（４） 前記画像処理部は、
基準画像を決定する際に、カラー画像と白黒画像の各画像の分割領域単位の解析処理を実行する（１）〜（３）いずれかに記載の画像処理装置。

（５） 前記基準画像決定部は、
ヒステリシスを状況に応じて変更する制御を行うヒステリシス算出部と、
前記ヒステリシス算出部の算出したヒステリシスを適用して基準画像の切り替えを実行する基準画像選択部を有する（１）〜（４）いずれかに記載の画像処理装置。

（６） 前記基準画像決定部は、
前記カラー画像と前記白黒画像から検出される動きベクトル量が、規定しきい値より大である場合に、前記ヒステリシスを小さくする制御を行う（１）〜（５）いずれかに記載の画像処理装置。

（７） 前記基準画像決定部は、
前記カラー画像と前記白黒画像を撮影したカメラの動き量が、規定しきい値より大である場合に、前記ヒステリシスを小さくする制御を行う（１）〜（６）いずれかに記載の画像処理装置。

（８） 前記基準画像決定部は、
前記カラー画像と前記白黒画像を撮影したカメラのズーム変化率が、規定しきい値より大である場合に、前記ヒステリシスを小さくする制御を行う（１）〜（７）いずれかに記載の画像処理装置。

（９） 前記基準画像決定部は、
前記カラー画像と前記白黒画像撮影時の照度変化率が、規定しきい値より大である場合に、前記ヒステリシスを小さくする制御を行う（１）〜（８）いずれかに記載の画像処理装置。

（１０） 前記基準画像決定部は、
前記カラー画像と前記白黒画像撮影時のＩＳＯ感度変化率が、規定しきい値より大である場合に、前記ヒステリシスを小さくする制御を行う（１）〜（９）いずれかに記載の画像処理装置。

（１１） 前記基準画像決定部は、
前記カラー画像と前記白黒画像のシーン変化判定指標値が、規定しきい値より大である場合に、前記ヒステリシスを小さくする制御を行う（１）〜（１０）いずれかに記載の画像処理装置。

（１２） 前記基準画像決定部は、
前記カラー画像のホワイトバランス変化率が、規定しきい値より大である場合に、前記ヒステリシスを小さくする制御を行う（１）〜（１１）いずれかに記載の画像処理装置。

（１３） 前記基準画像決定部は、
前記カラー画像または前記白黒画像の顔領域占有率が、規定しきい値より大である場合に、前記ヒステリシスを大きくする制御を行う（１）〜（１２）いずれかに記載の画像処理装置。

（１４） 前記基準画像決定部は、
動画像の撮影実行中に継続して前記ヒステリシスの変更制御を行う（１）〜（１３）いずれかに記載の画像処理装置。

（１５） 異なる視点から撮影された第１画像と第２画像の合成処理を実行して合成画像を生成する画像処理部を有し、
前記画像処理部は、
（ａ）前記第１画像の画像位置に前記第２画像を位置合わせした第１画像基準合成画像、または、
（ｂ）前記第２画像の画像位置に前記第１画像を位置合わせした第２画像基準合成画像、
上記（ａ），（ｂ）２種類の合成画像を、予め規定された基準画像切り替えしきい値に基づいて切り替えて生成する構成であり、さらに、
前記第１画像と前記第２画像のいずれを基準画像とするかを決定する基準画像決定処理を実行する基準画像決定部を有し、
前記基準画像決定部は、
前記基準画像切り替えしきい値にヒステリシスを設定し、前記ヒステリシスを状況に応じて変更する制御を行う画像処理装置。

（１６） 画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、異なる視点から撮影されたカラー画像と白黒画像の合成処理を実行して、
（ａ）カラー画像の画像位置に白黒画像を位置合わせしたカラー画像基準合成画像、または、
（ｂ）白黒画像の画像位置にカラー画像を位置合わせした白黒画像基準合成画像、
上記（ａ），（ｂ）２種類の合成画像を、予め規定された基準画像切り替えしきい値に基づいて切り替えて生成する構成であり、
前記画像処理装置の基準画像決定部が、
カラー画像と白黒画像のいずれを基準画像とするかを決定する基準画像決定処理を実行し、
前記基準画像決定部は、
前記基準画像切り替えしきい値にヒステリシスを設定し、前記ヒステリシスを状況に応じて変更する制御を行う画像処理方法。

（１７） 画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、異なる視点から撮影された第１画像と第２画像の合成処理を実行して、
（ａ）第１画像の画像位置に第２画像を位置合わせした第１画像基準合成画像、または、
（ｂ）第２画像の画像位置に第１画像を位置合わせした第２画像基準合成画像、
上記（ａ），（ｂ）２種類の合成画像を、予め規定された基準画像切り替えしきい値に基づいて切り替えて生成する構成であり、
前記画像処理装置の基準画像決定部が、
第１画像と第２画像のいずれを基準画像とするかを決定する基準画像決定処理を実行し、
前記基準画像決定部は、
前記基準画像切り替えしきい値にヒステリシスを設定し、前記ヒステリシスを状況に応じて変更する制御を行う画像処理方法。

（１８） 画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、異なる視点から撮影されたカラー画像と白黒画像の合成処理を実行して、
（ａ）カラー画像の画像位置に白黒画像を位置合わせしたカラー画像基準合成画像、または、
（ｂ）白黒画像の画像位置にカラー画像を位置合わせした白黒画像基準合成画像、
上記（ａ），（ｂ）２種類の合成画像を、予め規定された基準画像切り替えしきい値に基づいて切り替えて生成する構成であり、
前記プログラムは、前記画像処理装置の基準画像決定部に、
カラー画像と白黒画像のいずれを基準画像とするかを決定する基準画像決定処理を実行させ、
前記基準画像決定処理において、
前記基準画像切り替えしきい値にヒステリシスを設定し、前記ヒステリシスを状況に応じて変更する制御を行わせるプログラム。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本開示の一実施例の構成によれば、カラー画像基準合成画像と白黒画像基準合成画像の切り替えを観察者が気づきにくい最適タイミングで実行する装置、方法が実現される。
具体的には、例えば、異なる視点から撮影されたカラー画像と白黒画像を入力し、（ａ）カラー画像の画像位置に白黒画像を位置合わせしたカラー画像基準合成画像、または、（ｂ）白黒画像の画像位置にカラー画像を位置合わせした白黒画像基準合成画像、これら２種類の合成画像を予め規定された基準画像切り替えしきい値に基づいて切り替えて生成する構成において、基準画像切り替えしきい値にヒステリシスを設定し、ヒステリシスを状況に応じて変更し、基準画像切り替えを観察者が気づきにくい最適タイミングで実行可能とする。
本構成により、カラー画像基準合成画像と白黒画像基準合成画像の切り替えを観察者が気づきにくい最適タイミングで実行する装置、方法が実現される。

１０ 画像処理装置
１１ 表示部
１２ 操作部
２１ カラー画像撮像部
２２ 白黒画像撮像部
１００ 画像処理装置
１１０ 撮像部
１１１ カラー画像撮像部
１１２ 白黒画像撮像部
１２０ 画像処理部
１２１，１２２ 前処理部
１２３ 視差＆オクルージョン検出部
１２４ 基準画像決定部
１２５ 画像合成部
１３０ 出力部
１３１ 表示部
１３２ 記憶部
１４１ センサ部
１４２ 操作部
１５０ 制御部
１６０ 通信部
２０１ 画面内動きベクトル算出部
２０２ カメラ動き検出部（ジャイロセンサ等）
２０３ ズーム変化率検出部
２０４ 照度変化率検出部（照度センサ等）
２０５ ＩＳＯ感度変化率取得部
２０６ シーン判定部
２０７ ホワイトバランス変化率取得部
２０８ 顔検出部

Claims (18)

1. 異なる視点から撮影されたカラー画像と白黒画像の合成処理を実行して合成画像を生成する画像処理部を有し、
   前記画像処理部は、
   （ａ）カラー画像の画像位置に白黒画像を位置合わせしたカラー画像基準合成画像、または、
   （ｂ）白黒画像の画像位置にカラー画像を位置合わせした白黒画像基準合成画像、
   上記（ａ），（ｂ）２種類の合成画像を、予め規定された基準画像切り替えしきい値に基づいて切り替えて生成する構成であり、さらに、
   カラー画像と白黒画像のいずれを基準画像とするかを決定する基準画像決定処理を実行する基準画像決定部を有し、
   前記基準画像決定部は、
   前記基準画像切り替えしきい値にヒステリシスを設定し、前記ヒステリシスを状況に応じて変更する制御を行う画像処理装置。
2. 前記基準画像切り替えしきい値は、
   前記カラー画像基準合成画像と、前記白黒画像基準合成画像の画質に基づいて決定されるしきい値である請求項１に記載の画像処理装置。
3. 前記基準画像切り替えしきい値は、
   カラー画像と白黒画像の視差、またはオクルージョン面積の少なくともいずれかに基づいて決定されるしきい値である請求項１に記載の画像処理装置。
4. 前記画像処理部は、
   基準画像を決定する際に、カラー画像と白黒画像の各画像の分割領域単位の解析処理を実行する請求項１に記載の画像処理装置。
5. 前記基準画像決定部は、
   ヒステリシスを状況に応じて変更する制御を行うヒステリシス算出部と、
   前記ヒステリシス算出部の算出したヒステリシスを適用して基準画像の切り替えを実行する基準画像選択部を有する請求項１に記載の画像処理装置。
6. 前記基準画像決定部は、
   前記カラー画像と前記白黒画像から検出される動きベクトル量が、規定しきい値より大である場合に、前記ヒステリシスを小さくする制御を行う請求項１に記載の画像処理装置。
7. 前記基準画像決定部は、
   前記カラー画像と前記白黒画像を撮影したカメラの動き量が、規定しきい値より大である場合に、前記ヒステリシスを小さくする制御を行う請求項１に記載の画像処理装置。
8. 前記基準画像決定部は、
   前記カラー画像と前記白黒画像を撮影したカメラのズーム変化率が、規定しきい値より大である場合に、前記ヒステリシスを小さくする制御を行う請求項１に記載の画像処理装置。
9. 前記基準画像決定部は、
   前記カラー画像と前記白黒画像撮影時の照度変化率が、規定しきい値より大である場合に、前記ヒステリシスを小さくする制御を行う請求項１に記載の画像処理装置。
10. 前記基準画像決定部は、
    前記カラー画像と前記白黒画像撮影時のＩＳＯ感度変化率が、規定しきい値より大である場合に、前記ヒステリシスを小さくする制御を行う請求項１に記載の画像処理装置。
11. 前記基準画像決定部は、
    前記カラー画像と前記白黒画像のシーン変化判定指標値が、規定しきい値より大である場合に、前記ヒステリシスを小さくする制御を行う請求項１に記載の画像処理装置。
12. 前記基準画像決定部は、
    前記カラー画像のホワイトバランス変化率が、規定しきい値より大である場合に、前記ヒステリシスを小さくする制御を行う請求項１に記載の画像処理装置。
13. 前記基準画像決定部は、
    前記カラー画像または前記白黒画像の顔領域占有率が、規定しきい値より大である場合に、前記ヒステリシスを大きくする制御を行う請求項１に記載の画像処理装置。
14. 前記基準画像決定部は、
    動画像の撮影実行中に継続して前記ヒステリシスの変更制御を行う請求項１に記載の画像処理装置。
15. 異なる視点から撮影された第１画像と第２画像の合成処理を実行して合成画像を生成する画像処理部を有し、
    前記画像処理部は、
    （ａ）前記第１画像の画像位置に前記第２画像を位置合わせした第１画像基準合成画像、または、
    （ｂ）前記第２画像の画像位置に前記第１画像を位置合わせした第２画像基準合成画像、
    上記（ａ），（ｂ）２種類の合成画像を、予め規定された基準画像切り替えしきい値に基づいて切り替えて生成する構成であり、さらに、
    前記第１画像と前記第２画像のいずれを基準画像とするかを決定する基準画像決定処理を実行する基準画像決定部を有し、
    前記基準画像決定部は、
    前記基準画像切り替えしきい値にヒステリシスを設定し、前記ヒステリシスを状況に応じて変更する制御を行う画像処理装置。
16. 画像処理装置において実行する画像処理方法であり、
    前記画像処理装置は、異なる視点から撮影されたカラー画像と白黒画像の合成処理を実行して、
    （ａ）カラー画像の画像位置に白黒画像を位置合わせしたカラー画像基準合成画像、または、
    （ｂ）白黒画像の画像位置にカラー画像を位置合わせした白黒画像基準合成画像、
    上記（ａ），（ｂ）２種類の合成画像を、予め規定された基準画像切り替えしきい値に基づいて切り替えて生成する構成であり、
    前記画像処理装置の基準画像決定部が、
    カラー画像と白黒画像のいずれを基準画像とするかを決定する基準画像決定処理を実行し、
    前記基準画像決定部は、
    前記基準画像切り替えしきい値にヒステリシスを設定し、前記ヒステリシスを状況に応じて変更する制御を行う画像処理方法。
17. 画像処理装置において実行する画像処理方法であり、
    前記画像処理装置は、異なる視点から撮影された第１画像と第２画像の合成処理を実行して、
    （ａ）第１画像の画像位置に第２画像を位置合わせした第１画像基準合成画像、または、
    （ｂ）第２画像の画像位置に第１画像を位置合わせした第２画像基準合成画像、
    上記（ａ），（ｂ）２種類の合成画像を、予め規定された基準画像切り替えしきい値に基づいて切り替えて生成する構成であり、
    前記画像処理装置の基準画像決定部が、
    第１画像と第２画像のいずれを基準画像とするかを決定する基準画像決定処理を実行し、
    前記基準画像決定部は、
    前記基準画像切り替えしきい値にヒステリシスを設定し、前記ヒステリシスを状況に応じて変更する制御を行う画像処理方法。
18. 画像処理装置において画像処理を実行させるプログラムであり、
    前記画像処理装置は、異なる視点から撮影されたカラー画像と白黒画像の合成処理を実行して、
    （ａ）カラー画像の画像位置に白黒画像を位置合わせしたカラー画像基準合成画像、または、
    （ｂ）白黒画像の画像位置にカラー画像を位置合わせした白黒画像基準合成画像、
    上記（ａ），（ｂ）２種類の合成画像を、予め規定された基準画像切り替えしきい値に基づいて切り替えて生成する構成であり、
    前記プログラムは、前記画像処理装置の基準画像決定部に、
    カラー画像と白黒画像のいずれを基準画像とするかを決定する基準画像決定処理を実行させ、
    前記基準画像決定処理において、
    前記基準画像切り替えしきい値にヒステリシスを設定し、前記ヒステリシスを状況に応じて変更する制御を行わせるプログラム。

Images