JP2023054476A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】画角が異なるカメラの切り替えに伴う画像の不連続な変化を抑制する画像処理装置及び方法を提供する。【解決手段】画像処理装置は、設定されたズーム倍率に応じて、広角カメラ及び望遠カメラの何れか一方を選択する選択部と、選択されたカメラによって撮像された画像から、ズーム倍率に応じた大きさの領域を切り出し、切り出された領域を拡大するズーム処理を行うズーム処理部と、ズーム処理により得られた画像をディスプレイに表示させる表示制御部と、ズーム処理中においてズーム倍率が徐々に変更されることに応じて、ディスプレイに表示させる画像を撮像するカメラが選択部によって切り替わる場合、広角カメラが撮像した画像と望遠カメラが撮像した画像との色成分の関係に基づいて、所定のズーム倍率の範囲において一方のカメラのズーム処理済みの画像の色調を、他方のカメラのズーム処理済みの画像の色調に近付くように補正する補正部と、を備える。【選択図】図１

Description

本開示は、画像処理装置及び画像処理方法に関する。

特許文献１は、デュアルカメラを有する装置を開示する。装置は、広角レンズを有する広角カメラ、及び、望遠レンズを有する望遠カメラを備える。装置は、広角カメラで撮影された画像（以下、広角カメラ画像ともいう。）と、望遠カメラで撮影された画像（以下、望遠カメラ画像ともいう。）とを切り替えて、ズームプレビュー画像を表示する。広角カメラ及び望遠カメラは、製造公差内の配置ずれを有する。装置は、配置ずれを示すパラメータに基づいて広角カメラ画像と望遠カメラ画像とをそれぞれワープする（歪ませる）。これにより、カメラの配置ずれに伴う広角カメラ画像と望遠カメラ画像との位置ずれが抑制され、ズームプレビュー画像の表示中にカメラの切り替えが発生した場合でも、装置はシームレスなズームプレビュー画像を表示できる。

米国公開特許２０１８／０１８３９８２号公報

特許文献１記載の装置は、広角カメラ画像と望遠カメラ画像との位置合わせによって、カメラ切り替え時における画像の不連続な位置の変化を抑制することができるものの、ユーザの視体験の低下をさらに抑制するためには改善の余地がある。本開示は、画角が異なるカメラの切り替えに伴う画像の不連続な変化を抑制できる装置を提供する。

本開示の一形態に係る画像処理装置は、選択部、ズーム処理部、表示制御部、及び、補正部を備える。選択部は、設定されたズーム倍率に応じて、第１カメラ、及び、前記第１カメラよりも狭い画角を有する第２カメラの何れか一方を選択する。ズーム処理部は、選択されたカメラによって撮像された画像から、前記ズーム倍率に応じた大きさの領域を切り出し、前記切り出された領域を拡大するズーム処理を行う。表示制御部は、前記ズーム処理により得られた画像をディスプレイに表示させる。補正部は、ズーム処理中においてズーム倍率が徐々に変更されることに応じて、前記ディスプレイに表示させる画像を撮像するカメラが前記選択部によって切り替わる場合、前記第１カメラによって撮像された画像と前記第２カメラによって撮像された画像との色成分の関係に基づいて、所定のズーム倍率の範囲において一方のカメラのズーム処理済みの画像の色調を、他方のカメラのズーム処理済みの画像の色調に近付くように補正する。

本開示によれば、画角が異なるカメラの切り替えに伴う画像の不連続な変化を抑制できる。

実施形態に係る画像処理装置のハードウェア構成を示すブロック図である。 （Ａ）は、望遠カメラ画像と位置合わせされた広角カメラ画像に基づく出力画像の模式図であり、（Ｂ）は望遠カメラ画像の模式図である。 画像処理方法の一連の処理を説明する図である。 色調補正処理の詳細を説明する図である。 （Ａ）は対象画像のＹチャンネルの画素値のヒストグラムの一例であり、（Ｂ）は参照画像のＹチャンネルの画素値のヒストグラムの一例である。 図５の（Ａ）,（Ｂ）から得られるトーンカーブの一例である。 ブロック単位に分割された画像の一例である。 バイリニア補間の一例を説明する図である。 実施形態に係る画像処理方法のフローチャートである。

以下、図面を参照して、本開示の実施形態について説明する。なお、以下の説明において、同一又は相当要素には同一符号を付し、重複する説明を省略する。

［第１実施形態］
（画像処理装置の構成）
図１は、実施形態に係る画像処理装置のハードウェア構成を示すブロック図である。図１に示される画像処理装置１は、例えばスマートフォンなどの撮像機能を有するデバイスである。図１に示されるように、画像処理装置１は、広角カメラ１０（第１カメラの一例）、望遠カメラ１１（第２カメラの一例）、プロセッサ１２、メモリ１３（記憶部の一例）、ストレージ１４、入力部１５、及び、出力部１６を備える。プロセッサ１２は、広角カメラ１０、望遠カメラ１１、メモリ１３、ストレージ１４、入力部１５、及び、出力部１６に相互に通信可能に接続されている。

広角カメラ１０及び望遠カメラ１１は互いに画角が異なる。広角カメラ１０は、広角レンズを有するカメラであり、望遠カメラ１１と比べて、広い画角を有し、焦点距離が短い。広角カメラ１０は、広い範囲を画角に収められるような広角撮影が可能である。望遠カメラ１１は、望遠レンズを有するカメラであり、広角カメラ１０と比べて、狭い画角を有し、焦点距離が長い。望遠カメラ１１は、遠くの物体を高い解像感で撮影可能である。広角カメラ１０及び望遠カメラ１１は、画像データとして、広角カメラ画像及び望遠カメラ画像を出力する。

プロセッサ１２は、画像処理を実行する演算装置であり、一例として画像信号処理に最適化されたＩＳＰ（Image Signal Processor）である。プロセッサ１２は、ＩＳＰだけではなく、ＧＰＵ（Graphics Processing Unit）又はＣＰＵ（CentralProcessing Unit）であってもよい。プロセッサ１２は、広角カメラ１０及び望遠カメラ１１から出力された画像データに対して画像処理を実行する。

メモリ１３及びストレージ１４は、記憶媒体である。図１に示される例では、メモリ１３は、プロセッサ１２により実行されるプログラムのモジュール、定義データ及び画像データなどを記憶する。メモリ１３は、例えばＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などである。ストレージ１４は、画像処理済みの画像データなどを記憶する。ストレージ１４は、例えばＨＤＤ（Hard Disk Drive）である。メモリ１３及びストレージ１４は、記憶媒体であれば特に限定されない。メモリ１３及びストレージ１４は、単一のハードウェアで構成されてもよい。

メモリ１３は、後述する画像処理を実現するための、選択モジュール１３１（選択部の一例）、ズーム処理モジュール１３２（ズーム処理部の一例）、表示制御モジュール１３３（表示制御部の一例）、補正モジュール１３４（補正部の一例）、及び、定義データ１３５を格納する。

入力部１５は、ユーザ操作を受け付けるユーザインターフェイスであり、一例として操作ボタンである。出力部１６は、画像データを表示する機器であり、一例としてディスプレイ装置である。入力部１５及び出力部１６は、タッチスクリーンなどの単一のハードウェアで構成されてもよい。

（画像処理の概要）
画像処理装置１のプロセッサ１２は、ズーム処理モジュール１３２に基づいて、一眼レフカメラのズームレンズ機能を画像処理によって実現する。プロセッサ１２は、画像の中心部分をズーム倍率に応じてクロップして元解像度へ拡大処理を施す。これにより、一つのカメラの画像データから１より大きい任意の倍率でズームさせた画像を得ることができる。以下、上述した処理をズーム処理という。プロセッサ１２は、表示制御モジュール１３３に基づいて、ズーム処理された画像をプレビュー画面として出力部１６に表示させる。プロセッサ１２は、倍率を連続的に増加させることで、スムーズにズームインするプレビュー画面を出力部１６に表示させることができる。プロセッサ１２は、倍率を連続的に減少させることで、スムーズにズームアウトするプレビュー画面を出力部１６に表示させることもできる。

プロセッサ１２は、広角カメラ１０の広角特性と望遠カメラ１１の高解像特性とを組み合わせて、両方のカメラの画角を跨がる広範囲のズーム処理を実行する。プロセッサ１２は、選択モジュール１３１に基づいて、設定されたズーム倍率に応じて、広角カメラ１０及び望遠カメラ１１の何れか一方を選択する。例えば、プロセッサ１２は、ズーム倍率が１．０未満であるときは広角カメラ１０を選択し、ズーム倍率が１．０以上であるときは望遠カメラ１１を選択する。プロセッサ１２は、ズーム処理モジュール１３２に基づいて、選択されたカメラによって撮像された画像から、ズーム倍率に応じた大きさの領域を切り出し、切り出された領域を拡大するズーム処理を行う。プロセッサ１２は、表示制御モジュール１３３に基づいて、ズーム処理により得られた画像をディスプレイに表示させる。このように、プロセッサ１２は、予め定められた切り替えの閾値に基づいて、ズーム処理中にプレビュー画面に表示する画像を撮像するカメラを選択する。

ここで、広角カメラ１０と望遠カメラ１１とは、画角、レンズ歪み特性、レンズ光軸、色調などの違いが存在する。特に、広角カメラ１０及び望遠カメラ１１が画像データを生成するための内部処理には、トーンマッピング処理などが含まれており、広角カメラ１０と望遠カメラ１１との色調の違いは非線形かつ非等質となることが多い。これらの違いを考慮することなく、画像の中心部分をズーム倍率に応じてクロップして元解像度へ拡大処理するズーム処理がそのまま実行された場合には、カメラ（レンズ）の切り替わり時に画像に不連続な変化が生じ、ユーザの視体験の低下につながるおそれがある。このため、ズーム処理において、広角カメラ１０から望遠カメラ１１へ切り替わるとき、あるいは、望遠カメラ１１から広角カメラ１０へと切り替わるときに、画像に不連続な変化が発生することを回避する必要がある。

プロセッサ１２は、最初に、広角カメラ１０と望遠カメラ１１との画角、レンズ歪み特性及びレンズ光軸の違いから生じる画像の位置の変化を補正することができる。つまり、プロセッサ１２は、一方のカメラのズーム処理済みの画像と、他方のカメラのズーム処理済みの画像とを、画角が等しくなるように調整できる。例えば、メモリ１３は、定義データ１３５として、広角カメラ１０及び望遠カメラ１１の画角に関するパラメータを予め格納する。プロセッサ１２は、メモリ１３に格納されたパラメータに応じて、画角の違いに起因する画像の位置の変化を補正することができる。プロセッサ１２は、画像中心からの距離とレンズ歪みモデルに基づいてレンズ歪み特性の違いにより生じる画像の位置の変化を補正することができる。さらに、メモリ１３は、定義データ１３５として、広角カメラ１０と望遠カメラ１１との間のホモグラフィー行列を予め格納する。また、このような画像の位置の変化をより正確に補正するため、ユーザが画像処理装置１で撮影を行う都度定義データ１３５を補正する、いわゆるオートキャリブレーションをプロセッサ１２に実行させてもよい。プロセッサ１２は、メモリ１３に格納されたホモグラフィー行列に基づいて、レンズ光軸の違いによって生じる画像の位置の変化を、無限遠点を基準に補正することができる。以下、これらの画像の補正を位置合わせという。なお、位置合わせについては、画像処理装置１に替えて外部の画像処理装置が実行してもよい。この場合、画像処理装置１は、位置合わせ済みの画像を取得すればよい。

プロセッサ１２は、位置合わせ済みの画像に対して、補正モジュール１３４に基づいて、広角カメラ１０と望遠カメラ１１との色調の違いを補正する。プロセッサ１２は、カメラが切り替わる場合、広角カメラ画像と望遠カメラ画像との色成分の関係に基づいて、切り替え直後のズーム処理済みの画像の色調を、切り替え直前のズーム処理済みの画像の色調に近づくように補正する。ここでは、プロセッサ１２は、所定のズーム倍率の範囲（図３に示す例では１．０から１．２の間）において望遠カメラ画像のズーム処理済みの画像の色調を当該画像に画角を合わせた広角カメラ画像の色調に近づくように補正する。広角カメラ画像と望遠カメラ画像との色成分の関係は、一例として、広角カメラ画像の画素値と、望遠カメラ画像の画素値とに基づいて生成されたトーンカーブである。色成分の関係の詳細については、後述する。

最初に、倍率を徐々に増加させるズームインをする例を説明する。図２の（Ａ）は、広角カメラ画像から所定の倍率にズーム処理された画像の模式図であり、図２の（Ｂ）は、望遠カメラ画像の模式図である。カメラの切り替えが発生した場合、表示中の画面においては、図２の（Ａ）に示される画像から図２の（Ｂ）に示される画像へと切り替わる。図２の（Ａ）に示される画像と図２の（Ｂ）に示される画像とは、位置合わせが既に行われている。このため、カメラが切り替わったとしても大きな位置ずれは発生しない。なお、位置合わせで補正しきれなかった領域、レンズ位置が異なることによる隠れ（Occlusion）の発生、動被写体を写したときの撮影タイミングのずれなどが存在することがある。このため、図２の（Ａ）及び図２の（Ｂ）を対比してもわかるとおり、位置合わせされた画像同士であっても必ずしもピクセル単位で対応しているわけではない。

図３は、画像処理方法の一連の処理を説明する図である。図３においては、二行の画像群を示している。上段の行の画像群は、カメラで撮像された画像（広角カメラ画像Ｉ_ｗｉｄｅ及び望遠カメラ画像Ｉ_ｔｅｌｅ）であり、下段の行の画像群は、上段の行の画像に対してズーム処理などを施した画像（出力画像Ｉ'_ｗｉｄｅ及び出力画像Ｉ'_ｔｅｌｅ）を示している。つまり、上段の行の画像群はカメラから得られた処理前の画像であり、下段の行の画像群は処理後の画像（プレビューされる画像）である。画像群は、左右方向に倍率順で示されている。

ここで、カメラの切り替えの閾値が倍率１．０倍であるとする。そして、ズーム倍率が１．０倍より小さい値、ここでは例として０．９９９９倍に設定される場合、プロセッサ１２は、ズーム処理モジュール１３２に基づいて、広角カメラ画像Ｉ_ｗｉｄｅである画像Ｇ１に対してズーム処理を実行し、出力画像Ｉ'_ｗｉｄｅである画像Ｄ１を生成する。プロセッサ１２は、画像Ｄ１を出力部１６に表示させる。画像Ｄ１は図２の（Ａ）に示された画像である。

この場合において、ズーム倍率が０．９９９９倍から１．０倍に設定されると、プロセッサ１２は、ズーム処理モジュール１３２に基づいて、望遠カメラ画像Ｉ_ｔｅｌｅである画像Ｇ２に対してズーム処理を実行する。さらに、プロセッサ１２は、補正モジュール１３４に基づいて、ズーム処理された画像の色調を補正し、出力画像Ｉ'_ｔｅｌｅである画像Ｄ２を生成する。補正の詳細については後述する。プロセッサ１２は、画像Ｄ２を出力部１６に表示させる。画像Ｇ２は、図２の（Ｂ）に示された画像である。このように、ズームインが実行され、画像Ｄ１と画像Ｄ２との表示の間に、カメラの切り替えタイミングが存在する。そして、画像Ｄ２のように、色調補正された画像が表示される。

広角カメラ１０から望遠カメラ１１に切り替わった後は、プロセッサ１２は、ズーム倍率に応じて出力画像Ｉ'_ｔｅｌｅを生成する。これにより、画像Ｇ３～Ｇ５に基づいて画像Ｄ３～Ｄ５が生成される。プロセッサ１２は、カメラの切り替え後においてズーム倍率が徐々に変更される場合、ズーム処理済みの画像の色調の補正度合いをズーム倍率に応じて変更してもよい。補正度合いは、色補正強度のことであり、色補正強度が大きいほど補正の強さも大きくなる。例えば、プロセッサ１２は、ズーム倍率が１．０倍から大きくなるにしたがって色補正強度を小さくする。例えば、プロセッサ１２は、ズーム倍率１．０倍のときには色補正強度を１００％、ズーム倍率１．０５倍のときには色補正強度を７５％、ズーム倍率１．１倍のときには色補正強度を５０％、ズーム倍率１．２倍のときには色補正強度を０％（つまり色補正なし）と設定する。このように設定することで、画像処理装置１は、ズーム倍率が大きくなるに従って色調補正の強度が徐々に和らぐため、レンズ切り替え時の画像の色の変化を滑らかにすることができる。これにより、画像処理装置１は、広角カメラ１０から望遠カメラ１１までひと繋ぎのズームで遷移しているかのような印象をユーザに与えることができる。

以上、広角カメラ１０から望遠カメラ１１へズームインする場合を例に説明したが、望遠カメラ１１から広角カメラ１０へズームアウトする処理の場合も同様であり、図３の処理を右から左に見ていくことと等価である。

（色調補正処理）
図４は、色調補正処理の詳細を説明する図である。図４に示されるように、プロセッサ１２は、色調補正処理において対象画像ＧＴ及び参照画像ＧＲの２枚の画像を用いる。対象画像ＧＴは、色調補正が適用される画像であり、参照画像ＧＲは、色調補正の変換先（参照先）となる画像である。本実施形態においては、図３に示される望遠カメラ画像Ｉ_ｔｅｌｅ（例えば画像Ｄ２）が対象画像ＧＴであり、出力画像Ｉ'_ｗｉｄｅ（例えば画像Ｄ１）が参照画像ＧＲである。

最初に、プロセッサ１２は、トーンカーブを推定する（推定処理）。トーンカーブは、対象画像ＧＴから参照画像ＧＲへと色調を変換するための変換式である。次に、プロセッサ１２は、推定されたトーンカーブに基づいて対象画像ＧＴの色調を補正する（適用処理）。これにより、図３に示される画像Ｄ２のように、色調が補正された出力画像Ｉ'_ｔｅｌｅが生成される。

（推定処理の詳細）
推定処理は、ヒストグラム計算、パーセンタイル計算及びトーンマップ計算を含む。ヒストグラム計算においては、プロセッサ１２は、対象画像ＧＴ及び参照画像ＧＲそれぞれにおいてＹＵＶチャンネルごとに画素値のヒストグラムを計算する。プロセッサ１２は、対象画像ＧＴ及び参照画像ＧＲのヒストグラムを合わせるようなトーンカーブを推定する。プロセッサ１２は、処理コストを考慮して、画素をサンプリングする間隔を空けてもよい。プロセッサ１２は、後段の処理のために、ヒストグラムと同時に累積ヒストグラムも同時に計算する。

パーセンタイル計算においては、プロセッサ１２は、累積ヒストグラムを用いて１％、１０％、２０％、３０％、４０％、５０％、６０％、７０％、８０％、９０％、９９％におけるパーセンタイル値を計算する。図５の（Ａ）は対象画像のＹチャンネルの画素値のヒストグラムの一例であり、図５の（Ｂ）は参照画像のＹチャンネルの画素値のヒストグラムの一例である。横軸が画素値で縦軸はレベルである。ヒストグラムの最小値と最大値はノイズの影響を受けやすいため、１％と９９％のパーセンタイルを代わりに採用する。パーセンタイルの間隔を狭くした場合、トーンカーブ推定の精度が高くなる反面、ノイズの影響を受けやすくなる。このため、パーセンタイルの間隔は１０％または２０％刻み程度としてもよい。図５の（Ａ）及び図５の（Ｂ）に示されるように、画像内のヒストグラムは正規分布とはならず複雑な形状になることが多い。このため、パーセンタイルによる手法が対象画像ＧＴと参照画像ＧＲのヒストグラムの平均と分散を合わせる手法よりも有効である。

トーンマップ計算においては、プロセッサ１２は、計算されたパーセンタイル値からトーンカーブを作成する。図６は、図５の（Ａ）,（Ｂ）から得られるトーンカーブの一例である。横軸は画素値、縦軸は補正値（補正後の画素値）である。プロセッサ１２は、対象画像ＧＴのパーセンタイル値をｘ、参照画像ＧＲのパーセンタイル値をｙとし、点（ｘ，ｙ）を対応するパーセンタイルごとにプロットし、折れ線で結ぶことで、トーンカーブを作成する。プロセッサ１２は、Ｙチャネルだけでなく、同一の手法でＵチャネル及びＶチャンネルのトーンカーブも生成する。

（適用処理の詳細）
プロセッサ１２は、適用処理として、推定されたトーンカーブを用いて対象画像ＧＴの画素値すべてを変換する。プロセッサ１２は、演算処理を効率化するために、トーンカーブをＹＵＶチャンネルごとの２５６要素のルックアップテーブルとして保持してもよい。補正強度は０から１の範囲の中から設定される。補正強度が０の場合には対象画像ＧＴの元画素をそのまま用いる恒等変換となり、補正強度が１の場合にはトーンカーブをそのまま用いた変換となる。０から１の間の補正強度については、線形補間による度合いで変換が行われる。注目画素ｉにおける入力画素値をｖ_ｉ、トーンカーブを表すルックアップテーブルの関数をＴ［ｖ］、強度をｓとした場合、出力画素値ｏ_ｉは以下の式で表される。

（色調補正処理の変形例）
色調補正の精度を高めるために、画像を小領域に分割し、それぞれの領域で色調補正を適用してもよい。図７は、ブロック単位に分割された画像の一例である。図７に示される対象画像ＧＴは、８×８のブロックＢに分割されている。プロセッサ１２は、各ブロックＢに対して独立してトーンカーブを算出することができる。しかしながら、ブロックＢごとに色調を補正した場合、ブロックＢの境界に補正のつなぎ目が生じてしまうおそれがある。このため、プロセッサ１２は、隣接ブロック間の色調補正結果をバイリニア補完することで、補正のつなぎ目を目立たなくしてもよい。

図８は、バイリニア補間の一例を説明する図である。図８においては、注目画素ｉ（画素値：ｖ_ｉ）における隣接する４つのブロックＢ^ｌｔ _ｉ、Ｂ^ｒｔ _ｉ、Ｂ^ｌｂ _ｉ、Ｂ^ｒｂ _ｉが示されている。そして、それらに対応する４つのトーンカーブｔｃが示されている。プロセッサ１２は、４つのトーンカーブ及び画素値ｖ_ｉに基づいて画素値ｔｃ_ｌｔ（ｖ_ｉ）、ｔｃ_ｒｔ（ｖ_ｉ）、ｔｃ_ｌｂ（ｖ_ｉ）、ｔｃ_ｒｂ（ｖ_ｉ）を算出する。プロセッサ１２は、算出された画素値ｔｃ_ｌｔ（ｖ_ｉ）、ｔｃ_ｒｔ（ｖ_ｉ）、ｔｃ_ｌｂ（ｖ_ｉ）、ｔｃ_ｒｂ（ｖ_ｉ）に基づいて補正値（補正後の画素値）を算出する。例えば、プロセッサ１２は、画素値ｔｃ_ｌｔ（ｖ_ｉ）、ｔｃ_ｒｔ（ｖ_ｉ）、ｔｃ_ｌｂ（ｖ_ｉ）、ｔｃ_ｒｂ（ｖ_ｉ）の平均値を補正値とする。これにより、補正のつなぎ目を目立たなくすることができる。

ところで、ブロックＢごとにヒストグラムを計算した場合、位置合わせで合わせきれなかったずれが色調補正に影響を与えるおそれがある。例えば、対象画像ＧＴの所定ブロックのヒストグラムは、明領域（例えば画素値１９０以上）と暗領域（例えば画素値１００以下）とのそれぞれにピークを有するとする。そして、対象画像ＧＴと参照画像ＧＲとのブロック位置が平行移動してずれるとする。この場合、参照画像ＧＲの対応するブロックのヒストグラムは、ピークの形状及び位置がずれるおそれがある。この場合、色調補正が意図しない過補正を引き起こし、明領域のピークと暗領域のピークとの間にアーティファクトが発生するおそれがある。アーティファクトを防ぐために、プロセッサ１２は、ヒストグラムを明領域と暗領域の２つに分離し、それぞれのピークでパーセンタイルを求め、１つのトーンカーブを作成してもよい。２つの領域の境界画素値は、ｘ_ｔｒｇ，ｘ_ｒｅｆを対象画像ＧＴ及び参照画像ＧＲそれぞれの領域のヒストグラムのデータとした場合、画素値μでデータを分離したときの分散σ^２の和が最小となる値μ^＊として決定される。計算式は、以下のとおりである。

そして、ヒストグラムを分割してパーセンタイルを算出する場合、パーセンタイル値を以下の表のように変更する。

ここで、暗領域Ｘ％は、暗領域のヒストグラムが全体のヒストグラムであるとして考えた場合のＸ％パーセンタイル値を意味する。トーンカーブは上記パーセンタイル値から同一の手法で算出することができる。また、ヒストグラム分割はＹチャンネルのみを対象としてもよい。さらに、プロセッサ１２は、全てのブロックＢに対してヒストグラム分割を行うのではなく、一部のブロックＢに対してヒストグラム分割を行い、意図しない品質劣化を避けてもよい。例えば、プロセッサ１２は、上述した数式におけるＳ（μ）が閾値以上である場合のみ、ヒストグラムの分割処理を行うようにしてもよい。Ｓ（μ）は、対象画像ＧＴと参照画像ＧＲとを合わせたヒストグラムデータの分散と比べて、ヒストグラムを分割することでそれぞれの明暗領域のデータの分散の和がどの程度小さくなるかの度合いを示している。閾値は、例えば０．７前後に設定されてもよい。

（画像処理方法）
図９は、実施形態に係る画像処理方法のフローチャートである。図９に示されるフローチャートは、ズームイン又はズームアウトに係るユーザ操作又はシステム指示を受け付けたタイミングで、プロセッサ１２によって実行される。

図９に示されるように、最初に、プロセッサ１２は、判定処理（ステップＳ１０）として、現在のズーム倍率が閾値以上であるか否かを判定する。現在のズーム倍率とは、これから表示しようとしている画像のズーム倍率である。閾値は、広角カメラ１０及び望遠カメラ１１のどちらを使用するのかを決定するために予め定められたズーム倍率であり、メモリ１３に定義データ１３５として格納される。プロセッサ１２は、メモリ１３を参照して得られた閾値と、現在のズーム倍率とを比較する。

現在のズーム倍率が閾値以上でないと判定された場合（ステップＳ１０：Ｎｏ）、プロセッサ１２は、広角カメラ１０を選択する（ステップＳ１２：選択ステップの一例）。現在のズーム倍率が閾値以上であると判定された場合（ステップＳ１０：ＹＥＳ）、プロセッサ１２は、望遠カメラ１１を選択する（ステップＳ１４：選択ステップの一例）。

続いて、プロセッサ１２は、ズーム処理（ステップＳ１６：ズームステップの一例）として、選択されたカメラによって撮像された画像の中心部分をズーム倍率に応じてクロップして元解像度へ拡大処理を施す。

続いて、プロセッサ１２は、判定処理（ステップＳ１８）として、カメラの切り替わりが発生したか否かを判定する。プロセッサ１２は、ズーム倍率の前回値とステップＳ１０で用いられた閾値とに基づいて、カメラの切り替わりを判定する。プロセッサ１２は、例えば、ズーム倍率の前回値と現在のズーム倍率との間に閾値が含まれる場合、カメラの切り替わりが発生したと判定する。ズーム倍率の前回値は、定義データ１３５としてメモリ１３に記憶されている。

カメラの切り替わりが発生したと判定された場合（ステップＳ１８：ＹＥＳ）、プロセッサ１２は、色調補正処理（ステップＳ２０：補正ステップの一例）として、ズーム処理された画像の色調を補正する。プロセッサ１２は、対象画像ＧＴと参照画像ＧＲとの色成分の関係であるトーンカーブを生成する。プロセッサ１２は、現在のズーム倍率に基づいて色補正強度を決定する。そして、プロセッサ１２は、トーンカーブと色補正強度とに基づいて対象画像ＧＴの色調を補正する。

色調補正処理（ステップＳ２０）が終了した場合、又は、カメラの切り替わりが発生していないと判定された場合（ステップＳ１８：Ｎｏ）、プロセッサ１２は、表示処理（ステップＳ２２：表示制御ステップの一例）として、出力部１６に画像を表示させる。

次に、プロセッサ１２は、更新処理（ステップＳ２４）として、メモリ１３に記憶されたズーム倍率を更新する。例えば、プロセッサ１２は、ズーム倍率の前回値を現在のズーム倍率で上書きする。更新処理（ステップＳ２４）が終了した場合、図９に示されるフローチャートは終了する。図８に示されるフローチャートは、プロセッサ１２が次のズームイン又はズームアウトに係るユーザ操作又はシステム指示を受け付けたタイミングで最初から開始される。

（第１実施形態のまとめ）
画像処理装置１においては、選択モジュール１３１に基づいて、設定されたズーム倍率に応じて、広角カメラ１０及び望遠カメラ１１の何れか一方が選択される。選択されたカメラによって撮像された画像から、ズーム処理モジュール１３２に基づいて、ズーム倍率に応じた大きさの領域が切り出され、切り出された領域を拡大するズーム処理が実行される。ズーム処理により得られた画像は、表示制御モジュール１３３に基づいて出力部１６に表示される。ズーム処理中においてズーム倍率が徐々に変更されることに応じて、出力部１６に表示させる画像を撮像するカメラが選択モジュール１３１に基づいて切り替わる場合、広角カメラ画像と望遠カメラ画像との色成分の関係に基づいて、切り替え直後のズーム処理済みの画像の色調が、切り替え直前のズーム処理済みの画像の色調に近づくように補正される。このため、カメラが切り替わった場合であっても色調の連続性が保たれる。よって、画像処理装置１は、画角が異なるカメラの切り替えに伴う画像の不連続な変化を抑制できる。

［第２実施形態］
第２実施形態に係る画像処理装置は、第１実施形態に係る画像処理装置と比べて、参照画像ＧＲの選択ロジック、及び、広角カメラ１０及び望遠カメラ１１の動作が異なり、その他は同一である。以下では、第１実施形態との相違する点を中心に説明し、重複する説明は省略する。

（画像処理装置の構成）
第２実施形態に係る画像処理装置の構成は、第１実施形態に係る画像処理装置と比べて、ズーム処理モジュール１３２及び補正モジュール１３４の一部が相違し、その他は同一である。第１実施形態においては、望遠カメラ１１から広角カメラ１０へズームアウトする場合、つまり、図３の右から左に処理が行われる場合、レンズ切り替わりが発生する前から広角カメラ画像（図３の画像Ｇ１）が望遠カメラ画像の色調補正のために必要になる。つまり、２つのカメラを常に同時に起動させておく必要がある。

二つのカメラを同時に起動させておくために必要な消費電力を抑えるために、本実施形態に係るプロセッサ１２は、色調補正の際に参照される参照画像ＧＲとして、同じカメラの前フレームの画像を選択する。これにより、常に前フレームの色調に合わせ続ける処理が実現される。プロセッサ１２は、レンズ切り替えが発生した段階で、前フレームの画像の色調に強度１．０で色調補正を適用する。プロセッサ１２は、以降のフレームにおいては強度を徐々に下げながら色調補正を適用し続ける。プロセッサ１２は、レンズ切り替え後、一定のフレームが経過したら色調補正の適用を終了する。上述された処理は、広角カメラ１０から望遠カメラ１１への切り替えだけでなく、望遠カメラ１１から広角カメラ１０へ切り替えでも同一の処理となる。ズームインする場合を例にすると、カメラ切り替え直前の画像は、広角カメラ画像から所定の倍率にズーム処理された画像であり、カメラ切り替え直後の画像は、望遠カメラ画像から所定の倍率（１倍を含む）にズーム処理された画像である。ズームアウトする場合を例にすると、カメラ切り替え直前の画像は、望遠カメラ画像から所定の倍率（１倍を含む）にズーム処理された画像であり、カメラ切り替え直後の画像は、広角カメラ画像から所定の倍率にズーム処理された画像である。

なお、前フレームの画像を参照画像ＧＲとした場合、参照画像ＧＲと対象画像ＧＴとの画角が大きく異なる場合がある。特に、画像を分割して得られたブロックごとに色調補正を行う場合は、画角の違いが顕著になるおそれがある。このため、第２実施形態に係る画像処理装置においては、ブロックごとの色調補正を実行せずに、画像全体の色調補正のみを実行してもよいし、急激なズームなど画角が大きくことなることが想定されるシーンにおいては、色調補正機能をオフにしてもよい。

（第２実施形態のまとめ）
第２実施形態に係る画像処理装置によれば、色調補正の際に参照される参照画像ＧＲとして、同じカメラの前フレームの画像が選択されるので、常に２つのカメラを動作させておく必要がない。このため、この画像処理装置は、消費電力を抑えることができる。

（変形例）
以上、本開示の実施形態について説明したが、本開示は、上述した実施形態に限定されるものではない。例えば、画像をブロックに分割しブロックごとに色調補正する例として、ブロックの分割数が８×８である場合を例示したが、ブロックの分割数はこれに限定されない。ブロックの分割数は、一例として、２×２や４×４であってもよい。また、ブロック分割無しでの色調補正の結果、２×２分割での色調補正の結果、４×４分割での補正の結果、８×８分割での補正の結果を取得し、それらの結果に重みをつけて調整し、最終的な補正結果としてもよい。例えば、ズーム変化がゆっくりの場合には画角の変化も小さいため、８×８分割の補正結果を重視し、ズーム変化が大きいときはアーティファクトを抑えるため、ブロック分割をしない補正結果を重視するといった調整をしてもよい。また、カメラの数は、２つに限定されず、３つ以上であってもよい。また、本開示の実施形態は、静止画撮影時のプレビューのようなリアルタイム処理を中心に説明されたが、動画を撮影する場合、又は静止画を処理する場合にも適用可能である。

１…画像処理装置、１０…広角カメラ（第１カメラの一例）、１１…望遠カメラ（第２カメラの一例）、１２…プロセッサ、１３…メモリ、１６…出力部（ディスプレイの一例）、１３１…選択モジュール（選択部の一例）、１３２…ズーム処理モジュール（ズーム処理部の一例）、１３３…表示制御モジュール（表示制御部の一例）、１３４…補正モジュール（補正部の一例）。

Claims (7)

1. 設定されたズーム倍率に応じて、第１カメラ、及び、前記第１カメラよりも狭い画角を有する第２カメラの何れか一方を選択する選択部と、
   前記選択されたカメラによって撮像された画像から、前記ズーム倍率に応じた大きさの領域を切り出し、前記切り出された領域を拡大するズーム処理を行うズーム処理部と、
   前記ズーム処理により得られた画像をディスプレイに表示させる表示制御部と、
   前記ズーム処理中においてズーム倍率が徐々に変更されることに応じて、前記ディスプレイに表示させる画像を撮像するカメラが前記選択部によって切り替わる場合、前記第１カメラによって撮像された画像と前記第２カメラによって撮像された画像との色成分の関係に基づいて、所定のズーム倍率の範囲において一方のカメラのズーム処理済みの画像の色調を、他方のカメラのズーム処理済みの画像の色調に近付くように補正する補正部と、
   を備える画像処理装置。
2. 前記一方のカメラのズーム処理済みの画像と、前記他方のカメラのズーム処理済みの画像とは画角が等しくなるように調整される、請求項１に記載の画像処理装置。
3. 前記選択部は、前記ズーム倍率が予め定められた閾値未満である場合には前記第１カメラを選択し、前記設定されたズーム倍率が前記閾値以上である場合には前記第２カメラを選択する、請求項１又は２に記載の画像処理装置。
4. 前記色成分の関係は、前記第１カメラによって撮像された画像の画素値と、前記第２カメラによって撮像された画像の画素値とに基づいて生成されたトーンカーブである、請求項１～３の何れか一項に記載の画像処理装置。
5. 前記補正部は、前記カメラの切り替え後において前記ズーム倍率が徐々に変更される場合、前記ズーム処理済みの画像の色調の補正度合いを前記ズーム倍率に応じて変更する、請求項１～３の何れか一項に記載の画像処理装置。
6. 前記補正部は、前記カメラの切り替え後において前記ズーム倍率が徐々に変更される場合、直前に前記選択されたカメラによって撮像された画像を参照画像とし、前記選択されたカメラによって撮像された画像と前記参照画像との色成分の関係に基づいて、前記ズーム処理済みの画像の色調を、直前の前記ズーム処理済みの画像の色調に近づくように補正する、請求項１～５の何れか一項に記載の画像処理装置。
7. 設定されたズーム倍率に応じて、第１カメラ、及び、前記第１カメラよりも狭い画角を有する第２カメラの何れか一方を選択する選択ステップと、
   前記選択されたカメラによって撮像された画像から、前記ズーム倍率に応じた大きさの領域を切り出し、切り出された領域を拡大するズーム処理を行うズームステップと、
   前記ズーム処理済みの画像をディスプレイに表示させる表示制御ステップと、
   前記ズーム処理中においてズーム倍率が徐々に変更されることに応じて、前記ディスプレイに表示させる画像を撮像するカメラが前記選択ステップによって切り替わる場合、前記第１カメラによって撮像された画像と前記第２カメラによって撮像された画像との色成分の関係に基づいて、所定のズーム倍率の範囲において一方のカメラのズーム処理済みの画像の色調を、他方のカメラのズーム処理済みの画像の色調に近付くように補正する補正ステップと、
   を備える画像処理方法。

Images