JP2016208306A - 画像処理装置及びこれを備えた撮像システムならびに画像処理方法 - Google Patents

Abstract

【課題】合成されたパノラマ合成画像において各被合成画像の領域の境界が不自然に目立つことを抑制しつつ、基準となる撮像画像を適切に表示可能とする。【解決手段】画像処理装置３が、複数のカメラＣＡＭ１−ＣＡＭ７のうちの１つを基準カメラとして決定する基準カメラ決定部４１と、その基準カメラにおいて設定された露出およびホワイトバランスに関する撮像条件を取得する撮像条件取得部４２と、その基準カメラを除く他のカメラに対し、その基準カメラの撮像条件に基づき、露出およびホワイトバランスに関する設定指令を送出する撮像条件設定部４３と、複数のカメラＣＡＭ１−ＣＡＭ７から取得した複数の撮像画像に対して画像合成処理を行ってパノラマ合成画像を出力する画像合成部４３とを備えた構成とする。【選択図】図３

Description

本発明は、複数の撮像画像に対して画像合成処理を行って合成画像を出力する画像処理装置及びこれを備えた撮像システムならびに画像処理方法に関するものである。

従来、複数のカメラにより撮像された画像を合成して１つのパノラマ合成画像を生成する撮像システムでは、いわゆるスティッチング処理を行うことで、１台のカメラでは得ることができない広角画像をシームレスな状態で生成することができる。このようなスティッチング処理では、隣り合う２つのカメラを、各々の撮像エリアが一部重複するように配置して、２つのカメラの撮像エリアの重複部分に対応する境界部の画像領域を重ね合わせ、また、適宜にトリミングを行って画像を合成する。

一方、２つのカメラの撮像エリアの重複部分に、カメラからの距離が大きく異なる被写体が存在する、すなわち、遠景となる被写体と近影となる被写体とが存在すると、２つのカメラの各撮像画像の間には、遠景となる被写体の像と近影となる被写体の像との位置関係がずれた状態、いわゆる視差が発生し、合成画像に、近影の像が２重に現れたり、近影の像の一部が消失したりする不具合が発生する。そこで、スティッチングでは、視差に起因する画像の不具合を抑制する視差補正が行われる。

このような視差補正に関するものとして、従来、エッジや特徴量に基づくブロックマッチングにより、２つのカメラの各撮像画像に現れる被写体の像の位置関係を取得して、この情報に基づいて画像を変形させる視差補正を行う技術が知られている（特許文献１参照）。

また、人物など近景の像が現れている画像領域、すなわちコスト関数が高い画像領域を回避するように、２つの画像に対して屈曲したスティッチング境界を設定し、このスティッチング境界に沿って２つの画像を切り出すトリミングを行った上で画像合成する技術が知られている（特許文献２参照）。

２０１０−５０８４２号公報 特許第５２２５３１３号公報

ところで、上記従来の撮像システムでは、各カメラの撮像環境（例えば、順光および逆光等）が互いに異なるため、露出やホワイトバランス等に関する撮像条件は、カメラ毎に適正となるように個別に設定されるのが一般的である。

しかしながら、上記特許文献１、２に開示された従来技術では、上述のように撮像条件が個別に設定された複数のカメラによる撮像画像（被合成画像）のスティッチング処理をそのまま実行すると、各撮像画像間の明るさや色合いの差によって合成画像における各撮像画像の領域の境界が不自然に目立ってしまうという問題があった。

一方、全てのカメラに対して一様に露出やホワイトバランス等に関する撮像条件を設定することも考えられるが、基準となる撮像画像（例えば、ユーザが注目する可能性のある重要度の高い撮像画像）を撮像するカメラにおいて露出やホワイトバランスが適正に設定されず、撮像対象が適切に表示されない（例えば、白飛びや黒つぶれ等が生じる）場合が生じ得る。

本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、パノラマ合成画像において、基準となる撮像画像の領域を適切に表示しつつ、合成された各撮像画像の領域の境界が不自然に目立つことを抑制する画像処理装置及びこれを備えた撮像システムならびに画像処理方法を提供することにある。

本発明の画像処理装置は、複数のカメラと通信可能に接続され、前記複数のカメラから取得した複数の撮像画像に対して画像合成処理を行ってパノラマ合成画像を出力する画像処理装置であって、前記複数のカメラのうちの１つを基準カメラとして決定する基準カメラ決定部と、前記基準カメラにおいて設定された露出およびホワイトバランスに関する撮像条件を取得する撮像条件取得部と、前記複数のカメラのうち前記基準カメラを除く他のカメラに対し、前記基準カメラの前記撮像条件に基づき、露出およびホワイトバランスに関する設定指令を送出する撮像条件設定部と、前記複数のカメラから取得した複数の撮像画像に対して画像合成処理を行って前記パノラマ合成画像を出力する画像合成部とを備えたことを特徴とする。

また、本発明の画像処理方法は、複数のカメラと通信可能に接続された画像処理装置において、前記複数のカメラから取得した複数の撮像画像に対して画像合成処理を行ってパノラマ合成画像を出力する画像処理方法であって、前記複数のカメラのうちの１つを基準カメラとして決定する基準カメラ決定ステップと、前記基準カメラにおいて設定された露出およびホワイトバランスに関する撮像条件を取得する撮像条件取得ステップと、前記複数のカメラのうち前記基準カメラを除く他のカメラに対し、前記基準カメラの前記撮像条件に基づき、露出およびホワイトバランスに関する撮像条件の設定指令を送出する撮像条件設定ステップと、前記複数のカメラから取得した複数の撮像画像に対して画像合成処理を行って前記パノラマ合成画像を出力する画像合成ステップとを有することを特徴とする。

本発明によれば、パノラマ合成画像において、基準となる撮像画像の領域を適切に表示しつつ、合成された各撮像画像の領域の境界が不自然に目立つことを抑制することが可能となる。

実施形態に係る撮像システムを示す全体構成図 図１中の表示装置で表示される合成画像を示す説明図 実施形態に係る撮像システムを示す機能ブロック図 視差補正を実施しない場合および視差補正を実施した場合の画像の状態を模式的に示す説明図 視差補正を実施しない場合および視差補正を実施した場合の画像の実際の状態を示す説明図 基準カメラ決定部による基準カメラの決定方法を示す説明図 基準カメラ決定部による基準カメラの決定方法の第１変形例を示す説明図 基準カメラ決定部による基準カメラの決定方法の第２変形例を示す説明図 実施形態に係る画像処理装置の処理の流れを示すフロー図 図９中のステップＳＴ１０７の処理内容を示す説明図

前記課題を解決するためになされた第１の発明は、複数のカメラと通信可能に接続され、前記複数のカメラから取得した複数の撮像画像に対して画像合成処理を行ってパノラマ合成画像を出力する画像処理装置であって、前記複数のカメラのうちの１つを基準カメラとして決定する基準カメラ決定部と、前記基準カメラにおいて設定された露出およびホワイトバランスに関する撮像条件を取得する撮像条件取得部と、前記複数のカメラのうち前記基準カメラを除く他のカメラに対し、前記基準カメラの前記撮像条件に基づき、露出およびホワイトバランスに関する設定指令を送出する撮像条件設定部と、前記複数のカメラから取得した複数の撮像画像に対して画像合成処理を行って前記パノラマ合成画像を出力する画像合成部とを備えたことを特徴とする。

この第１の発明に係る画像処理装置によれば、複数のカメラのうちの１つが基準カメラとして決定され、その基準カメラの露出およびホワイトバランスに関する撮像条件に基づき他のカメラの撮像条件が設定されるため、基準となる撮像画像の領域を適切に表示（すなわち、基準カメラによる撮像画像の領域の白飛びや黒つぶれ等を抑制）しつつ、合成された各撮像画像の領域の境界が不自然に目立つことを抑制（すなわち、複数の撮像画像の領域の明るさや色合いの差を抑制）することが可能となる。

また、第２の発明は、上記第１の発明において、前記基準カメラ決定部は、前記基準カメラの決定に際して前記複数のカメラによってそれぞれ撮像された撮像画像の輝度の情報を取得し、それら複数の輝度のうち中央値となる輝度を有する撮像画像を撮像したカメラを前記基準カメラとして決定することを特徴とする。

この第２の発明に係る画像処理装置によれば、撮像画像の輝度の統計的な比較に基づく簡易な手法により、複数のカメラのうちの１つを標準的な撮像画像を撮影する基準カメラとして適切に決定することができる。

また、第３の発明は、上記第１の発明において、前記基準カメラ決定部は、前記基準カメラの決定に際して前記複数のカメラによってそれぞれ撮像された撮像画像の輝度の情報を取得し、それら複数の輝度の平均値に最も近い輝度を有する撮像画像を撮像したカメラを前記基準カメラとして決定することを特徴とする。

この第３の発明に係る画像処理装置によれば、撮像画像の輝度の統計的な比較に基づく簡易な手法により、複数のカメラのうちの１つを標準的な撮像画像を撮影する基準カメラとして適切に決定することができる。

また、第４の発明は、上記第１の発明において、前記基準カメラ決定部は、前記複数のカメラのうちユーザによって選択された１つのカメラを前記基準カメラとして決定することを特徴とする。

この第４の発明に係る画像処理装置によれば、ユーザの選択に基づく簡易な手法により、複数のカメラのうちの１つをユーザにとって重要度の高い基準カメラとして適切に決定することができる。

また、第５の発明は、上記第１の発明において、前記基準カメラ決定部は、前記基準カメラの決定に際して前記複数のカメラによってそれぞれ撮像された撮像画像における所定の撮像対象の画像認識結果を取得し、その画像認識結果に基づき前記基準カメラを決定することを特徴とする。

この第５の発明に係る画像処理装置によれば、予めユーザが設定可能な所定の撮像対象の画像認識結果に基づく簡易な手法により、複数のカメラのうちの１つを所望の撮像対象を含む重要度の高い基準カメラとして適切に決定することができる。

また、第６の発明は、上記第１から第５の発明のいずれかにおいて、前記撮像条件設定部は、前記画像合成部により前記複数の撮像画像に対する前記画像合成処理が実行される際に、隣接する２つの前記撮像画像の境界領域における輝度および色差の少なくとも一方の差分が予め設定された閾値を越えた場合、前記他のカメラに対し、前記閾値を越えた前記差分を小さくするように、前記設定指令における前記撮像条件を補正することを特徴とする。

この第６の発明に係る画像処理装置によれば、基準カメラの露出およびホワイトバランスに関する撮像条件に基づき他のカメラの撮像条件が設定されたにも拘わらず、他のカメラにおけるイメージセンサの個体差（出力のばらつき）等により２つの撮像画像の境界領域における輝度および色差の少なくとも一方の差が閾値を越えた（すなわち、境界領域が不自然に目立つ可能性がある）場合でも、２つの撮像画像を撮像するカメラの少なくとも一方の撮像条件を補正することにより、合成された各撮像画像の領域の境界が不自然に目立つことをより確実に抑制することが可能となる。

また、第７の発明は、上記第１から第６の発明のいずれかに係る前記画像処理装置と、前記複数のカメラとを備えた撮像システムである。

また、第８の発明は、複数のカメラと通信可能に接続された画像処理装置において、前記複数のカメラから取得した複数の撮像画像に対して画像合成処理を行ってパノラマ合成画像を出力する画像処理方法であって、前記複数のカメラのうちの１つを基準カメラとして決定する基準カメラ決定ステップと、前記基準カメラにおいて設定された露出およびホワイトバランスに関する撮像条件を取得する撮像条件取得ステップと、前記複数のカメラのうち前記基準カメラを除く他のカメラに対し、前記基準カメラの前記撮像条件に基づき、露出およびホワイトバランスに関する撮像条件の設定指令を送出する撮像条件設定ステップと、前記複数のカメラから取得した複数の撮像画像に対して画像合成処理を行って前記パノラマ合成画像を出力する画像合成ステップとを有することを特徴とする。

以下、本発明の実施の形態について図面を参照しながら説明する。

図１は、本発明の実施形態に係る撮像システム１を示す全体構成図であり、図２は、図１に示した画像処理装置３で生成されて表示装置４で表示される合成画像を示す説明図である。

図１に示すように、撮像システム１は、合成用の撮像画像（ここでは、動画）を生成する第１〜第７のカメラＣＡＭ１−ＣＡＭ７を有するカメラユニット２と、それら撮像画像の画像合成処理を行うことにより、合成画像を順次生成する画像処理装置３と、画像処理装置３から出力された合成画像を表示する表示装置４とを備える。

カメラＣＡＭ１−ＣＡＭ７は、広角な画角（例えば１２０°）を有し、撮像画像をデジタルデータとして記録する公知の構成を有する。第１〜第６のカメラＣＡＭ１−ＣＡＭ６は、光軸が略水平方向の放射状となるように周方向に等間隔をおいて配置され、第７のカメラＣＡＭ７は、光軸が略垂直方向上向きとなるように配置されている。カメラＣＡＭ１−ＣＡＭ７は、隣り合う２つのカメラＣＡＭ１−ＣＡＭ７同士で撮像エリアが一部重複するように配置されている。なお、撮像システム１において合成用の撮像画像を生成するカメラの台数および配置等は、図１に示すものに限らず種々の変更が可能である。例えば、上向きのカメラＣＡＭ７を省略してもよい。

画像処理装置３は、カメラＣＡＭ１−ＣＡＭ７との間で無線または有線通信可能なＰＣ（Personal Computer）から構成される。また、表示装置４は、画像処理装置３に接続された液晶モニタ等の公知の画像表示装置から構成される。

詳細は図示しないが、画像処理装置３は、所定の制御プログラムに基づきカメラＣＡＭ１−ＣＡＭ７や表示装置４の制御などを統括的に実行するＣＰＵ（Central Processing Unit）、ＣＰＵのワークエリア等として機能するＲＡＭ（Random Access Memory）、ＣＰＵが実行する制御プログラムやデータを格納するＲＯＭ（Read Only Memory）、スピーカ、入力デバイス、及びＨＤＤ（Hard Disk Drive）などを含む公知のハードウェア構成を有している。また、画像処理装置３において実行される各種機能（後に詳述する画像合成処理、撮像条件設定等）の少なくとも一部については、ＣＰＵが専用の制御プログラム（画像合成処理用プログラム、撮像条件設定用プログラム等）を実行することによって実現可能である。なお、画像処理装置３としては、ＰＣに限らず、同様の機能を果たす他の情報処理装置（サーバ等）を用いることもできる。また、画像処理装置３の機能の少なくとも一部を他の公知のハードウェアによる処理によって代替してもよい。

画像処理装置３では、図２に示すように、第１〜第７のカメラＣＡＭ１−ＣＡＭ７により撮像された撮像画像（ここでは、７つの画像）を合成して１つのパノラマ合成画像を生成する処理（スティッチング）がフレームごとに行われ、このフレームごとの合成画像が表示装置４に出力されて、表示装置４に合成画像（カメラ映像）がリアルタイムに表示される。なお、画像処理装置３では、表示装置４に合成画像を表示させる代わりに、或いは、それと同時に、ＨＤＤ等の公知の記憶装置(図示せず)に合成画像を順次記憶させることも可能である。

図３は、本発明の実施形態に係る撮像システム１を示す機能ブロック図である。ここでは、２つのカメラＣＡＭ１、ＣＡＭ２の撮像画像を処理する部分のみを示しているが、図１に示した他のカメラＣＡＭ３−ＣＡＭ７についても同様の構成を有する。本実施形態では、視差補正量算出部３１は、隣り合う２つのカメラＣＡＭ１−ＣＡＭ７の組み合わせごとに設けられ、また、パノラマ画像生成部３２および視差補正部３３はカメラＣＡＭ１−ＣＡＭ７ごとに設けられる。

図３に示すように、各カメラＣＡＭ１、ＣＡＭ２は、同一構成を有しており、レンズ等の光学系を含むレンズ部１１と、レンズ部１１からの光を受光して光電変換することにより画像信号（デジタル信号）を出力するイメージセンサ部１２と、イメージセンサ部１２からの画像信号に対して種々の信号処理を実施する信号処理部１３と、イメージセンサ部１２および信号処理部１３の動作を統括的に制御するカメラ制御部１４とを備える。

イメージセンサ部１２は、ＣＭＯＳイメージセンサ、ＣＤＳ（Correlated Double Sampling）、ＡＦＥ（Analog Front End）、及び駆動回路等の公知の構成を有している。また、イメージセンサ部１２では、電子シャッタに関するシャッタ値（シャッタスピード）の変更や、ＡＦＥ内のＡＧＣ（Auto Gain Control）回路（すなわち、ＡＤ変換前のアナログ回路）に適用されるセンサゲイン値の変更により、露出（明るさ）を調整することが可能である。

信号処理部１３は、イメージセンサ部１２から出力された画像信号に基づくＲＡＷ画像に対して公知の信号処理（デジタルゲイン調整、ホワイトバランス補正、輪郭補正、γ補正、ＹＣ変換、色差補正、ノイズリダクション等）を実施し、輝度および色差信号に基づく撮像画像を出力する。信号処理部１３は、デジタルゲイン調整に関するデジタルゲイン値の変更により、露出（明るさ）を調整することが可能であり、また、ホワイトバランス補正に関するホワイトバランスゲイン値の変更により、ホワイトバランス（色合い）を調整することが可能である。

カメラ制御部１４は、カメラＣＡＭ１−ＣＡＭ７で実行されるオート撮影モードにおいて、適正な露出およびホワイトバランスで撮像を行うために、イメージセンサ部１２のシャッタ値およびセンサゲイン値、ならびに信号処理部１３のデジタルゲイン値およびホワイトバランスゲイン値を制御する。

後に詳述するように、カメラ制御部１４は、画像処理装置３によって自身のカメラが基準カメラとして決定されると、画像処理装置３に対して露出およびホワイトバランスに関する撮像条件（ここでは、シャッタ値、センサゲイン値、デジタルゲイン値、及びホワイトバランスゲイン値）を送出する。一方で、基準カメラでない他のカメラにおけるカメラ制御部１４は、画像処理装置３から基準カメラにおける露出およびホワイトバランスに関する撮像条件の設定指令を取得し、その設定指令に基づき露出およびホワイトバランスに関する撮像条件の設定（ここでは、イメージセンサ部１２におけるシャッタ値およびセンサゲイン値の設定、信号処理部１３におけるデジタルゲイン値およびホワイトバランスゲイン値の設定）を行う。

画像処理装置３は、各撮像画像を貼り合わせるように合成するスティッチング部２１と、カメラＣＡＭ１−ＣＡＭ７の撮像を制御する撮像制御部２２とを備える。

スティッチング部２１は、視差補正量算出部３１と、パノラマ画像生成部３２と、視差補正部３３と、画像合成部３４とを備えている。

視差補正量算出部３１では、視差補正時の画像の変形度合いを規定する視差補正量をフレームごとに算出する処理が行われる。具体的には、平行化（円柱への投影）、処理領域切り出し、および視差算出の各処理が行われる。視差算出処理では、２つの撮像画像間のブロックマッチングにより視差（ずれ量）を算出する。すなわち、２つの撮像画像を少しずつずらしながら２つの撮像画像間の差分を算出し、その差分が最も小さくなる位置関係から視差を求める。

パノラマ画像生成部３２では、２つのカメラＣＡＭ１、ＣＡＭ２からそれぞれ出力される撮像画像に対してパノラマ化（球への投影）を行って、２つのパノラマ画像を生成する処理が行われる。

視差補正部３３では、視差補正量算出部３１から出力される視差補正量に基づいて、パノラマ画像生成部３２で生成した２つのパノラマ画像に対して視差補正を行って、２つの視差補正画像を生成する処理が行われる。

画像合成部３４では、視差補正部３３でそれぞれ生成した２つの視差補正画像に対して画像合成処理を行って、１つの合成画像を生成する処理が行われる。この画像合成部３４で生成したパノラマ合成画像は表示装置４に出力され、表示装置４にパノラマ合成画像が表示される。

撮像制御部２２は、基準カメラ決定部４１と、撮像条件取得部４２と、撮像条件設定部４３とを備えている。

詳細は後述するが、基準カメラ決定部４１は、複数のカメラＣＡＭ１−ＣＡＭ７のうちの１つを基準カメラとして決定する。なお、基準カメラは、ユーザ注目する或いはその可能性のある重要度の高い撮像画像（または人や物あるいはそれらの一部などの撮像対象）を撮像可能なカメラであることが好ましい。また、撮像条件取得部４２は、基準カメラ決定部４１によって決定された基準カメラで設定された露出およびホワイトバランスに関する撮像条件（ここでは、シャッタ値、センサゲイン値、デジタルゲイン値、及びホワイトバランスゲイン値）を取得する。また、撮像条件設定部４３は、基準カメラで設定された露出およびホワイトバランスに関する撮像条件に基づき、基準カメラを除く他のカメラに対し、露出およびホワイトバランスに関する撮像条件の設定指令を送出する。

次に、画像処理装置３（スティッチング部２１）で行われる視差補正について説明する。図４は、視差補正を実施しない場合および視差補正を実施した場合の画像の状態を模式的に示す説明図であり、図５は、視差補正を実施しない場合および視差補正を実施した場合の画像の実際の状態を示す説明図である。なお、ここでは、説明の便宜上、隣り合う２つのカメラＣＡＭ１、ＣＡＭ２の画像を処理する例を示す。

図４（Ａ）は、隣り合う２つのカメラＣＡＭ１、ＣＡＭ２による撮像状況を示している。この図４（Ａ）に示す例では、人物とその背景となる山とが２つのカメラＣＡＭ１、ＣＡＭ２により同時に撮像される。

図４（Ｂ−１）、（Ｂ−２）は、２つのカメラＣＡＭ１、ＣＡＭ２による撮像画像を示している。この図４（Ｂ−１）、（Ｂ−２）に示すように、２つのカメラＣＡＭ１、ＣＡＭ２による撮像画像には、２つのカメラＣＡＭ１、ＣＡＭ２の撮像エリアの重複部分に対応する境界部の画像領域に、山を表す遠景の像と人物を表す近影の像とが現れる。ここで、遠景となる山と近影となる人物とでは、カメラＣＡＭ１、ＣＡＭ２からの距離が大きく異なり、２つの撮像画像では、遠景の像と近影の像との位置関係がずれた状態となる。

図４（Ｃ−１）、（Ｃ−２）は、２つのカメラＣＡＭ１、ＣＡＭ２による撮像画像に対して遠景の像を基準にした単純合成を行って得られた合成画像を示している。前記のように、２つの撮像画像では遠景の像と近影の像との位置関係がずれているため、遠景の像を基準にして２つの撮像画像を単純に合成すると、図４（Ｃ−１）、（Ｃ−２）に示すように、合成画像に、近影の像が２重に現れたり、近影の像の一部が消失したりする不具合が発生する。

ここで、遠景の像を基準にしたときの近影の像のずれは、２つのカメラＣＡＭ１、ＣＡＭ２の各撮像画像の間の視差を表している。２つのカメラＣＡＭ１、ＣＡＭ２にそれぞれ現れる遠景の像の位置関係は、近影がない状態で予め求めておくことができ、この情報に基づいて画像合成が行われる。したがって、近影の像がない状態では２つのカメラＣＡＭ１、ＣＡＭ２の撮像画像には視差は存在せず、近影の像が現れると、２つのカメラＣＡＭ１、ＣＡＭ２の撮像画像間に視差が発生する。

このように、２つのカメラＣＡＭ１、ＣＡＭ２の撮像画像における境界部の画像領域に遠景の像と近影の像とが現れる状態では、２つの撮像画像間に発生する視差が原因で、合成画像に近影の像が２重に現れるなどの不具合が発生する。そこで、この不具合を解消するための視差補正が必要となり、この視差補正には代表的には２種類の補正方式がある。図４（Ｃ−３）は、第１の補正方式による場合であり、図４（Ｃ−４）は、第２の補正方式による場合である。

図４（Ｃ−３）に示すように、第１の補正方式は、２つのカメラＣＡＭ１、ＣＡＭ２の撮像画像の間で遠景の像と近影の像との位置関係が整合するように、２つのカメラＣＡＭ１、ＣＡＭ２の撮像画像に対して、主に近影の像が現れる画像領域を横方向にずらすように画像を変形させる視差補正を行った上で画像合成するものである。

図４（Ｃ−４）に示すように、第２の補正方式は、近影の像が現れる画像領域を避けるように屈曲したスティッチング境界を設定し、このスティッチング境界に沿って２つのカメラＣＡＭ１、ＣＡＭ２の撮像画像を切り出すトリミングを行った上で画像合成するものである。

図５（Ａ−１）は、視差補正を実施しない単純合成による合成画像を示し、図５（Ａ−２）は、視差補正を実施した合成画像を示している。図５（Ｂ−１）、（Ｂ−２）はそれぞれ、図５（Ａ−１）、（Ａ−２）に示した合成画像における近景の像の周辺部を拡大して示している。

図５（Ａ−１）、（Ｂ−１）に示すように、視差補正を実施しない単純合成では、合成画像に、近影の像の一部が消失したり、近影の像が２重に現れたりする不具合が発生しているが、図５（Ａ−２）、（Ｂ−２）に示すように、視差補正を実施すると、単純合成のような不具合が改善され、適切な画像を生成することができる。

このように視差補正を行うことで適切な画像を生成することができ、本実施形態では、第１の補正方式、すなわち、２つのカメラＣＡＭ１、ＣＡＭ２の撮像画像の間で遠景の像と近影の像との位置関係が整合するように、２つのカメラＣＡＭ１、ＣＡＭ２の撮像画像に対して、主に近影の像が現れる画像領域を横方向にずらすように画像を変形させる視差補正を行う。

図６は、図３に示した基準カメラ決定部４１による基準カメラの決定方法を示す説明図であり、図７および図８は、それぞれ基準カメラの決定方法の第１及び第２変形例を示す説明図である。

基準カメラ決定部４１は、基準カメラの決定に際してカメラＣＡＭ１−ＣＡＭ７によってそれぞれ撮像された撮像画像を取得し、図６に示すように、各撮像画像における明るさの情報（ここでは、全画素の輝度の平均）を取得する。そして、基準カメラ決定部４１は、それら複数の輝度のうち中央値となる輝度を有する撮像画像を撮像したカメラ（ここでは、カメラＣＡＭ４）を基準カメラとして決定する。

なお、基準カメラ決定部４１は、上述の中央値となる輝度を有する撮像画像を撮像したカメラの代わりに、複数の輝度の平均値に最も近い輝度を有する撮像画像を撮像したカメラを基準カメラとして決定してもよい。また、撮像画像における輝度の算出は必ずしも全画素を対象とする必要はなく、撮像画像の一部の領域（例えば、ユーザが選択した画像の範囲や、ユーザが設定した撮像対象が占める画像領域）から輝度が算出される構成としてもよい。

上記基準カメラの決定方法の第１変形例として、基準カメラ決定部４１は、ユーザによって予め設定された撮影対象について公知の画像認識処理を実行し、この画像認識結果に基づき基準カメラを決定することも可能である。図７では、撮影対象として人の顔５０がユーザによって設定された例を示しており、基準カメラ決定部４１は、人の顔５０が検出された撮像画像を撮像したカメラ（ここでは、カメラＣＡＭ３）を基準カメラとして決定する。

なお、人の顔が複数の撮像画像から検出された場合には、基準カメラ決定部４１は、各顔領域の面積を算出し、顔領域の面積が最大となる撮像画像を撮像したカメラを基準カメラとして決定することができる。或いは、基準カメラ決定部４１は、各撮像画像における顔の数を算出し、含まれる顔の数が最大となる撮像画像を撮像したカメラを基準カメラとして決定することもできる。また、別法として、基準カメラ決定部４１は、ユーザによって予め設定された撮像対象の所定の動作（例えば、手を振る動作）を検出し、その動作の検出結果に基づき基準カメラを決定することもできる。

さらに、上記基準カメラの決定方法の第２変形例として、基準カメラ決定部４１は、ユーザによって予め設定された所定のマーカーについて公知の画像認識処理を実行し、この画像認識結果に基づき基準カメラを決定することも可能である。図８では、予め設定された２次元コード６０がマーカーとしてユーザによって設定された例を示しており、基準カメラ決定部４１は、２次元コード６０が検出された撮像画像を撮像したカメラ（ここでは、カメラＣＡＭ３）を基準カメラとして決定する。この場合、ユーザは、２次元コード６０が表示されたパネルを所望のカメラの撮像エリアに掲げることで、重要度の高い撮像画像を撮影する基準カメラを指定することができる。なお、使用されるマーカーは、２次元コードに限らず、特定の配色がなされたパネルなど種々の変更が可能である。

なお、上述の例に限らず、ユーザの操作に基づき基準カメラを決定することも可能である。例えば、図１に示すように、各カメラＣＡＭ１−ＣＡＭ７に基準カメラ決定ボタン６５をそれぞれ設け、基準カメラ決定部４１は、基準カメラ決定ボタン６５の操作が検出されたカメラを基準カメラとして決定する構成としてもよい。或いは、画像処理装置３において、ユーザが入力デバイス（キーボード、タッチパネル等）を介して選択したカメラ（或いは、表示画面においてユーザが選択した撮像画像を撮像したカメラ）を基準カメラとして決定することも可能である。

図９は、実施形態に係る画像処理装置３の処理の流れを示すフロー図であり、図１０は、図９中のステップＳＴ１０７の処理内容を示す説明図である。

図９に示すように、画像処理装置３では、カメラＣＡＭ１−ＣＡＭ７の撮像条件を設定するための処理が実行される。この撮像条件の設定処理では、上述のように、まず、基準カメラ決定部４１が、複数のカメラＣＡＭ１−ＣＡＭ７のうちの１つを基準カメラとして決定する（ＳＴ１０１）。

続いて、撮像条件取得部４２は、基準カメラで設定された露出およびホワイトバランスに関する撮像条件を取得する（ＳＴ１０２）。そこで、撮像条件設定部４３は、撮像条件取得部４２によって取得された基準カメラの露出およびホワイトバランスに関する撮像条件に基づき、他のカメラ（基準カメラ以外）に対する撮像条件の設定指令を送出し、その設定指令（ここでは、基準カメラでのシャッタ値、センサゲイン値、デジタルゲイン値、及びホワイトバランスゲイン値を含む）を取得した他カメラのカメラ制御部１４は、その設定指令に基づき自身のカメラにおける撮像条件の設定を行う（ＳＴ１０３）。ここで、他カメラでは、撮像条件として、基準カメラにおけるシャッタ値、センサゲイン値、デジタルゲイン値、及びホワイトバランスゲイン値がそのまま設定される。

次に、画像処理装置３では、複数の撮像画像を合成するための画像合成処理が実行される。まず、画像合成部３４における画像合成部３４は、スティッチングを未実行の２つの隣接する撮像画像を選択し（ＳＴ１０４）、それら２つの画像の境界領域における輝度（平均値）Ｙおよび色差（平均値）Ｒ、Ｂを比較（差分値を計算）する（ＳＴ１０５）。この場合、輝度Ｙおよび色差Ｒ、Ｂの値は、境界領域において比較的平坦な領域における画素のみから取得するとよい。

そこで、ステップＳＴ１０５での輝度Ｙの差分値が予め設定された輝度の閾値以下（例えば、２５６階調中の４階調以下）であり、かつステップＳＴ１０５での色差Ｒ、Ｂの差分値がそれぞれ予め設定された色差の閾値以下（例えば、ともに２５６階調中の４階調以下）である場合には（ＳＴ１０６：Ｙｅｓ）、２つの画像の領域の境界が不自然に目立つ可能性は低いため、画像合成部３４は、それら２つの隣接する撮像画像のスティッチング処理を実行する（ＳＴ１０８）。

一方、ステップＳＴ１０６において、輝度Ｙの差分値が予め設定された輝度の閾値を越えている、或いは色差Ｒ、Ｂの差分値が予め設定された輝度の閾値を越えている場合（Ｎｏ）には、画像合成部３４は、撮像条件設定部４３により、輝度Ｙの差分値および色差Ｒ、Ｂの差分値がともにそれぞれの閾値以下となるように、上記２つの隣接する撮像画像の少なくとも一方を撮像したカメラに対し、撮像条件設定部４３により、少なくとも一部の撮像条件を変更した設定指令（撮像条件の補正指令）を送出させる（ＳＴ１０７）。

より詳細には、例えば、図１０（Ａ）に示すように、上記ステップＳＴ１０３において、シャッタ値Ｓ、センサゲイン値Ｇｓ、デジタルゲイン値Ｇｄ、ホワイトバランスゲイン値Ｇｒ、Ｇｂ（基準カメラと同一値）が設定された結果、撮像画像（３）の境界領域７１では輝度Ｙ＝１２０、色差Ｒ＝１５０、色差Ｂ＝１００であり、撮像画像（４）の境界領域７２では輝度Ｙ＝１３２、色差Ｒ＝１８０、色差Ｂ＝９０である場合を想定する。このような撮像画像（３）、（４）の間の輝度Ｙおよび色差Ｒ、Ｂのばらつきは、各カメラのイメージセンサ部１２におけるＣＭＯＳイメージセンサの個体差（性能のばらつき）等に起因するものである。

この場合、上記ステップＳＴ１０６における判定では、撮像画像（３）と撮像画像（４）との輝度Ｙの差分値（ここでは、差分の絶対値＝１２）は、予め設定された閾値＝４を越えている。また、撮像画像（３）と撮像画像（４）の色差Ｒ、Ｂの差分値（ここでは、色差Ｒの差分の絶対値＝３０、色差Ｂの差分の絶対値＝１０）は、予め設定された閾値＝４（ここでは、色差Ｒ、Ｂともに同一の値）を越えている。

そこで、上記ステップＳＴ１０７において、画像合成部３４は、輝度Ｙの差分値および色差Ｒ、Ｂの差分値がともにそれぞれの閾値以下となるように、撮像条件設定部４３により、カメラＣＡＭ３に対してデジタルゲイン値、ホワイトバランスゲイン値を変更した（ここでは、Ｇｄ×1.1、Ｇｒ×1.2、Ｇｂ×0.9とする）設定指令を送出させる。

これにより、図１０（Ｂ）に示すように、撮像画像（３）の境界領域７１では、撮像画像（４）の境界領域７２とそれぞれ同一の輝度Ｙ＝１３２、色差Ｒ＝１８０、色差Ｂ＝９０となり、２つの隣接する撮像画像の境界領域における明るさおよび色合いが平準化される。その後、それらの撮像画像のスティッチング処理が実行される（ＳＴ１０８）。

なお、ここでは、デジタルゲイン値、ホワイトバランスゲイン値を変更（補正）した例を示したが、これに限らず、他の撮像条件を変更する補正も可能である。また、上記ステップＳＴ１０５の判定は、全ての隣接する撮像画像を対象として順次実行され、必要に応じてステップＳＴ１０７が実行される。上記ステップＳＴ１０６の判定順序（すなわち、ステップＳＴ１０４の選択順序）は、カメラＣＡＭ１−ＣＡＭ７の小さい番号順に実行されるが、これに限らず、例えば、周方向の配置において基準カメラにより近いカメラから順に実行することもできる。

また、ステップＳＴ１０７において、撮像条件設定部４３により設定指令が送出されるカメラは、基準カメラの撮像画像からより離れた位置の撮像画像を撮像したカメラとするとよい。また、ステップＳＴ１０７においては、基準カメラの輝度Ｙおよび色差Ｒ、Ｂを基準として、双方のカメラに対してデジタルゲイン値、ホワイトバランスゲイン値を変更した設定指令を送出することもできる。

上記ステップＳＴ１０４−ＳＴ１０８は、最終的に全ての撮像画像のスティッチングが完了するまで繰り返し実行される（ＳＴ１０９）。なお、ステップＳＴ１０１−ＳＴ１−７、ＳＴ１０９の処理は、全ての撮像画像（フレーム）に対して実行する必要はなく、通常はステップＳＴ１０８のみを実行し、所定の時間間隔で、或いは数フレーム毎（例えば、６０ｆｐｓのカメラ映像における１０フレーム毎）にステップＳＴ１０１−ＳＴ１−７、ＳＴ１０９を実行するようにしてもよい。

以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。また、上記実施形態に示した画像処理装置及びこれを備えた撮像システムならびに画像処理方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。

例えば、上記実施形態では、複数のカメラを備えたカメラユニットと別に設けられた画像処理装置（ＰＣを含む）で、撮像条件設定および画像合成処理を行って合成画像を出力するようにしたが、画像処理装置を内蔵するカメラユニット（撮像装置）として構成することもできる。場合によっては、複数のカメラのうちの少なくとも１つのカメラに上述の画像処理装置と同様の機能を付加することも可能である。また、上述の画像処理装置における撮像条件設定の機能（撮像制御部の機能）を画像処理装置とは別の他の装置（撮像条件設定装置）が実行する構成としてもよい。

本発明に係る画像処理装置及びこれを備えた撮像システムならびに画像処理方法は、パノラマ合成画像において、基準となる撮像画像の領域を適切に表示しつつ、合成された各撮像画像の領域の境界が不自然に目立つことを抑制可能とし、複数の撮像画像に対して画像合成処理を行ってパノラマ合成画像を出力する画像処理装置及びこれを備えた撮像システムならびに画像処理方法などとして有用である。

１ 撮像システム
２ カメラユニット
３ 画像処理装置
４ 表示装置
１２ イメージセンサ部
１３ 信号処理部
１４ カメラ制御部
２１ スティッチング部
２２ 撮像制御部
３４ 画像合成部
４１ 基準カメラ決定部
４２ 撮像条件取得部
４３ 撮像条件設定部
６５ 基準カメラ決定ボタン
７１、７２ 境界領域
ＣＡＭ１−ＣＡＭ７ カメラ

Claims (8)

1. 複数のカメラと通信可能に接続され、前記複数のカメラから取得した複数の撮像画像に対して画像合成処理を行ってパノラマ合成画像を出力する画像処理装置であって、
   前記複数のカメラのうちの１つを基準カメラとして決定する基準カメラ決定部と、
   前記基準カメラにおいて設定された露出およびホワイトバランスに関する撮像条件を取得する撮像条件取得部と、
   前記複数のカメラのうち前記基準カメラを除く他のカメラに対し、前記基準カメラの前記撮像条件に基づき、露出およびホワイトバランスに関する撮像条件の設定指令を送出する撮像条件設定部と、
   前記複数のカメラから取得した複数の撮像画像に対して画像合成処理を行って前記パノラマ合成画像を出力する画像合成部とを備えたことを特徴とする画像処理装置。
2. 前記基準カメラ決定部は、前記基準カメラの決定に際して前記複数のカメラによってそれぞれ撮像された撮像画像の輝度の情報を取得し、それら複数の輝度のうち中央値となる輝度を有する撮像画像を撮像したカメラを前記基準カメラとして決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記基準カメラ決定部は、前記基準カメラの決定に際して前記複数のカメラによってそれぞれ撮像された撮像画像の輝度の情報を取得し、それら複数の輝度の平均値に最も近い輝度を有する撮像画像を撮像したカメラを前記基準カメラとして決定することを特徴とする請求項１に記載の画像処理装置。
4. 前記基準カメラ決定部は、前記複数のカメラのうちユーザによって選択された１つのカメラを前記基準カメラとして決定することを特徴とする請求項１に記載の画像処理装置。
5. 前記基準カメラ決定部は、前記基準カメラの決定に際して前記複数のカメラによってそれぞれ撮像された撮像画像における所定の撮像対象の画像認識結果を取得し、その画像認識結果に基づき前記基準カメラを決定することを特徴とする請求項１に記載の画像処理装置。
6. 前記撮像条件設定部は、前記画像合成部により前記複数の撮像画像に対する前記画像合成処理が実行される際に、隣接する２つの前記撮像画像の境界領域における輝度および色差の少なくとも一方の差分が予め設定された閾値を越えた場合、前記他のカメラに対し、前記閾値を越えた前記差分を小さくするように、前記設定指令における前記撮像条件を補正することを特徴とする請求項１から請求項５のいずれかに記載の画像処理装置。
7. 請求項１から請求項６のいずれかに記載の前記画像処理装置と、前記複数のカメラとを備えた撮像システム。
8. 複数のカメラと通信可能に接続された画像処理装置において、前記複数のカメラから取得した複数の撮像画像に対して画像合成処理を行ってパノラマ合成画像を出力する画像処理方法であって、
   前記複数のカメラのうちの１つを基準カメラとして決定する基準カメラ決定ステップと、
   前記基準カメラにおいて設定された露出およびホワイトバランスに関する撮像条件を取得する撮像条件取得ステップと、
   前記複数のカメラのうち前記基準カメラを除く他のカメラに対し、前記基準カメラの前記撮像条件に基づき、露出およびホワイトバランスに関する撮像条件の設定指令を送出する撮像条件設定ステップと、
   前記複数のカメラから取得した複数の撮像画像に対して画像合成処理を行って前記パノラマ合成画像を出力する画像合成ステップとを有することを特徴とする画像処理方法。