JP2018137786A - 画像処理装置及びこれを備えた撮像システムならびにキャリブレーション方法 - Google Patents
画像処理装置及びこれを備えた撮像システムならびにキャリブレーション方法 Download PDFInfo
- Publication number
- JP2018137786A JP2018137786A JP2018059322A JP2018059322A JP2018137786A JP 2018137786 A JP2018137786 A JP 2018137786A JP 2018059322 A JP2018059322 A JP 2018059322A JP 2018059322 A JP2018059322 A JP 2018059322A JP 2018137786 A JP2018137786 A JP 2018137786A
- Authority
- JP
- Japan
- Prior art keywords
- image
- adjustment
- camera
- touch operation
- camera image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Studio Devices (AREA)
Abstract
【課題】合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーションのための調整作業をユーザが手際よく行うことができるようにする。【解決手段】予め設定された処理条件により撮像画像から生成した合成元画像を合成して合成画像を生成するスティッチング処理部31と、合成画像を表示する画面を生成して表示入力装置4に出力する画面生成部32と、画面上でのタッチ操作の検出結果に基づいて、調整対象となるカメラ画像領域を判定すると共に、タッチ操作の操作形態に応じた調整項目を判定するタッチ操作判定部33と、調整対象となるカメラ画像領域に関する暫定的な処理条件を設定する処理条件設定部34と、を備え、スティッチング処理部は、暫定的な処理条件により調整対象となるカメラ画像領域に対応するカメラの撮像画像から合成元画像を生成して、この合成元画像を合成して合成画像を更新する。【選択図】図3
Description
本発明は、複数のカメラごとの画像に対して画像合成処理を行って合成画像を出力する画像処理装置及びこれを備えた撮像システム、ならびに合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーション方法に関するものである。
複数のカメラにより撮像された画像を合成して1つの合成画像を生成する、いわゆるスティッチング処理を行うことで、1台のカメラでは得ることができない広角画像をシームレスな状態で生成することができる。このようなスティッチング処理では、隣り合う2つのカメラを、各々の撮像エリアが一部重複するように配置して、2つのカメラの撮像エリアの重複部分に対応する境界部の画像領域を重ね合わせ、また、適宜にトリミングを行って画像を合成する。
一方、2つのカメラの撮像エリアの重複部分に、カメラからの距離が大きく異なる被写体が存在する、すなわち、遠景となる被写体と近影となる被写体とが存在すると、2つのカメラの各撮像画像の間には、遠景となる被写体の像と近影となる被写体の像との位置関係がずれた状態、いわゆる視差が発生し、合成画像に、近影の像が2重に現れたり、近影の像の一部が消失したりする不具合が発生する。そこで、スティッチングでは、視差に起因する画像の不具合を抑制する視差補正が行われる。
このような視差補正に関するものとして、従来、エッジや特徴量に基づくブロックマッチングにより、2つのカメラの各撮像画像に現れる被写体の像の位置関係を取得して、この情報に基づいて画像を変形させる視差補正を行う技術が知られている(特許文献1参照)。特にこの技術では、視差補正時の画像の変形度合いを規定するスティッチングポイントをフレームごとに変化させて、フレームごとに適切な合成画像を生成するようにしている。
さて、複数のカメラが搭載されたカメラユニットでは、カメラを構成する光学系を組み付ける際に、位置や角度などの機構的配置に誤差が発生する。この機構的配置の誤差は、画像合成処理で得られた合成画像において、カメラごとの画像領域が適切に整合しない状態を招き、合成画像の品質を低下させる原因となる。
一方、製品出荷後に機構的配置自体をユーザが調整することは難しい。また、機構的配置の誤差は、設置された環境の違いにより変化し、また、時間が経過することでも変化する。このため、画像処理の処理条件を変更することで、合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーションを行い、特に、撮影の直前などの適宜なタイミングで、キャリブレーションのための調整作業をユーザが手際よく行うことができる技術が望まれる。
しかしながら、前記従来の技術では、合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーションに関する開示はなんらなく、キャリブレーションのための調整作業を手際よく行いたいという要望に応えることができない。
そこで、本発明は、合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーションのための調整作業をユーザが手際よく行うことができる画像処理装置及びこれを備えた撮像システムならびにキャリブレーション方法を提供することを主な目的とする。
本発明の画像処理装置は、複数のカメラごとの画像に対して画像合成処理を行って合成画像を出力する画像処理装置であって、予め設定された処理条件に基づいて、前記カメラごとの撮像画像からそれぞれ複数の合成元画像を生成して、その複数の合成元画像に対して画像合成処理を行って、プレビュー用の合成画像を生成する画像処理部と、前記プレビュー用の合成画像を表示するプレビュー表示画面を生成して表示入力装置に出力する画面生成部と、前記表示入力装置に表示された前記プレビュー表示画面上でユーザが行ったタッチ操作の検出結果に基づいて、前記プレビュー用の合成画像における調整対象となるカメラ画像領域を判定するとともに、タッチ操作の操作形態に応じた調整項目を判定するタッチ操作判定部と、このタッチ操作判定部の判定結果に基づいて、前記調整対象となるカメラ画像領域に関する暫定的な処理条件を設定する処理条件設定部と、を備え、前記画像処理部は、前記暫定的な処理条件に基づいて、前記調整対象となるカメラ画像領域に対応する前記カメラの撮像画像から合成元画像を生成して、この合成元画像に対して前記画像合成処理を行って前記プレビュー用の合成画像を更新する構成とする。
また、本発明の撮像システムは、前記画像処理装置と、前記複数のカメラと、前記表示入力装置とを備えた構成とする。
また、本発明のキャリブレーション方法は、複数のカメラごとの画像に対して画像合成処理を行って生成した合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーション方法であって、予め設定された処理条件に基づいて、前記カメラごとの撮像画像からそれぞれ複数の合成元画像を生成して、その複数の合成元画像に対して画像合成処理を行って、プレビュー用の合成画像を生成し、このプレビュー用の合成画像を表示するプレビュー表示画面を生成して表示入力装置に出力し、前記表示入力装置に表示された前記プレビュー表示画面上でユーザが行ったタッチ操作の検出結果に基づいて、前記プレビュー用の合成画像における調整対象となるカメラ画像領域を判定するとともに、タッチ操作の操作形態に応じた調整項目を判定し、この判定結果に基づいて、前記調整対象となるカメラ画像領域に関する暫定的な処理条件を設定し、この暫定的な処理条件に基づいて、前記調整対象となるカメラ画像領域に対応する前記カメラの撮像画像から合成元画像を生成して、この合成元画像に対して前記画像合成処理を行って前記プレビュー用の合成画像を更新する構成とする。
本発明によれば、合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーションを、表示入力装置に表示されるプレビュー表示画面上でユーザがタッチ操作を行うことで実施することができる。これにより、キャリブレーションのための調整作業をユーザが直感的な操作で手際よく行うことができる。
前記課題を解決するためになされた第1の発明は、複数のカメラごとの画像に対して画像合成処理を行って合成画像を出力する画像処理装置であって、予め設定された処理条件に基づいて、前記カメラごとの撮像画像からそれぞれ複数の合成元画像を生成して、その複数の合成元画像に対して画像合成処理を行って、プレビュー用の合成画像を生成する画像処理部と、前記プレビュー用の合成画像を表示するプレビュー表示画面を生成して表示入力装置に出力する画面生成部と、前記表示入力装置に表示された前記プレビュー表示画面上でユーザが行ったタッチ操作の検出結果に基づいて、前記プレビュー用の合成画像における調整対象となるカメラ画像領域を判定するとともに、タッチ操作の操作形態に応じた調整項目を判定するタッチ操作判定部と、このタッチ操作判定部の判定結果に基づいて、前記調整対象となるカメラ画像領域に関する暫定的な処理条件を設定する処理条件設定部と、を備え、前記画像処理部は、前記暫定的な処理条件に基づいて、前記調整対象となるカメラ画像領域に対応する前記カメラの撮像画像から合成元画像を生成して、この合成元画像に対して前記画像合成処理を行って前記プレビュー用の合成画像を更新する構成とする。
これによると、合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーションを、表示入力装置に表示されるプレビュー表示画面上でユーザがタッチ操作を行うことで実施することができる。これにより、キャリブレーションのための調整作業をユーザが直感的な操作で手際よく行うことができる。
また、第2の発明は、前記タッチ操作判定部は、1本又は2本の指でタッチ操作が行われた場合には、タッチ操作が行われた1つの前記カメラ画像領域を調整対象とし、3本以上の指でタッチ操作が行われた場合には、全ての前記カメラ画像領域を調整対象とする構成とする。
これによると、各カメラ画像領域を個別に調整することができ、また、全てのカメラ画像領域を一体的に調整することができる。
また、第3の発明は、さらに、2つの前記カメラ画像領域間の画像調整を行う画像調整部を備え、前記タッチ操作判定部は、タッチ操作の操作形態が、2本の指による異なる前記カメラ画像領域に対するタッチ操作である場合には、そのタッチ操作が行われた2つのカメラ画像領域間の画像調整を行うものとする構成とする。
これによると、2つのカメラ画像領域間の画像調整を簡単に行うことができる。
また、第4の発明は、前記タッチ操作判定部は、1本又は2本の指でタッチ操作が行われた場合に、そのタッチ操作が行われた1つの前記カメラ画像領域を調整対象として、タッチ操作の操作形態に応じた調整項目を判定する構成とする。
これによると、各カメラ画像領域を個別に調整することができる。
また、第5の発明は、前記タッチ操作判定部は、タッチ操作の操作形態が、1本の指による横方向のスワイプ操作である場合には、1つの前記カメラ画像領域を調整対象としてパン調整を行うものとし、タッチ操作の操作形態が、1本の指による縦方向のスワイプ操作である場合には、1つの前記カメラ画像領域を調整対象としてチルト調整を行うものとし、タッチ操作の操作形態が、2本の指による回転操作である場合には、1つの前記カメラ画像領域を調整対象としてローリング調整を行うものとし、タッチ操作の操作形態が、2本の指によるピンチ操作である場合には、1つの前記カメラ画像領域を調整対象としてズーム調整を行うものとする構成とする。
これによると、カメラ画像領域の各々を対象にしたパン調整、チルト調整、ローリング調整、およびズーム調整をユーザが簡単に行うことができる。
また、第6の発明は、前記画像処理部は、前記プレビュー用の合成画像における調整対象外の前記カメラ画像領域の色合いを初期の色合いから変更する画像処理を行う構成とする。
これによると、プレビュー表示画面において調整対象となるカメラ画像領域の視認性を向上させることができるため、調整対象となるカメラ画像領域をユーザが直感的に把握することができる。
また、第7の発明は、前記画像処理部は、前記調整対象外のカメラ画像領域に対して少なくとも輝度を変更する画像処理を行う構成とする。
これによると、調整対象外のカメラ画像領域の輝度を変更することで、調整対象となるカメラ画像領域の視認性を向上させることができる。この場合、例えば、調整対象外のカメラ画像領域の輝度を下げることで、調整対象外のカメラ画像領域をグレーアウトで暗く表示することができる。
また、第8の発明は、前記タッチ操作判定部は、3本以上の指でタッチ操作が行われる場合に、全ての前記カメラ画像領域を調整対象として、タッチ操作の操作形態に応じた調整項目を判定する構成とする。
これによると、全てのカメラ画像領域を一体的に調整することができる。
また、第9の発明は、前記タッチ操作判定部は、タッチ操作の操作形態が、3本以上の指による横方向のスワイプ操作である場合には、全ての前記カメラ画像領域を調整対象としてパン調整を行うものとし、タッチ操作の操作形態が、3本以上の指による縦方向のスワイプ操作である場合には、全ての前記カメラ画像領域を調整対象としてチルト調整を行うものとし、タッチ操作の操作形態が、3本以上の指による回転操作である場合には、全ての前記カメラ画像領域を調整対象としてローリング調整を行うものとし、タッチ操作の操作形態が、3本以上の指によるピンチ操作である場合には、全ての前記カメラ画像領域を調整対象としてズーム調整を行うものとする構成とする。
これによると、カメラ画像領域の全てを対象にしたパン調整、チルト調整、ローリング調整、およびズーム調整をユーザが簡単に行うことができる。
また、第10の発明は、さらに、前記プレビュー用の合成画像において調整対象となる前記カメラ画像領域とこれに隣り合う前記カメラ画像領域と間の繋ぎ目部分の整合性が高いジャストフィット状態を検知するジャストフィット検知部を備え、前記画像処理部は、前記ジャストフィット検知部でジャストフィット状態が検知されると、そのタイミングでの前記プレビュー用の合成画像を所定の範囲で継続して出力する構成とする。
これによると、プレビュー表示画面において、調整対象となるカメラ画像領域が所定の範囲でタッチ操作に連動せずに静止した状態で表示されるようになるため、ジャストフィット状態をユーザが直感的に把握することができることから、調整操作を迅速に行うことができる。
また、第11の発明は、さらに、2つの前記カメラ画像領域間の画像調整を行う画像調整部を備え、この画像調整部は、2つの前記カメラ画像領域に対して同時にタッチ操作が行われた場合に、その2つのカメラ画像領域におけるタッチ領域の色合いおよび明るさの少なくともいずれかが一致するように画像調整を行う構成とする。
これによると、異なるカメラ画像領域同士で、本来であれば色合いや明るさが一致すべき部分において明るさや色合いに差異が生じている場合に、その部分でタッチ操作を行うことで、色合いや明るさを簡単に一致させることができる。
また、第12の発明は、前記画像処理部は、通常時には、前記画像合成処理の前段で前記合成元画像に対して視差補正処理を行い、前記プレビュー表示画面を表示する際には、前記合成元画像に対して前記視差補正処理を行わない構成とする。
これによると、プレビュー表示画面を表示する場合に視差補正処理を行なわないため、画像処理の負荷を軽減して、プレビュー表示画面を円滑に表示させることができる。
また、第13の発明は、第1から第12の発明のいずれかに係る前記画像処理装置と、前記複数のカメラと、前記表示入力装置とを備えた撮像システムである。
これによると、第1の発明と同様に、合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーションのための調整作業をユーザが手際よく行うことができる。
また、第14の発明は、複数のカメラごとの画像に対して画像合成処理を行って生成した合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーション方法であって、予め設定された処理条件に基づいて、前記カメラごとの撮像画像からそれぞれ複数の合成元画像を生成して、その複数の合成元画像に対して画像合成処理を行って、プレビュー用の合成画像を生成し、このプレビュー用の合成画像を表示するプレビュー表示画面を生成して表示入力装置に出力し、前記表示入力装置に表示された前記プレビュー表示画面上でユーザが行ったタッチ操作の検出結果に基づいて、前記プレビュー用の合成画像における調整対象となるカメラ画像領域を判定するとともに、タッチ操作の操作形態に応じた調整項目を判定し、この判定結果に基づいて、前記調整対象となるカメラ画像領域に関する暫定的な処理条件を設定し、この暫定的な処理条件に基づいて、前記調整対象となるカメラ画像領域に対応する前記カメラの撮像画像から合成元画像を生成して、この合成元画像に対して前記画像合成処理を行って前記プレビュー用の合成画像を更新する構成とする。
これによると、第1の発明と同様に、合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーションのための調整作業をユーザが手際よく行うことができる。
以下、本発明の実施の形態を、図面を参照しながら説明する。
図1は、本実施形態に係る撮像システムの全体構成図である。図2は、画像処理装置3で生成されて表示入力装置4で表示される合成画像を示す説明図である。
本撮像システムは、図1に示すように、複数のカメラ1を有するカメラユニット2と、画像処理装置3と、表示入力装置4と、を備えている。
カメラユニット2には、光軸が略垂直方向上向きとなるように配置された1つの上向きのカメラ1と、光軸が略水平方向の放射状となるように周方向に等間隔をおいて配置された6つの横向きのカメラ1との合計7つのカメラ1が搭載されている。各カメラ1は、広角な画角(例えば120°)を有するものであり、隣り合う2つのカメラ1同士で撮像エリアが一部重複するように配置される。
画像処理装置3では、図2に示すように、各カメラ1により撮像された撮像画像を合成して1つの合成画像11を生成するスティッチング処理が行われ、合成画像11には、各カメラ1により撮像された各撮像画像に基づくカメラ画像領域12が結合された状態で現れる。また、スティッチング処理は撮像画像のフレームごとに行われ、このフレームごとの合成画像が表示入力装置4に出力されて、表示入力装置4に合成画像が動画で表示される。
なお、本実施形態では、画像処理装置3において、合成画像がリアルタイムに生成されて表示入力装置4に出力されて、ユーザが合成画像をリアルタイムで閲覧することができるが、この画像処理装置3で生成した合成画像を、画像処理装置3が備える情報記憶部や、画像処理装置3に接続された情報記憶装置に記憶するようにしてもよい。
表示入力装置4は、表示パネル(表示装置)とタッチパネル(位置入力装置)とを組み合わせた、いわゆるタッチパネルディスプレイであり、画像処理装置3から出力される合成画像の画面を表示するとともに、その画面上でユーザがタッチ操作を行うことで、合成画像における各カメラ画像領域12に対して各種の調整を行うことができる。
ここで、カメラユニット2では、カメラ1を構成する光学系を組み付ける際や、カメラ1自体を基台に組み付ける際に、位置や角度などの機構的配置に誤差が発生する。この機構的配置の誤差は、画像合成処理で得られた合成画像において、各カメラ画像領域12が適切に整合しない状態を招き、合成画像の品質を低下させる原因となる。
そこで、本実施形態では、合成画像における各カメラ画像領域12間の整合性を確保するキャリブレーションとして、画像処理装置3で行われる画像処理の処理条件を変更することで、合成画像11において隣り合うカメラ画像領域12同士の繋ぎ目部分が概ね整合するように、カメラ画像領域12の位置、角度、および大きさを調整する操作をユーザが行う。
また、合成画像11では、異なるカメラ画像領域12同士で、本来であれば色合いや明るさが一致すべき部分において明るさや色合いに差異が生じる場合がある。そこで、本実施形態では、合成画像におけるカメラ画像領域12間の整合性を確保するキャリブレーションとして、カメラ1の撮像条件を変更することで、カメラ画像領域12の色合いおよび明るさを調整する操作をユーザが行う。
また、本実施形態では、このような合成画像におけるカメラ画像領域12間の整合性を確保するキャリブレーションのための調整作業を、表示入力装置4におけるタッチ操作で行い、不具合のあるカメラ画像領域12で所定のタッチ操作を行うことで、キャリブレーションが実施される。
次に、画像処理装置3の概略構成について説明する。図3は、画像処理装置3の概略構成を示す機能ブロック図である。図4は、画像処理装置3で行われるスティッチング処理の概要を説明する説明図である。
カメラは、レンズ部21と、イメージセンサ部22と、信号処理部23と、制御部24と、を備えている。
イメージセンサ部22は、レンズ部21を介して被写体を撮像して、画像信号を出力する。信号処理部23は、イメージセンサ部22から出力される画像信号に対して所要の信号処理を実施して、撮像画像を出力する。制御部24は、イメージセンサ部22および信号処理部23の動作を制御する。
画像処理装置3は、スティッチング処理部(画像処理部)31と、画面生成部32と、タッチ操作判定部33と、処理条件設定部34と、画像調整部35と、を備えている。スティッチング処理部31は、視差補正量算出部41と、パノラマ画像生成部42と、プレビュー出力切換部43と、視差補正部44と、画像合成部45と、ジャストフィット検知部46と、を備えている。
なお、ここでは、2つのカメラ1の撮像画像を処理する部分のみを示しているが、図1に示したように、本実施形態では、7つのカメラ1が設けられており、視差補正量算出部41は、隣り合う2つのカメラ1の組み合わせごとに設けられ、また、パノラマ画像生成部42、プレビュー出力切換部43および視差補正部44はカメラ1ごとに設けられる。
視差補正量算出部41では、視差補正時の画像の変形度合いを規定する視差補正量をフレームごとに算出する処理が行われる。具体的には、図4に示すように、平行化(円柱への投影)、処理領域切り出し、および視差算出の各処理が行われる。視差算出処理では、2つの撮像画像間のブロックマッチングにより視差(ずれ量)を算出する。すなわち、2つの撮像画像を少しずつずらしながら2つの撮像画像間の差分を算出し、その差分が最も小さくなる位置関係から視差を求める。
パノラマ画像生成部42では、カメラ1からそれぞれ出力される撮像画像に対してパノラマ化(球への投影)を行って、パノラマ画像(合成元画像)を生成する処理が行われる。このパノラマ画像生成部42では、まず、予め設定された制御パラメータ(処理条件)に基づいてパノラマ画像を生成し、ユーザのタッチ操作に応じて、処理条件設定部34において暫定的な制御パラメータが設定されると、その暫定的な制御パラメータに基づいてパノラマ画像を生成する。
プレビュー出力切換部43では、通常時には、パノラマ画像生成部42で生成したパノラマ画像を視差補正部44に出力し、プレビュー表示画面を表示する際には、パノラマ画像生成部42で生成したパノラマ画像を画像合成部45に出力する。これにより、プレビュー表示画面を表示する際には、視差補正処理を行なわずに画像合成処理が行われる。
視差補正部44では、視差補正量算出部41から出力される視差補正量に基づいて、パノラマ画像生成部42で生成したパノラマ画像に対して視差補正を行って、視差補正画像を生成する処理が行われる。
画像合成部45では、通常時には、視差補正部44で生成した複数の視差補正画像に対して画像合成処理を行って合成画像を生成する処理が行われる。また、プレビュー表示画面を表示する際には、パノラマ画像生成部42で生成した複数のパノラマ画像に対して画像合成処理を行ってプレビュー用の合成画像を生成する処理が行われる。このプレビュー用の合成画像は、通常時の合成画像より解像度が低くなっている。
なお、プレビュー表示画面を表示する際には、タッチ操作に応じて調整対象となるカメラ画像領域12のみが変化することから、調整対象となるカメラ画像領域12を元の合成画像に重畳することで、新たな合成画像に生成することができる。
ジャストフィット検知部46では、合成画像において調整対象となるカメラ画像領域12とこれに隣り合うカメラ画像領域12と間の繋ぎ目部分の整合性が高いジャストフィット状態を検知する。
ここで、ジャストフィット状態を検知するには、まず、隣り合うカメラ画像領域12の繋ぎ目部分に位置する画素同士、すなわち、カメラ画像領域12の境界線を挟んで隣り合う画素同士で、画素値の差分の絶対値を求め、その差分の絶対値を加算して、差分の絶対値の和を求める。そして、その差分の絶対値の和の大小により、隣り合うカメラ画像領域12の位置ずれの程度(誤差)を判断し、差分の絶対値の和が、周辺で最小値となるときにジャストフィット状態と判定する。
このようにしてジャストフィット検知部46でジャストフィット状態が検知されると、そのタイミングでの合成画像を所定の範囲で継続して出力する。これにより、プレビュー表示画面において、調整対象となるカメラ画像領域12が所定の範囲でタッチ操作に連動せずに静止した状態で表示されるようになる。
画面生成部32では、通常時には、画像合成部45において視差補正画像に対して画像合成処理を行って生成した合成画像を表示する正規の表示画面を生成して表示入力装置4に出力する処理が行われる。また、画像合成部45においてパノラマ画像に対して画像合成処理を行って生成したプレビュー用の合成画像を表示するプレビュー表示画面を生成して表示入力装置4に出力する処理が行われる。
タッチ操作判定部33では、表示入力装置4に表示されたプレビュー表示画面上でユーザが行ったタッチ操作の検出結果を表示入力装置4から取得して、そのタッチ操作の検出結果に基づいて、合成画像11における調整対象となるカメラ画像領域12を判定するとともに、タッチ操作の操作形態に応じた調整項目(パン調整、チルト調整、ローリング調整、ズーム調整)を判定する。
本実施形態では、1本又は2本の指でタッチ操作が行われた場合には、タッチ操作が行われた1つのカメラ画像領域12を調整対象とし、各カメラ画像領域12を個別に調整する個別調整が行われる。また、3本以上の指でタッチ操作が行われた場合には、全てのカメラ画像領域12を調整対象とし、全てのカメラ画像領域12を一体的に調整する全体調整が行われる。
また、タッチ操作の操作形態が、2本の指による異なるカメラ画像領域12に対するタッチ操作である場合に、タッチ操作が行われた2つのカメラ画像領域12を調整対象として、その2つのカメラ画像領域12間の画像調整を行うものと判定する。
処理条件設定部34では、タッチ操作判定部33の判定結果に基づいて、調整対象となるカメラ画像領域12に関する暫定的な処理条件を設定する処理が行われる。本実施形態では、処理条件として、パノラマ画像生成部42でのパノラマ画像(合成元画像)の生成に関する制御パラメータを設定する。
この処理条件設定部34において、暫定的な処理条件が設定されると、スティッチング処理部31において、その暫定的な処理条件に基づいて、調整対象となるカメラ画像領域12に対応するカメラ1の撮像画像から合成元画像を生成して、この合成元画像に対して画像合成処理を行ってプレビュー用の合成画像を更新する。
画像調整部35では、2つのカメラ画像領域12間の画像調整が行われる。本実施形態では、2つのカメラ画像領域12におけるタッチ領域の色合いおよび明るさの少なくともいずれかが一致するように画像調整を行う。この画像調整は、タッチ操作の操作形態が、2本の指による異なるカメラ画像領域12に対するタッチ操作である場合に実施される。
また、本実施形態では、2つのカメラ画像領域12におけるタッチ領域の色合いおよび明るさが一致するように、カメラ1の撮像条件、すなわち、色合いおよび明るさに関する制御パラメータが設定され、この制御パラメータが画像調整部35からカメラ1の制御部24に出力され、制御部24において、制御パラメータに基づいてイメージセンサ部22および信号処理部23が制御される。
なお、図3に示した画像処理装置3は、汎用的な情報処理装置で構成することができ、この画像処理装置3の各部は、メモリに記憶された画像処理用のプログラムをプロセッサに実行させることで実現することができる。また、画像処理装置3の少なくとも一部を、画面処理専用のハードウェア(画面処理回路)により実現することもできる。
次に、視差補正部44で行われる視差補正について説明する。図5は、視差補正を実施しない場合および視差補正を実施した場合の画像の状態を模式的に示す説明図である。なお、ここでは、説明の便宜上、隣り合う2つのカメラ1の画像を処理する例を示す。
図5(A)は、隣り合う2つのカメラ1による撮像状況を示している。この図5(A)に示す例では、人物とその背景となる山とが2つのカメラ1により同時に撮像される。
図5(B−1),(B−2)は、2つのカメラ1による撮像画像を示している。この図5(B−1),(B−2)に示すように、2つのカメラ1による撮像画像には、2つのカメラ1の撮像エリアの重複部分に対応する境界部の画像領域に、山を表す遠景の像と人物を表す近影の像とが現れる。ここで、遠景となる山と近影となる人物とでは、カメラ1からの距離が大きく異なり、2つの撮像画像では、遠景の像と近影の像との位置関係がずれた状態となる。
図5(C−1),(C−2)は、2つのカメラ1による撮像画像に対して遠景の像を基準にした単純合成を行って得られた合成画像を示している。前記のように、2つの撮像画像では遠景の像と近影の像との位置関係がずれているため、遠景の像を基準にして2つの撮像画像を単純に合成すると、図5(C−1),(C−2)に示すように、合成画像に、近影の像が2重に現れたり、近影の像の一部が消失したりする不具合が発生する。
ここで、遠景の像を基準にしたときの近影の像のずれは、2つのカメラ1の各撮像画像の間の視差を表している。2つのカメラ1にそれぞれ現れる遠景の像の位置関係は、近影がない状態で予め求めておくことができ、この情報に基づいて画像合成が行われる。したがって、近影の像がない状態では2つのカメラ1の撮像画像には視差は存在せず、近影の像が現れると、2つのカメラ1の撮像画像間に視差が発生する。
このように、2つのカメラ1の撮像画像における境界部の画像領域に遠景の像と近影の像とが現れる状態では、2つの撮像画像間に発生する視差が原因で、合成画像に近影の像が2重に現れるなどの不具合が発生する。そこで、この不具合を解消するための視差補正が必要となり、この視差補正には代表的には2種類の補正方式がある。図5(C−3)は、第1の補正方式による場合であり、図5(C−4)は、第2の補正方式による場合である。
図5(C−3)に示すように、第1の補正方式は、2つのカメラ1の撮像画像の間で遠景の像と近影の像との位置関係が整合するように、2つのカメラ1の撮像画像に対して、主に近影の像が現れる画像領域を横方向にずらすように画像を変形させる視差補正を行った上で画像合成するものである。
図5(C−4)に示すように、第2の補正方式は、近影の像が現れる画像領域を避けるように屈曲したスティッチング境界を設定し、このスティッチング境界に沿って2つのカメラ1の撮像画像を切り出すトリミングを行った上で画像合成するものである。
このように視差補正を行うことで適切な画像を生成することができ、本実施形態では、第1の補正方式、すなわち、2つのカメラ1の撮像画像の間で遠景の像と近影の像との位置関係が整合するように、2つのカメラ1の撮像画像に対して、主に近影の像が現れる画像領域を横方向にずらすように画像を変形させる視差補正を行う。
次に、カメラ画像領域12の調整の要領について説明する。図6は、カメラ画像領域12の調整の要領を説明する説明図である。
本実施形態では、プレビュー表示画面を表示する際に、パノラマ画像生成部42において、カメラ1から取得した撮像画像に対してパノラマ化(球への投影)を行ってパノラマ画像(合成元画像)を生成し、このパノラマ画像から所要の領域を切り出して画像合成を行う。このとき、パノラマ化における投影位置(投影領域の中心位置)および投影サイズ(投影領域の大きさ)に応じて、合成画像11上での各カメラ画像領域12の位置および大きさが規定される。
一方、各カメラ1では被写体を広角で撮像することで、撮像画像51には、最終的に合成画像上に表示されるカメラ画像領域12に対応する使用領域52の外側に、余白領域53が形成されており、この余白領域53の範囲内で、パノラマ化における投影位置および投影サイズを調整することができる。
ここで、本実施形態では、タッチ操作により、パン調整、チルト調整、ローリング調整およびズーム調整を行うことができる。
図6(A)に示すように、パン調整(水平方向位置調整)では、カメラ画像領域12を横方向に移動させることができ、このとき、画像の水平方向の投影位置を調整する処理が行われる。図6(B)に示すように、チルト調整(垂直方向位置調整)では、カメラ画像領域12を縦方向に移動させることができ、このとき、画像の縦方向の投影位置を調整する処理が行われる。図6(C)に示すように、ローリング調整(回転方向位置調整)では、カメラ画像領域12を回転させることができ、このとき、画像の回転方向の投影位置を調整する処理が行われる。図6(D)に示すように、ズーム調整(拡大縮小調整)では、カメラ画像領域12を拡大したり縮小したりすることができ、このとき、画像の投影サイズを調整する処理が行われる。
また、本実施形態では、処理条件設定部34において、タッチ操作に応じて、投影位置および投影サイズに関する設定値が、パノラマ画像(合成元画像)の生成に関する制御パラメータとして設定され、この制御パラメータに基づいて、パノラマ画像生成部42において、パノラマ化における投影位置および投影サイズの調整が行われる。
ここで、各カメラ画像領域12に関して、パン調整、チルト調整、ローリング調整およびズーム調整の各調整項目に関する制御パラメータが予め設定されており、パン調整、チルト調整、ローリング調整およびズーム調整のいずれかに関するタッチ操作が行われると、調整対象となるカメラ画像領域12の該当する調整項目に関する制御パラメータが更新される。
次に、タッチ操作の操作形態に応じた調整項目について説明する。図7は、タッチ操作の操作形態に応じた調整項目の一覧を示す説明図である。
本実施形態では、1本又は2本の指でタッチ操作が行われた場合には、タッチ操作が行われた1つのカメラ画像領域12を調整対象として、各カメラ画像領域12を個別に調整する個別調整を行うことができる。また、3本以上の指でタッチ操作が行われた場合には、全てのカメラ画像領域12を調整対象として、全てのカメラ画像領域12を一体的に調整する全体調整を行うことができる。
また、本実施形態では、調整対象となるカメラ画像領域12を横方向に移動させるパン調整(水平方向位置調整)と、調整対象となるカメラ画像領域12を縦方向に移動させるチルト調整(垂直方向位置調整)と、調整対象となるカメラ画像領域12を回転させるローリング調整(回転方向位置調整)と、調整対象となるカメラ画像領域12を拡大したり縮小したりするズーム調整(拡大縮小調整)と、を行うことができる。
以下に、タッチ操作の操作形態に応じた調整項目を具体的に説明する。
まず、各カメラ画像領域12を個別に調整する場合について説明する。図8は、横向きのカメラ1の各カメラ画像領域12を個別に調整する場合のタッチ操作を示す説明図である。図9は、上向きのカメラ1のカメラ画像領域12を個別に調整する場合のタッチ操作を示す説明図である。
本実施形態では、1本又は2本の指でタッチ操作が行われた場合に、タッチ操作が行われた1つのカメラ画像領域12を調整対象として、そのカメラ画像領域12を個別に調整することができる。
まず、横向きのカメラ1に関するカメラ画像領域12の場合には、図8(A)に示すように、画面に触れた1本の指を横方向(画面の左右方向)にスライドさせるスワイプ操作により、操作対象となるカメラ画像領域12を横方向に移動させるパン調整(水平方向位置調整)を行うことができる。
また、図8(B)に示すように、画面に触れた1本の指を縦方向(画面の上下方向)にスライドさせるスワイプ操作により、操作対象となるカメラ画像領域12を縦方向に移動させるチルト調整(垂直方向位置調整)を行うことができる。
また、図8(C)に示すように、画面に触れた2本の指を円を描くように動かす回転操作により、操作対象となるカメラ画像領域12を回転させるローリング調整(回転方向位置調整)を行うことができる。
また、図8(D)に示すように、画面に触れた2本の指の間隔を広げたり狭めたりするように指を動かすピンチ操作(ピンチイン操作、ピンチアウト操作)により、操作対象となるカメラ画像領域12を拡大したり縮小したりするズーム調整(拡大縮小調整)を行うことができる。
一方、上向きのカメラ1に関するカメラ画像領域12の場合には、図9(A−1)に示すように、画面に触れた1本の指を横方向(画像の左右方向)にスライドさせるスワイプ操作により、カメラ画像領域12に現れる像を横方向に移動させることができる。
ここで、上向きのカメラ1に関するカメラ画像領域12では、合成画像11上の横方向の移動が、図9(A−2)に示すように、投影球体61上で投影領域62を緯線方向に回転させることに相当する。このため、横方向のスワイプ操作が行われると、画像の回転方向の投影位置を調整するローリング調整(回転方向位置調整)が実施される。
また、図9(B−1)に示すように、画面に触れた1本の指を縦方向(画像の上下方向)にスライドさせるスワイプ操作により、カメラ画像領域12に現れる像を縦方向に移動させることができる。
ここで、上向きのカメラ1に関するカメラ画像領域12では、合成画像11上の縦方向の移動が、図9(B−2)に示すように、投影球体61上で投影領域62を経線方向に移動させることに相当する。このため、縦方向のスワイプ操作が行われると、画像の縦方向の投影位置を調整するチルト調整(径方向位置調整)が実施される。
次に、全てのカメラ画像領域12を一体的に調整する場合について説明する。図10および図11は、全てのカメラ画像領域12を一体的に調整する場合のタッチ操作を示す説明図である。
本実施形態では、3本以上の指でタッチ操作が行われた場合に、全てのカメラ画像領域12を調整対象として、全てのカメラ画像領域12を一体的に調整することができる。
まず、図10(A−1)に示すように、画面に触れた3本以上の指を横方向(画面の左右方向)にスライドさせるスワイプ操作により、全てのカメラ画像領域12を横方向に移動させるパン調整(水平方向位置調整)を行うことができる。このとき、横向きのカメラ1に関するカメラ画像領域12の移動に応じて、上向きのカメラ1に関するカメラ画像領域12に現れる像が横方向に移動する。
この場合、スワイプ操作を大きく行うことで、横向きのカメラ1に関するカメラ画像領域12が循環するように表示される。これにより、例えば、図10(A−1)に示す状態では左右の端に位置していたカメラ画像領域12を、図10(A−2)に示すように、画面の中心に配置することができる。
また、図10(B−1)に示すように、画面に触れた3本以上の指を縦方向(画面の上下方向)にスライドさせるスワイプ操作により、全てのカメラ画像領域12を縦方向に移動させるチルト調整(垂直方向位置調整)を行うことができる。
この場合、スワイプ操作を大きく行うことで、カメラ画像領域12が縦方向に循環するように表示される。これにより、例えば、図10(B−1)に示す状態では画面の上端に位置していた上向きのカメラ1に関するカメラ画像領域12を、図10(B−2)に示すように、画面の中心に配置することができる。この場合、上向きのカメラ1に関するカメラ画像領域12を挟んで、横向きのカメラ1に関するカメラ画像領域12がそれぞれ2つに分割された状態で表示される。
また、図11(A)に示すように、画面に触れた3本以上の指を円を描くように動かす回転操作により、全てのカメラ画像領域12を回転させるローリング調整(回転方向位置調整)を行うことができる。
また、図11(B)に示すように、画面に触れた3本以上の指の間隔を広げたり狭めたりするように指を動かすピンチ操作(ピンチイン操作、ピンチアウト操作)により、全てのカメラ画像領域12を拡大したり縮小したりするズーム調整(拡大縮小調整)を行うことができる。
次に、ユーザのタッチ操作に応じて画像処理装置3で行われる処理の手順について説明する。図12、図13および図14は、ユーザのタッチ操作に応じて画像処理装置3で行われる処理の手順を示すフロー図である。
まず、タッチ操作判定部33において、タッチ操作が検出されたか否かを判定する(ST101)。ここで、タッチ操作が検出された場合には(ST101でYes)、視差補正を解除する(ST102)。そして、1本指による操作か否かを判定する(ST103)。
ここで、1本指による操作である場合には(ST103でYes)、次に、操作対象が上向きのカメラ1に関するカメラ画像領域12であるか否かを判定する(ST104)。
ここで、操作対象が上向きのカメラ1に関するカメラ画像領域12でない、すなわち、操作対象が横向きのカメラ1に関するカメラ画像領域12である場合には(ST104でNo)、次に、横方向のスワイプ操作か否かを判定する(ST105)。ここで、横方向のスワイプ操作である場合には(ST105でYes)、処理条件設定部34において、指の動きに応じてパン調整(水平方向位置調整)を実施し、パンの制御パラメータを更新する(ST106)。
また、横方向のスワイプ操作でない場合には(ST105でNo)、次に、縦方向のスワイプ操作か否かを判定する(ST107)。ここで、縦方向のスワイプ操作である場合には(ST107でYes)、処理条件設定部34において、指の動きに応じてチルト調整(垂直方向位置調整)を実施し、チルトの制御パラメータを更新する(ST108)。
一方、操作対象が上向きのカメラ1に関するカメラ画像領域12である場合には(ST104でYes)、次に、横方向のスワイプ操作か否かを判定する(ST109)。ここで、横方向のスワイプ操作である場合には(ST109でYes)、処理条件設定部34において、指の動きに応じてローリング調整(回転方向位置調整)を実施し、ローリングの制御パラメータを更新する(ST110)。
また、横方向のスワイプ操作でない場合には(ST109でNo)、次に、縦方向のスワイプ操作か否かを判定する(ST111)。ここで、縦方向のスワイプ操作である場合には(ST111でYes)、処理条件設定部34において、指の動きに応じてチルト調整(垂直方向位置調整)を実施し、チルトの制御パラメータを更新する(ST112)。
一方、1本指による操作でない場合には(ST103でNo)、次に、2本指による操作か否かを判定する(ST113)。
ここで、2本指による操作である場合には(ST113でYes)、次に、回転操作か否かを判定する(ST114)。ここで、回転操作である場合には(ST114でYes)、処理条件設定部34において、指の動きに応じてローリング調整(回転方向位置調整)を実施し、ローリングの制御パラメータを更新する(ST115)。
また、回転操作でない場合には(ST114でNo)、次に、ピンチ操作か否かを判定する(ST116)。ここで、ピンチ操作である場合には(ST116でYes)、処理条件設定部34において、指の動きに応じてズーム調整(拡大縮小調整)を実施し、ズームの制御パラメータを更新する(ST117)。
一方、2本指による操作でない場合には(ST113でNo)、3本以上の指による操作と判断して、次に、横方向のスワイプ操作か否かを判定する(ST118)。ここで、横方向のスワイプ操作である場合には(ST118でYes)、処理条件設定部34において、指の動きに応じてパン調整(水平方向位置調整)を実施し、パンの制御パラメータを更新する(ST119)。
また、横方向のスワイプ操作でない場合には(ST118でNo)、次に、縦方向のスワイプ操作か否かを判定する(ST120)。ここで、縦方向のスワイプ操作である場合には(ST120でYes)、処理条件設定部34において、指の動きに応じてチルト調整(垂直方向位置調整)を実施し、チルトの制御パラメータを更新する(ST121)。
一方、縦方向のスワイプ操作でない場合には(ST120でNo)、次に、回転操作か否かを判定する(ST122)。ここで、回転操作である場合には(ST122でYes)、処理条件設定部34において、指の動きに応じてローリング調整(回転方向位置調整)を実施し、ローリングの制御パラメータを更新する(ST123)。
また、回転操作でない場合には(ST122でNo)、次に、ピンチ操作か否かを判定する(ST124)。ここで、ピンチ操作である場合には(ST124でYes)、処理条件設定部34において、指の動きに応じてズーム調整(拡大縮小調整)を実施し、ズームの制御パラメータを更新する(ST125)。
このようにして、ユーザのタッチ操作に応じて、パン、チルト、ローリング、ズームの制御パラメータが更新されると、スティッチング処理部31のパノラマ画像生成部42において、更新された制御パラメータに基づいてパノラマ画像を生成する処理を行い、次に、画像合成部45において、パノラマ画像を合成する処理を行い、ここで生成した合成画像をプレビュー表示画面に表示する(ST126)。
次に、調整対象となるカメラ画像領域12の視認性を向上させる画像処理について説明する。図15は、調整対象となるカメラ画像領域12の視認性を向上させる画像処理を説明する説明図である。
本実施形態では、画像合成部45において、合成画像11において調整対象外のカメラ画像領域12の色合いを初期の色合いから変更して、調整対象となるカメラ画像領域12を際立たせる視認性向上の画像処理が行われる。特に本実施形態では、調整対象外のカメラ画像領域12に対して少なくとも輝度を変更する画像処理が行われる。図15に示す例では、調整対象外のカメラ画像領域12に対して輝度を下げる画像処理が行われ、調整対象外のカメラ画像領域12がグレーアウトで暗く表示されている。
これにより、合成画像11を表示するプレビュー表示画面において、調整対象となるカメラ画像領域12が目立つようになり、調整対象となるカメラ画像領域12をユーザが直感的に把握することができる。
次に、調整対象となるカメラ画像領域12のジャストフィット状態をユーザに認識させる制御について説明する。図16は、調整対象となるカメラ画像領域12のジャストフィット状態をユーザに認識させる制御を説明する説明図である。
本実施形態では、プレビュー表示画面でカメラ画像領域12を調整するタッチ操作が行われると、そのタッチ操作に応じて、スティッチング処理部31の処理条件(パノラマ画像生成に関する制御パラメータ)が定期的に更新され、これに応じて合成元画像が更新されて、その合成元画像を合成した合成画像がスティッチング処理部31から定期的に出力される。これにより、プレビュー表示画面では合成画像が動画で表示され、このとき、操作対象となるカメラ画像領域12が指の動きに連動して変化するアニメーションが実行される。
また、本実施形態では、ジャストフィット検知部46において、操作対象となるカメラ画像領域12とこれに隣り合うカメラ画像領域12との間における繋ぎ目部分の整合性が高いジャストフィット状態を検知する。そして、ジャストフィット検知部46でジャストフィット状態が検知されると、操作対象となるカメラ画像領域12のアニメーション、すなわち、指の動きに連動するカメラ画像領域12の動きを停止する。
このとき、画像合成部45では、ジャストフィット状態が検知されたタイミングで取得した合成元画像(パノラマ画像)に基づく合成画像を所定の範囲で継続して出力する。これにより、プレビュー表示画面において、操作対象となるカメラ画像領域12が、指の動きに連動せずに静止した状態で表示される。
また、アニメーションの停止は所定の範囲で行われ、その範囲外となると、アニメーションの停止を解除する。この場合、アニメーションの停止を解除するタイミングを距離で規定することができる。すなわち、ジャストフィット状態の位置からタッチ位置までの距離が所定の距離より大きくなると、アニメーションの停止を解除する。また、アニメーションの停止を解除するタイミングを時間で規定することができる。すなわち、ジャストフィット状態が検知されてから所定の時間(例えば1秒間)が経過すると、アニメーションの停止を解除する。
図16に示す例は、画面に触れた1本の指を縦方向(画像の上下方向)にスライドさせるスワイプ操作を行う場合である。図16(A)に示すように、指を動かすと、指の動きに応じて操作対象となるカメラ画像領域12が縦方向に移動する。そして、図16(B)に示すタイミングで、ジャストフィット状態が検知されると、図16(C)に示すように、指をさらに動かしても、操作対象となるカメラ画像領域12は静止したままである。そして、図16(D)に示すように、指をさらに動かすと、指の動きに応じて操作対象となるカメラ画像領域12が縦方向に移動する。
このように本実施形態では、調整対象となるカメラ画像領域12のジャストフィット状態が検知されると、そのカメラ画像領域12のアニメーションが停止するため、ジャストフィット状態をユーザが直感的に把握することができ、調整操作を迅速に行うことができる。
なお、本実施形態では、操作対象となるカメラ画像領域12のアニメーションを停止することで、ジャストフィット状態をユーザに認識させるようにしたが、ジャストフィット状態をユーザに認識させる方法はこれに限定されるものではない。例えば、ジャストフィットのタイミングで、カメラ画像領域12をフラッシュ(点滅)させるようにしてもよい。また、ジャストフィットのタイミングで、カメラ画像領域12を取り囲む枠線を表示するようにしてもよい。
次に、カメラ画像領域12の色合いおよび明るさを調整する際のタッチ操作について説明する。図17は、カメラ画像領域12の色合いおよび明るさを調整する際のタッチ操作を示す説明図である。
本実施形態では、2本の指で2つのカメラ画像領域12に対して同時にタッチ操作が行われた場合に、そのタッチ操作が行われた2つのカメラ画像領域12を調整対象として、その2つのカメラ画像領域12間の画像調整が画像調整部35で行われる。
特に本実施形態では、タッチ操作が行われた2つのカメラ画像領域12におけるタッチ領域71(タッチ位置を中心とした所定の範囲)の色合いおよび明るさが一致するように画像調整が行われる。図17に示す例では、2つのカメラ画像領域12における空の色合いおよび明るさが一致するように、2つのカメラ画像領域12における空の領域でタッチ操作が行われている。
これにより、2つのカメラ画像領域12同士で、本来であれば色合いや明るさが一致すべき領域で、明るさや色合いに差異が生じている場合に、その領域でタッチ操作を行うことで、2つのカメラ画像領域12の色合いや明るさを簡単に一致させることができる。
この画像調整では、調整対象となる2つのカメラ画像領域12におけるタッチ領域の色合いおよび明るさに関する情報を取得し、この情報に基づいて、2つのカメラ画像領域12におけるタッチ領域の色合いおよび明るさが一致するように、2つのカメラ画像領域12の撮像元のカメラ1が制御される。
このとき、2つのカメラ画像領域12におけるタッチ領域の色合いおよび明るさが一致するように、カメラ1の撮像条件、すなわち、色合いおよび明るさに関する制御パラメータを調整する。具体的には、色合い(ホワイトバランス)に関する制御パラメータとして、信号処理部23におけるホワイトバランスゲイン値を調整する。また、明るさ(露出)に関する制御パラメータとして、イメージセンサ部22におけるシャッタ値(シャッタ速度)およびセンサゲイン値、ならびに信号処理部23におけるデジタルゲイン値を調整する。
なお、本実施形態では、2本の指で2つのカメラ画像領域12に対して同時にタッチ操作を行うことで、2つのカメラ画像領域12の画像調整を行うようにしたが、3本以上の指で3つ以上のカメラ画像領域12に対して同時にタッチ操作を行えば、3つ以上のカメラ画像領域12の画像調整を行うことができる。また、本実施形態では、色合いおよび明るさの両方が一致するように制御したが、色合いおよび明るさのいずれか一方、例えば色合いのみが一致するように制御してもよい。
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
例えば、前記の実施形態では、複数のカメラを備えたカメラユニットと別に設けられた画像処理装置(PCを含む)で、画像合成処理などを行って合成画像を出力するようにしたが、画像処理装置を内蔵するカメラユニット(撮像装置)として構成することもできる。
また、前記の実施形態では、上向きのカメラおよび横向きのカメラを備えた構成としたが、上向きのカメラの代わりに下向きのカメラを備えた構成としてもよい。また、上向きのカメラおよび下向きのカメラの両方を備えた構成としてもよい。
また、前記の実施形態では、プレビュー表示画面を表示する際に、プレビュー出力切換部において、入力された合成元画像(パノラマ画像)を画像合成部に出力して、合成元画像を視差補正部に入力しないようにしたが、合成元画像を視差補正部に入力した上で、視差補正量を0とすることで、実質的に視差補正処理を行わないようにしてもよい。
また、前記の実施形態では、通常の合成画像を生成する画像処理装置において、合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーションを実施するようにしたが、キャリブレーション専用の装置として構成し、また、情報処理装置にキャリブレーション専用のプログラムをインストールして、キャリブレーションを実施するようにしてもよい。
本発明に係る画像処理装置及びこれを備えた撮像システムならびにキャリブレーション方法は、合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーションのための調整作業をユーザが手際よく行うことができる効果を有し、複数のカメラごとの画像に対して画像合成処理を行って合成画像を出力する画像処理装置及びこれを備えた撮像システム、ならびに合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーション方法などとして有用である。
1 カメラ
2 カメラユニット
3 画像処理装置
4 表示入力装置
11 合成画像
12 カメラ画像領域
31 スティッチング処理部(画像処理部)
32 画面生成部
33 タッチ操作判定部
34 処理条件設定部
35 画像調整部
41 視差補正量算出部
42 パノラマ画像生成部
43 プレビュー出力切換部
44 視差補正部
45 画像合成部
46 ジャストフィット検知部
2 カメラユニット
3 画像処理装置
4 表示入力装置
11 合成画像
12 カメラ画像領域
31 スティッチング処理部(画像処理部)
32 画面生成部
33 タッチ操作判定部
34 処理条件設定部
35 画像調整部
41 視差補正量算出部
42 パノラマ画像生成部
43 プレビュー出力切換部
44 視差補正部
45 画像合成部
46 ジャストフィット検知部
Claims (14)
- 複数のカメラごとの画像に対して画像合成処理を行って合成画像を出力する画像処理装置であって、
予め設定された処理条件に基づいて、前記カメラごとの撮像画像からそれぞれ複数の合成元画像を生成して、その複数の合成元画像に対して画像合成処理を行って、プレビュー用の合成画像を生成する画像処理部と、
前記プレビュー用の合成画像を表示するプレビュー表示画面を生成して表示入力装置に出力する画面生成部と、
前記表示入力装置に表示された前記プレビュー表示画面上での同時タッチ検出数及び前記プレビュー表示画面におけるタッチ検出位置に基づいて、前記プレビュー表示画面を構成する前記カメラごとの撮像画像のうち前記タッチ検出位置に対応するカメラの画像領域を調整対象とするのか、前記プレビュー表示画面を構成する全てのカメラの画像領域を一体的な調整対象とするのか、を判定するとともに、前記同時タッチ点の前記プレビュー表示画面上における操作形態に応じた調整項目を判定するタッチ操作判定部と、
このタッチ操作判定部の判定結果に基づいて、前記調整対象となるカメラ画像領域に関する暫定的な処理条件を設定する処理条件設定部と、
を備え、
前記画像処理部は、前記暫定的な処理条件に基づいて、前記調整対象となるカメラ画像領域に対応する前記カメラの撮像画像から合成元画像を生成して、この合成元画像に対して前記画像合成処理を行って前記プレビュー用の合成画像を更新することを特徴とする画像処理装置。 - 前記タッチ操作判定部は、1本又は2本の指でタッチ操作が行われた場合には、タッチ操作が行われた1つの前記カメラ画像領域を調整対象とし、3本以上の指でタッチ操作が行われた場合には、全ての前記カメラ画像領域を調整対象とすることを特徴とする請求項1に記載の画像処理装置。
- さらに、2つの前記カメラ画像領域間の画像調整を行う画像調整部を備え、
前記タッチ操作判定部は、タッチ操作の操作形態が、2本の指による異なる前記カメラ画像領域に対するタッチ操作である場合には、そのタッチ操作が行われた2つのカメラ画像領域間の画像調整を行うものとすることを特徴とする請求項2に記載の画像処理装置。 - 前記タッチ操作判定部は、1本又は2本の指でタッチ操作が行われた場合に、そのタッチ操作が行われた1つの前記カメラ画像領域を調整対象として、タッチ操作の操作形態に応じた調整項目を判定することを特徴とする請求項1に記載の画像処理装置。
- 前記タッチ操作判定部は、タッチ操作の操作形態が、1本の指による横方向のスワイプ操作である場合には、1つの前記カメラ画像領域を調整対象としてパン調整を行うものとし、タッチ操作の操作形態が、1本の指による縦方向のスワイプ操作である場合には、1つの前記カメラ画像領域を調整対象としてチルト調整を行うものとし、タッチ操作の操作形態が、2本の指による回転操作である場合には、1つの前記カメラ画像領域を調整対象としてローリング調整を行うものとし、タッチ操作の操作形態が、2本の指によるピンチ操作である場合には、1つの前記カメラ画像領域を調整対象としてズーム調整を行うものとすることを特徴とする請求項4に記載の画像処理装置。
- 前記画像処理部は、前記プレビュー用の合成画像における調整対象外の前記カメラ画像領域の色合いを初期の色合いから変更する画像処理を行うことを特徴とする請求項1に記載の画像処理装置。
- 前記画像処理部は、前記調整対象外のカメラ画像領域に対して少なくとも輝度を変更する画像処理を行うことを特徴とする請求項6に記載の画像処理装置。
- 前記タッチ操作判定部は、3本以上の指でタッチ操作が行われる場合に、全ての前記カメラ画像領域を調整対象として、タッチ操作の操作形態に応じた調整項目を判定することを特徴とする請求項1に記載の画像処理装置。
- 前記タッチ操作判定部は、タッチ操作の操作形態が、3本以上の指による横方向のスワイプ操作である場合には、全ての前記カメラ画像領域を調整対象としてパン調整を行うものとし、タッチ操作の操作形態が、3本以上の指による縦方向のスワイプ操作である場合には、全ての前記カメラ画像領域を調整対象としてチルト調整を行うものとし、タッチ操作の操作形態が、3本以上の指による回転操作である場合には、全ての前記カメラ画像領域を調整対象としてローリング調整を行うものとし、タッチ操作の操作形態が、3本以上の指によるピンチ操作である場合には、全ての前記カメラ画像領域を調整対象としてズーム調整を行うものとすることを特徴とする請求項8に記載の画像処理装置。
- さらに、前記プレビュー用の合成画像において調整対象となる前記カメラ画像領域とこれに隣り合う前記カメラ画像領域との間の繋ぎ目部分の整合性が高いジャストフィット状態を検知するジャストフィット検知部を備え、
前記画像処理部は、前記ジャストフィット検知部でジャストフィット状態が検知されると、そのタイミングでの前記プレビュー用の合成画像を所定の範囲で継続して出力することを特徴とする請求項1に記載の画像処理装置。 - さらに、2つの前記カメラ画像領域間の画像調整を行う画像調整部を備え、
この画像調整部は、2つの前記カメラ画像領域に対して同時にタッチ操作が行われた場合に、その2つのカメラ画像領域におけるタッチ領域の色合いおよび明るさの少なくともいずれかが一致するように画像調整を行うことを特徴とする請求項1に記載の画像処理装置。 - 前記画像処理部は、通常時には、前記画像合成処理の前段で前記合成元画像に対して視差補正処理を行い、前記プレビュー表示画面を表示する際には、前記合成元画像に対して前記視差補正処理を行わないことを特徴とする請求項1に記載の画像処理装置。
- 請求項1から請求項12のいずれかに記載の前記画像処理装置と、前記複数のカメラと、前記表示入力装置とを備えた撮像システム。
- 複数のカメラごとの画像に対して画像合成処理を行って生成した合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーション方法であって、
予め設定された処理条件に基づいて、前記カメラごとの撮像画像からそれぞれ複数の合成元画像を生成して、その複数の合成元画像に対して画像合成処理を行って、プレビュー用の合成画像を生成し、
このプレビュー用の合成画像を表示するプレビュー表示画面を生成して表示入力装置に出力し、
前記表示入力装置に表示された前記プレビュー表示画面上での同時タッチ検出数及び前記プレビュー表示画面におけるタッチ検出位置に基づいて、前記プレビュー表示画面を構成する前記カメラごとの撮像画像のうち前記タッチ検出位置に対応するカメラの画像領域を調整対象とするのか、前記プレビュー表示画面を構成する全てのカメラの画像領域を一体的な調整対象とするのか、を判定するとともに、前記同時タッチ点の前記プレビュー表示画面上における操作形態に応じた調整項目を判定し、
この判定結果に基づいて、前記調整対象となるカメラ画像領域に関する暫定的な処理条件を設定し、
この暫定的な処理条件に基づいて、前記調整対象となるカメラ画像領域に対応する前記カメラの撮像画像から合成元画像を生成して、この合成元画像に対して前記画像合成処理を行って前記プレビュー用の合成画像を更新することを特徴とするキャリブレーション方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018059322A JP2018137786A (ja) | 2018-03-27 | 2018-03-27 | 画像処理装置及びこれを備えた撮像システムならびにキャリブレーション方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018059322A JP2018137786A (ja) | 2018-03-27 | 2018-03-27 | 画像処理装置及びこれを備えた撮像システムならびにキャリブレーション方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016087443A Division JP6323729B2 (ja) | 2016-04-25 | 2016-04-25 | 画像処理装置及びこれを備えた撮像システムならびにキャリブレーション方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018137786A true JP2018137786A (ja) | 2018-08-30 |
Family
ID=63364931
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018059322A Pending JP2018137786A (ja) | 2018-03-27 | 2018-03-27 | 画像処理装置及びこれを備えた撮像システムならびにキャリブレーション方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018137786A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109166078A (zh) * | 2018-10-22 | 2019-01-08 | 广州微牌智能科技有限公司 | 环视图拼接方法、装置、环视系统、设备和存储介质 |
-
2018
- 2018-03-27 JP JP2018059322A patent/JP2018137786A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109166078A (zh) * | 2018-10-22 | 2019-01-08 | 广州微牌智能科技有限公司 | 环视图拼接方法、装置、环视系统、设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6323729B2 (ja) | 画像処理装置及びこれを備えた撮像システムならびにキャリブレーション方法 | |
JP5865941B2 (ja) | 撮影装置、携帯型情報処理端末、撮影装置のモニタ表示方法およびプログラム | |
WO2014064783A1 (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 | |
CN111316629B (zh) | 图像处理装置和方法、成像装置和程序 | |
JP6253030B2 (ja) | 画像処理装置、撮像装置および画像処理方法 | |
CN112655194A (zh) | 用于捕获视图的电子装置和方法 | |
US11416978B2 (en) | Image processing apparatus, control method and non-transitory computer-readable recording medium therefor | |
JP2003134375A (ja) | 画像撮影システム | |
JP5492651B2 (ja) | 撮影装置、パノラマ撮影方法 | |
JP2018186514A (ja) | 画像処理装置及びこれを備えた撮像システムならびに画像処理方法 | |
US20120057747A1 (en) | Image processing system and image processing method | |
JP2004056779A (ja) | 画像入力装置 | |
JP6708407B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP6541501B2 (ja) | 画像処理装置、撮像装置、及び画像処理方法 | |
JP2018137786A (ja) | 画像処理装置及びこれを備えた撮像システムならびにキャリブレーション方法 | |
WO2018087856A1 (ja) | 映像合成装置及び映像合成方法 | |
US11830177B2 (en) | Image processing apparatus, control method and non-transitory computer-readable recording medium therefor | |
KR101825343B1 (ko) | 차량의 후방 뷰 영상 처리 장치 및 시스템 | |
JP2002112094A (ja) | パノラマプロジェクタ装置およびパノラマ撮影装置 | |
JP6664082B2 (ja) | 画像処理システム、画像処理装置および画像処理方法 | |
JP6323739B2 (ja) | 画像処理システム、画像処理装置および画像処理方法 | |
JP2009258862A (ja) | 映像表示装置及び映像表示方法 | |
JP2022066711A (ja) | 広視野映像撮影支援装置およびそのプログラム、ならびに、広視野映像撮影システム | |
JP2005323221A (ja) | マルチカメラによる広視野角撮影装置及び画像生成装置。 | |
JP2024513783A (ja) | カメラの制御方法 |