JP2009060378A - 多眼撮影システムにおける調整用画像表示方法および多眼撮影システム - Google Patents

多眼撮影システムにおける調整用画像表示方法および多眼撮影システム Download PDF

Info

Publication number
JP2009060378A
JP2009060378A JP2007225912A JP2007225912A JP2009060378A JP 2009060378 A JP2009060378 A JP 2009060378A JP 2007225912 A JP2007225912 A JP 2007225912A JP 2007225912 A JP2007225912 A JP 2007225912A JP 2009060378 A JP2009060378 A JP 2009060378A
Authority
JP
Japan
Prior art keywords
images
unit
image
display
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007225912A
Other languages
English (en)
Other versions
JP4851406B2 (ja
Inventor
Mikio Sasagawa
幹夫 笹川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2007225912A priority Critical patent/JP4851406B2/ja
Priority to US12/201,419 priority patent/US20090058878A1/en
Publication of JP2009060378A publication Critical patent/JP2009060378A/ja
Application granted granted Critical
Publication of JP4851406B2 publication Critical patent/JP4851406B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】多眼撮影システムにおいて、効率よくかつ精度良く撮像手段の光軸等の調整を行うことができるようにする。
【解決手段】被写体を複数のカメラ2A〜2Eで撮影して複数の画像が取得されたとき、取得した複数の画像にスルー画像処理を施すことにより複数のスルー画像P1〜P5が生成される。この生成した複数のスルー画像P1〜P5を重ねて表示部4に表示するとともに、表示部4の垂直方向に延びる垂直ガイドラインVLと、表示部の水平方向に延びる水平ガイドラインHLとを表示部4上に表示する。
【選択図】図6

Description

本発明は、複数のカメラを用いて同一の被写体を撮影するときに、複数のカメラの光軸を調整するための多眼撮影システムにおける調整用画像表示方法および多眼撮影システムに関するものである。
例えば3D(3次元)撮影やパノラマ撮影が可能な、複数の撮像部を有する多眼撮影システムが提案されている。このような多眼撮影システムにおいては、複数の撮像部が左右に並んで配置され、各撮像部において同時に取得された複数の画像が合成処理されて立体視が可能な立体視画像やパノラマ画像が生成される。
ところで、多眼撮影システムにおいては、複数の撮像部により取得された画像のずれを補正するために、撮影の前に各撮像部の光軸および撮影倍率等を調整する必要がある。このため、複数の撮像部を備えた多眼撮影システムにおいて、光軸を水平方向および垂直方向に移動したり、回転したり煽り位置を調整するための機構およびズーム機構(駆動機構とする)を設け、複数の撮像部により十字が描かれたチャートを同時に撮影し、これにより取得した複数の画像の十字のずれ量を測定し、ずれがなくなるように撮像部の駆動機構を駆動して光軸等を調整する。
一方、上述したようなチャートを用いずに画角調整する方法として、各カメラにより撮影された画像を別々のモニタに表示し、各モニタに映し出された画像の位置に基づいて画角の調整を行うことが行われている。さらには、各カメラにより取得された画像に対しスルー画像処理を施し、生成されたスルー画像を重ねて表示することにより画角合わせを行うことが考えられる。ここで、特許文献1〜3において、単眼の撮像装置において合成画像を生成する際に、合成する一方の画像をスルー画像表示し、簡単な作業で合成画像を作成する方法が提案されている。
特開2006−94030号公報 特開2005−86228号公報 特開2001−320610号公報
しかし、上述のように、複数のカメラ毎に画像を映し出す各モニタを用いて画角調整を行う場合、各カメラの相対関係を把握しづらく画角あわせを正確に行うことができないという問題がある。
また、特許文献1〜3に示すスルー画像を合成する技術を用いて、各カメラにより取得されたスルー画像を合成処理し、合成したスルー画像から位置のずれ量等を把握した後にカメラの画角等を調整する場合、合成処理および画角の調整の作業を繰り返し行わなければならず、手間が掛かってしまうという問題がある。
そこで、本発明は、効率よくカメラの光軸等の調整を精度良く行うことができる多眼撮影システムにおける調整用画像表示方法および多眼撮影システムを提供することを目的とするものである。
本発明の多眼撮影システムの調整用画像表示方法は、被写体を複数のカメラで撮影して複数の画像を取得し、取得した複数の画像にスルー画像処理を施すことにより複数のスルー画像を生成し、生成した複数のスルー画像を重ねて表示部に表示するとともに、表示部上の任意の位置に表示部の垂直方向に延びる垂直ガイドラインと表示部の水平方向に延びる水平ガイドラインとを表示することを特徴とするものである。
本発明の多眼撮影システムは、被写体を撮影して画像を取得する複数のカメラと、複数のカメラにより取得された複数の画像にそれぞれスルー画像処理を施すことにより複数のスルー画像を生成する画像処理部と、画像処理部により生成された複数のスルー画像を重ね合わせて表示部に表示するとともに、表示部上の任意の位置に表示部の垂直方向に延びる垂直ガイドラインと、表示部の水平方向に延びる水平ガイドラインとを表示する表示制御部とを備えたことを特徴とするものである。
ここで、複数のカメラは2台以上あれば、どのような台数であってもよい。
なお、垂直ガイドラインおよび水平ガイドラインは、それぞれ表示部の端部から端部まで延びるように表示されるものであってもよいし、表示部の所定の領域を囲む枠を形成するように表示されるものであってもよい。
なお、画像処理部は各カメラ毎にそれぞれ設けられたものであってもよいし、各カメラから複数の画像を一括してスルー画像処理を施すものであってもよい。
さらに、表示制御部は、各スルー画像を均等の画像透明度に加工した状態で重ねて表示するようにしてもよいし、各スルー画像毎にそれぞれ異なる色分けもしくは濃度分けをして表示するようにしてもよい。
また、表示制御部は、スルー画像の他に各カメラを識別するためのカメラ情報を表示部上に表示するものであってもよい。このとき、表示制御部は、カメラ情報をスルー画像に対応した色分けもしくは濃度分けした状態で表示部上に表示するようにしてもよい。
さらに、多眼撮影システムは、複数のスルー画像の中からそれぞれ被写体を検出する被写体検出部と、被写体検出部により検出された被写体が表示部上の所定の範囲内に位置しているか否かを複数のスルー画像毎に判定する位置判定部とをさらに備えたものであってもよい。このとき、表示制御部は、位置判定部において被写体が所定の範囲内に位置していないスルー画像があると判定されたとき、判定されたスルー画像を識別可能に表示するものであってもよい。なお、「識別可能に表示する」とは、たとえばスルー画像を色分け、濃度分けもしくは点滅して表示する等のずれているスルー画像であることを識別することができるような表示形態を意味する。
また、多眼撮影システムは、複数のスルー画像のすべてに含まれる撮影範囲を検出する範囲検出部と、範囲検出部により検出された撮影範囲を用いて複数のスルー画像をトリミング処理を行うトリミング処理部とをさらに備えたものであってもよい。
なお、表示制御部は、生成した複数のスルー画像を重ねて表示部に表示するとともに、表示部の垂直方向に延びる垂直ガイドラインと、表示部の水平方向に延びる水平ガイドラインとを表示部上に表示する機能の他に、複数のスルー画像をサムネイル表示する機能を有するものであってもよい。
本発明の多眼撮影システムの調整用画像表示方法および多眼撮影システムによれば、被写体を複数のカメラで撮影して複数の画像を取得し、取得した複数の画像にスルー画像処理を施すことにより複数のスルー画像を生成し、生成した複数のスルー画像を重ねて表示部に表示するとともに、表示部上の任意の位置に表示部の垂直方向に延びる垂直ガイドラインと表示部の水平方向に延びる水平ガイドラインとを表示することにより、複数のカメラの画角を調整するときに、1画面上で各カメラの撮影具合を把握することができるとともに、垂直ガイドラインおよび水平ガイドラインとスルー画像との位置関係を瞬時に把握することができるため、カメラの画角調整を効率的に精度良く行うことができる。
なお、表示制御部が、それぞれ異なる色もしくは濃度からなる複数のスルー画像を重ねて表示するものであるとき、スルー画像が重ねて表示されたときにスルー画像の区別を容易に行うことができる。
また、表示制御部が、各カメラを識別するためのカメラ情報をスルー画像に対応した色分けもしくは濃度分けした状態で表示部上に表示するものであれば、いずれのカメラがどの程度ずれているのかを容易に把握することができるため、より効率的にカメラの画角調整を行うことができる。
さらに、複数のスルー画像の中からそれぞれ被写体を検出する被写体検出部と、被写体検出部により検出された被写体が表示部上の所定の範囲内に位置しているか否かを複数のスルー画像毎に判定する位置判定部とをさらに備え、表示制御部が、位置判定部において被写体が所定の範囲内に位置していないスルー画像があると判定されたとき、判定されたスルー画像を識別可能に表示するものであるとき、画角がずれているカメラを自動的に認識し表示することができるため、効率的にカメラの画角調整を行うことができる。
また、複数のスルー画像のすべてに含まれる撮影範囲を検出する範囲検出部と、範囲検出部により検出された撮影範囲を用いて複数のスルー画像のトリミング処理を行うトリミング処理部とをさらに備えたとき、位置ずれによる不要範囲を自動的に削除し、撮影時に共通の画角範囲となる領域を効率的に把握することができる。
以下、図面を参照して本発明の多眼撮影システムの実施形態について説明する。図1は本発明の多眼撮影システムの概略構成を示す図である。図1の多眼撮影システム1は、5台のカメラ2A〜2Eと、システム部3と、表示部4とを備えており、カメラ2A〜2Eとシステム部3とはUSB等のケーブル8A〜8Eにより接続されている。
5台のカメラ2A〜2Eは被写体が配置される位置を中心とする円弧上に配置されている。各カメラ2A〜2Eは、図2に示すようにパン・チルト方向に撮影光軸を調整するための光軸調整部5A〜5Eを備えており、光軸調整部5A〜5Eは手動もしくはシステム部3からの指示により回転駆動することにより、撮影光軸の調整を行う。
図3は本発明の多眼撮影システムの構成を示すブロック図である。多眼撮影システム1は、複数のカメラ2A〜2E、システム部3を備えている。なお、図3において5台のカメラ2A〜2Eの内部構成はすべて同一であるため、カメラ2Aについてのみ内部構成を示すものとする。
システム部3は内部メモリ26に記憶されたプログラムをCPU34が実行することにより多眼撮影システム1の各種制御を行うものであり、CPU34は、キーボードやマウス等からなる操作部12からの入力により、3D画像等を取得するための通常撮影モードと、各カメラ2A〜2Eの画角合わせを行うための調整モードと切り替える機能を有している。
調整モード時においてはカメラ2A〜2Eから座標情報およびID情報を取得して光軸調整用のスルー画像P1〜P5が取得されるようにカメラ2A〜2Eをインターフェイス10を介して制御する。一方、通常撮影モード時には、たとえばカメラ2A〜2Eが取得したスルー画像を表示部4に表示するとともに、記録メディア24に記録するようにシステム部3を制御する。
カメラ2Aは、被写体Sを撮影して画像を取得するものであって、フォーカスレンズおよびズームレンズからなる撮影レンズ40、絞り44、シャッタ48、撮像素子52等を有する。撮影レンズ40のフォーカスレンズおよびズームレンズは、モータおよびモータドライバからなるレンズ駆動機構42によって光軸方向に移動可能に設けられており、絞り44は絞り駆動部46により絞り径の調整を行うようになっている。シャッタ48はメカニカルシャッタであり、システム部3からの指示により、シャッタ駆動部50により駆動される。
撮像素子52は、たとえばCCDやCMOS等からなっており、多数の受光素子を2次元的に配列した構造を有している。そして、撮像素子52は、撮影レンズ40等により撮像素子52上に結像された被写体像を光電変換し、被写体像をRGB各色のアナログ信号からなる画像情報を出力する。そして、CCD52から出力されたアナログ撮影信号は、アナログ信号処理部54に入力され、ここでノイズ除去処理やゲイン調整処理(アナログ処理)が施される。アナログ処理後の撮影信号は、A/D変換器56によりデジタルの画像データに変換される。なお、カメラ2Aは、自身を特定するID情報およびカメラ2Aを駆動するためのプログラムが記憶されたメモリ60を有している。
画像処理部62は、撮像素子52において取得された画像に対し各種加工を施すものであり、撮像素子52により取得された画像にスルー画像処理を施してスルー画像P1を生成する機能を有している。つまり、カメラ2Aにおいて取得される画像には、システム部3からの撮影指示により取得されて記録メディア24に記録される本画像と、撮影内容を確認するためのスルー画像P1とが含まれる。
通常撮影モード時において、画像処理部62はカメラ2Aから取得した画像に対し階調補正、シャープネス補正、色補正等の画質補正処理等を施して、処理済みの画像を取得する。一方、調整モード時において、画像処理部62は撮像素子52から取得した画像情報を用いてスルー画像P1を生成する。スルー画像P1の画像数は本画像よりも少なくたとえば本画像の1/16程度である。そして、カメラ2A〜2Eが逐次撮影を行うことにより取得されたスルー画像P1〜P5はインターフェイス64を介してシステム部3に入力される。
システム部3は、画像加工部14、表示制御部16を備えており、各構成はデータバスによりデータ転送可能に接続されている。画像加工部14は、調整モード時において、図4に示すように各カメラ2A〜2Eから転送された複数のスルー画像P1〜P5を重ね合わせて表示するためにスルー画像P1〜P5に対し加工を施すものである。具体的には、画像加工部14は、送信されたスルー画像P1〜P5の枚数からシステム部3に接続されているカメラ2A〜2Eの台数を検出する。そして、画像加工部14は検出したカメラ2A〜2Eの台数に基づいて画像透過度が均等になるように各スルー画像P1〜P5を加工する。なお、図4においては画像等過度が均一になるように加工処理する場合について例示しているが、図5に示すように、各スルー画像P1〜P5毎に異なる色分けもしくは濃度分けするように加工するものであってもよい。
なお、画像加工部14は、通常撮影モードにおいては、各カメラ2A〜2Eにおいて画像処理された複数の画像が送信されたとき、複数の画像を合成して合成画像を生成するとともに、合成画像に対しJPEG等の圧縮形式で圧縮処理を行い記録メディア24に書き込みを行う機能を有している。さらに、画像加工部14は、合成画像の再生指示がなされた場合には、記録メディア24から圧縮された合成画像を読み出して伸長処理を行い、伸長後の画像が表示部4に表示されることになる。
表示制御部16は、図6に示すように、画像加工部14により加工された複数のスルー画像P1〜P5を重ね合わせて表示部4に表示するとともに、表示部4上に表示部4の垂直方向に延びる垂直ガイドラインVLと、表示部4の水平方向に延びる水平ガイドラインHLとを表示するものである。この垂直ガイドラインVLおよび水平ガイドラインHLは初期状態において表示部4上の予め設定された位置に表示されるものであって、ユーザーがマウスやキーボード等の操作部12を操作することにより位置を変更することができる。つまり、ユーザーから垂直ガイドラインVLおよび水平ガイドラインHLの移動が指示されたとき、表示制御部16は入力手段からの入力に従い垂直ガイドラインVLおよび/または水平ガイドラインHLを移動させる。なお、表示制御部16は、垂直ガイドラインVLおよび水平ガイドラインHLを表示部4上に1本のみ表示させる他複数本表示させることもできる。
さらに、表示制御部16は、スルー画像P1〜P5を重ね合わせて表示するとともに、各カメラ2A〜2Eを識別するためのカメラ情報CAM1〜CAM5を表示部4上に表示する機能を有している。そして、表示制御部16は、各スルー画像P1〜P5を色分けもしくは濃度分けして表示しているとき、各スルー画像P1〜P5に対応したカメラ情報CAM1〜CAM5も同様の色分けもしくは濃度分けして表示するようにしてもよい。
図7は本発明の多眼撮影システムにおける調整画像表示方法の好ましい実施形態を示すフローチャートであり、図1から図7を参照して多眼撮影システムにおける調整画像表示方法について説明する。まず、ユーザーが操作部12を用いてシステム部3を調整モードに設定した状態で、各カメラの電源がONになり(ステップST1)、各カメラ2A〜2Eによる撮影が開始される。そして、各カメラ2A〜2E内において撮像素子52により取得された画像が画像処理され複数のスルー画像P1〜P5が生成される。そして、この複数のスルー画像P1〜P5がシステム部3の画像加工部14へ出力される(ステップST2)。
画像加工部14において入力されたスルー画像P1〜P5の枚数からシステム部3に接続されているカメラの台数が検出される(ステップST3)。そして、検出したカメラの台数に応じて、各スルー画像P1〜P5の画像透明度が均等になるように画像透明度が設定される(ステップST4)。画像加工部14により設定した画像透明度になるように各スルー画像P1〜P5が加工され(ステップST5)、加工された複数のスルー画像P1〜P5が重ねて表示部4に表示される(ステップST6)。なお、スルー画像P1〜P5を色分けもしくは濃度分けする際には、各スルー画像P1〜P5に対し着色等が施される。そして、ユーザーの操作によりガイドラインを表示機能が選択されたとき(ステップST7)、表示部4上の所定の位置に所定の本数のガイドラインが表示される(ステップST8)。
このように、表示部4上に複数のスルー画像P1〜P5を重ねて表示するとともに、水平ガイドラインHLおよび垂直ガイドラインVLを表示することにより、ユーザーは表示部4を見ながら操作部12を操作して、カメラ2A〜2Eの光軸を調整することができる。すなわち、水平ガイドラインHLおよび垂直ガイドラインVLを表示することにより、ユーザーは予めスルー画像P1〜P5内の被写体が表示部4上に位置すべき場所に各ガイドラインHL、VLを設定した後、表示部4を見ながら被写体が各ガイドラインHL、VL上に位置するように画角を調整するという作業を行うことができる。したがって、ユーザーは効率的に精度良く各カメラの画角調整を行うことができる。
図8は本発明の多眼撮影システムの第2の実施形態を示すブロック図であり、図8を参照して多眼撮影システム100について説明する。なお、図8において図3の多眼撮影システム1と同一の構成を有する部位には同一の符号を付してその説明を省略する。図8の多眼撮影システム100が図3の多眼撮影システム1と異なる点は、画角が不適切なカメラを自動的に識別し表示する点である。
具体的には、多眼撮影システム100は、複数のスルー画像P1〜P5の中からそれぞれ被写体を検出する被写体検出部110と、被写体検出部110により検出された被写体が表示部4上の所定の範囲内に位置しているか否かを複数のスルー画像P1〜P5毎に判定する位置判定部120とをさらに備えている。
ここで、被写体検出部110は、たとえばエッジ検出に基づくアダブーストアルゴリズムやパターンマッチング等の公知の技術により複数のスルー画像P1〜P5の中から被写体を検出する。また、位置判定部120は、たとえば各スルー画像P1〜P5における被写体の位置の平均値を求め、この平均値からの各スルー画像P1〜P5内の被写体のずれ量を検出する。そして、検出した被写体のずれ量が設定しきい値以上であるとき、そのスルー画像P1〜P5を撮影したカメラ2A〜2Eの撮影光軸はずれていると判定する。
表示制御部16は、位置判定部120において被写体が所定の範囲内に位置していないと判定されたスルー画像P1〜P5を識別可能に表示部4上に表示する。具体的には、図9(A)のように複数のスルー画像P1〜P5のうちカメラ2Dにより取得されたスルー画像P4がずれていたものとする。すると、表示制御部16は、位置ずれをしているスルー画像P4を識別可能に表示する。具体的には、スルー画像P4に対し警告色に色分けを行う方法、点滅表示する方法等が挙げられる。なお、ずれているスルー画像P4を点滅等する場合について例示しているが、表示部4上にカメラ情報を表示している場合(図6参照)、このカメラ情報も同様に点滅等させるようにしてもよい。
また、表示制御部16は、ユーザーが操作部12を操作することにより、図9(B)に示すように、各スルー画像P1〜P5をサムネイル表示する機能を有していてもよい。これにより、すべてのカメラ2A〜2Eの撮影状態が1画面にて簡易的に確認することができる。
図10は図7の多眼撮影システム100の動作例を示すフローチャートである。まず、ユーザが操作部12を用いてシステム部3を調整モードに設定した状態で、各カメラの電源がONになり(ステップST11)、各カメラ2A〜2Eによる撮影が開始される。そして、各カメラ2A〜2E内において撮像素子52により取得された画像が画像処理され複数のスルー画像P1〜P5が生成される。そして、この複数のスルー画像P1〜P5がシステム部3の画像加工部14へ出力される(ステップST12)。
画像加工部14において入力されたスルー画像P1〜P5の枚数からシステム部3に接続されているカメラの台数が検出される(ステップST13)。一方、被写体検出部110により、各スルー画像P1〜P5から被写体が検出される(ステップST14)。そして、位置判定部120において、各スルー画像P1〜P5内の被写体のずれ量が所定の値よりも大きいか否かが各スルー画像P1〜P5毎に判定され(ステップST15)、ずれ量が所定の値よりも大きいスルー画像P1〜P5が存在するとき、ずれ量の大きいスルー画像を識別する(ステップST16)。
その後、検出したカメラ2A〜2Eの台数に応じて、各スルー画像P1〜P5の画像透明度が均等になるように画像透明度が設定される(ステップST17)。そして、画像加工部14により設定した画像透明度になるように各スルー画像P1〜P5が加工されるとともに、ずれ量が所定の値よりも大きいスルー画像が存在するときには、このスルー画像を表示部4上において識別できるような加工を施して表示処理が行われる(ステップST18、ST19)。そして、表示制御部16において加工された複数のスルー画像P1〜P5が重ねて表示部4に表示される(ステップST20)。また、ユーザーの操作によりガイドラインを表示機能が選択されたとき(ステップST21)、表示部4上の所定の位置に所定の本数のガイドラインが表示される(ステップST22)。このように、画角がずれているカメラを自動的に認識し表示することにより、ユーザーがどのカメラを調整すべきかを一目で把握することができ効率的にカメラの画角調整を行うことができる。
図11は本発明の多眼撮影システムの第3の実施形態を示すブロック図であり、図11を参照して多眼撮影システム200について説明する。なお、図11において図3の多眼撮影システム1と同一の構成を有する部位には同一の符号を付してその説明を省略する。図11の多眼撮影システム200が図1の多眼撮影システム1と異なる点は複数のスルー画像を合成するときに、自動的にトリミングを行う点である。
図11の多眼撮影システム200は、範囲検出部210、トリミング処理部220を備えている。範囲検出部210は、複数のスルー画像P1〜P5のすべてに含まれる共通の撮影範囲を検出する。たとえば図12(A)に示すような複数のスルー画像P1〜P5があるとき、範囲検出部210は、エッジ検出等を用いて被写体を検出し、同一の被写体が撮影されている領域を共通の撮影範囲として検出する。トリミング処理部220は、範囲検出部210により検出された撮影範囲を用いて複数のスルー画像P1〜P5に対しトリミング処理を行う。具体的には、図12(B)に示すように、範囲検出部210により検出された撮影範囲をトリミング枠TRとして設定し、トリミング処理を行うものである。
図13は図11の多眼撮影システム100の動作例を示すフローチャートである。まず、ユーザが操作部12を用いてシステム部3を調整モードに設定した状態で、各カメラの電源がONになり(ステップST21)、各カメラ2A〜2Eによる撮影が開始される。そして、各カメラ2A〜2E内において撮像素子52により取得された画像が画像処理され複数のスルー画像P1〜P5が生成される。そして、この複数のスルー画像P1〜P5がシステム部3の画像加工部14へ出力される(ステップST22)。
画像加工部14において入力されたスルー画像P1〜P5の枚数からシステム部3に接続されているカメラの台数が検出される(ステップST23)。一方、範囲検出部210により、各スルー画像P1〜P5において共通の被写体があるか否かが検出される(ステップST24)。そして、いずれかのスルー画像P1〜P5内において非共通の被写体がある場合、各画像の共通部分の撮影範囲を検出し、撮影範囲によるトリミング処理が行われる(ステップST25)。
その後、検出したカメラ2A〜2Eの台数に応じて、各スルー画像P1〜P5の画像透明度が均等になるように画像透明度が設定される(ステップST27)。そして、画像加工部14により設定した画像透明度になるようにトリミング処理された各スルー画像P1〜P5が加工され、表示制御部16により加工された複数のスルー画像P1〜P5が重ねて表示部4に表示される(ステップST28、ST29)。また、ユーザーの操作によりガイドラインを表示機能が選択されたとき(ステップST30)、表示部4上の所定の位置に所定の本数の水平ガイドラインHLおよび垂直ガイドラインVLが表示される(ステップST31)。
このように、自動的にトリミング処理を行うことにより、位置ずれによる不要範囲を自動的に削除し、撮影時に共通の画角範囲となる領域を効率的に把握することができる。
上記各実施の形態によれば、被写体を複数のカメラ2A〜2Eで撮影して複数の画像を取得し、取得した複数の画像にスルー画像処理を施すことにより複数のスルー画像を生成し、生成した複数のスルー画像P1〜P5を重ねて表示部に表示するとともに、表示部4の垂直方向に延びる垂直ガイドラインVLと、表示部の水平方向に延びる水平ガイドラインHLとを表示部4上に表示することにより、複数のカメラ2A〜2Eの画角を調整するときに、1画面上で各カメラの撮影具合を把握することができるとともに、垂直ガイドラインVLおよび水平ガイドラインHLとスルー画像P1〜P5との位置関係を瞬時に把握することができるため、カメラ2A〜2Eの画角調整を効率的に行うことができる。
また、図5に示すように、表示制御部16が、それぞれ異なる色もしくは濃度からなる複数のスルー画像P1〜P5を重ねて表示するものであるとき、スルー画像P1〜P5が重ねて表示されたときにスルー画像P1〜P5毎の区別を容易に行うことができる。
さらに、図6に示すように、表示制御部16が、各カメラを識別するためのカメラ情報をスルー画像P1〜P5に対応した色分けもしくは濃度分けした状態で表示部上に表示するものであれば、いずれのカメラ2A〜2Eがどの程度ずれているのかを容易に把握することができるため、より効率的にカメラ2A〜2Eの画角調整を行うことができる。
また、図8〜図10に示すように、複数のスルー画像P1〜P5の中からそれぞれ被写体を検出する被写体検出部110と、被写体検出部110により検出された被写体が表示部上の所定の範囲内に位置しているか否かを複数のスルー画像P1〜P5毎に判定する位置判定部120とをさらに備え、表示制御部16が、位置判定部120において被写体が所定の範囲内に位置していないと判定されたスルー画像を識別して表示するものであれば、画角がずれているカメラを自動的に認識し表示することができるため、効率的にカメラ2A〜2Eの画角調整を行うことができる。
また、図11〜図13に示すように、複数のスルー画像P1〜P5のすべてに含まれる撮影範囲を検出する範囲検出部210と、範囲検出部210により検出された撮影範囲を用いて複数のスルー画像P1〜P5のトリミング処理を行うトリミング処理部220とをさらに備えたとき、位置ずれによる不要範囲を自動的に削除し、撮影時に共通の画角範囲となる領域を効率的に把握することができる。
本発明の実施形態は、上記実施の形態に限定されない。たとえば、上記実施の形態において、スルー画像P1〜P5を生成する画像処理は各カメラ2A〜2E側に設けられた画像処理部62により行われる場合について例示しているが、システム部3側に設けられた画像加工部14により行われるようにしてもよい。このとき、システム部3にはカメラ2A〜2Eにより取得された画像情報が転送され、画像加工部14により複数の画像に対しそれぞれ上述したスルー画像処理が施されることになる。
さらに、図1において多眼撮影装置1は各カメラ2A〜2Eとシステム部3とからなる場合について例示しているが、カメラ2A内にシステム部3が内蔵されており、このカメラ2Aに他のカメラ2B〜2Eが接続された構成を有するものであってもよい。
また、図4において、画像加工部14が画像透明度が均等になるようにスルー画像P1〜P5を加工する場合について例示しているが、カメラ2A〜2Eのうち、中心にあるカメラ2Cの画像透明度を高くし、カメラ2Cから外側に行けば行くほど画像透明度を低くするように加工してもよい。
さらに、ユーザーが操作部12を用いてスルー画像P1〜P5のうち注目するスルー画像を選択したとき、選択したスルー画像の画像透明度を低くするように加工してもよい。
本発明の多眼撮影システムの好ましい実施形態の概略を示す図 図1のカメラの外観を示す斜視図 本発明の多眼撮影システムの好ましい実施形態を示すブロック図 図3の表示制御部により表示部に表示される複数のスルー画像の様子を示す模式図 図3の表示制御部により表示部に表示される複数のスルー画像の様子を示す模式図 図3の表示制御部により表示部に表示される垂直ガイドラインおよび水平ガイドラインの様子を示す模式図 本発明の多眼撮影システムの調整用画像表示方法の好ましい実施形態を示すフローチャート 本発明の多眼撮影システムの第2の実施形態を示すブロック図 図8の表示制御部により表示部に表示される複数のスルー画像の様子を示す模式図 図8の多眼撮影システムにおける調整用画像表示方法の好ましい実施形態を示すフローチャート 本発明の多眼撮影システムの第3の実施形態を示すブロック図 図11の多眼撮影システムにおけるトリミング処理部によるトリミング処理の様子を示す模式図 図8の多眼撮影システムにおける調整用画像表示方法の好ましい実施形態を示すフローチャート
符号の説明
1、100、200 多眼撮影システム
2A〜2E カメラ
4 表示部
12 操作部
14 画像加工部
16 表示制御部
24 記録メディア
26 内部メモリ
100 多眼撮影システム
110 被写体検出部
120 位置判定部
210 範囲検出部
220 トリミング処理部
HL 水平ガイドライン
VL 垂直ガイドライン
P1〜P5 スルー画像
S 被写体

Claims (7)

  1. 被写体を複数のカメラで撮影して複数の画像を取得し、
    取得した前記複数の画像にスルー画像処理を施すことにより複数のスルー画像を生成し、
    生成した複数の前記スルー画像を重ねて表示部に表示するとともに、該表示部上の任意の位置に該表示部の垂直方向に延びる垂直ガイドラインと前記表示部の水平方向に延びる水平ガイドラインとを表示する
    ことを特徴とする多眼撮影システムにおける調整画像表示方法。
  2. 被写体を撮影して画像を取得する複数のカメラと、
    該複数のカメラにより取得された前記複数の画像にそれぞれスルー画像処理を施すことにより複数のスルー画像を生成する画像処理部と、
    該画像処理部により生成された前記複数のスルー画像を重ね合わせて表示部に表示するとともに、該表示部上の任意の位置に該表示部の垂直方向に延びる垂直ガイドラインと、前記表示部の水平方向に延びる水平ガイドラインとを表示する表示制御部と
    を備えたことを特徴とする多眼撮影システム。
  3. 前記表示制御部が、それぞれ異なる色もしくは濃度からなる前記複数のスルー画像を重ねて表示するものであることを特徴とする請求項2記載の多眼撮影システム。
  4. 前記表示制御部が、前記各カメラを識別するためのカメラ情報を前記スルー画像に対応した色分けもしくは濃度分けした状態で前記表示部上に表示するものであることを特徴とする請求項3記載の多眼撮影システム。
  5. 前記複数のスルー画像の中からそれぞれ前記被写体を検出する被写体検出部と、
    該被写体検出部により検出された前記被写体が前記表示部上の所定の範囲内に位置しているか否かを前記複数のスルー画像毎に判定する位置判定部と
    をさらに備え、
    前記表示制御部が、該位置判定部において前記被写体が前記所定の範囲内に位置していないスルー画像があると判定されたとき、判定された該スルー画像を識別可能に表示するものであることを特徴とする請求項2から4のいずれか1項記載の多眼撮影システム。
  6. 前記複数のスルー画像のすべてに含まれる撮影範囲を検出する範囲検出部と、
    該範囲検出部により検出された前記撮影範囲を用いて前記複数のスルー画像をトリミング処理を行うトリミング処理部と
    をさらに備えたことを特徴とする請求項2から5のいずれか1項記載の多眼撮影システム。
  7. 前記表示制御部が、前記複数のスルー画像をサムネイル表示する機能を有するものであることを特徴とする請求項2から6のいずれか1項記載の多眼撮影システム。
JP2007225912A 2007-08-31 2007-08-31 多眼撮影システムにおける調整用画像表示方法および多眼撮影システム Expired - Fee Related JP4851406B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007225912A JP4851406B2 (ja) 2007-08-31 2007-08-31 多眼撮影システムにおける調整用画像表示方法および多眼撮影システム
US12/201,419 US20090058878A1 (en) 2007-08-31 2008-08-29 Method for displaying adjustment images in multi-view imaging system, and multi-view imaging system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007225912A JP4851406B2 (ja) 2007-08-31 2007-08-31 多眼撮影システムにおける調整用画像表示方法および多眼撮影システム

Publications (2)

Publication Number Publication Date
JP2009060378A true JP2009060378A (ja) 2009-03-19
JP4851406B2 JP4851406B2 (ja) 2012-01-11

Family

ID=40406727

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007225912A Expired - Fee Related JP4851406B2 (ja) 2007-08-31 2007-08-31 多眼撮影システムにおける調整用画像表示方法および多眼撮影システム

Country Status (2)

Country Link
US (1) US20090058878A1 (ja)
JP (1) JP4851406B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011172093A (ja) * 2010-02-19 2011-09-01 Nikon Corp 撮像装置
JP2011172091A (ja) * 2010-02-19 2011-09-01 Nikon Corp 撮像装置
US9055171B2 (en) 2010-02-19 2015-06-09 Nikon Corporation Electronic device, imaging device, image reproduction method, image reproduction program, recording medium with image reproduction program recorded thereupon, and image reproduction device
JP2015185964A (ja) * 2014-03-20 2015-10-22 大日本印刷株式会社 画像データ生成システム、画像生成方法、画像処理装置及びプログラム

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI378329B (en) * 2008-02-12 2012-12-01 Shenzhen China Star Optoelect Method for controlling angle of display and self-adjusting display device
JP5430266B2 (ja) * 2009-07-21 2014-02-26 富士フイルム株式会社 画像表示装置および方法並びにプログラム
JP5235188B2 (ja) * 2009-12-07 2013-07-10 パナソニック株式会社 画像撮影装置
JP2012034215A (ja) * 2010-07-30 2012-02-16 Sony Corp 画像処理装置および方法、並びにプログラム
US8902322B2 (en) 2012-11-09 2014-12-02 Bubl Technology Inc. Systems and methods for generating spherical images
EP3120325B1 (en) * 2014-03-21 2018-06-06 Omron Corporation Method and apparatus for detecting and mitigating optical impairments in an optical system
CN107644392A (zh) * 2017-10-06 2018-01-30 湖北聚注通用技术研究有限公司 一种基于多视角的三维成像装置
US10687046B2 (en) * 2018-04-05 2020-06-16 Fyusion, Inc. Trajectory smoother for generating multi-view interactive digital media representations
JP7307643B2 (ja) 2019-09-25 2023-07-12 キヤノン株式会社 撮像装置、システム、撮像装置の制御方法、プログラム
JP2021052325A (ja) * 2019-09-25 2021-04-01 キヤノン株式会社 撮像装置、システム、撮像装置の制御方法、プログラム
JP7328849B2 (ja) 2019-09-25 2023-08-17 キヤノン株式会社 撮像装置、システム、撮像装置の制御方法、プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10155104A (ja) * 1996-11-22 1998-06-09 Canon Inc 複眼撮像方法及び装置並びに記憶媒体
JP2004080359A (ja) * 2002-08-16 2004-03-11 Fuji Photo Film Co Ltd デジタルカメラ及び撮影システム
JP2006020111A (ja) * 2004-07-02 2006-01-19 Pentax Corp カメラ
JP2006121229A (ja) * 2004-10-19 2006-05-11 Fuji Photo Film Co Ltd ステレオカメラ
JP2006352879A (ja) * 2005-06-17 2006-12-28 Fuji Xerox Co Ltd 映像フレーム内の事象を識別及び可視化する方法、及び、映像ストリーム内の事象のタイムラインを生成するためのシステム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4740836A (en) * 1983-12-05 1988-04-26 Craig Dwin R Compatible 3D video display using commercial television broadcast standards and equipment
DE69733233T2 (de) * 1996-09-11 2006-01-19 Canon K.K. Bildverarbeitung zur dreidimensionalen Wiedergabe von Bilddaten auf der Anzeige eines Bildaufnahmegeräts
JP2001320610A (ja) * 2000-05-02 2001-11-16 Nikon Corp 電子スチルカメラ
US7033172B2 (en) * 2003-04-16 2006-04-25 Eastman Kodak Company Dental positioning grid
JP4127521B2 (ja) * 2003-05-20 2008-07-30 富士フイルム株式会社 ディジタル・カメラおよびその制御方法
JP4195991B2 (ja) * 2003-06-18 2008-12-17 パナソニック株式会社 監視映像モニタリングシステム、監視映像生成方法、および監視映像モニタリングサーバ
JP4280656B2 (ja) * 2003-06-20 2009-06-17 キヤノン株式会社 画像表示装置およびその画像表示方法
US7453506B2 (en) * 2003-08-25 2008-11-18 Fujifilm Corporation Digital camera having a specified portion preview section
JP4082318B2 (ja) * 2003-09-04 2008-04-30 カシオ計算機株式会社 撮像装置、画像処理方法及びプログラム
JP4468370B2 (ja) * 2004-09-08 2010-05-26 日本電信電話株式会社 三次元表示方法、装置およびプログラム
US7990467B2 (en) * 2004-11-08 2011-08-02 Sony Corporation Parallax image pickup apparatus and image pickup method
US7623677B2 (en) * 2005-06-17 2009-11-24 Fuji Xerox Co., Ltd. Methods and interfaces for visualizing activity across video frames in an action keyframe
US8089563B2 (en) * 2005-06-17 2012-01-03 Fuji Xerox Co., Ltd. Method and system for analyzing fixed-camera video via the selection, visualization, and interaction with storyboard keyframes
US7996771B2 (en) * 2005-06-17 2011-08-09 Fuji Xerox Co., Ltd. Methods and interfaces for event timeline and logs of video streams
JP2007028555A (ja) * 2005-07-21 2007-02-01 Sony Corp カメラシステム,情報処理装置,情報処理方法,およびコンピュータプログラム
JP4508049B2 (ja) * 2005-09-05 2010-07-21 株式会社日立製作所 360°画像撮影装置
JP4264660B2 (ja) * 2006-06-09 2009-05-20 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10155104A (ja) * 1996-11-22 1998-06-09 Canon Inc 複眼撮像方法及び装置並びに記憶媒体
JP2004080359A (ja) * 2002-08-16 2004-03-11 Fuji Photo Film Co Ltd デジタルカメラ及び撮影システム
JP2006020111A (ja) * 2004-07-02 2006-01-19 Pentax Corp カメラ
JP2006121229A (ja) * 2004-10-19 2006-05-11 Fuji Photo Film Co Ltd ステレオカメラ
JP2006352879A (ja) * 2005-06-17 2006-12-28 Fuji Xerox Co Ltd 映像フレーム内の事象を識別及び可視化する方法、及び、映像ストリーム内の事象のタイムラインを生成するためのシステム

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011172093A (ja) * 2010-02-19 2011-09-01 Nikon Corp 撮像装置
JP2011172091A (ja) * 2010-02-19 2011-09-01 Nikon Corp 撮像装置
US9055171B2 (en) 2010-02-19 2015-06-09 Nikon Corporation Electronic device, imaging device, image reproduction method, image reproduction program, recording medium with image reproduction program recorded thereupon, and image reproduction device
US9167108B2 (en) 2010-02-19 2015-10-20 Nikon Corporation Electronic device, imaging device, image reproduction method, image reproduction program, recording medium with image reproduction program recorded thereupon, and image reproduction device
US9462141B2 (en) 2010-02-19 2016-10-04 Nikon Corporation Electronic device, imaging device, image reproduction method, image reproduction program, recording medium with image reproduction program recorded thereupon, and image reproduction device
US9888136B2 (en) 2010-02-19 2018-02-06 Nikon Corporation Electronic device, imaging device, image reproduction method, image reproduction program, recording medium with image reproduction program recorded thereupon, and image reproduction device
US10264146B2 (en) 2010-02-19 2019-04-16 Nikon Corporation Electronic device, imaging device, image reproduction method, image reproduction program, recording medium with image reproduction program recorded thereupon, and image reproduction device
US10764447B2 (en) 2010-02-19 2020-09-01 Nikon Corporation Electronic device, imaging device, image reproduction method, image reproduction program, recording medium with image reproduction program recorded thereupon, and image reproduction device
US11343387B2 (en) 2010-02-19 2022-05-24 Nikon Corporation Electronic device, imaging device, image reproduction method, image reproduction program, recording medium with image reproduction program recorded thereupon, and image reproduction device
US11882249B2 (en) 2010-02-19 2024-01-23 Nikon Corporation Electronic device, imaging device, image reproduction method, image reproduction program, recording medium with image reproduction program recorded thereupon, and image reproduction device
JP2015185964A (ja) * 2014-03-20 2015-10-22 大日本印刷株式会社 画像データ生成システム、画像生成方法、画像処理装置及びプログラム

Also Published As

Publication number Publication date
US20090058878A1 (en) 2009-03-05
JP4851406B2 (ja) 2012-01-11

Similar Documents

Publication Publication Date Title
JP4851406B2 (ja) 多眼撮影システムにおける調整用画像表示方法および多眼撮影システム
JP5243003B2 (ja) 画像処理装置および方法並びにプログラム
JP5963422B2 (ja) 撮像装置、表示装置、コンピュータプログラムおよび立体像表示システム
TWI311286B (ja)
US8274572B2 (en) Electronic camera capturing a group of a plurality of specific objects
KR20090039595A (ko) 구도 판정 장치, 구도 판정 방법, 프로그램
JP6380972B2 (ja) 画像処理装置および撮像装置
JP2010096962A (ja) Af枠自動追尾機能を備えたオートフォーカスシステム
JP2007281646A (ja) 電子カメラ
JP5214547B2 (ja) 画像表示装置および方法並びにプログラム
JP2010117663A (ja) オートフォーカスシステム
JP2011119995A (ja) 立体撮像装置及び立体撮像方法
JP5384172B2 (ja) オートフォーカスシステム
JP4596246B2 (ja) オートフォーカスシステム
US20130083169A1 (en) Image capturing apparatus, image processing apparatus, image processing method and program
US20130021442A1 (en) Electronic camera
JP5190882B2 (ja) 複眼撮影装置およびその制御方法並びにプログラム
JP2005020606A (ja) デジタルカメラ
JPH09305796A (ja) 画像情報処理装置
JP2011035642A (ja) 多眼撮影装置およびその調整方法並びにプログラム
JP6790038B2 (ja) 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
JP5125774B2 (ja) カメラ
JP4711073B2 (ja) オートフォーカスシステム
JP2009169884A (ja) 撮影装置および撮影装置の制御方法、画像再生装置および方法並びにプログラム
JP2008311691A (ja) 光軸調整装置および方法並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100226

RD15 Notification of revocation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7435

Effective date: 20110204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110927

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111020

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141028

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees