JP2018170630A - 撮像装置、撮像システムおよび撮像制御プログラム - Google Patents

撮像装置、撮像システムおよび撮像制御プログラム Download PDF

Info

Publication number
JP2018170630A
JP2018170630A JP2017066488A JP2017066488A JP2018170630A JP 2018170630 A JP2018170630 A JP 2018170630A JP 2017066488 A JP2017066488 A JP 2017066488A JP 2017066488 A JP2017066488 A JP 2017066488A JP 2018170630 A JP2018170630 A JP 2018170630A
Authority
JP
Japan
Prior art keywords
imaging
optical systems
lens
angle
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017066488A
Other languages
English (en)
Inventor
増喜 明彦
Akihiko Masuki
明彦 増喜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017066488A priority Critical patent/JP2018170630A/ja
Priority to US15/935,216 priority patent/US20180288322A1/en
Publication of JP2018170630A publication Critical patent/JP2018170630A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/10Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/10Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens
    • G02B7/102Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens controlled by a microcomputer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Lens Barrels (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

【課題】広視野の画像とそこに含まれる被写体の高画質な拡大画像とを1台で同時に取得できる撮像装置を提供する。
【解決手段】撮像装置は、複数の変倍光学系2A〜2Hを通した撮像により互いに連続するように繋ぎ合わせられる複数の画像を取得する。制御手段306は、複数の変倍光学系のうち第1の変倍光学系を望遠側に変倍動作させるときに第1の変倍光学系とは異なる第2の変倍光学系を広角側に変倍動作させる。
【選択図】図10

Description

本発明は、全方位撮像やパノラマ撮像等の広視野撮像を行う撮像装置に関する。
上記のような広視野撮像を行うための方法として、複数のカメラで得られる複数の撮像画像を連続した1つの画像となるように繋ぎ合わせる技術が知られている。広視野撮像を防犯等の監視目的に使用する場合には、撮像された画像の中から特定の被写体像を拡大して詳しく観察することが多い。従来はこのような場合に撮像画像中の一部を切り出して電子ズームを行うことで拡大している。ただし、電子ズームによる画質の劣化が問題となる。
特許文献1には、監視領域のほぼ全体を撮像可能な広角カメラと、雲台機構を有して外部からの信号に応じて撮像方向とズーム倍率の変更が可能な可動カメラとの2台で構成された撮像システムが開示されている。この撮像システムでは、広角カメラが取得した広視野画像から追跡対象となる被写体の位置を特定し、解像度の高い被写体の追跡画像が得られるように可動カメラの撮像方向やズーム倍率を制御する。
特開2015−194901号公報
しかしながら、特許文献1にて開示されている撮像システムでは、互いに離れた位置に配置された広角カメラと可動カメラを用いており、1台のカメラで広視野の画像と特定の被写体の拡大画像とを取得できるものではない。
本発明は、広視野の画像とそこに含まれる被写体の高画質な拡大画像とを1台で同時に取得することができるようにした撮像装置を提供する。
本発明の一側面としての撮像装置は、複数の変倍光学系を通した撮像により、互いに連続するように繋ぎ合わせられる複数の画像を取得する撮像手段と、複数の変倍光学系のそれぞれの変倍動作を制御する制御手段とを有する。制御手段は、複数の変倍光学系のうち第1の変倍光学系を望遠側に変倍動作させるときに第1の変倍光学系とは異なる第2の変倍光学系を広角側に変倍動作させることを特徴とする。
なお、上記撮像装置と、その制御手段に複数の変倍光学系の変倍動作を制御させる指示を入力する指示装置とを有する撮像システムも、本発明の他の一側面を構成する。
また、上記撮像装置のコンピュータに、第1の変倍光学系を望遠側に変倍動作させるときに第2の変倍光学系を広角側に変倍動作させる処理を実行させるコンピュータプログラムとしての撮像制御プログラムも、本発明の他の一側面を構成する。
本発明の撮像装置によれば、広視野の画像とそこに含まれる被写体の高画質な拡大画像とを1台の撮像装置で同時に取得することができる。
本発明の実施例である全方位カメラの外観斜視図。 実施例におけるレンズ鏡筒の斜視図。 実施例におけるレンズ鏡筒の分解斜視図。 実施例における2群鏡筒の分解斜視図。 実施例における2群鏡筒の正面図。 実施例におけるレンズ鏡筒の断面図(沈胴位置)。 実施例におけるレンズ鏡筒の断面図(WIDE位置)。 実施例におけるレンズ鏡筒の断面図(TELE位置)。 実施例のカメラの三脚を引き伸ばした状態を示す斜視図。 実施例のカメラの起動状態を示す斜視図。 実施例における画角配分を示す概念図。 実施例における起動状態でのレンズ画角(水平および鉛直線方向)を示す図。 実施例における望遠状態でのレンズ画角(水平および鉛直線方向)を示す図。 実施例のカメラにおける光学ズーム中の撮像を示す概念図。 実施例のカメラ(広角状態)により得られる全方位画像を示す図。 実施例のカメラ(望遠状態)により得られる全方位画像を示す図。 実施例のカメラ(望遠状態)の鉛直線方向視の断面図。 実施例のカメラを含む全方位撮像システムの構成を示すブロック図。 実施例のカメラの光学ズーム時における撮像制御処理を示すフローチャート。 実施例のカメラの光学ズーム中における撮像制御処理を示すフローチャート。
以下、本発明の実施例について図面を参照しながら説明する。
図1は、本発明の実施例である撮像装置としての全方位カメラの外観を示している。この全方位カメラは、互いに異なる方向を向いた複数の撮像光学系を通した撮像により得られた複数の画像(部分画像)を繋ぎ合わせて、水平360°および鉛直360°の撮像範囲の画像である全方位画像(合成画像)を生成する。
1はカメラ本体である。カメラ本体1は球形の外装部材1Aを有する。カメラ本体1の水平面内6箇所と鉛直線方向2箇所(上面部および下面部)にはそれぞれ、撮像レンズを収容したレンズ鏡筒2(2A〜2H)が該撮像レンズが互いに異なる方向を向くように保持(配置)されている。具体的には、レンズ鏡筒2A〜2Fがそれぞれ水平面内のうち互いに異なる方向を向き、レンズ鏡筒2G,2Hがそれぞれ鉛直線方向のうち互いに異なる方向である上側と下側を向いている。
鉛直線方向は、後述する内蔵三脚5を用いて水平なカメラ設置面にカメラ本体1を固定したときに重力を受ける方向に沿って直線が延びる方向であり、天地方向ともいう。水平面とはその鉛直線方向に対して直交する面であり、この水平面内に含まれる方向(方位)を水平方向という。合計8つのレンズ鏡筒2内の撮像レンズはいずれも焦点距離を変えるための変倍動作(光学ズーム)が可能な変倍光学系である。なお、変倍光学系は実際には撮像レンズに相当するが、以下の説明では撮像レンズを含むレンズ鏡筒を変倍光学系に相当するものとして説明する。
各レンズ鏡筒2の前端部には、撮像レンズの前面を開閉するレンズバリア20が設けられている。レンズバリア20の開閉は、カメラ本体1の上面部に配置された電源ボタン7のONとOFFに応じてレンズ鏡筒2が図1に示す沈胴状態とカメラ本体1から突出する突出状態との間で繰り出したり繰り込んだりする動作に連動して行われる。
また、カメラ本体1における上面部のレンズ鏡筒2(2G)と水平面内6箇所のレンズ鏡筒2(2A〜2F)との間には、カメラの周囲の被写体に均等に照明光を照射するリング状の照明部3が設けられている。また、カメラ本体1における下面部のレンズ鏡筒2(2H)と水平面内6箇所のレンズ鏡筒2(2A〜2F)との間には、3つの可動照明ユニット4と、カメラ本体1を安定的に水平に固定するための内蔵三脚(以下、単に三脚という)5とが設けられている。可動照明ユニット4は、図に示す格納位置からカメラ本体1から突出する任意の照明位置に位置を調節することができる。三脚5は、図に示す収納状態からユーザが脚部の長さと角度を任意で変えることができ、これによりカメラ設置面からのカメラ本体1の高さを調整することができる。格納位置から突出した可動照明ユニット4および三脚5は突出部材に相当する。
カメラ本体1の下面部には電池室6が設けられており、この電池室6に格納された電池からカメラ本体1への電源供給が行われる。さらに、カメラ本体1の上面部には、8つのレンズ鏡筒2のうち光学ズームを行わせるレンズ鏡筒2の選択とその光学ズームを指示するためのズームボタン8が設けられている。また、撮像準備動作(焦点調節動作および測光動作)および撮像動作(後述する撮像素子の露光)を開始させるためのレリーズボタン9も設けられている。
なお、光学ズーム、撮像準備動作および撮像動作は、パーソナルコンピュータやスマートフォン等の外部指示装置からの通信による遠隔操作も可能である。
図2は、カメラ本体1に8つ設けられたレンズ鏡筒2(2A〜2H)うちの1つを示している。レンズ鏡筒2は沈胴式鏡筒であり、カメラの電源OFF状態においてレンズ鏡筒2がカメラ本体1内に格納され、電源ON状態ではカメラ本体1から外側に繰り出すことで撮像が可能となる。また、前述したように電源OFF状態ではレンズバリア20が撮像レンズの前面を覆っているため、前面の傷付きや鏡筒内への塵埃の侵入等が防止される。
図3は、レンズ鏡筒2を分解して示している。撮像レンズは、不図示の1群レンズ、2群レンズおよび第3群レンズにより構成されている。21は1群レンズを保持するとともに、前述したレンズバリア20を備えた1群鏡筒である。22は光量を調節する絞りユニットである。23は2群レンズを保持するとともに、防振レンズ機構とシャッタを備えた2群鏡筒である。
24は移動カム環であり、その内周部には1群鏡筒21、絞りユニット22および2群鏡筒23を光軸方向に移動させるためのカム溝部が設けられている。移動カム環24の外周には、駆動モータ29からの駆動力が伝達されるギア部が設けられている。移動カム環24は、1群鏡筒21、絞りユニット22、2群鏡筒23および後述する直進筒25と固定筒27に対して光軸回りで回転可能に保持されており、駆動モータ29からの駆動力をギア部にて受けることで回転駆動される。直進筒25は、1群鏡筒21、絞りユニット22および2群鏡筒23を光軸方向にガイドし、それらの光軸回りで回転を阻止する。3群鏡筒26は、3群レンズを保持する。固定筒27は、1群鏡筒21、絞りユニット22、2群鏡筒23、移動カム環24および3群鏡筒26を光軸方向に移動可能に収容する。固定筒27の内周部には、移動カム環24を光軸方向に移動させるためのカム溝部が設けられている。
28は不図示の撮像素子を保持する撮像素子保持ユニットであり、固定筒27が固定されているとともに、前述した駆動モータ29を保持する。28aは鏡筒フレキシブル配線基板であり、撮像素子保持ユニット28に取り付けられている。鏡筒フレキシブル配線基板28aは、絞りユニット22の駆動部に接続された絞りフレキシブル配線基板221と2群鏡筒23のシャッタ駆動部に接続された2群フレキシブル配線基板231とに固定筒27の外側で接続される。
なお、上述レンズ鏡筒2の構成は例に過ぎず、沈胴式ではなく、内部でのレンズ移動のみで光学ズームを行うレンズ鏡筒であってもよい。
図4は、図3に示した2群鏡筒23における防振レンズ機構を分解して示している。また、図5には、光軸方向における被写体側から見た防振レンズ機構(ただし、後述する2群フレキシブル基板231およびセンサホルダ232を除く)を示している。239は2群鏡筒23の基台である2群ベースである。該2群ベース239には、前述した移動カム環24のカム溝部に係合するフォロアピン239aが3つ設けられている。また、2群ベース239における光軸回り方向の一部領域には、シャッタヨーク239bが取り付けられている。カバー部材239cは、シャッタヨーク239bに被写体側から被せられて2群ベース239に固定されている。シャッタヨーク239bと不図示のロータからなるシャッタアクチュエータは、通電方向の切り替えによってロータに設けられたアームの停止位置が切り替わる2点切替え式アクチュエータである。
235は2群レンズホルダであり、この2群レンズホルダ235には2群レンズ233(LS2)が有害光をカットするためのマスク部材234とともに接着等によって固定されている。また、2群レンズホルダ235には、マグネット235A,235Bが保持されている。以下の説明において、符号の添字A,Bはそれぞれ、図5に示したA方向(ピッチ方向)とB方向(ヨー方向)に対応している。マグネット235AはA方向にN極とS極が配置されるように、マグネット235BはB方向にN極とS極が配置されるように2群レンズホルダ235により保持されている。2群レンズホルダ235の2箇所にはフック235aが設けられており、それぞれのフック235aには引張りスプリング236の一端が掛けられている。
237A,237Bはコイルとボビンからなるコイルユニットである。コイルユニット237A,237Bは、2群ベース239におけるシャッタヨーク239bとは異なる位置であってマグネット235A,235Bに光軸方向にて対向する位置に設けられた凹部に接着等の固定手段によって固定されている。コイルへの給電はボビンに埋設されコイルと電気的に接続されたそれぞれの端子部に対して2群フレキシブル基板231を接続することで行なわれる。
2群レンズホルダ235に掛けられたスプリング236の他端は2群ベース239のフック239dに掛けられている。2群ベース239と2群レンズホルダ235との間に、3個の非磁性体であるボール238が挟まれている。スプリング236は、2群レンズホルダ235を2群ベース239に向けて光軸方向に付勢する。これにより、2群レンズホルダ235は、ボール238を介して2群ベース239に対して光軸方向にて押圧された状態になっている。2群レンズホルダ235は、ボール238を転動させながら光軸に直交する平面内でスムーズに移動(シフト)することができる。手振れ等のカメラ振れに応じて2群レンズホルダ235を上記平面内でシフトさせることにより、撮像素子上での像ぶれを抑制する防振制御を行うことができる。
センサホルダ232は、2群レンズホルダ235におけるマグネット235A,235Bおよびその周辺部分を被写体側から覆うように配置されて2群ベース239に固定される。センサホルダ232は、後述するホール素子231A,231Bを位置決めして保持する。
231は2群フレキシブル基板であり、前述したコイルユニット237A,237Bおよびシャッタアクチュエータが接続されている。また、2群フレキシブル基板231には、ホール素子231A,231Bが実装されている。ホール素子231A,231Bにより2群レンズホルダ235とともにシフトするマグネット235A,235Bからの磁界の変化を検出することで、光軸上の中立位置からの2群レンズホルダ235の移動量、つまりは位置を検出することができる。これにより、防振制御において2群レンズホルダ235の位置のフィードバック制御を行うことができる。
図6は、レンズ鏡筒2の沈胴状態(沈胴位置)での断面を示している。沈胴状態では、1、2および3群レンズLS1,LS2,LS3がそれらの間の間隔が最小になるように配置され、レンズバリア20は閉じている。
図7は、レンズ鏡筒2の広角端状態(Wide位置)での断面を示している。沈胴状態から駆動モータ29を駆動することで、1群鏡筒21および移動カム環24が固定筒27(カメラ本体1)から突出するように繰り出すとともに1、2および3群レンズLS1,LS2,LS3が図に示すような位置に配置されて撮像可能な状態となる。このとき、レンズ鏡筒2の画角は最大となり、後述する全方位画像において1つのレンズ鏡筒2を通して得られる画像領域が最も広くなる。
図8は、レンズ鏡筒2の望遠端状態(Tele位置)での断面を示している。広角端状態から駆動モータ29を駆動することで、1群鏡筒21および移動カム環24が広角端状態よりさらに固定筒27に対して繰り出すとともに1、2および3群レンズLS1,LS2,LS3が図に示すような位置に配置される。このとき、レンズ鏡筒2の画角は最小となり、全方位画像において1つのレンズ鏡筒2を通して得られる画像領域が最も狭くなる。なお、本実施例では、3つのレンズ群を有する変倍光学系を有するレンズ鏡筒を用いる場合について説明するが、レンズ群の数は3以外の数であってもよい。
全方位画像のうち特定の被写体の画像領域を拡大したい場合にその被写体を撮像しているレンズ鏡筒2のより望遠側への光学ズームを行うことで、その被写体の光学像を撮像素子上に拡大して投影することができる。このため、電子ズームのような画質劣化のない拡大された被写体画像を得ることができる。カメラに設けられた8つのレンズ鏡筒2はそれぞれ、広角端状態から望遠端状態までの範囲内で画角を連続的に変更することができる。
図9は、撮像前におけるカメラ本体1の準備としてユーザが三脚5を手動で引き出してカメラ設置面に固定する様子を示している。図1に示した収納状態から三脚5の3本の脚部5aをC方向に伸ばすことができ、3箇所の接地部5bによってカメラ本体1が支持される。3本の脚部5a間の角度はD方向にα〜βまで変更することが可能であり、各脚部5aの伸縮も可能であるため、それらを組み合わせてカメラ本体1の高さを自由に調整することができる。
なお、カメラ本体1内には3本の脚部5aの鉛直方向に対する角度を一致させる機構が内蔵されている。これによりカメラ設置面が水平であればカメラ本体1に設けられたレンズ鏡筒2A〜2Fを正確に水平方向に向かせるとともに、レンズ鏡筒2G,2Hをそれぞれ正確に鉛直線方向の上側(天側)と下側(地側)を向かせることができる。
図10は、ユーザによりカメラ本体1の上面部に設けられた電源ボタン7がON操作されてカメラが起動した状態を示している。電源OFF状態から全てのレンズ鏡筒2(2A〜2H)が繰り出してレンズバリア20が開き、撮像可能な状態となる。この状態で、8つのレンズ鏡筒2の画角が、水平360°に天地方向を加えた全方位撮像が行えるように設定される。
図11は、全方位撮像により得られる撮像画像である全方位画像における8つのレンズ鏡筒2A〜2Hに対する画像領域(以下、部分画像という)の配分を示している。水平360°のうちレンズ鏡筒2A〜2Fのそれぞれを通して得られる部分画像をImgA〜ImgFで示している。また、天側のレンズ鏡筒2Gと地側のレンズ鏡筒2Hのそれぞれを通して得られる部分画像をImgG,ImgHで示している。
部分画像間の境界線は、連続した1つの全方位画像を得るために隣り合う部分画像を繋ぎ合わせたスティッチ部である。本実施例では、レンズ鏡筒2A〜2Hのそれぞれを通して、部分画像よりも大きめの画像を取得する。そして、8つの取得画像のうち2つにおける部分画像より大きい周囲領域から共通の特徴点を検出し、この特徴点が重なり合うように該2つの取得画像を繋ぎ合わせることによって、スティッチ部にて被写体ずれがないように繋ぎ合わされた部分画像が得られる。このような繋ぎ合わせ処理を全ての取得画像に対して行うことで全方位画像が生成される。
図12(A)は、カメラ本体1を上側から見たときのレンズ鏡筒2(2A〜2F)の水平面内での画角を示している。水平面内にて周方向等角度間隔で配置された6つのレンズ鏡筒2A〜2Fの画角はそれぞれ、θ1である。そして、それぞれ周方向にて隣り合うレンズ鏡筒2の画角の一部同士が重なり合う半径R1の円よりも外側の領域で連続した360°の範囲の全方位撮像が可能となっている。R1はカメラ本体1の中心(レンズ鏡筒2Gの光軸位置)から連続した全方位撮像が可能となる位置までの距離であり、L1はカメラ本体1の中心からレンズ鏡筒2A〜2Fのそれぞれの先端までの距離である。L2はR1からL1を差し引いた全方位撮像至近距離、すなわちレンズ鏡筒2A〜2Fのそれぞれの画角間に不連続が生じない最短撮像距離を示す。
本実施例では、レンズ鏡筒2の画角を、撮像素子の短辺、長辺および対角を考慮した画角ではなく、単純な円錐状の画角として説明する。また、ズームによってレンズ鏡筒2の繰り出し量が変化するが、その変化量は全方位撮像至近距離L2に対して十分に小さく無視できるため、ズーム位置にかかわらずカメラ本体1の中心からレンズ鏡筒2A〜2Fのそれぞれの先端までの距離をL1とする。
図12(B)は、図12(A)に示した状態でのカメラ本体1を水平方向(図12(A)中の矢印方向)から見たときのレンズ鏡筒2A,2D,2G,2Hの鉛直面内での画角を示している。レンズ鏡筒2A,2Dの画角はそれぞれθ1である。一方、レンズ鏡筒2G,2Hのそれぞれの画角はθ2(>θ1)である。レンズ鏡筒2A,2D,2G,2Hの画角の一部が重なり合う半径R1の円よりも外側の領域で連続した全方位撮像が可能となっている。
図12(A)と同様に全方位撮像至近距離L2を得るためには、カメラ本体1の中心から連続した全方位撮像が可能となる位置までの距離をR1とする必要がある。ただし、鉛直面内では水平面内よりも全方位撮像に用いられるレンズ鏡筒2G,2Hの数が少ないため、これらレンズ鏡筒2G,2Hの画角をθ1より大きいθ2にしている。
カメラの起動時においては、例えば最短の全方位撮像至近距離L2が得られるようにレンズ鏡筒2A〜2Fの画角θ1とレンズ鏡筒2G,2Hの画角θ2を設定する。ただし、カメラの起動時においてより長い全方位撮像至近距離L2が得られるように、より狭い画角θ1,θ2を設定してもよい。
図13(A)は、図12(A),(B)に示した状態から特定被写体Pを拡大するためにレンズ鏡筒2A(第1の変倍光学系)のみに望遠側への光学ズーム(変倍動作)を行わせたカメラ本体1を上側から見て示している。レンズ鏡筒2Aの画角は点線で示したθ1からθ3(<θ1)に狭められる。このため、レンズ鏡筒2Aの両隣のレンズ鏡筒2B,2Fの画角が点線で示す元のθ1のままではこれらの一部とレンズ鏡筒2Aの画角とが重なり合わず、連続した全方位撮像ができなくなる。
そこで本実施例では、レンズ鏡筒2Aを通して取得される部分画像に繋ぎ合わされる部分画像を取得するレンズ鏡筒2B,2Fの画角をθ1よりも広角側のθ4(>θ1)に広げるように制御する。すなわち、レンズ鏡筒2B,2F(第2の変倍光学系)に広角側への光学ズームを行わせる。これにより、狭められたレンズ鏡筒2Aの画角に対してレンズ鏡筒2B,2Fの画角の一部を重ねることができ、連続した全方位撮像を行うことができる。このとき、レンズ鏡筒2B,2Fの画角θ4はレンズ鏡筒2Aの画角が変更される前と同じ全方位撮像至近距離L2(つまりは距離R1)が維持されるように算出および設定されることが望ましい。
なお、水平面内の他のレンズ鏡筒2C〜2Eの画角は変更されないため、レンズ鏡筒2B,2Cの画角の重なり領域およびレンズ鏡筒2E,2Fの画角の重なり領域が拡大し、それらのレンズ鏡筒付近の全方位撮像至近距離がL2より近くなる。この場合、ユーザに対して全方位撮像至近距離L2が一部の領域だけ短くなっていることを通知してもよいし、繋ぎ合わせ処理における特徴点の検出範囲を拡大してもよい。
図13(B)は、図13(A)に示した状態でのカメラ本体1を水平方向(図13(A)中の矢印方向)から見たときのレンズ鏡筒2A,2D,2G,2Hの鉛直面内での画角を示している。図13(A)と同様にレンズ鏡筒2Aの画角は点線で示したθ1からθ3(<θ1)に狭められる。このため、レンズ鏡筒2Aの天地方向における両隣のレンズ鏡筒2G,2Hの画角が点線で示す元のθ2のままではこれらの一部とレンズ鏡筒2Aの画角とが重なり合わず、連続した全方位撮像ができなくなる。
そこで本実施例では、レンズ鏡筒2G,2Fの画角をθ2よりも広角側のθ5(>θ2)に広げるように制御する。これにより、狭められたレンズ鏡筒2Aの画角に対してレンズ鏡筒2G,2Hの画角の一部を重ねることができ、連続した全方位撮像を行うことができる。
このとき、図13(A)で説明したようにレンズ鏡筒2G,2Hの画角θ5はレンズ鏡筒2Aの画角が変更される前と同じ全方位撮像至近距離L2(つまりは距離R1)が維持されるように算出および設定されることが望ましい。つまり、θ5の画角が図13(B)中のQ1とQ2を通るように設定されることが望ましい。しかし、レンズ鏡筒2G,2Hを広角端状態としてもそのような広い画角を設定できない場合は、図に示すように、全方位撮像至近距離L2から画角θ5で全方位撮像が可能となる全方位撮像至近距離L3(つまりは距離R2)への変更が必要となる。この場合、予め設定されていた全方位撮像至近距離L2では連続した全方位撮像を行えず、全方位撮像至近距離がL2からL3(>L2)になることの通知をユーザに対して行うことが望ましい。
このように、水平面内と鉛直面内とで全方位撮像を行うためのレンズ鏡筒2の数が異なる場合は、水平面内のレンズ鏡筒の撮像レンズと天地側のレンズ鏡筒の撮像レンズとで焦点距離や倍率を異ならせてもよい。
また、レンズ鏡筒が180°を超えるような超広画角の撮像レンズを備えている場合は、カメラ本体1によって光線がけられる可能性があるため、本実施例のようにレンズ鏡筒を被写体側に繰り出することが望ましい。
以上説明したように、8つのレンズ鏡筒2のうち例えばレンズ鏡筒2Aの望遠側への光学ズームを行う場合にこれに隣り合うレンズ鏡筒2B,2F,2G,2Hの広角側への光学ズームを行うことで連続した全方位撮像を維持することができる。ただし、これを可能にするためのレンズ鏡筒の配置角度と画角の間には条件が存在する。
図13(A)において水平面内で隣り合うレンズ鏡筒2A〜2F間の均等な配置角度(レンズ鏡筒2A〜2Fの光軸が互いになす角度)をθとする。レンズ鏡筒2Aのθ2の画角とレンズ鏡筒2Fのθ1の画角とが無限遠距離でも全く重なり合わないと、連続した全方位撮像ができない。無限遠距離でも画角が全く重なり合わないのは、レンズ鏡筒2Aの半画角θ3/2の端のラインとレンズ鏡筒2Fの半画角θ1/2の端のラインが平行より開くようにそれらライン間の角度Xが0以上であるからである。このため、角度Xが0より小さくなることが、隣り合うレンズ鏡筒の画角の一部同士が重なり合うための条件である。角度Xは上記配置角度θからレンズ鏡筒2Aの半画角θ3/2とレンズ鏡筒2Fの半画角θ1/2の和を引いたものである。すなわち、
X=θ−(θ3/2+θ1/2)<0
θ<θ3/2+θ1/2 …(1)
という関係が成立する。なお、θ3は第1の変倍光学系の画角θに、θ1は第2の変倍光学系の画角θにそれぞれ相当する。
このように本実施例では、望遠側への光学ズームを行ったレンズ鏡筒の画角の狭まりをその隣のレンズ鏡筒の広角側への光学ズームより広げた画角で補う。この際、これら隣り合うレンズ鏡筒の半画角の和は少なくともこれらレンズ鏡筒間の配置角度よりも大きいという条件を満足する必要がある。なお、式(1)は無限遠距離で連続した全方位撮像を行うための条件であるため、前述したように全方位撮像至近距離が無限遠距離より短く設定されている場合には、さらに半画角の和を増加させて画角の重なり量を拡大する必要がある。また、いずれの場合においても、別々のレンズ鏡筒を通して得られた部分画像の繋ぎ合わせ処理が必要であるため、繋ぎ合わせの余裕代としてさらに画角を広げた撮像を行うことが望ましい。
本実施例において光学ズームを使用することで、全方位画像と特定被写体の拡大画像とを同時に取得できる。全方位画像は複数のレンズ鏡筒2がそれぞれの画角を補い合うことで連続した画像として取得されるので、スティッチ部の位置は変わってもビューア上での見え方は変わらない。しかし、あるレンズ鏡筒の望遠側への光学ズームによって全方位画像に特定被写体の拡大画像が突然表示されることになると、これを見る人に違和感を与える。このため、本実施例では、図14に示すように、レンズ鏡筒2の変倍途中(光学ズーム中)に部分画像を連続的に取得する。ここでは、図13(A),(B)で説明したようにレンズ鏡筒2Aの望遠側への光学ズームを行うとともに、その隣のレンズ鏡筒2B,2F,2G,2Hの広角側への光学ズームを行う場合について説明する。図14中においてそれぞれのレンズ鏡筒2の付近に記したWは広角側をTは望遠側を示す。
カメラの起動状態からレンズ鏡筒2Aの望遠側への光学ズームが行われると、これと同時に前述した全方位撮像至近距離を満足するようにレンズ鏡筒2B,2F,2G,2Hの広角側への光学ズームが行われる。この光学ズームの開始時点から光学ズーム中の各レンズ鏡筒を通した撮像が始まる。これにより、広角側から望遠側への光学ズーム中のレンズ鏡筒2Aを通した複数の部分画像ImgA(1〜n)が順次取得される。また、望遠側から広角側への光学ズーム中のレンズ鏡筒2B,2F,2G,2Hを通した複数の部分画像ImgB(1〜n),ImgF(1〜n),ImgG(1〜n),ImgH(1〜n)が順次取得される。そして、レンズ鏡筒2A,2B,2F,2G,2Hのそれぞれを通して取得された1枚目の部分画像と光学ズームが行われていないレンズ鏡筒2C〜2Eを通して取得された部分画像とを繋ぎ合わせるで、1枚目の全方位画像が生成される。
レンズ鏡筒2C〜2Eの光学ズームを行わないのは、レンズ鏡筒2B,2F,2G,2Hが広角側、すなわちレンズ鏡筒2C〜2Eの画角との重なり領域が増加する方向に光学ズームしているからである。
同様にしてレンズ鏡筒2Aの光学ズームが終了する時点までレンズ鏡筒2A,2B,2F,2G,2Hのそれぞれを通してn枚の部分画像を取得し、n枚の全方位画像を取得する。
こうして得られたn枚の全方位画像をビューアに順次表示することで、特定被写体の拡大画像を高画質でかつ滑らかに拡大されるように(違和感を生じさせないように)表示させることができる。また、特定被写体の周辺に存在する他の被写体の拡大画像も徐々に変化するため、違和感の少ない全方位画像を得ることができる。
ここでは1つのレンズ鏡筒のみ望遠側への光学ズームを行う例について説明したが、全方位画像を取得する上で必ずしも主被写体が決まっている場合ばかりではない。そこで、広角側から望遠側への光学ズームを1つのレンズ鏡筒だけでなく全てのレンズ鏡筒で行う場合について説明する。これにより、本実施例では、8つのレンズ鏡筒2A〜2Hを通して8つの拡大画像を取得することができる。
この際、8つのレンズ鏡筒に1つずつ広角側から望遠側への光学ズームを行わせて8つのレンズ鏡筒に対応する拡大画像を順次取得してもよい。しかし、水平面内のレンズ鏡筒2A,2C,2Eの望遠側への光学ズームを同時に行いながら他のレンズ鏡筒2B,2D,2F,2G,2Hの広角側への光学ズームを同時に行うことで、レンズ鏡筒2A,2C,2Eを通した拡大画像をまとめて取得することができる。次に、レンズ鏡筒2B,2D,2Fの望遠側への光学ズームを同時に行いながら他のレンズ鏡筒2A,2C,2E,2G,2Hの広角側への光学ズームを同時に行うことで、レンズ鏡筒2B,2D,2Fを通した拡大画像をまとめて取得することができる。さらに、レンズ鏡筒2G,2Hの望遠側への光学ズームを同時に行いながら他のレンズ鏡筒2A〜2Fの広角側への光学ズームを同時に行うことで、レンズ鏡筒2G,2Hを通した拡大画像をまとめて取得することができる。
このように複数のレンズ鏡筒の光学ズームを同時に行うことで、光学ズームを1つのレンズ鏡筒ずつ行う場合に比べて、全てのレンズ鏡筒を通した拡大画像を少ない撮像回数で短時間に取得することができ、さらに画像データ量を削減することもできる。
図15は、高層ビル街の風景を図10に示したカメラによる全方位撮像により取得した全方位画像の例を示している。30はビル群であり、31は木々である。32は地面であり、33は空である。点線SGは天側のレンズ鏡筒2Gを通して得られた部分画像(点線SGより内側の画像)と水平面内のレンズ鏡筒2A〜2Fを通して得られた部分画像(点線SGより外側の画像)とのスティッチ部ある。また、点線SHは地側のレンズ鏡筒2Hを通して得られた部分画像(点線SHより外側の画像)と水平面内のレンズ鏡筒2A〜2Fを通して得られた部分画像(点線SHより内側の画像)とのスティッチ部ある。
このような全方位画像では、スティッチ部SG,SHがビル群30や木々31等の被写体に重なっており、特にビル群30の窓は同じ形が連続して繰り返される被写体であるために特徴点を誤検出し易い。この結果、スティッチ部が歪んだり不連続となったりして不自然な全方位画像が生成されるおそれがある。
そこで本実施例では、カメラ本体1に部分画像のコントラストを検出するコントラス検出手段としての機能を持たせる。そして、部分画像においてコントラストが高いビル群30を含む高コントラスト領域(第1の領域)とコントラストが低い地面32や空33等を含む低コントラスト領域(第2の領域)を判別させる。さらに、スティッチ部SG,SHが低コントラスト領域に含まれる部分画像を生成できるようにレンズ鏡筒2G,2Hの光学ズームを行う。この際、レンズ鏡筒2G,2Hの画角の変化を補うように他のレンズ鏡筒2A〜2Fの光学ズームも行う。
具体的には、レンズ鏡筒2G,2H(第1の変倍光学系)の望遠側への光学ズームとレンズ鏡筒2A〜2F(第2の変倍光学系)の広角側への光学ズームとを行う。これにより、点線で示されているスティッチ部(繋ぎ合わせ領域)SG,SHを実線で示されるスティッチ部SG′,SH′に移動させる。このような光学ズーム処理により、スティッチ部が歪んだり不連続となったりして不自然な全方位画像が生成されるおそれを低減することができる。
なお、コントラストの判別後にスティッチ部が低コントラスト領域に含まれる部分画像を新たに取得してもよいが、前述した光学ズーム中に取得した複数の部分画像の中から抽出してもよい。
図16は、図13(A),(B)で説明したようにレンズ鏡筒2Aの望遠側への光学ズームを行うとともにレンズ鏡筒2B,2F,2G,2Hの広角側への光学ズームを行ったときに得られる全方位画像を示す。変倍光学系には、変倍に応じて明るさ(F値)変化するものがある。具体的には、望遠側の変倍に伴って暗く(F値が大きく)なっていく。ここでは、変倍に応じてF値が変化するレンズ鏡筒を使用している場合の明るさ補正について説明する。
図中の部分画像ImgAは、レンズ鏡筒2C〜2Eよりも望遠側の変倍状態(ズーム倍率)にあるレンズ鏡筒2Aを通して得られた画像である。部分画像ImgB,ImgF,ImgGおよびImgHはそれぞれ、レンズ鏡筒2C〜2Eよりも広角側の変倍状態にあるレンズ鏡筒2B,2F,2G,2Hのそれぞれを通して得られた画像である。部分画像ImgAはレンズ鏡筒2C〜2を通して得られた部分画像ImgC〜ImgEに比べて暗い画像であり、部分画像ImgB,ImgF,ImgGおよびImgHは部分画像2C〜2Eより明るい画像である。
水平面内と鉛直面内でのレンズ鏡筒2の配置数の違いによりそれぞれのレンズ鏡筒2の元々の画角が異なることに加えて、それぞれのレンズ鏡筒2のズーム倍率が異なることによってF値が異なり、得られる部分画像の明るさも異なる。これにより、全方位画像におけるスティッチ部に輝度差が生じる。
このため、本実施例では、カメラ本体1に輝度補正手段としての機能を持たせる。この輝度補正機能は、予めズーム倍率に応じて決まっているF値の差を明るさの段数に換算し、該段数を用いて部分画像の輝度補正(輝度制御)を行う。
この輝度補正は、8つのレンズ鏡筒2のうちF値を含む光学条件が同じレンズ鏡筒の数が最も多いものに合わせるように行ってもよいし、ユーザが予め決められるようにしておいてもよい。全方位画像内にはどこかに必ず太陽や照明等の高輝度被写体が存在する可能性が高いため、明るさが均一であることが少なく撮像環境による輝度補正をする必要がある。その撮像環境に応じた輝度補正の前にカメラ本体1内でズーム倍率の差に応じたF値の差を補正する輝度補正を行うことによって、最終的にスティッチ部での輝度差が少ない自然な全方位画像を取得することが可能となる。
図17は、図13(A)に示したようにレンズ鏡筒2C〜2Eよりも望遠側にレンズ鏡筒2Aの光学ズームを行い、広角側にレンズ鏡筒2B,2Fの光学ズームを行った状態でのカメラ本体1を図中に示した平面Zで切断したときの断面を示している。カメラ本体1の球形の外装部材は図示を省略している。
一般に変倍光学系の入射瞳位置(以下、ノーダルポイントという)は、最も被写体側に配置されるレンズ群(本実施例では1群レンズLS1)付近に位置し、望遠側に変倍すると画角が狭くなることに伴ってノーダルポイントは撮像面側に移動する。複数のレンズ鏡筒を通した撮像により得られた複数の部分画像を繋ぎ合わせてパノラマ画像や全方位画像を生成する場合には、複数のレンズ鏡筒のノーダルポイントを極力近づけて該複数のレンズ鏡筒を通して得られる部分画像間の視差を少なくすることが望ましい。これにより、部分画像を滑らかに繋ぎ合わせることができる。本実施例では、レンズ鏡筒2A〜2Fのノーダルポイントを一致させるように近づけることはできないが、これに代わる方法として、これらレンズ鏡筒2A〜2FのノーダルポイントP2A〜P2Fを同一円上に配置する方法について説明する。
カメラ本体1内には、各レンズ鏡筒2(2A〜2F)に対して、駆動モータ29とは別の不図示の駆動源によってレンズ鏡筒2全体を光軸方向に移動させる移動機構Mが設けられている。不図示の位置センサによりレンズ鏡筒2の光軸方向での位置を検出するとともにそのレンズ鏡筒2のズーム倍率(ズーム位置)を検出し、ズーム倍率が変化してもノーダルポイントが所定の同一円C上に位置するように移動機構Mを制御する。ノーダルポイントの位置はズーム倍率に応じて光学的に決まっているため、ズーム倍率ごとのノーダルポイントの位置を所定の基準位置(例えば広角端状態での位置)からの差分量として不図示のメモリに記憶しておけばよい。そして、検出したズーム倍率に対応する差分量をキャンセルするように移動機構Mによりレンズ鏡筒2を移動させればよい。
図17においては、レンズ鏡筒2C〜2Eの光軸方向での位置Pを基準として、望遠側への光学ズームを行ったレンズ鏡筒2A全体を移動機構Mにより被写体側に移動させ、広角側への光学ズームを行ったレンズ鏡筒2B,2F全体を撮像面側に移動させる。これにより、レンズ鏡筒2A〜2Fのズーム倍率が異なっていても、これらレンズ鏡筒2A〜2FのノーダルポイントP2A〜P2Fを同一円C上に位置させることができ、レンズ鏡筒2A〜2Fを通して得られる部分画像間の視差をほぼ一致させることができる。したがって、複数の部分画像の繋がりが自然な全方位画像を生成することができる。
なお、レンズ鏡筒2A〜2FのノーダルポイントP2A〜P2Fを位置させるべき同一円とは、その径方向にある幅を持った円を意味する。その幅とは、レンズ鏡筒2A〜2Fを通して取得される部分画像の視差がそれらの繋ぎ合わせにおいて問題とならないノーダルポイントのずれの許容範囲に相当する。
図17では、水平面内に配置されたレンズ鏡筒2A〜2Fのノーダルポイントを同一円上に配置するように移動機構Mを制御する場合について説明したが、図13(B)に示した鉛直面内に配置されたレンズ鏡筒2G,2H,2A,2Dにも適用することができる。また、複数のレンズ鏡筒をそれらの光路が互いに交差するように配置して、これら複数のレンズ鏡筒のズーム倍率の変更によるノーダルポイントの移動をキャンセルするようにレンズ鏡筒を移動させてもよい。
図18は、カメラ本体1のシステム構成を示している。レンズ鏡筒2(2A〜2H)はそれぞれ、光学ユニット300(1〜3群鏡筒21〜22)、撮像素子301およびモータ駆動部302(駆動モータ29)を備えている。光学ユニット300は、モータ駆動部302によって光軸方向に移動される。このときの移動量は、制御手段としてのCPU306から駆動制御部305を介してモータ駆動部302に制御信号として伝達される。また、各レンズ鏡筒2に対しては図17に示した移動機構Mが設けられている。
光学ユニット300により形成された被写体像は、撮像素子ドライバ303により駆動される撮像素子301によって電気信号に変換される。CPU306は、撮像素子ドライバ303を介して撮像素子301の駆動を制御する。
画像処理部304は、各レンズ鏡筒2の撮像素子301から出力されたアナログ撮像信号をA/D変換し、得られたデジタル撮像信号としての部分画像に対して前述したレンズ鏡筒2のズーム倍率ごとのF値に応じた輝度補正等を行う。画像処理部304は、輝度補正手段として機能する。また、画像生成手段としての画像処理部304は、各レンズ鏡筒2から得られた部分画像に対する階調補正やホワイトバランス等の画像処理を行う。レンズ鏡筒2(2A〜2H)、それぞれに設けけられた撮像素子301および画像処理部304により撮像手段が構成される。
画像生成部309は、画像処理部304で生成された8つのレンズ鏡筒2からの部分画像に対する繋ぎ合わせ処理を行って全方位画像を生成する。この際、コントラスト検出手段として機能する画像生成部309は、各部分画像のコントラストを検出し、部分画像における高コントラスト領域と低コントラスト領域を判定する。CPU306は、この判定結果を受けて、部分画像の低コントラスト領域にスティッチ部が含まれるようにするために必要なレンズ鏡筒2の光学ズームを行わせる。
メモリ307は、揮発性メモリもしくは不揮発性メモリからなり、部分画像や全方位画像等の撮像データを一時的に格納したり、CPU306が実行する処理プログラムを格納したりする。圧縮処理部308は、撮像データをJPEG等の符号化方式で圧縮符号化する。通信制御部310は、圧縮符号化された撮像データを外部に送信する。
なお、部分画像の繋ぎ合わせ処理を行って全方位画像を生成する画像生成部309は必ずしも全方位カメラ内に設けなくてもよい。すなわち、部分画像の撮像データを通信制御部310を介して外部のパーソナルコンピュータ等の画像生成装置に送り、該画像生成装置にて全方位画像を生成するようにしてもよい。
被写体検出部311と被写体判定部312は全方位画像において拡大する特定被写体を認識し、該特定被写体を撮像しているレンズ鏡筒2を判定する。CPU306は、その判定結果に基づいて、特定被写体を撮像しているレンズ鏡筒2に望遠側への光学ズームを行わせるとともに、それと隣り合うレンズ鏡筒2に広角側への光学ズームを行わせる。
また、CPU306は、通信制御部310を介した有線または無線通信によって、パーソナルコンピュータやスマートフォン等の外部指示装置400から特定のレンズ鏡筒2の望遠側への光学ズームを指示するコマンド(指示)の入力を受け付ける。CPU306は、そのコマンドに従って特定のレンズ鏡筒2に望遠側への光学ズームを行わせるとともに、それと隣り合うレンズ鏡筒2に広角側への光学ズームを行わせる。これにより、全方位カメラと外部指示装置400を含む全方位撮像システムが構成される。
図19のフローチャートは、図13(A),(B)で説明した特定被写体Pの拡大画像を取得する際の撮像制御処理を示す。コンピュータとしてのCPU306は、コンピュータプログラムである撮像制御プログラムに従って本処理を実行する。
ステップS01では、CPU306は、全方位撮像を行って全方位画像を取得する。そして、CPU306は、この全方位画像から被写体検出部311が人物等の特定被写体Pを検出したか否かを判定する。特定被写体Pを検出しなかった場合は、CPU306はステップS01の判定を繰り返す。特定被写体Pを検出した場合は、CPU306はステップS02に進み、8つのレンズ鏡筒2(2A〜2H)のうち被写体判定部312に検出された特定被写体Pを撮像しているレンズ鏡筒2(以下、レンズ鏡筒2Aとする)を判定させる。ここで、特定被写体Pの一例は、予め設定されていた検出条件を満たす被写体であって、画像から自動的に検出される。
次にステップS03では、CPU306は駆動制御部305を介してレンズ鏡筒2Aに望遠側への光学ズーム(ズームイン)を行わせる。このとき、CPU306は、特定被写体Pがレンズ鏡筒2Aの画角内にて最も大きく撮像されるようにズームインを行わせる。また、CPU306は、ステップS04にて、駆動制御部305を介してレンズ鏡筒2Aと隣り合うレンズ鏡筒(周辺レンズ鏡筒)2B,2F,2G,2Hに広角側への光学ズーム(ズームアウト)を行わせる。これにより、レンズ鏡筒2Aの望遠端への光学ズームによって狭まった画角を補わせる。この際、CPU306は、レンズ鏡筒2B,2F,2G,2Hの広角側へのズーム量を前述した全方位撮像至近距離L2を満足するように計算する。また、ステップS03〜S04において、CPU306は、レンズ鏡筒2A,2B,2F,2G,2Hの光学ズームに伴ってこれらのノーダルポイントの位置が同一円上に位置するようにそれぞれの移動機構Mを制御する。
次にステップS05では、CPU306は、画角の欠損がない全方位画像を取得できたか否かを判定する。画角欠損がある場合とは、レンズ鏡筒2B,2F,2G,2Hが全方位撮像至近距離L2を満足するような光学ズームを行えない場合や、レンズ鏡筒2B,2F,2G,2Hの画角が無限遠距離においてもレンズ鏡筒2Aの画角の一部に重ならない場合である。
画角欠損があった場合は、CPU306はステップS04に戻り、レンズ鏡筒2B,2F,2G,2Hのさらなる広角側への光学ズームを行わせる。これを画角欠損がなくなるまで繰り返す。一方、画角欠損がない場合は、CPU306はステップS06に進み、画像生成部309に画像処理部304で生成された8つの部分画像の繋ぎ合わせ処理を行わせて全方位画像を生成させる。そして、ステップS07において、全方位画像をメモリ307に保存して本処理を終了する。
図20は、図16を用いて説明した光学ズーム中に特定被写体Pの拡大画像を順次取得する際の撮像制御処理を示す。コンピュータとしてのCPU306は、上述した撮像制御処理プログラムに従って本処理を実行する。
ステップS11とステップS12は、図19に示したステップS01とステップS02と同じである。ここでも、特定被写体Pを撮像しているレンズ鏡筒2がレンズ鏡筒2Aと判定されたものとする。次にステップS13において、CPU306は、画像生成部309に画像処理部304で生成された8つの部分画像の繋ぎ合わせ処理を行わせて全方位画像を生成させる。そして、ステップS14において該全方位画像をメモリ307に保存する。
続いて、ステップS15では、CPU306は、特定被写体Pがレンズ鏡筒2Aの画角内にて最も大きく撮像されるようにレンズ鏡筒2Aがズームインされた状態か否かを判定する。レンズ鏡筒2Aがズームインされた状態である場合は本処理を終了する。一方、レンズ鏡筒2Aがズームインされた状態でなければ、CPU306はステップS16に進み、駆動制御部305を介して、ユーザが予め設定したズーム量だけレンズ鏡筒2Aに望遠側への光学ズームを行わせる。このズーム量が望遠端までの光学ズーム中に取得する複数の拡大画像の拡大ピッチとなり、これをより細かく設定することによって、後にビューアに全方位画像を表示した状態から特定被写体Pの拡大画像を表示する際により滑らかに特定被写体Pが拡大されていく。
またCPU306は、レンズ鏡筒2Aの望遠側への光学ズームごとに、駆動制御部305を介してレンズ鏡筒2Aと隣り合うレンズ鏡筒(周辺レンズ鏡筒)2B,2F,2G,2Hに広角側への光学ズームを行わせる。これにより、レンズ鏡筒2Aの望遠端への光学ズームによって狭まった画角を補わせる。この際、CPU306は、レンズ鏡筒2B,2F,2G,2Hの広角側へのズーム量を前述した全方位撮像至近距離L2を満足するように計算する。
ステップS18は、図19のステップS05と同じである。画素欠損がある場合は、CPU306はステップS17に戻り、レンズ鏡筒2B,2F,2G,2Hのさらなる広角側への光学ズームを行わせる。これを画角欠損がなくなるまで繰り返す。一方、画角欠損がない場合は、CPU306はステップS13に戻り、全方位画像の生成と保存(ステップS14)を行う。
本実施例では、各レンズ鏡筒が3群タイプの変倍光学系を有する場合について説明したが、これは例であり、他のタイプの変倍光学系であってもよい。
(その他の実施例)
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
1 カメラ本体
2(2A〜2H) レンズ鏡筒
306 CPU

Claims (11)

  1. 複数の変倍光学系を通した撮像により、互いに連続するように繋ぎ合わせられる複数の画像を取得する撮像手段と、
    前記複数の変倍光学系のそれぞれの変倍動作を制御する制御手段とを有し、
    前記制御手段は、前記複数の変倍光学系のうち第1の変倍光学系を望遠側に変倍動作させるときに前記第1の変倍光学系とは異なる第2の変倍光学系を広角側に変倍動作させることを特徴とする撮像装置。
  2. 前記第1および第2の変倍光学系は、前記複数の画像のうち互いに繋ぎ合わされる2つの画像の取得に用いられることを特徴とする請求項1に記載の撮像装置。
  3. 前記撮像手段は、前記第1および第2の変倍光学系を変倍動作させる途中に前記複数の変倍光学系のうち少なくとも該第1および第2の変倍光学系を通した撮像を行うことを特徴とする請求項1または2に記載の撮像装置。
  4. 前記複数の画像のそれぞれのコントラストを検出するコントラスト検出手段を有し、
    前記制御手段は、前記複数の画像のうち互いに繋ぎ合わされる2つの画像のそれぞれに高コントラストの第1の領域と該第1の領域よりも低コントラストの第2の領域とを検出した場合、該2つの画像における前記第2の領域が繋ぎ合わせ領域となるように前記第1および第2の変倍光学系を変倍動作させることを特徴とする請求項1から3のいずれか一項に記載の撮像装置。
  5. 前記複数の画像のそれぞれの輝度を、前記複数の変倍光学系の変倍状態に応じたF値に基づいて制御する輝度補正手段を有することを特徴とする請求項1から4のいずれか一項に記載の撮像装置。
  6. 前記複数の変倍光学系をそれぞれの光軸方向に移動させる移動機構を有しており、
    前記制御手段は、前記第1および第2の変倍光学系の変倍動作に応じて、前記複数の変倍光学系の入射瞳が同一円上に位置するように前記移動機構を制御することを特徴とする請求項1から5いずれか一項に記載の撮像装置。
  7. 前記制御手段は、前記複数の変倍光学系のそれぞれの画角が、該画角間に不連続が生じない最短撮像距離に応じた画角となるように該複数の変倍光学系を変倍動作させる制御を行うことを特徴とする請求項1から6のいずれか一項に記載の撮像装置。
  8. 前記第1および第2の変倍光学系の光軸が互いになす角度をθとし、前記第1および第2の変倍光学系の画角をそれぞれθとθとするとき、
    θ<θ/2+θ/2
    なる条件を満たすことを特徴とする請求項1から7のいずれか一項に記載の撮像装置。
  9. 前記複数の画像を互いに繋ぎ合わせて合成画像を生成する画像生成手段を有することを特徴とする請求項1から8のいずれか一項に記載の撮像装置。
  10. 請求項1から9のいずれか一項に記載の撮像装置と、
    前記制御手段に前記複数の変倍光学系の変倍動作を制御させる指示を入力する指示装置とを有することを特徴とする撮像システム。
  11. 複数の変倍光学系を通した撮像により、互いに連続するように繋ぎ合わせられる複数の画像を取得する撮像装置のコンピュータに該撮像装置を制御させるコンピュータプログラムであって、
    前記コンピュータに、
    前記複数の変倍光学系のそれぞれの変倍動作を制御する制御処理を実行させ、
    前記制御処理において、前記複数の変倍光学系のうち第1の変倍光学系を望遠側に変倍動作させるときに前記第1の変倍光学系とは異なる第2の変倍光学系を広角側に変倍動作させることを特徴とする撮像制御プログラム。
JP2017066488A 2017-03-30 2017-03-30 撮像装置、撮像システムおよび撮像制御プログラム Pending JP2018170630A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017066488A JP2018170630A (ja) 2017-03-30 2017-03-30 撮像装置、撮像システムおよび撮像制御プログラム
US15/935,216 US20180288322A1 (en) 2017-03-30 2018-03-26 Image-capturing apparatus and image-capturing control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017066488A JP2018170630A (ja) 2017-03-30 2017-03-30 撮像装置、撮像システムおよび撮像制御プログラム

Publications (1)

Publication Number Publication Date
JP2018170630A true JP2018170630A (ja) 2018-11-01

Family

ID=63671199

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017066488A Pending JP2018170630A (ja) 2017-03-30 2017-03-30 撮像装置、撮像システムおよび撮像制御プログラム

Country Status (2)

Country Link
US (1) US20180288322A1 (ja)
JP (1) JP2018170630A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109331471A (zh) * 2018-11-28 2019-02-15 网易(杭州)网络有限公司 数据监测方法及装置、电子设备、存储介质
CN111698413B (zh) * 2019-03-13 2021-05-14 杭州海康威视数字技术股份有限公司 一种对象的图像获取方法、装置及电子设备
AU2022200797A1 (en) * 2022-02-04 2023-08-24 Kelvin Chin Yeoh Lim All seeing eyes housing system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6552315B2 (ja) * 2015-07-27 2019-07-31 キヤノン株式会社 撮像装置
US9992502B2 (en) * 2016-01-29 2018-06-05 Gopro, Inc. Apparatus and methods for video compression using multi-resolution scalable coding
US10194089B2 (en) * 2016-02-08 2019-01-29 Qualcomm Incorporated Systems and methods for implementing seamless zoom function using multiple cameras

Also Published As

Publication number Publication date
US20180288322A1 (en) 2018-10-04

Similar Documents

Publication Publication Date Title
US10284780B2 (en) Auto focus and optical image stabilization with roll compensation in a compact folded camera
CN105376475B (zh) 图像稳定装置及图像稳定装置的控制方法
WO2015098305A1 (ja) 撮影装置、撮影方法及びプログラム
US10587809B2 (en) Continuous shooting device, continuous shooting method and continuous shooting control method using preliminary and calculated parameter values
JP2014143545A (ja) 撮影機器
WO2020003942A1 (ja) レンズ鏡筒及び撮像装置
JP6260614B2 (ja) 撮影装置及び撮影制御システム
JP2018170630A (ja) 撮像装置、撮像システムおよび撮像制御プログラム
US9398220B2 (en) Shake correction apparatus and image pickup apparatus thereof, and optical device mountable on image pickup apparatus
JP5447555B2 (ja) 振れ補正装置、レンズ鏡筒、カメラボディ、およびカメラシステム
JP2016005160A (ja) 撮像装置およびその制御方法
JP2016005160A5 (ja)
JP2008203312A (ja) カメラシステムおよびカメラボディ
CN109428999B (zh) 图像处理设备和方法、摄像设备、镜头设备及存储介质
JP6350538B2 (ja) 撮影装置及びその制御方法
CN110891140B (zh) 摄像装置、图像处理装置及其控制方法和存储介质
WO2010131727A1 (ja) デジタルカメラ
JP2019020536A (ja) 撮像装置
US10652460B2 (en) Image-capturing apparatus and image-capturing control method
JP7016722B2 (ja) 撮像装置、および撮像制御プログラム
JP2018169488A (ja) 撮像装置、撮像システムおよび撮像制御プログラム
JP6231768B2 (ja) 撮像装置及びその制御方法
JP2004056222A (ja) 撮像装置、撮像装置の制御方法、プログラム、及びコンピュータ読み取り可能な記憶媒体
JP2010160176A (ja) カメラシステムのマウントアダプター
KR101873987B1 (ko) 멀티스케일 이미징 시스템