JP2004242047A

JP2004242047A - Image pickup device

Info

Publication number: JP2004242047A
Application number: JP2003028991A
Authority: JP
Inventors: Takeshi Minagawa; 剛皆川; Masami Yamazaki; 眞見山崎
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2003-02-06
Filing date: 2003-02-06
Publication date: 2004-08-26
Anticipated expiration: 2023-02-06
Also published as: JP4200778B2

Abstract

<P>PROBLEM TO BE SOLVED: To make it possible to obtain image data which are closer to the image data picked up with an image pickup means of high resolution as image data compared to those of the image pickup device of conventional techniques when trying to obtain the image data of high resolution by using a plurality of image pickup means. <P>SOLUTION: The device is provided with processing for setting a reference focus point distance and processing for controlling the focus point distance of each image pickup means depending on the reference focus point distance. The focus point distances of the respective image pickup means are controlled so that the focus planes of respective image pickup means cross the focus plane common to the entire image pickup device or the focus planes of the respective adjacent image pickup means cross one another. Thus, such problems of the conventional image pickup device equipped with the plurality of image pickup means are solved that: because each image pickup means individually determines its own focus point distance, the degree of blur of a subject differs greatly from images picked up by using a single image pickup means of high resolution and a sense of incongruity is caused when the image data picked up by the respective image pickup means are combined to obtain final image data; and that the degree of blur of the subject in the vicinity of a joint differs greatly and the picture quality deterioration of the synththyzed image data is caused when the image data are combined. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、複数の撮像手段を用いた撮像装置に関する。
【０００２】
【従来の技術】
複数の撮像手段を用いて高解像度の画像を撮像する技術として、特許文献１に記載の撮像装置がある。該装置は、ズーム機構を有する複数の撮像手段を用い、逐次、ズーム量と撮像姿勢とを制御することにより、画角の変化にも対応できる高解像度の撮像装置を実現するものである。
【０００３】
【特許文献１】特開２００２−５７９３８号公報
【０００４】
【発明が解決しようとする課題】
前記撮像装置を１つの高解像度な撮像手段の代替として用いようとした場合、次のような課題があった。
【０００５】
前記撮像装置においては、各撮像手段のズーム量、すなわち焦点距離だけを制御し、フォーカス、すなわち合焦点距離に関する配慮がなされていなかった。しかし、前記撮像装置のように複数の撮像手段を用いて高解像度の画像を撮像する撮像装置において、各々の撮像手段が独立に、該撮像手段にとって最適となるように合焦点距離を調整するような構造にしてしまうと、個々の撮像手段が撮像した画像データを合成して最終的な画像データを得ようとした場合に、１つの高解像度な撮像手段で撮像する場合に対して被写体のぼけ具合が大きく違ってしまうことがあり、違和感を与える原因となっていた。また、画像データを合成する場合に、繋ぎ目付近での被写体のぼけ具合が大きく違ってしまうことがあり、合成した画像データの画質の劣化につながっていた。
【０００６】
本発明は、この課題を改善すべくなされたものである。すなわち、複数の撮像手段を用いて高解像度の画像データを得ようとする場合に、従来の技術による撮像装置に比べて、該画像データとして１つの高解像度な撮像手段で撮像した画像データにより近いものが得られるようにすることを目的とする。
【課題を解決するための手段】
本発明では前記課題を解決するため、撮像装置全体の基準となる基準合焦点距離を設定する処理と、該基準合焦点距離に依存して各撮像手段の合焦点距離を制御する処理とを備え、各々の前記撮像手段の合焦面が、撮像装置全体で共通の基準合焦平面と交わりを持つように、あるいは、各々の隣接する撮像手段の合焦面が互いに交わりを持つように、各々の前記撮像手段の合焦点距離を制御するという手段をとった。
【０００７】
このような手段をとることにより、個々の撮像手段で撮像した画像データ中の被写体のぼけ具合を１つの高解像度な撮像手段で撮像したものと似通ったものにすることができる、あるいは、複数の撮像手段で撮像した画像データをより滑らかに繋ぐことができるため、従来の技術による撮像装置に比べ、１つの高解像度な撮像手段で撮像した画像データにより近い画像データを得ることができる。
【０００８】
【発明の実施の形態】
以下、図１〜図５を用いて、本発明の第一の実施例について説明する。
【０００９】
図１は、本発明の第一の実施例における装置の構成図である。図１において、撮像手段１０および撮像手段１１および撮像手段１２および撮像手段１３および撮像手段１４は、いずれもオートフォーカス機構を備えた撮像手段であり、撮像範囲が全体としてひとつの繋がった空間領域となるように、すなわち、本撮像装置の出力する画像データ群を合成してひとつの高精細な画像データとする場合に穴が生じないように配置する。撮像制御装置２は、主記憶装置２１と、中央演算処理装置２２と、撮像手段制御手段２３とで構成する。以下、該各々の構成要素の働きについて説明する。
【００１０】
主記憶装置２１は、基準合焦点距離設定プログラム２１１および合焦点距離制御プログラム２１２および基準合焦点距離データ２１３および合焦点距離データ２１４およびレンズ中心位置ベクトルデータ２１５および撮影方向ベクトルデータ２１６を記憶し、また、基準合焦点距離設定プログラム２１１および合焦点距離制御プログラム２１２の実行時の中間データを記憶するものである。ここで、基準合焦点距離データ２１３は、本撮像装置全体の基準となる合焦点距離と、該合焦点距離の算出にあたり基準とした撮像手段の識別子とから成るデータであり、基準合焦点距離設定プログラム２１１によって出力されるものである。また、合焦点距離データ２１４は、前記５つの撮像手段の各々に設定する合焦点距離の集合のデータで、個々の合焦点距離は前記５つの撮像手段の各々に固有の値であり、合焦点距離制御プログラム２１２によって出力されるものである。レンズ中心位置ベクトルデータ２１５は、前記５つの撮像手段の各々のレンズ中心位置を表す位置ベクトルの集合のデータで、個々の位置ベクトルは前記５つの撮像手段の各々に固有の値であり、前記５つの撮像手段の各々の撮像姿勢および焦点距離に基づいて設計値から求めることができる。撮影方向ベクトルデータ２１６は、前記５つの撮像手段の各々の光軸方向を表す正規化された方向ベクトルの集合のデータで、個々の方向ベクトルは前記５つの撮像手段の各々に固有の値であり、前記５つの撮像手段の各々の撮像姿勢および焦点距離に基づいて設計値から求めることができる。ここで、個々の撮像手段の撮像姿勢については、本撮像装置全体の画角に基づいて決定するものであり、従来技術による装置と同じものを用いることができる。また、基準合焦点距離設定プログラム２１１および合焦点距離制御プログラム２１２は、装置の起動に伴ってこの順に繰り返し実行されるものであるが、これらのプログラムの詳細については、それぞれ図２および図３において説明する。
【００１１】
中央演算処理装置２２は、必要に応じて主記憶装置２１の一部を中間データ記憶領域として使いながら、基準合焦点距離設定プログラム２１１および合焦点距離制御プログラム２１２の実行を行うものである。
【００１２】
撮像手段制御手段２３は、基準合焦点距離設定プログラム２１１または合焦点距離制御プログラム２１２によって制御され、前記５つの撮像手段の、合焦点距離を含む撮像パラメタの設定、および、撮像タイミングの制御、および、オートフォーカスの開始・終了タイミングの制御、および、オートフォーカス機構により求められた合焦点距離の取得、を行うものである。
【００１３】
なお、撮像した画像データの合成は、デジタル的な画像処理によるものであっても光学的な画像処理によるものであっても本発明の実施に問題はなく、また、いずれも従来の技術を用いて実施すればよいため、説明図では省略した。
【００１４】
図２は、本発明の第一の実施例における基準合焦点距離設定プログラム２１１のフローチャートである。ステップ２１１０で基準合焦点距離設定処理を開始すると、まず、ステップ２１１１でオートフォーカス開始処理を行う。該処理は、撮像手段制御手段２３を制御することにより、前記５つの撮像手段においてオートフォーカス処理を開始させる処理である。続いて、ステップ２１１２で、合焦点距離取得処理を行う。該処理は、撮像手段制御手段２３を制御することにより、前記５つの撮像手段においてオートフォーカス機構により求められた合焦点距離の取得を行う。このとき、前記５つの撮像手段のそれぞれは、実際に合焦した場合には合焦点距離を、合焦できなかった場合には合焦できなかったことを示すデータを返すようにする。次に、ステップ２１１３でオートフォーカス終了処理を行う。該処理は、撮像手段制御手段２３を制御することにより、前記５つの撮像手段においてオートフォーカス処理を終了させる処理である。次に、ステップ２１１４で基準合焦点距離算出処理を行う。該処理は、中央の撮像手段１２が合焦している場合には、撮像手段１２の合焦点距離と撮像手段１２の識別子とを基準合焦点距離データ２１３として出力する。撮像手段１２が合焦できなかった場合、撮像手段１１が合焦している場合には、撮像手段１１の合焦点距離と撮像手段１１の識別子とを基準合焦点距離データ２１３として出力する。撮像手段１１と撮像手段１２のいずれもが合焦できなかった場合、撮像手段１３が合焦している場合には、撮像手段１３の合焦点距離と撮像手段１３の識別子とを基準合焦点距離データ２１３として出力する。撮像手段１１と撮像手段１２と撮像手段１３のいずれもが合焦できなかった場合、撮像手段１０が合焦している場合には、撮像手段１０の合焦点距離と撮像手段１０の識別子とを基準合焦点距離データ２１３として出力する。撮像手段１０と撮像手段１１と撮像手段１２と撮像手段１３のいずれもが合焦できなかった場合、撮像手段１４が合焦している場合には、撮像手段１４の合焦点距離と撮像手段１４の識別子とを基準合焦点距離データ２１３として出力する。５つの撮像手段のいずれもが合焦できなかった場合、無限大を意味する値と撮像手段１２の識別子とを基準合焦点距離データ２１３として出力する。以上、ステップ２１１１〜ステップ２１１４の処理を終了後、ステップ２１１５で、基準合焦点距離設定処理を終了する。
【００１５】
図３は、本発明の第一の実施例における合焦点距離制御プログラム２１２のフローチャートである。ステップ２１２０で合焦点距離制御処理を開始すると、まず、ステップ２１２１で基準合焦点距離入力処理を行う。該基準合焦点距離入力処理は、前記基準合焦点距離設定プログラム２１１が設定した基準合焦点距離データ２１３を読み込む処理である。ここで、基準合焦点距離データ２１３に記憶されている基準合焦点距離Ｌの値が無限大を意味する値であった場合には、撮像手段制御手段２３を制御して、すべての撮像手段の合焦点距離を無限大となるように制御した上で、合焦点距離制御処理を終了する。次に、ステップ２１２２で基準合焦平面生成処理を行う。該基準合焦平面生成処理は、基準合焦点距離データ２１３とレンズ中心位置ベクトルデータ２１５と撮影方向ベクトルデータ２１６を使って、撮像装置全体で共通の基準合焦平面３０を生成する処理である。以下、該基準合焦平面生成処理について、基準合焦点距離データ２１３に記憶されている撮像手段の識別子が撮像手段１１の識別子であった場合を例として説明する。まず、基準合焦点、すなわち撮像手段１１がフォーカスを合わせた点、の位置ベクトルＰｆは、基準合焦点距離データ２１３に記憶されている基準合焦点距離Ｌと、レンズ中心位置ベクトルデータ２１５に記憶されている撮像手段１１のレンズ中心位置ベクトルＰ１と、撮影方向ベクトルデータ２１６に記憶されている撮像手段１１の撮影方向ベクトルＶ１とから、「Ｐｆ＝Ｐ１＋Ｌ×Ｖ１」という式によって求められる。ここで、記号「×」はベクトルのスカラー倍を表すものである。次に、撮像装置全体の撮影方向ベクトルＶｓを設定する。本実施例では、該撮影方向ベクトルＶｓとして、撮影方向ベクトルデータ２１６に記憶されている、中央部分を担当する撮像手段１２の撮影方向ベクトルＶ２を設定するが、以下の説明では意味の違いを明確にするために、撮像装置全体の撮影方向ベクトルとして記号Ｖｓを用いる。次に、基準合焦平面３０を「撮影方向ベクトルＶｓに垂直であり、かつ、前記基準合焦点を通るような平面」となるように求める。具体的には、基準合焦平面３０は、位置ベクトルＰが式「Ｖｓ・（Ｐ−Ｐｆ）＝０」を満たす点の集合である。ここで、記号「・」はベクトルの内積を表すものである。ステップ２１２２の基準合焦平面生成処理が終了した後、ステップ２１２３で合焦点距離算出処理を行う。該合焦点距離算出処理は、基準合焦平面３０とレンズ中心位置ベクトルデータ２１５と撮影方向ベクトルデータ２１６を使って、各撮像手段の合焦点距離を算出し、合焦点距離データ２１４として出力する処理である。本実施例では、各撮像手段の合焦面が、「該撮像手段のレンズ中心位置ベクトルで表される位置を通り該撮像手段の撮影方向ベクトルの方向へ伸ばした直線と、前記基準合焦平面との交点」を含むように、該撮像手段の合焦点距離を算出する。具体的には、撮像手段１０の合焦点距離を算出する場合であれば、レンズ中心位置ベクトルデータ２１５に記憶されている撮像手段１０のレンズ中心位置ベクトルＰ０と、撮影方向ベクトルデータ２１６に記憶されている撮像手段１０の撮影方向ベクトルＶ０を用いて、「Ｖｓ・（Ｐｆ−Ｐ０）／（Ｖｓ・Ｖ０）」とすればよい。ステップ２１２３の合焦点距離算出処理が終了した後、ステップ２１２４で合焦点距離設定処理を行う。該合焦点距離設定処理は、撮像手段制御手段２３を制御して、各撮像手段の合焦点距離を、合焦点距離データ２１４中の対応する値となるように制御する処理である。ステップ２１２４の合焦点距離設定処理が終了した後、ステップ２１２５で合焦点距離制御処理を終了する。
【００１６】
図４は本発明の第一の実施例における合焦点距離の算出方法を示す図であり、図５は従来の技術による合焦点距離の算出方法を示す図である。これらの図を用いて、本発明の第一の実施例における合焦点距離の算出方法の特徴について説明する。
【００１７】
図４および図５において、被写体４０はレンズ中心位置ベクトル１００で表される撮像位置から撮影方向ベクトル１０１で表される方向上に位置する被写体であり、被写体４１はレンズ中心位置ベクトル１１０で表される撮像位置から撮影方向ベクトル１１１で表される方向上に位置する被写体であり、被写体４２はレンズ中心位置ベクトル１２０で表される撮像位置から撮影方向ベクトル１２１で表される方向上に位置する被写体であり、被写体４３はレンズ中心位置ベクトル１３０で表される撮像位置から撮影方向ベクトル１３１で表される方向上に位置する被写体であり、被写体４４はレンズ中心位置ベクトル１４０で表される撮像位置から撮影方向ベクトル１４１で表される方向上に位置する被写体である。
【００１８】
図４の本発明の第一の実施例における合焦点距離の算出方法によれば、まず、基準合焦点距離データ２１３が中央の撮像手段を基準として合焦点距離１２２に設定され、次に、該基準合焦点距離データ２１３にしたがって基準合焦平面３０が生成される。その上で、各レンズ中心位置ベクトルで表される撮像位置からそれに対応する撮影方向ベクトルの方向へ延長した直線が前記基準合焦平面３０と交わる点と、該撮像位置との距離として、基準となった合焦点距離１２２以外の合焦点距離、すなわち合焦点距離１０２および合焦点距離１１２および合焦点距離１３２および合焦点距離１４２が設定される。このときの各撮像手段の合焦面は、それぞれ合焦面１０３および合焦面１１３および合焦面１２３および合焦面１３３および合焦面１４３となる。合焦点距離の算出方法および図４から明らかなように、これらの合焦面はいずれも基準合焦平面３０と共通部分を持つ。すなわち、各撮像手段の合焦点距離を本発明の方法によって制御した場合、個々の撮像手段が撮像した画像データを合成して最終的な画像データを得た場合に、基準合焦平面３０の一部分を合焦面として持つような１つの高解像度な撮像手段で撮影した場合と似通ったぼけ具合の画像データを得ることができる。図４の例であれば、基準合焦平面３０の一部分を合焦面として持つような１つの高解像度な撮像手段で撮影した場合と同様に、被写体４２に対してその他の被写体はぼけが大きくなる。
【００１９】
これに対し、図５の従来の技術による合焦点距離の算出方法では、各撮像手段が独立に合焦点距離を算出し設定するため、各撮影手段の合焦点距離は、合焦点距離１０４および合焦点距離１１４および合焦点距離１２４および合焦点距離１３４および合焦点距離１４４として設定される。このときの各撮像手段の合焦面は、それぞれ合焦面１０５および合焦面１１５および合焦面１２５および合焦面１３５および合焦面１４５となるため、個々の撮像手段が撮像した画像データを合成して最終的な画像データを得た場合に、１つの高解像度な撮像手段で撮影して得た画像データとみなすには被写体のぼけ具合が違和感を与えるようなものとなる。図５の例であれば、基準合焦平面３０（従来は生成していなかったが、図５では、図４の方法と比較して説明するために描画した）の一部分を合焦面として持つような１つの高解像度な撮像手段で撮影した場合と異なり、被写体４２とその他の被写体とが同程度に焦点が合ってしまっているし、逆に本来焦点が合うべき基準合焦平面３０上の点に対して合焦面が大きくずれてしまっている部分がある。さらに図５に示す方法では、重複して撮影している部分の被写体のぼけ具合が担当する撮像手段によって大きく違っているために、合成後に得られる最終的な画像データの画質が劣化する。
【００２０】
以上、本発明の第一の実施例によれば、従来の装置に加えて、基準合焦点距離を設定する処理と、該基準合焦点距離から撮像装置全体で共通の基準合焦平面を生成する処理と、該基準合焦平面に依存して各撮像手段の合焦点距離を制御する処理とを備えるようにし、各々の前記撮像手段の合焦面が前記基準合焦平面と交わりを持つように、各々の前記撮像手段の合焦点距離を制御することにより、個々の撮像手段で撮像した画像データ中の被写体のぼけ具合を１つの高解像度な撮像手段で撮像したものと似通ったものにすることができるため、従来の技術による撮像装置に比べ、最終的に得られる画像データを、１つの高解像度な撮像手段で撮像した画像データにより近い画像データとすることができる。
【００２１】
なお、前記本発明の第一の実施例では、すべての撮像手段がオートフォーカス機構を備えるものとしたが、本発明の実施の形態はこれに限るものではない。例えば、撮像装置を構成する撮像手段のうちの一部分だけがオートフォーカス機構を備えるような構成とし、基準合焦点距離設定プログラム２１１では、該オートフォーカス機構を備える撮像手段だけを制御対象とし、該オートフォーカス機構を備える撮像手段だけから取得した合焦点距離データに基づいて基準合焦点距離の算出を行うようにしてもよい。
【００２２】
また、前記本発明の第一の実施例では、基準合焦点距離設定プログラム２１１において、５つの撮像手段のすべてを制御していたが、本発明の実施の形態はこれに限るものではない。例えば、オートフォーカスを実行する撮像手段をユーザが選択するための機構を備えるようにし、基準合焦点距離設定プログラム２１１では、該選択された撮像手段だけを制御対象とし、該選択された撮像手段だけから取得した合焦点距離データに基づいて基準合焦点距離の算出を行うようにしてもよい。このような実施形態とすることにより、ユーザの意図を反映した芸術的表現を行うのに好適な撮像装置を構成することができる。また、例えば、基準合焦点距離設定プログラム２１１において、制御対象とする撮像手段として、前回の基準合焦点距離設定プログラム２１１の実行時に基準合焦点距離データ２１３を求める基準となった撮像手段と、その周囲の撮像手段とを選択するようにし、該選択された撮像手段だけから取得した合焦点距離データに基づいて基準合焦点距離の算出を行うようにしてもよい。このような実施形態とすることにより、移動物体に焦点を合わせて撮影するのに好適な撮像装置を構成することができる。
【００２３】
また、前記本発明の第一の実施例では、実際に画像データを撮像するための撮像手段を用いて基準合焦点距離データ２１３の設定を行ったが、本発明の実施の形態はこれに限るものではない。例えば、基準合焦点距離データ２１３を設定するための専用の撮像手段を備えるようにしてもよいし、あるいは、基準合焦点距離設定プログラム２１１とは別の基準合焦点距離設定手段を備えるようにしてもよい。例えば、基準合焦点距離をユーザが手動で調整するための機構を備えるようにしてもよい。このような構成とすることにより、基準合焦点距離設定プログラム２１１の実行時、ステップ２１１１でオートフォーカスを開始してからステップ２１１３でオートフォーカスを終了するまでの間で、撮像される画像データがぼけてしまう現象を防止することができる。
【００２４】
また、前記本発明の第一の実施例では、レンズ中心位置ベクトルデータ２１５と撮影方向ベクトルデータ２１６は設計値から求めるようにしたが、本発明の実施の形態はこれに限るものではない。例えば、ステレオ視の原理を使って、撮影された画像データから自動で求めるようにしてもよい。このような実施の形態とすることにより、複数の撮像手段の設置時に設計値からの誤差があった場合にも、該誤差の影響が少ない撮像装置を構成することができる。
【００２５】
また、前記本発明の第一の実施例では、単純に各撮像手段のオートフォーカス機構を使って合焦点距離の取得を行うようにしたが、本発明の実施の形態はこれに限るものではない。例えば、ある閾値を備え、各撮像手段におけるオートフォーカス機構による合焦点距離の探索を、合焦点距離の値の変動量が該閾値以下となる範囲内に限定して実施するように制御してもよい。このような構成とすることにより、基準合焦点距離設定プログラム２１１の実行時、ステップ２１１１でオートフォーカスを開始してからステップ２１１３でオートフォーカスを終了するまでの間で、画像データのぼけ具合が基準合焦点距離設定プログラム２１１の開始前に比べて大きく異なってしまうことを防ぐことができるため、撮像された画像データの品質劣化を軽減することができ、また、探索範囲を狭めることで、オートフォーカス処理の処理時間を短縮することができる。なお、本発明による撮像装置では、各撮像手段におけるオートフォーカス機構によって取得される合焦点距離と、基準合焦点距離設定プログラム２１１の開始前に各撮像手段に設定されている合焦点距離とが、大きく異なる可能性があるため、ここで説明したような構成とすることは本質的である。
【００２６】
また、前記本発明の第一の実施例では、ステップ２１１４の基準合焦点距離算出処理において、中央付近を撮像する撮像手段の優先順位を高く、周辺部を撮像する撮像手段の優先順位を低くし、優先順位の高い撮像手段の合焦点距離を尊重して基準合焦点距離データ２１３を求めるという方法をとったが、本発明における基準合焦点距離算出処理の処理内容についてはこれに限るものではなく、意味のある基準合焦点距離データ２１３が出力できるものであれば、任意の処理とすることができる。例えば、各撮像手段のオートフォーカス機構を合焦点距離に加えて合焦信頼度を取得できるように構成し、ステップ２１１４の基準合焦点距離算出処理において、該合焦信頼度の高い撮像手段の合焦点距離を尊重して基準合焦点距離データ２１３を求めるようにしてもよい。このようにすることにより、オートフォーカス時の誤認識による影響を低減することができる。また、例えば、被写界深度が「手前に浅く奥に深い」性質を考慮し、複数の撮像手段が合焦した場合、該複数の撮像手段のそれぞれについて識別子と合焦点距離の組を基準合焦点距離データ２１３に設定しておき、ステップ２１２２の基準合焦平面生成処理において生成する基準合焦平面３０として、該複数の撮像手段のそれぞれに対応する基準合焦点距離データから生成した複数の合焦平面のうち、中央部分を担当する撮像手段１２のレンズ中心位置ベクトル１２０との距離がもっとも小さいものを採用する、という処理とすることができる。
【００２７】
また、前記本発明の第一の実施例では、基準合焦点距離設定プログラム２１１および合焦点距離制御プログラム２１２は、装置の起動に伴ってこの順に繰り返し実行されるものであるとしたが、本発明の実施の形態はこれに限るものではなく、なんらかのトリガーがあった場合にだけ、基準合焦点距離設定プログラム２１１と合焦点距離制御プログラム２１２をこの順に一度だけ実行するようにしてもよい。例えば、撮像制御装置２が新たに合焦点制御開始ボタン２５を備えるようにし、該合焦点制御開始ボタン２５が押下された場合にのみ、基準合焦点距離設定プログラム２１１と合焦点距離制御プログラム２１２をこの順に一度だけ実行するようにしてもよい。また、例えば、撮影方向や焦点距離などの撮影条件が変わった場合に、基準合焦点距離設定プログラム２１１と合焦点距離制御プログラム２１２をこの順に一度だけ実行するようにしてもよい。また、例えば、撮像制御装置２が新たにタイマー２６を備えるようにし、ある所与の時間間隔Ｔごとに、基準合焦点距離設定プログラム２１１と合焦点距離制御プログラム２１２をこの順に一度だけ実行するようにしてもよい。また、例えば、撮像した画像データの時間的変化を常時監視しておき、該時間的変化が大きいと判定された場合にだけ、基準合焦点距離設定プログラム２１１と合焦点距離制御プログラム２１２をこの順に一度だけ実行するようにしてもよい。
【００２８】
また、前記本発明の第一の実施例では、ステップ２１２３の合焦点距離算出処理において、各撮像手段の合焦面が、「該撮像手段のレンズ中心位置ベクトルで表される位置を通り該撮像手段の撮影方向ベクトルの方向へ伸ばした直線と、前記基準合焦平面３０との交点」を含むように、該撮像手段の合焦点距離を算出するようにしたが、本発明の実施の形態はこれに限るものではなく、各撮影手段の合焦面の一部が前記基準合焦平面３０と共通部分を持つような算出方法であれば、任意の算出方法とすることができる。例えば、各撮像手段の被写界深度が「手前に浅く奥に深い」性質を考慮し、前記本発明の第一の実施例の方法により合焦点距離を算出した後で、「各撮影手段の合焦面の一部が前記基準合焦平面３０と共通部分を持つ」という条件を満たす範囲内で、合焦点距離を所定の割合だけ小さくしてもよい。また、より厳密に、各撮像手段の焦点距離および絞り値および許容ぼけ値のデータ２１７を新たに備えるようにし、基準合焦平面３０のうち「各撮像手段の撮像範囲に含まれ、かつ、各撮像手段の被写界深度内に含まれる」部分の面積が最大となるように、各撮像手段の合焦点距離を算出するようにしてもよい。
【００２９】
また、前記本発明の第一の実施例では、撮像装置全体の撮影方向ベクトルＶｓとして撮影方向ベクトルデータ２１６に記憶されている、中央部分を担当する撮像手段１２の撮影方向ベクトルＶ２を設定したが、本発明の実施の形態はこれに限るものではなく、正規化されており、撮影方向ベクトルデータ２１６に記憶されているすべての撮影方向ベクトルとの内積が正の値となるようなものであれば、任意の方向ベクトルを設定することができる。これにより、例えば水平方向・鉛直方向にそれぞれ偶数個の撮像手段を格子状に並べた撮像装置を構成した場合でも、前記本発明の第一の実施例の場合と同様に合焦点距離の制御を行うことができる。具体的な撮影方向ベクトルＶｓとしては、例えば、「撮影方向ベクトルデータ２１６に記憶されているすべての方向ベクトルの和をとり、その結果として算出されるベクトルを正規化したベクトル」を設定すればよい。この方法により得られる方向ベクトルは、すべての撮影手段の撮影方向に対してその平均的な方向を向いたベクトルとなるため、一般的に「装置の正面方向」であることが望ましいと考えられる撮影方向ベクトルＶｓとして好適である。
【００３０】
以下、図６を用いて、本発明の第二の実施例について説明する。本実施例は、合焦点距離制御プログラム２１２として、第一の実施例とは別のアルゴリズムのものを用いた例である。なお、図６で図４と同じ記号は同じものを表わす。また、基準合焦平面３０は他の方法との比較のために描いたものであり、本実施例においては基準合焦平面３０を算出する必要はない。
【００３１】
図６は本発明の第二の実施例における合焦点距離の算出方法を示す図である。本実施例では、合焦点距離制御プログラム２１２は、すべての撮像手段の合焦点距離を、基準合焦点距離と同一になるように制御する。すなわち、基準合焦点距離設定プログラム２１１が基準合焦点距離データ２１３として撮像手段１２の合焦点距離１２２と撮像手段１２の識別子とを設定した後、合焦点距離制御プログラム２１２は、合焦点距離１０６および合焦点距離１１６および合焦点距離１３６および合焦点距離１４６の値が基準合焦点距離データ２１３に設定された合焦点距離の値となるように撮像手段１０および撮像手段１１および撮像手段１３および撮像手段１４を制御する。
【００３２】
このように各撮像手段の合焦点距離を制御すると、合焦面１０７と合焦面１１７、合焦面１１７と合焦面１２７、合焦面１２７と合焦面１３７、合焦面１３７と合焦面１４７、のそれぞれが互いに境界付近で交わることになる。したがって、撮像した画像データを繋げて最終的な画像データを得る場合に、繋ぎ目付近での被写体のぼけ具合が近しいものになるため、複数の撮像手段で撮像した画像データをより滑らかに繋ぐことができる。
【００３３】
以上、本発明の第二の実施例によれば、すべての撮像手段の合焦点距離を、基準合焦点距離と同一になるように制御することにより、複数の撮像手段で撮像した画像データをより滑らかに繋ぐことができるため、従来の技術による撮像装置に比べ、１つの高解像度な撮像手段で撮像した画像データにより近い画像データを得ることができる。また、前記第一の実施例と異なり、撮像装置全体で共通の基準合焦平面３０を生成する必要がないため、撮像装置全体の画角が広く、撮像装置全体で共通の基準合焦平面３０を生成することが不可能な場合においても、実施することが可能である。
【００３４】
なお、前記本発明の第二の実施例では、基準合焦点距離データ２１３に設定する合焦点距離として撮像手段１２の合焦点距離１２２を設定したが、本発明の実施の形態はこれに限るものではなく、前記本発明の第一の実施例で説明した設定方法のそれぞれによって同様に実施することが可能である。
【００３５】
また、前記本発明の第二の実施例において、基準合焦点距離データ２１３に設定できる合焦点距離の最小値をあらかじめ定めておき、基準合焦点距離データ２１３に設定しようとする合焦点距離が該最小値よりも小さい場合には、基準合焦点距離データ２１３に設定する合焦点距離として該最小値を設定するようにしてもよい。該最小値は、例えば、各撮像手段の合焦点距離を同一の値に設定した場合に、合焦面１０７と合焦面１１７、合焦面１１７と合焦面１２７、合焦面１２７と合焦面１３７、合焦面１３７と合焦面１４７、のそれぞれが互いに交わるような最小の値に定める。このような構成とすることにより、各撮像手段の配置が理想的でない場合、すなわち、各撮像手段のレンズ中心位置ベクトルが一致していない場合にも、本発明による撮像装置により、各撮像手段で撮像した画像データを滑らかに繋げた画像データを、常に得ることができる。
【００３６】
【発明の効果】
本発明によれば、複数の撮像手段を用いた撮像装置において、基準合焦点距離を設定する処理と、該基準合焦点距離に依存して各撮像手段の合焦点距離を制御する処理とを備え、各々の前記撮像手段の合焦面が、撮像装置全体で共通の基準合焦平面と交わりを持つように、あるいは、各々の隣接する撮像手段の合焦面が互いに交わりを持つように、各々の前記撮像手段の合焦点距離を制御するようにしたことにより、従来の技術による撮像装置に比べ、１つの高解像度な撮像手段で撮像した画像データにより近い画像データを得ることができる。
【図面の簡単な説明】
【図１】本発明の第一の実施例における装置の構成図である。
【図２】本発明の第一の実施例における基準合焦点距離設定プログラムのフローチャートである。
【図３】本発明の第一の実施例における合焦点距離制御プログラムのフローチャートである。
【図４】本発明の第一の実施例における合焦点距離の算出方法を示す図である。
【図５】従来の技術による合焦点距離の算出方法を示す図である。
【図６】本発明の第二の実施例における合焦点距離の算出方法を示す図である。
【符号の説明】
１０、１１、１２、１３、１４……撮像手段
３０……基準合焦平面
４０、４１、４２、４３、４４……被写体
１００、１１０、１２０、１３０、１４０……レンズ中心位置ベクトル
１０１、１１１、１２１、１３１、１４１……撮影方向ベクトル
１０２、１１２、１２２、１３２、１４２……第一の実施例での合焦点距離
１０３、１１３、１２３、１３３、１４３……第一の実施例での合焦面
１０４、１１４、１２４、１３４、１４４……従来の合焦点距離
１０５、１１５、１２５、１３５、１４５……従来の合焦面
１０６、１１６、１２６、１３６、１４６……第二の実施例での合焦点距離
１０７、１１７、１２７、１３７、１４７……第二の実施例での合焦面[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an imaging device using a plurality of imaging units.
[0002]
[Prior art]
As a technique for capturing a high-resolution image by using a plurality of image capturing means, there is an image capturing apparatus described in Patent Document 1. The apparatus realizes a high-resolution imaging apparatus that can respond to a change in the angle of view by sequentially controlling the zoom amount and the imaging posture using a plurality of imaging units having a zoom mechanism.
[0003]
[Patent Document 1] JP-A-2002-57938
[0004]
[Problems to be solved by the invention]
When trying to use the imaging device as a substitute for one high-resolution imaging means, there are the following problems.
[0005]
In the imaging apparatus, only the zoom amount of each imaging unit, that is, the focal length, is controlled, and attention is not paid to the focus, that is, the focal length. However, in an imaging apparatus that captures a high-resolution image by using a plurality of imaging units, such as the imaging apparatus, each of the imaging units independently adjusts the focal length so as to be optimal for the imaging unit. With such a simple structure, when the image data obtained by the individual image capturing means is synthesized to obtain the final image data, the blur of the subject is different from the case where the image is captured by one high-resolution image capturing means. The condition could be significantly different, causing discomfort. Also, when combining image data, the degree of blurring of the subject near the joint may be significantly different, leading to deterioration in the image quality of the combined image data.
[0006]
The present invention has been made to solve this problem. That is, when trying to obtain high-resolution image data using a plurality of imaging units, the image data is closer to the image data captured by one high-resolution imaging unit as compared with the imaging device according to the related art. The purpose is to be able to obtain things.
[Means for Solving the Problems]
In order to solve the above-described problems, the present invention includes a process of setting a reference focal length as a reference of the entire imaging apparatus, and a process of controlling a focal length of each imaging unit depending on the reference focal length. So that the focal plane of each of the imaging units intersects with a common reference focal plane in the entire imaging apparatus, or so that the focal planes of each adjacent imaging unit have an intersection with each other. Means for controlling the focal length of the imaging means.
[0007]
By taking such means, it is possible to make the degree of blurring of the subject in the image data picked up by the individual image pickup means similar to that obtained by one high-resolution image pickup means, or Since image data picked up by the image pickup means can be connected more smoothly, image data closer to image data picked up by one high-resolution image pickup means can be obtained as compared with an image pickup apparatus according to a conventional technique.
[0008]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, a first embodiment of the present invention will be described with reference to FIGS.
[0009]
FIG. 1 is a configuration diagram of an apparatus according to a first embodiment of the present invention. In FIG. 1, an imaging unit 10, an imaging unit 11, an imaging unit 12, an imaging unit 13, and an imaging unit 14 are imaging units each having an auto-focus mechanism, and an imaging range as a whole is connected to one connected spatial region. That is, when the image data groups output from the image pickup apparatus are combined into one high-definition image data, the image data is arranged so as not to cause a hole. The imaging control device 2 includes a main storage device 21, a central processing unit 22, and an imaging unit control unit 23. Hereinafter, the function of each component will be described.
[0010]
The main storage device 21 stores a reference focal length setting program 211, a focal length control program 212, reference focal length data 213, focal length data 214, lens center position vector data 215, and shooting direction vector data 216. Further, it stores intermediate data when the reference focal length setting program 211 and the focal length control program 212 are executed. Here, the reference focal length data 213 is data including a focal length as a reference of the entire imaging apparatus and an identifier of an imaging unit used as a reference in calculating the focal length. It is output by the program 211. The focal length data 214 is data of a set of focal lengths set for each of the five imaging units. Each focal length is a value unique to each of the five imaging units. It is output by the distance control program 212. The lens center position vector data 215 is data of a set of position vectors representing the lens center position of each of the five imaging units. Each position vector is a value unique to each of the five imaging units. It can be obtained from the design values based on the imaging posture and the focal length of each of the two imaging means. The shooting direction vector data 216 is data of a set of normalized direction vectors representing the optical axis direction of each of the five imaging units, and each direction vector is a value unique to each of the five imaging units. , Can be obtained from design values based on the imaging attitude and the focal length of each of the five imaging means. Here, the image pickup posture of each image pickup unit is determined based on the angle of view of the entire image pickup apparatus, and the same apparatus as that of the conventional apparatus can be used. The reference focal length setting program 211 and the focal length control program 212 are repeatedly executed in this order upon activation of the apparatus. Details of these programs are shown in FIGS. 2 and 3, respectively. explain.
[0011]
The central processing unit 22 executes the reference focal length setting program 211 and the focal length control program 212 while using a part of the main storage device 21 as an intermediate data storage area as needed.
[0012]
The imaging unit control unit 23 is controlled by the reference focal length setting program 211 or the focal length control program 212, and sets the imaging parameters including the focal length of the five imaging units, controls the imaging timing, and , Control of the start / end timing of the autofocus, and acquisition of the focal length obtained by the autofocus mechanism.
[0013]
It should be noted that there is no problem in implementing the present invention regardless of whether digital image processing or optical image processing is used to synthesize captured image data. Therefore, it is omitted in the illustration.
[0014]
FIG. 2 is a flowchart of the reference focal length setting program 211 according to the first embodiment of the present invention. When the reference focal length setting process is started in step 2110, first, in step 2111, an auto focus start process is performed. This process is a process for controlling the imaging unit control unit 23 to start the autofocus process in the five imaging units. Subsequently, in step 2112, a focal length acquisition process is performed. In this process, by controlling the imaging means control means 23, the five imaging means obtains the focal length obtained by the autofocus mechanism. At this time, each of the five imaging units returns the focal length when focusing is actually performed, and returns data indicating that focusing was not possible when focusing was not possible. Next, in step 2113, an auto focus end process is performed. This process is a process in which the autofocus process is ended in the five imaging units by controlling the imaging unit control unit 23. Next, in step 2114, reference focal length calculation processing is performed. In this process, when the center imaging unit 12 is in focus, the focal length of the imaging unit 12 and the identifier of the imaging unit 12 are output as reference focal length data 213. When the imaging unit 12 is unable to focus, or when the imaging unit 11 is in focus, the focal length of the imaging unit 11 and the identifier of the imaging unit 11 are output as reference focal length data 213. When neither the imaging unit 11 nor the imaging unit 12 can focus, or when the imaging unit 13 is in focus, the focusing distance of the imaging unit 13 and the identifier of the imaging unit 13 are used as the reference focal length. Output as data 213. If none of the imaging unit 11, the imaging unit 12, and the imaging unit 13 can be focused, and if the imaging unit 10 is in focus, the focusing distance of the imaging unit 10 and the identifier of the imaging unit 10 are determined. It is output as reference focal length data 213. When none of the image pickup means 10, the image pickup means 11, the image pickup means 12, and the image pickup means 13 can be focused, and when the image pickup means 14 is in focus, the focal length of the image pickup means 14 and the image pickup means 14 Is output as the reference focal length data 213. If any of the five imaging units cannot focus, a value indicating infinity and the identifier of the imaging unit 12 are output as reference focal length data 213. As described above, after the processing of steps 2111 to 2114 is completed, in step 2115, the reference focal length setting processing ends.
[0015]
FIG. 3 is a flowchart of the focal length control program 212 according to the first embodiment of the present invention. When the focusing distance control process is started in step 2120, first, in step 2121, a reference focusing distance input process is performed. The reference focal length input process is a process of reading the reference focal length data 213 set by the reference focal length setting program 211. Here, when the value of the reference focal length L stored in the reference focal length data 213 is a value meaning infinity, the control unit 23 controls the imaging unit control unit 23 to control all the imaging units. After controlling the focal length to be infinite, the focal length control process is terminated. Next, reference focus plane generation processing is performed in step 2122. The reference focus plane generation processing is processing for generating a reference focus plane 30 common to the entire image pickup apparatus using the reference focus distance data 213, the lens center position vector data 215, and the shooting direction vector data 216. Hereinafter, the reference in-focus plane generation processing will be described as an example in the case where the identifier of the imaging unit stored in the reference focal length data 213 is the identifier of the imaging unit 11. First, the position vector Pf of the reference focal point, that is, the point at which the imaging unit 11 is focused, is stored in the reference focal length L stored in the reference focal distance data 213 and the lens center position vector data 215. From the lens center position vector P1 of the imaging unit 11 and the imaging direction vector V1 of the imaging unit 11 stored in the imaging direction vector data 216, it can be obtained by the expression “Pf = P1 + L × V1”. Here, the symbol “x” indicates a scalar multiple of a vector. Next, a shooting direction vector Vs of the entire imaging apparatus is set. In the present embodiment, as the shooting direction vector Vs, the shooting direction vector V2 of the imaging unit 12 that is in charge of the central portion and stored in the shooting direction vector data 216 is set. The symbol Vs is used as the imaging direction vector of the entire imaging apparatus. Next, the reference focusing plane 30 is determined to be “a plane perpendicular to the imaging direction vector Vs and passing through the reference focusing point”. Specifically, the reference focusing plane 30 is a set of points where the position vector P satisfies the expression “Vs · (P−Pf) = 0”. Here, the symbol “•” represents the inner product of the vectors. After the reference in-focus plane generation processing in Step 2122 is completed, in Step 2123, the in-focus distance calculation processing is performed. The in-focus distance calculating process is a process of calculating the in-focus distance of each imaging unit using the reference in-focus plane 30, the lens center position vector data 215, and the photographing direction vector data 216, and outputting as the in-focus distance data 214. It is. In the present embodiment, the focal plane of each imaging unit is defined as “a straight line extending through the position represented by the lens center position vector of the imaging unit in the direction of the imaging direction vector of the imaging unit, and the reference focusing plane. And the focal point of the imaging means. Specifically, when calculating the focal length of the imaging unit 10, the lens center position vector P0 of the imaging unit 10 stored in the lens center position vector data 215 and the imaging direction vector data 216 are stored. By using the shooting direction vector V0 of the imaging unit 10 that has been set, “Vs · (Pf−P0) / (Vs · V0)” may be used. After the focal length calculation processing in step 2123 is completed, a focal length setting processing is performed in step 2124. The in-focus distance setting process is a process of controlling the imaging unit control unit 23 to control the in-focus distance of each imaging unit to a corresponding value in the in-focus distance data 214. After the in-focus distance setting processing in step 2124 ends, the in-focus distance control processing ends in step 2125.
[0016]
FIG. 4 is a diagram illustrating a method of calculating a focal length according to the first embodiment of the present invention, and FIG. 5 is a diagram illustrating a method of calculating a focal length according to a conventional technique. The features of the method for calculating the focal length in the first embodiment of the present invention will be described with reference to these drawings.
[0017]
4 and 5, a subject 40 is a subject located in a direction represented by a shooting direction vector 101 from an imaging position represented by a lens center position vector 100, and a subject 41 is represented by a lens center position vector 110. The subject 42 is a subject located in the direction represented by the shooting direction vector 111 from the imaging position, and the subject 42 is a subject located in the direction represented by the shooting direction vector 121 from the imaging position represented by the lens center position vector 120. The subject 43 is a subject located in the direction represented by the shooting direction vector 131 from the imaging position represented by the lens center position vector 130, and the subject 44 is located from the imaging position represented by the lens center position vector 140. The subject is located in the direction represented by the shooting direction vector 141.
[0018]
According to the method of calculating the focal length in the first embodiment of the present invention shown in FIG. 4, first, the reference focal length data 213 is set to the focal length 122 with reference to the center imaging means. The reference focusing plane 30 is generated according to the reference focusing distance data 213. In addition, a point where a straight line extending from the imaging position represented by each lens center position vector in the direction of the corresponding imaging direction vector intersects the reference focusing plane 30 and a distance between the imaging position and the reference A focal length other than the changed focal length 122, that is, the focal length 102, the focal length 112, the focal length 132, and the focal length 142 are set. At this time, the focal planes of the respective imaging means are the focal plane 103, the focal plane 113, the focal plane 123, the focal plane 133, and the focal plane 143, respectively. As is clear from the method of calculating the focal length and FIG. 4, each of these focal planes has a common part with the reference focal plane 30. That is, when the focusing distance of each imaging unit is controlled by the method of the present invention, when image data taken by the individual imaging units is combined to obtain final image data, a part of the reference focusing plane 30 is obtained. Image data having a similar degree of blurring to a case where the image is captured by a single high-resolution image capturing means having a focal plane of. In the example of FIG. 4, the other subjects are largely blurred with respect to the subject 42, as in the case of shooting with one high-resolution imaging unit having a part of the reference focusing plane 30 as the focusing plane. Become.
[0019]
On the other hand, in the method of calculating the focal length according to the conventional technique of FIG. 5, since each imaging unit independently calculates and sets the focal length, the focal length of each photographing unit is the focal length 104 and the focal length. The focal length 114, the focal length 124, the focal length 134, and the focal length 144 are set. At this time, the focal planes of the respective imaging units are the focal plane 105, the focal plane 115, the focal plane 125, the focal plane 135, and the focal plane 145, respectively. When the final image data is obtained by synthesizing the image data, the blur condition of the subject gives an uncomfortable feeling to be regarded as the image data obtained by photographing with one high-resolution imaging means. In the example of FIG. 5, a part of the reference focusing plane 30 (which was not generated conventionally, but is drawn in FIG. 5 for comparison with the method of FIG. 4) is provided as a focusing plane. Unlike the case where the image is captured by such one high-resolution imaging means, the subject 42 and the other subjects are focused to the same degree, and conversely, on the reference focusing plane 30 which should be originally focused. There is a portion where the focal plane is greatly shifted from the point. Further, in the method shown in FIG. 5, since the degree of blurring of the subject in the part which is being photographed repeatedly differs greatly depending on the imaging means in charge, the image quality of the final image data obtained after the synthesis deteriorates.
[0020]
As described above, according to the first embodiment of the present invention, in addition to the conventional apparatus, a process of setting a reference focal length, and generating a common reference focal plane for the entire imaging device from the reference focal length. Processing, and a process of controlling the focal length of each imaging unit depending on the reference focusing plane, so that the focal plane of each of the imaging units has an intersection with the reference focusing plane. By controlling the focal length of each of the image pickup means, the degree of blurring of the subject in the image data picked up by the individual image pickup means is similar to that obtained by one high-resolution image pickup means. Therefore, the finally obtained image data can be image data closer to the image data captured by one high-resolution imaging unit, as compared with the imaging apparatus according to the related art.
[0021]
In the first embodiment of the present invention, all the image pickup means are provided with the auto focus mechanism. However, the embodiment of the present invention is not limited to this. For example, the configuration is such that only a part of the imaging means constituting the imaging apparatus is provided with an auto-focus mechanism. In the reference focusing distance setting program 211, only the imaging means having the auto-focus mechanism is set as a control target, and The reference focal length may be calculated based on the focal length data acquired only from the imaging unit having the focus mechanism.
[0022]
In the first embodiment of the present invention, all of the five imaging units are controlled by the reference focal length setting program 211, but the embodiment of the present invention is not limited to this. For example, a mechanism for allowing the user to select an imaging unit that performs autofocus is provided. In the reference focal length setting program 211, only the selected imaging unit is set as a control target, and only the selected imaging unit is controlled. The reference focal length may be calculated based on the focal length data acquired from. By adopting such an embodiment, it is possible to configure an imaging device suitable for performing artistic expression reflecting the intention of the user. In addition, for example, in the reference focal length setting program 211, as an imaging unit to be controlled, an imaging unit serving as a reference for obtaining the reference focal length data 213 during the previous execution of the reference focal length setting program 211; A surrounding imaging unit may be selected, and the reference focal length may be calculated based on the focal length data acquired only from the selected imaging unit. By adopting such an embodiment, it is possible to configure an imaging apparatus suitable for capturing an image while focusing on a moving object.
[0023]
Further, in the first embodiment of the present invention, the reference focal length data 213 is set using an image pickup unit for actually picking up image data, but the embodiment of the present invention is not limited to this. Not something. For example, a dedicated image pickup unit for setting the reference focal length data 213 may be provided, or a reference focal length setting unit different from the reference focal length setting program 211 may be provided. Is also good. For example, a mechanism may be provided for the user to manually adjust the reference focal length. With this configuration, when the reference focal length setting program 211 is executed, the image data to be captured is blurred from the start of the auto focus in step 2111 to the end of the auto focus in step 2113. Can be prevented.
[0024]
Further, in the first embodiment of the present invention, the lens center position vector data 215 and the photographing direction vector data 216 are obtained from design values, but embodiments of the present invention are not limited to this. For example, it may be determined automatically from captured image data using the principle of stereo vision. By adopting such an embodiment, even when there is an error from a design value when a plurality of imaging units are installed, it is possible to configure an imaging apparatus that is less affected by the error.
[0025]
Further, in the first embodiment of the present invention, the in-focus distance is simply obtained by using the auto-focus mechanism of each imaging unit. However, the embodiment of the present invention is not limited to this. . For example, even if a control is performed so that a certain threshold value is provided and the search of the focal distance by the autofocus mechanism in each imaging unit is performed only within a range where the amount of change in the value of the focal distance is equal to or less than the threshold value, Good. With such a configuration, when the reference focal length setting program 211 is executed, the degree of blurring of the image data is maintained between the time when autofocus is started in step 2111 and the time when autofocus is ended in step 2113. Since it is possible to prevent a large difference from before the start of the in-focus distance setting program 211, it is possible to reduce the deterioration of the quality of the captured image data, and to reduce the search range so that the auto focus can be performed. The processing time of the processing can be reduced. In the imaging apparatus according to the present invention, the focal length acquired by the autofocus mechanism in each imaging unit and the focal length set for each imaging unit before the start of the reference focal length setting program 211 are: The configuration as described here is essential because there is a possibility that the configuration is greatly different.
[0026]
Further, in the first embodiment of the present invention, in the reference focal length calculation processing in step 2114, the priority of the image pickup means for imaging the vicinity of the center is set high, and the priority of the image pickup means for picking up the peripheral part is set low. Although the method of obtaining the reference focal length data 213 while respecting the focal length of the imaging means having a higher priority has been adopted, the processing content of the reference focal length calculation processing in the present invention is not limited to this. Any processing can be used as long as it can output meaningful reference focal length data 213. For example, the autofocus mechanism of each imaging unit is configured so as to be able to acquire the focusing reliability by adding to the focusing distance, and in the reference focusing distance calculation processing of step 2114, the focusing of the imaging unit having the high focusing reliability is performed. The reference focal length data 213 may be obtained while respecting the focal length. By doing so, it is possible to reduce the effect of erroneous recognition during autofocus. Also, for example, in consideration of the property that the depth of field is “shallow in front and deep in depth”, when a plurality of imaging units are focused, a set of an identifier and a focal length for each of the plurality of imaging units is used as a reference. The focal length data 213 is set in advance, and a plurality of focal lengths generated from the reference focal length data corresponding to each of the plurality of imaging units are set as the reference focal plane 30 generated in the reference focal plane generation processing in step 2122. The processing may be such that, of the focal planes, the one with the shortest distance from the lens center position vector 120 of the imaging means 12 in charge of the central portion is adopted.
[0027]
In the first embodiment of the present invention, the reference focal length setting program 211 and the focal length control program 212 are repeatedly executed in this order when the apparatus is started. The embodiment is not limited to this. The reference focal length setting program 211 and the focal length control program 212 may be executed only once in this order only when there is some trigger. For example, the imaging control device 2 is provided with a new focus control start button 25, and only when the focus control start button 25 is pressed, the reference focus distance setting program 211 and the focus distance control program 212 are changed. It may be executed only once in this order. Further, for example, when photographing conditions such as a photographing direction and a focal length change, the reference focal length setting program 211 and the focal length control program 212 may be executed only once in this order. Also, for example, the imaging control device 2 may be newly provided with a timer 26, and the reference focal length setting program 211 and the focal length control program 212 may be executed only once in this order at a given time interval T. It may be. Further, for example, the temporal change of the captured image data is constantly monitored, and only when it is determined that the temporal change is large, the reference focal length setting program 211 and the focal length control program 212 are sequentially executed in this order. It may be executed only once.
[0028]
In the first embodiment of the present invention, in the focusing distance calculation process in step 2123, the focal plane of each imaging unit is set to “the position of the imaging unit passing through the position represented by the lens center position vector. The in-focus distance of the imaging unit is calculated so as to include the "intersection between the straight line extended in the direction of the imaging direction vector of the unit and the reference focusing plane 30." The calculation method is not limited to this, and any calculation method can be used as long as the calculation method is such that a part of the focal plane of each photographing unit has a common part with the reference focal plane 30. For example, taking into account the property that the depth of field of each imaging unit is “shallow to the front and deep to the back”, and after calculating the focal length by the method of the first embodiment of the present invention, “ A part of the focal plane may have a common part with the reference focal plane 30 ". In addition, more strictly, the data 217 of the focal length, the aperture value, and the permissible blur value of each imaging unit are newly provided, and the reference focusing plane 30 “includes in the imaging range of each imaging unit, The focal length of each imaging unit may be calculated so that the area of a part "included in the depth of field of the imaging unit" is maximized.
[0029]
In the first embodiment of the present invention, the photographing direction vector V2 of the photographing unit 12 that is in charge of the central portion and is stored in the photographing direction vector data 216 is set as the photographing direction vector Vs of the entire image pickup apparatus. However, the embodiment of the present invention is not limited to this, and is normalized so that the inner product with all the shooting direction vectors stored in the shooting direction vector data 216 becomes a positive value. For example, an arbitrary direction vector can be set. Thereby, for example, even when an imaging apparatus in which an even number of imaging units are arranged in a grid in the horizontal direction and the vertical direction is configured, similarly to the case of the first embodiment of the present invention, control of the focal length is performed. It can be carried out. As a specific shooting direction vector Vs, for example, "a vector obtained by summing all the direction vectors stored in the shooting direction vector data 216 and normalizing the vector calculated as a result" may be set. . Since the direction vector obtained by this method is a vector oriented in the average direction with respect to the photographing directions of all photographing means, it is generally considered that the photographing direction is preferably "the front direction of the apparatus". This is suitable as the direction vector Vs.
[0030]
Hereinafter, a second embodiment of the present invention will be described with reference to FIG. The present embodiment is an example in which an in-focus distance control program 212 having an algorithm different from that of the first embodiment is used. In FIG. 6, the same symbols as those in FIG. 4 represent the same components. Further, the reference focusing plane 30 is drawn for comparison with another method, and it is not necessary to calculate the reference focusing plane 30 in the present embodiment.
[0031]
FIG. 6 is a diagram showing a method of calculating the focal length in the second embodiment of the present invention. In this embodiment, the focal length control program 212 controls the focal lengths of all the image pickup units so as to be the same as the reference focal length. That is, after the reference focal length setting program 211 sets the focal length 122 of the imaging unit 12 and the identifier of the imaging unit 12 as the reference focal length data 213, the focal length control program 212 The imaging unit 10, the imaging unit 11, the imaging unit 13, and the imaging unit such that the values of the focal length 116, the focal length 136, and the focal length 146 become the value of the focal length set in the reference focal length data 213. 14 is controlled.
[0032]
By controlling the focal length of each imaging means in this manner, the focal plane 107 and the focal plane 117, the focal plane 117 and the focal plane 127, the focal plane 127 and the focal plane 137, and the focal plane 137 and the focal plane 137 are focused. Each of the focal planes 147 will intersect each other near the boundary. Therefore, when the final image data is obtained by connecting the captured image data, the degree of blurring of the subject near the joint becomes closer, so that the image data captured by a plurality of imaging units should be connected more smoothly. Can be.
[0033]
As described above, according to the second embodiment of the present invention, by controlling the focal lengths of all the imaging units to be the same as the reference focal length, image data captured by a plurality of imaging units can be further improved. Since the connection can be made smoothly, it is possible to obtain image data that is closer to the image data captured by one high-resolution imaging unit as compared with the imaging device according to the related art. Further, unlike the first embodiment, since it is not necessary to generate a common reference focusing plane 30 for the entire imaging apparatus, the angle of view of the entire imaging apparatus is wide, and the common reference focusing plane 30 is common for the entire imaging apparatus. Can be implemented even when it is not possible to generate
[0034]
In the second embodiment of the present invention, the focal length 122 of the imaging unit 12 is set as the focal length set in the reference focal length data 213, but the embodiment of the present invention is not limited to this. Instead, it can be similarly implemented by each of the setting methods described in the first embodiment of the present invention.
[0035]
In the second embodiment of the present invention, the minimum value of the focal length that can be set in the reference focal length data 213 is determined in advance, and the focal length to be set in the reference focal length data 213 is set to If it is smaller than the minimum value, the minimum value may be set as the focal length set in the reference focal length data 213. For example, when the focal length of each imaging unit is set to the same value, the minimum value is equal to the focal plane 107 and the focal plane 117, the focal plane 117 and the focal plane 127, and the focal plane 127 and the focal plane 127. The focal plane 137, the focal plane 137, and the focal plane 147 are set to minimum values that intersect each other. With such a configuration, even when the arrangement of the imaging units is not ideal, that is, even when the lens center position vectors of the imaging units do not match, the imaging device according to the present invention allows the Image data obtained by smoothly connecting captured image data can always be obtained.
[0036]
【The invention's effect】
According to the present invention, an image pickup apparatus using a plurality of image pickup units includes a process of setting a reference focal length, and a process of controlling a focal length of each image pickup unit depending on the reference focal length. So that the focal plane of each of the imaging units intersects with a common reference focal plane in the entire imaging apparatus, or so that the focal planes of each adjacent imaging unit have an intersection with each other. By controlling the focal length of the imaging means, it is possible to obtain image data closer to the image data captured by one high-resolution imaging means as compared with an imaging apparatus according to the related art.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of an apparatus according to a first embodiment of the present invention.
FIG. 2 is a flowchart of a reference focal length setting program according to the first embodiment of the present invention.
FIG. 3 is a flowchart of a focusing distance control program according to the first embodiment of the present invention.
FIG. 4 is a diagram illustrating a method of calculating a focal length according to the first embodiment of the present invention.
FIG. 5 is a diagram showing a method of calculating a focal length according to a conventional technique.
FIG. 6 is a diagram illustrating a method of calculating a focal length according to a second embodiment of the present invention.
[Explanation of symbols]
10, 11, 12, 13, 14 ... imaging means
30 Reference focal plane
40, 41, 42, 43, 44 ... subject
100, 110, 120, 130, 140... Lens center position vector
101, 111, 121, 131, 141 ... shooting direction vector
102, 112, 122, 132, 142 ... focal length in the first embodiment
103, 113, 123, 133, 143... The focal plane in the first embodiment
104, 114, 124, 134, 144 ... conventional focal length
105, 115, 125, 135, 145: Conventional focusing plane
106, 116, 126, 136, 146... Focusing distance in the second embodiment
107, 117, 127, 137, 147... Focusing surface in the second embodiment

Claims

A plurality of imaging means, and an imaging control means for controlling the plurality of imaging means, wherein the plurality of imaging means are arranged such that an imaging range of the plurality of imaging means is a single connected spatial area as a whole. An image processing unit that performs image processing on the image data captured by the plurality of imaging units to obtain one high-resolution image data. Reference focus distance setting means for setting a focal length, and focus distance control means for controlling a focal length of each of the imaging means based on the reference focus distance. , Imaging device.

2. The image pickup apparatus according to claim 1, wherein at least one of the image pickup units includes an automatic focal length adjusting unit, and the reference focal length setting unit includes the automatic focal length adjusting unit. An image pickup apparatus characterized in that a part of or the whole of the image pickup apparatus sets a reference focal length for the entire image pickup apparatus based on the focal length adjusted independently of each other.

2. The imaging apparatus according to claim 1, wherein the focusing distance control unit controls a focusing distance of the imaging unit so that focal planes of the adjacent imaging units intersect each other. 3. apparatus.

The imaging apparatus according to claim 1, wherein the focal length control unit controls the focal length of the imaging unit to be the same for all the imaging units.

The imaging apparatus according to claim 1, further comprising: a reference focal plane setting unit that sets a reference focal plane as the entire imaging apparatus based on the reference focal distance. Controlling the focal length of each of the imaging units so that the focal plane of the imaging unit and the reference focal plane determined by the reference focal plane setting unit have a common part. Imaging device.

When changing the focal length of any one of the plurality of imaging means, first, the reference focal length setting means sets the focal length after the change of the imaging means as the reference. Wherein the focal length control unit changes the focal lengths of all the remaining imaging units based on the reference focal length. Item 2. The imaging device according to Item 1.

2. The imaging device according to claim 1, wherein at least one of the imaging units includes an automatic focusing distance adjustment unit, and the imaging units including the automatic focusing distance adjustment units independently of each other. An image pickup unit that adjusts the focal length within a range such that the variation range from the focal length of the image pickup unit is within a given threshold; An image pickup apparatus characterized in that a part of or the whole of the image pickup apparatus sets a reference focal length for the entire apparatus based on the focal length adjusted independently of each other.

The reference focal length setting unit is configured such that some or all of the imaging unit that is a reference for setting the current reference focal length and the imaging unit that is adjacent to the reference imaging unit are independently adjusted. 3. The imaging apparatus according to claim 2, wherein a focusing distance as a reference for the entire apparatus is set based on the focusing distance.

The reference focus plane setting unit sets a reference focus plane that is perpendicular to a vector generated by taking the sum after normalizing the vector representing the imaging direction of each of the plurality of imaging units. The imaging apparatus according to claim 5, wherein the setting is performed.