JP2012227638A - Electronic camera - Google Patents

Electronic camera Download PDF

Info

Publication number
JP2012227638A
JP2012227638A JP2011091889A JP2011091889A JP2012227638A JP 2012227638 A JP2012227638 A JP 2012227638A JP 2011091889 A JP2011091889 A JP 2011091889A JP 2011091889 A JP2011091889 A JP 2011091889A JP 2012227638 A JP2012227638 A JP 2012227638A
Authority
JP
Japan
Prior art keywords
imaging
fields
image data
view
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011091889A
Other languages
Japanese (ja)
Inventor
Mitsuaki Kurokawa
光章 黒川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2011091889A priority Critical patent/JP2012227638A/en
Publication of JP2012227638A publication Critical patent/JP2012227638A/en
Withdrawn legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To improve an imaging performance.SOLUTION: An optical/imaging system 12L has an imaging surface for capturing a view field VF_L, and outputs L side raw image data indicating the view field VF_L. An optical/imaging system 12R has an imaging surface for capturing a view field VF_R, and outputs R side raw image data indicating the view field VF_R. The view fields VF_L and VF_R are partially in common, and the L side raw image data and the R side raw image data are selectively outputted. A CPU 34 adjusts imaging conditions of the optica/imaging systems 12L and 12R in common on the basis of the L side image data, the R side raw image data and weighting coefficients Wcrnt and Wprv. The CPU 34 also identifies which of the L side raw image data and the R side raw image data the raw image data of a present frame is, and changes values of the weighting coefficients Wcrnt and Wprv.

Description

この発明は、電子カメラに関し、特に、複数の視野をそれぞれ捉える複数の撮像面を備える、電子カメラに関する。   The present invention relates to an electronic camera, and more particularly to an electronic camera provided with a plurality of imaging surfaces that respectively capture a plurality of fields of view.

この種のカメラの一例が、特許文献1に開示されている。この背景技術によれば、複数の撮像素子は、所定の視差を有するように配置される。撮像素子から出力された画像データから異常エリアが検出されると、検出された異常エリアを補完するための補完データが異常エリアの存在しない画像データに基づいて生成される。異常エリアは、生成された補完データによって補完される。これによって、画像データの一部が欠損した場合であっても、正常な立体画像を作成することができる。   An example of this type of camera is disclosed in Patent Document 1. According to this background art, the plurality of image sensors are arranged to have a predetermined parallax. When an abnormal area is detected from the image data output from the image sensor, complementary data for complementing the detected abnormal area is generated based on the image data in which no abnormal area exists. The abnormal area is supplemented by the generated supplement data. As a result, a normal stereoscopic image can be created even when a part of the image data is lost.

特開2010−154311号公報JP 2010-154111 A

しかし、背景技術では、画像データが複数の撮像素子から同時に取得されるため、ピーク電力が増大するという問題がある。このように、背景技術では撮像性能に限界がある。   However, the background art has a problem that peak power increases because image data is simultaneously acquired from a plurality of image sensors. As described above, the background art has a limit in imaging performance.

それゆえに、この発明の主たる目的は、撮像性能を高めることができる、電子カメラを提供することである。   Therefore, a main object of the present invention is to provide an electronic camera that can improve imaging performance.

この発明に従う電子カメラ(10:実施例で相当する参照符号。以下同じ)は、部分的に共通する複数の視野をそれぞれ捉える複数の撮像面を有し、複数の視野をそれぞれ表す複数の画像を選択的に出力する撮像手段(12L, 12R)、複数の撮像面にそれぞれ対応する複数の撮像条件を調整係数を参照して共通的に調整する調整手段(S25~S27, S43~S51)、および撮像手段から出力された画像が複数の視野のいずれを表す画像であるかを識別して調整係数の値を変更する変更手段(S21~S23, S31~S39)を備える。   An electronic camera according to the present invention (10: reference numeral corresponding to the embodiment; hereinafter the same) has a plurality of imaging planes that respectively capture a plurality of partially common fields of view, and a plurality of images each representing a plurality of fields of view. Imaging means (12L, 12R) for selectively outputting, adjustment means (S25 to S27, S43 to S51) for commonly adjusting a plurality of imaging conditions respectively corresponding to a plurality of imaging surfaces with reference to an adjustment coefficient, and Changing means (S21 to S23, S31 to S39) is provided that identifies which of the plurality of visual fields the image output from the imaging means represents and changes the value of the adjustment coefficient.

好ましくは、タイミング信号を繰り返し発生する発生手段(18)がさらに備えられ、撮像手段は発生手段によって発生されたタイミング信号に基づいて画像出力処理を実行する画像出力手段(126L, 126R)を含み、変更手段は発生手段によって発生されたタイミング信号に基づいて画像識別処理を実行する画像識別手段(S21~S23, S31, S35, S39)を含む。   Preferably, a generation unit (18) that repeatedly generates a timing signal is further provided, and the imaging unit includes an image output unit (126L, 126R) that executes an image output process based on the timing signal generated by the generation unit, The changing means includes image identifying means (S21 to S23, S31, S35, S39) for executing image identification processing based on the timing signal generated by the generating means.

好ましくは、調整手段は、撮像手段から出力された画像の特性を複数の視野の各々に対応して検出する検出手段(S25~S27, S43)、および検出手段によって検出された特性と調整係数とに基づいて複数の撮像条件を調整する調整処理手段(S45~S51)を含む。   Preferably, the adjusting means detects the characteristics of the image output from the imaging means corresponding to each of the plurality of fields of view (S25 to S27, S43), and the characteristics detected by the detecting means and the adjustment coefficient Adjustment processing means (S45 to S51) for adjusting a plurality of imaging conditions based on

好ましくは、カメラ筐体(CB1)の動きを検出する検出手段(38L, 38R)、および変更手段によって変更された値を検出手段の検出結果に基づいて補正する補正手段(S41)がさらに備えられる。   Preferably, detection means (38L, 38R) for detecting the movement of the camera housing (CB1) and correction means (S41) for correcting the value changed by the change means based on the detection result of the detection means are further provided. .

好ましくは、複数の視野は共通の倍率を有し、調整手段によって注目される複数の撮像条件の各々はフォーカスおよび露光量の少なくとも1つを含む。   Preferably, the plurality of fields of view have a common magnification, and each of the plurality of imaging conditions noted by the adjusting unit includes at least one of a focus and an exposure amount.

この発明に従う撮像制御プログラムは、部分的に共通する複数の視野をそれぞれ捉える複数の撮像面を有し、複数の視野をそれぞれ表す複数の画像を選択的に出力する撮像手段(12L, 12R)を備える電子カメラ(10)のプロセッサ(34)に、複数の撮像面にそれぞれ対応する複数の撮像条件を調整係数を参照して共通的に調整する調整ステップ(S25~S27, S43~S51)、および撮像手段から出力された画像が複数の視野のいずれを表す画像であるかを識別して調整係数の値を変更する変更ステップ(S21~S23, S31~S39)を実行させるための、撮像制御プログラムである。   An imaging control program according to the present invention includes an imaging unit (12L, 12R) that has a plurality of imaging surfaces that respectively capture a plurality of partially common fields of view and selectively outputs a plurality of images that respectively represent the plurality of fields of view. An adjustment step (S25 to S27, S43 to S51) for commonly adjusting a plurality of imaging conditions respectively corresponding to a plurality of imaging surfaces with reference to an adjustment coefficient in a processor (34) of the electronic camera (10) provided, and An imaging control program for executing a change step (S21 to S23, S31 to S39) for identifying which of the plurality of fields of view the image output from the imaging means represents and changing the value of the adjustment coefficient It is.

この発明に従う撮像制御方法は、部分的に共通する複数の視野をそれぞれ捉える複数の撮像面を有し、複数の視野をそれぞれ表す複数の画像を選択的に出力する撮像手段(12L, 12R)を備える電子カメラ(10)によって実行される撮像制御方法であって、複数の撮像面にそれぞれ対応する複数の撮像条件を調整係数を参照して共通的に調整する調整ステップ(S25~S27, S43~S51)、および撮像手段から出力された画像が複数の視野のいずれを表す画像であるかを識別して調整係数の値を変更する変更ステップ(S21~S23, S31~S39)を備える。   An imaging control method according to the present invention includes an imaging unit (12L, 12R) that has a plurality of imaging surfaces that respectively capture a plurality of partially common fields of view and selectively outputs a plurality of images that respectively represent the plurality of fields of view. An imaging control method executed by an electronic camera (10) provided, wherein adjustment steps (S25-S27, S43--) commonly adjust a plurality of imaging conditions respectively corresponding to a plurality of imaging surfaces with reference to an adjustment coefficient S51), and a change step (S21 to S23, S31 to S39) for identifying which of the plurality of visual fields the image output from the imaging means represents and changing the value of the adjustment coefficient.

この発明に従う外部制御プログラムは、部分的に共通する複数の視野をそれぞれ捉える複数の撮像面を有し、複数の視野をそれぞれ表す複数の画像を選択的に出力する撮像手段(12L, 12R)、およびメモリ(40)に保存された内部制御プログラムに従う処理を実行するプロセッサ(34)を備える電子カメラ(10)に供給される外部制御プログラムであって、複数の撮像面にそれぞれ対応する複数の撮像条件を調整係数を参照して共通的に調整する調整ステップ(S25~S27, S43~S51)、および撮像手段から出力された画像が複数の視野のいずれを表す画像であるかを識別して調整係数の値を変更する変更ステップ(S21~S23, S31~S39)を内部制御プログラムと協働してプロセッサに実行させるための、外部制御プログラムである。   The external control program according to the present invention has a plurality of imaging surfaces that respectively capture a plurality of partially common fields of view, and imaging means (12L, 12R) that selectively outputs a plurality of images each representing a plurality of fields of view. And an external control program supplied to the electronic camera (10) including a processor (34) for executing processing according to the internal control program stored in the memory (40), and a plurality of imaging corresponding to a plurality of imaging surfaces, respectively. An adjustment step (S25 to S27, S43 to S51) for commonly adjusting the condition with reference to the adjustment coefficient, and identifying and adjusting which of the plurality of visual fields the image output from the imaging means represents It is an external control program for causing a processor to execute change steps (S21 to S23, S31 to S39) for changing coefficient values in cooperation with the internal control program.

この発明に従う電子カメラ(10)は、部分的に共通する複数の視野をそれぞれ捉える複数の撮像面を有し、複数の視野をそれぞれ表す複数の画像を選択的に出力する撮像手段(12L, 12R)、外部制御プログラムを取り込む取り込み手段(42)、および取り込み手段によって取り込まれた外部制御プログラムとメモリ(40)に保存された内部制御プログラムとに従う処理を実行するプロセッサ(34)を備える電子カメラ(10)であって、外部制御プログラムは、複数の撮像面にそれぞれ対応する複数の撮像条件を調整係数を参照して共通的に調整する調整ステップ(S25~S27, S43~S51)、および撮像手段から出力された画像が複数の視野のいずれを表す画像であるかを識別して調整係数の値を変更する変更ステップ(S21~S23, S31~S39)を内部制御プログラムと協働して実行するプログラムに相当する。   An electronic camera (10) according to the present invention has a plurality of imaging planes that respectively capture a plurality of partially common fields of view, and selectively outputs a plurality of images that respectively represent the plurality of fields of view (12L, 12R) ), An electronic camera including a capturing unit (42) for capturing an external control program, and a processor (34) for executing processing according to the external control program captured by the capturing unit and the internal control program stored in the memory (40) ( 10), and the external control program adjusts a plurality of imaging conditions respectively corresponding to a plurality of imaging surfaces with reference to an adjustment coefficient (S25 to S27, S43 to S51), and imaging means A change step (S21 to S23, S31 to S39) is executed in cooperation with the internal control program to identify which of the plurality of visual fields the image output from the image represents and to change the value of the adjustment coefficient Blog Corresponding to the beam.

この発明によれば、複数の視野をそれぞれ表す画像を選択的に出力することで、ピーク電力が抑制される。また、複数の撮像面にそれぞれ対応する複数の撮像条件を共通的に調整することで、視野間での画質のずれが抑制される。さらに、撮像手段から出力された画像がいずれの視野を表す画像であるかを識別して調整係数の値を変更することで、時間軸方向における画質の変動が抑制される。こうして、撮像性能の向上が図られる。   According to this invention, peak power is suppressed by selectively outputting images each representing a plurality of fields of view. In addition, by commonly adjusting a plurality of imaging conditions corresponding to a plurality of imaging planes, it is possible to suppress a shift in image quality between fields of view. Furthermore, by identifying which field of view the image output from the imaging means represents and changing the value of the adjustment coefficient, fluctuations in image quality in the time axis direction are suppressed. Thus, the imaging performance is improved.

この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。   The above object, other objects, features and advantages of the present invention will become more apparent from the following detailed description of embodiments with reference to the drawings.

この発明の一実施例の基本的構成を示すブロック図である。It is a block diagram which shows the basic composition of one Example of this invention. この発明の一実施例の構成を示すブロック図である。It is a block diagram which shows the structure of one Example of this invention. 生画像データの出力動作の一例を示すタイミング図である。It is a timing diagram showing an example of an output operation of raw image data. 図2実施例の外観を示す斜視図である。2 is a perspective view showing the appearance of the embodiment. 図2実施例によって捉えられるシーンの一例を示す図解図である。It is an illustration figure which shows an example of the scene caught by the FIG. 2 Example. 図2実施例に適用される画像合成回路によって作成された合成画像データの一例を示す図解図である。FIG. 3 is an illustrative view showing one example of composite image data created by an image composition circuit applied to the embodiment in FIG. 2; 図2実施例に適用される光学/撮像系の構成の一例を示す図解図である。FIG. 3 is an illustrative view showing one example of a configuration of an optical / imaging system applied to the embodiment in FIG. 2; 撮像面における評価エリアEVAの割り当て状態の一例を示す図解図である。It is an illustration figure which shows an example of the allocation state of the evaluation area EVA in an imaging surface. 図2実施例に適用されるレジスタの構成の一例を示す図解図である。FIG. 3 is an illustrative view showing one example of a configuration of a register applied to the embodiment in FIG. 2; (A)は視野VF_Lにおける評価エリアEVAの配置の一例を示す図解図であり、(B)は視野VF_Rにおける評価エリアEVAの配置の一例を示す図解図である。(A) is an illustration figure which shows an example of arrangement | positioning of evaluation area EVA in the visual field VF_L, (B) is an illustration figure which shows an example of arrangement | positioning of evaluation area EVA in the visual field VF_R. 図2実施例の動作の一部を示すタイミング図である。FIG. 3 is a timing chart showing a part of the operation of the embodiment in FIG. 2; 図2実施例に適用されるCPUの動作の一部を示すフロー図である。It is a flowchart which shows a part of operation | movement of CPU applied to the FIG. 2 Example. 図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。It is a flowchart which shows a part of other operation | movement of CPU applied to the FIG. 2 Example. 図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。FIG. 11 is a flowchart showing still another portion of behavior of the CPU applied to the embodiment in FIG. 2; この発明の他の実施例の構成を示すブロック図である。It is a block diagram which shows the structure of the other Example of this invention.

以下、この発明の実施の形態を図面を参照しながら説明する。
[基本的構成]
Embodiments of the present invention will be described below with reference to the drawings.
[Basic configuration]

図1を参照して、この実施例の電子カメラは、基本的に次のように構成される。撮像手段1は、部分的に共通する複数の視野をそれぞれ捉える複数の撮像面を有し、複数の視野をそれぞれ表す複数の画像を選択的に出力する。調整手段2は、複数の撮像面にそれぞれ対応する複数の撮像条件を調整係数を参照して共通的に調整する。変更手段3は、撮像手段1から出力された画像が複数の視野のいずれを表す画像であるかを識別して調整係数の値を変更する。   Referring to FIG. 1, the electronic camera of this embodiment is basically configured as follows. The imaging means 1 has a plurality of imaging planes that respectively capture a plurality of partially common fields of view, and selectively outputs a plurality of images that respectively represent the plurality of fields of view. The adjusting unit 2 commonly adjusts a plurality of imaging conditions respectively corresponding to a plurality of imaging surfaces with reference to the adjustment coefficient. The changing unit 3 identifies which of the plurality of fields of view the image output from the imaging unit 1 is, and changes the value of the adjustment coefficient.

複数の視野をそれぞれ表す画像を選択的に出力することで、ピーク電力が抑制される。また、複数の撮像面にそれぞれ対応する複数の撮像条件を共通的に調整することで、複数の視野の間での画質のずれが抑制される。さらに、撮像手段1から出力された画像がいずれの視野を表す画像であるかを識別して調整係数の値を変更することで、時間軸方向における画質の変動が抑制される。こうして、撮像性能の向上が図られる。
[実施例]
By selectively outputting images each representing a plurality of fields of view, peak power is suppressed. In addition, by commonly adjusting a plurality of imaging conditions respectively corresponding to a plurality of imaging surfaces, a shift in image quality between a plurality of fields of view is suppressed. Furthermore, by identifying which field of view the image output from the imaging unit 1 represents and changing the value of the adjustment coefficient, fluctuations in image quality in the time axis direction are suppressed. Thus, the imaging performance is improved.
[Example]

図2を参照して、この実施例のディジタルビデオカメラ10は、光学/撮像系12Lおよび12Rを含む。電源が投入されると、CPU34によって実行される撮像タスクの下で、光学/撮像系12Lおよび12Rが起動される。また、SG(Signal Generator)18から周期的に出力される垂直同期信号Vsyncが、起動した光学/撮像系12Lおよび12Rに共通的に与えられる。   Referring to FIG. 2, the digital video camera 10 of this embodiment includes optical / imaging systems 12L and 12R. When the power is turned on, the optical / imaging systems 12L and 12R are activated under the imaging task executed by the CPU. A vertical synchronization signal Vsync periodically output from an SG (Signal Generator) 18 is commonly supplied to the activated optical / imaging systems 12L and 12R.

光学/撮像系12Lは偶数番目の垂直同期信号Vsyncに応答して生画像データ(L側生画像データ)を繰り返し出力し、光学/撮像系12Rは奇数番目の垂直同期信号Vsyncに応答して生画像データ(R側生画像データ)を繰り返し出力する。図3に示すように、L側生画像データおよびR側生画像データは、垂直同期信号Vsyncに同期して交互に(選択的に)出力される。   The optical / imaging system 12L repeatedly outputs raw image data (L-side raw image data) in response to the even-numbered vertical synchronization signal Vsync, and the optical / imaging system 12R generates the raw image data in response to the odd-numbered vertical synchronization signal Vsync. Image data (R-side raw image data) is repeatedly output. As shown in FIG. 3, the L-side raw image data and the R-side raw image data are alternately (selectively) output in synchronization with the vertical synchronization signal Vsync.

図4を参照して、光学/撮像系12Lおよび12Rは、カメラ筐体CB1の前面に固定的に設けられる。光学/撮像系12Lはカメラ筐体CB1の前方に向かって左側に位置し、光学/撮像系12Rはカメラ筐体CB1の前方に向かって右側に位置する。   Referring to FIG. 4, optical / imaging systems 12L and 12R are fixedly provided on the front surface of camera casing CB1. The optical / imaging system 12L is located on the left side toward the front of the camera casing CB1, and the optical / imaging system 12R is located on the right side toward the front of the camera casing CB1.

光学/撮像系12Lおよび12Rはそれぞれ光軸AX_LおよびAX_Rを有し、カメラ筐体CB1の底面から光軸AX_Lまでの距離(=H_L)はカメラ筐体CB1の底面から光軸AX_Rまでの距離(=H_R)と一致する。また、水平方向における光軸AX_LおよびAX_Rの間隔(=W1)は、人間の両目の間隔を考慮して6cm程度に設定される。さらに、光学/撮像系12Lおよび12Rは、共通の倍率を有する。   The optical / imaging systems 12L and 12R have optical axes AX_L and AX_R, respectively, and the distance from the bottom surface of the camera housing CB1 to the optical axis AX_L (= H_L) is the distance from the bottom surface of the camera housing CB1 to the optical axis AX_R ( = H_R). Further, the distance (= W1) between the optical axes AX_L and AX_R in the horizontal direction is set to about 6 cm in consideration of the distance between human eyes. Furthermore, the optical / imaging systems 12L and 12R have a common magnification.

したがって、カメラ筐体CB1の前方に図5に示すシーンが広がっているとき、光学/撮像系12Lは左側視野VF_Lを捉える一方、光学/撮像系12Rは右側視野VF_Rを捉える。光学/撮像系12Lおよび12Rはカメラ筐体CB1において互いに同じ高さ位置に設けられかつ共通の倍率に設定されるため、左側視野VF_Lおよび右側視野VF_Rの水平位置は僅かにずれるものの、左側視野VF_Lおよび右側視野VF_Rの垂直位置は互いに一致する。この結果、光学/撮像系12Lおよび12Rの両方で捉えられる共通視野VF_Cが、左側視野VF_Lおよび右側視野VF_Rの各々に部分的に出現する。   Therefore, when the scene shown in FIG. 5 spreads in front of the camera casing CB1, the optical / imaging system 12L captures the left visual field VF_L, while the optical / imaging system 12R captures the right visual field VF_R. Since the optical / imaging systems 12L and 12R are provided at the same height in the camera casing CB1 and set to a common magnification, the left visual field VF_L and the right visual field VF_R are slightly shifted, but the left visual field VF_L The vertical positions of the right visual field VF_R coincide with each other. As a result, the common visual field VF_C captured by both the optical / imaging systems 12L and 12R partially appears in each of the left visual field VF_L and the right visual field VF_R.

図2に戻って、光学/撮像系12Lおよび12Rからそれぞれ出力されたL側生画像データおよびR側生画像データは、信号処理回路14に交互に与えられる。信号処理回路14は、与えられた生画像データに色分離,白バランス調整,YUV変換などの処理を施し、YUV形式の画像データをメモリ制御回路20を通してSDRAM22に書き込む。L側生画像データに基づくYUV形式の画像データ(L側画像データ)はL側画像エリア22Lに格納され、R側生画像データに基づくYUV形式の画像データ(R側画像データ)はR側画像エリア22Rに格納される。   Returning to FIG. 2, the L-side raw image data and the R-side raw image data output from the optical / imaging systems 12 </ b> L and 12 </ b> R are alternately supplied to the signal processing circuit 14. The signal processing circuit 14 performs processing such as color separation, white balance adjustment, and YUV conversion on the given raw image data, and writes the YUV format image data into the SDRAM 22 through the memory control circuit 20. The YUV format image data (L side image data) based on the L side raw image data is stored in the L side image area 22L, and the YUV format image data (R side image data) based on the R side raw image data is stored in the R side image. Stored in area 22R.

画像合成回路24は、L側画像データをメモリ制御回路20を通してL側画像エリア22Lから繰り返し読み出し、R側画像データをメモリ制御回路20を通してR側画像エリア22Lから繰り返し読み出し、そして読み出されたL側画像データおよびR側画像データを共通視野VF_Cを基準として合成する。図5に示すシーンが捉えられたとき、合成画像データは図6に示す要領で作成される。作成された合成画像データは、メモリ制御回路20を通してSDRAM22の合成画像エリア22Cに書き込まれる。   The image composition circuit 24 repeatedly reads L-side image data from the L-side image area 22L through the memory control circuit 20, repeatedly reads R-side image data from the R-side image area 22L through the memory control circuit 20, and reads the read L The side image data and the R side image data are synthesized with the common visual field VF_C as a reference. When the scene shown in FIG. 5 is captured, the composite image data is created in the manner shown in FIG. The created composite image data is written into the composite image area 22C of the SDRAM 22 through the memory control circuit 20.

LCDドライバ26は、合成画像エリア22Cに格納された合成画像データをメモリ制御回路20を通して繰り返し読み出し、読み出された合成画像データに基づいてLCDモニタ28を駆動する。この結果、光学/撮像系12Lおよび12Rによって捉えられたシーンを表すリアルタイム動画像(スルー画像)がモニタ画面に表示される。   The LCD driver 26 repeatedly reads the composite image data stored in the composite image area 22C through the memory control circuit 20, and drives the LCD monitor 28 based on the read composite image data. As a result, a real-time moving image (through image) representing a scene captured by the optical / imaging systems 12L and 12R is displayed on the monitor screen.

図7を参照して、光学/撮像系12Lは、ドライバ124L,125Lおよび126Lによってそれぞれ駆動されるフォーカスレンズ121L,絞り機構122Lおよび撮像装置123Lを備え、さらに撮像装置123Lの姿勢を制御するアクチュエータ127Lを備える。同様に、光学/撮像系12Rは、ドライバ124R,125Rおよび126Rによってそれぞれ駆動されるフォーカスレンズ121R,絞り機構122Rおよび撮像装置123Rを備え、さらに撮像装置123Lの姿勢を制御するアクチュエータ127Lを備える。   Referring to FIG. 7, the optical / imaging system 12L includes a focus lens 121L, an aperture mechanism 122L, and an imaging device 123L that are driven by drivers 124L, 125L, and 126L, respectively, and an actuator 127L that controls the attitude of the imaging device 123L. Is provided. Similarly, the optical / imaging system 12R includes a focus lens 121R, a diaphragm mechanism 122R, and an imaging device 123R that are driven by drivers 124R, 125R, and 126R, respectively, and an actuator 127L that controls the attitude of the imaging device 123L.

左側視野VF_Lを表す光学像は、フォーカスレンズ121Lおよび絞り機構122Lを経由して撮像装置123Lの撮像面に照射される。ドライバ126Lは、SG18から与えられた偶数番目の垂直同期信号Vsyncに応答して撮像面を露光し、これによって生成された電荷をラスタ走査態様で読み出す。L側生画像データは、読み出された電荷に基づいて作成される。   The optical image representing the left visual field VF_L is irradiated on the imaging surface of the imaging device 123L via the focus lens 121L and the diaphragm mechanism 122L. The driver 126L exposes the imaging surface in response to the even-numbered vertical synchronization signal Vsync given from the SG 18, and reads out the charges generated thereby in a raster scanning manner. The L-side raw image data is created based on the read charges.

右側視野VF_Rを表す光学像は、フォーカスレンズ121Rおよび絞り機構122Rを経由して撮像装置123Rの撮像面に照射される。ドライバ126Rもまた、SG18から与えられた奇数番目の垂直同期信号Vsyncに応答して撮像面を露光し、これによって生成された電荷をラスタ走査態様で読み出す。R側生画像データは、読み出された電荷に基づいて作成される。   The optical image representing the right visual field VF_R is irradiated on the imaging surface of the imaging device 123R via the focus lens 121R and the diaphragm mechanism 122R. The driver 126R also exposes the imaging surface in response to the odd-numbered vertical synchronization signal Vsync given from the SG 18, and reads out the charges generated thereby in a raster scanning manner. The R-side raw image data is created based on the read charges.

撮像装置123Lおよび123Rの各々の撮像面には、評価エリアEVAが図8に示す要領で割り当てられる。また、図2に示す信号処理回路14によって交互に生成されたL側画像データおよびR側画像データは、AE/AF評価回路16にも与えられる。   An evaluation area EVA is allocated to the imaging surfaces of the imaging devices 123L and 123R as shown in FIG. Further, the L-side image data and the R-side image data generated alternately by the signal processing circuit 14 shown in FIG. 2 are also supplied to the AE / AF evaluation circuit 16.

AE/AF評価回路16は、左側視野VF_Lを表す画像の明るさおよび鮮鋭度をそれぞれ示す輝度評価値およびフォーカス評価値を、評価エリアEVAに属する一部のL側画像データに基づいて繰り返し作成する。AE/AF評価回路16はまた、右側視野VF_Rを表す画像の明るさおよび鮮鋭度をそれぞれ示す輝度評価値およびフォーカス評価値を、評価エリアEVAに属する一部のR側画像データに基づいて繰り返し作成する。   The AE / AF evaluation circuit 16 repeatedly creates a luminance evaluation value and a focus evaluation value indicating the brightness and sharpness of the image representing the left visual field VF_L based on a part of the L-side image data belonging to the evaluation area EVA. . The AE / AF evaluation circuit 16 also repeatedly creates a luminance evaluation value and a focus evaluation value indicating the brightness and sharpness of the image representing the right visual field VF_R based on a part of the R-side image data belonging to the evaluation area EVA. To do.

L側画像データおよびR側画像データは、垂直同期信号Vsyncに同期して交互に作成される。したがって、左側視野VF_Lに対応する輝度評価値および右側視野VF_Rに対応する輝度評価値も垂直同期信号Vsyncに同期して交互に作成され、左側視野VF_Lに対応するフォーカス評価値および右側視野VF_Rに対応するフォーカス評価値もまた垂直同期信号Vsyncに同期して交互に作成される。   The L-side image data and the R-side image data are alternately generated in synchronization with the vertical synchronization signal Vsync. Therefore, the luminance evaluation value corresponding to the left visual field VF_L and the luminance evaluation value corresponding to the right visual field VF_R are alternately generated in synchronization with the vertical synchronization signal Vsync, and correspond to the focus evaluation value corresponding to the left visual field VF_L and the right visual field VF_R. The focus evaluation values to be generated are also alternately generated in synchronization with the vertical synchronization signal Vsync.

ジャイロセンサ38Lおよび38Rは、光学/撮像系12Lおよび12Rにそれぞれ割り当てられる。具体的には、図4に示すように、ジャイロセンサ38Lは光学/撮像系12Lの近傍に配置され、ジャイロセンサ38Rは光学/撮像系12Rの近傍に配置される。ジャイロセンサ38Lおよび38Rのいずれもカメラ筐体CB1の揺れを検知し、検知結果を出力する。ジャイロセンサ38Lの検知結果はL側手振れ情報としてCPU34に与えられ、ジャイロセンサ38Rの検知結果がR側手振れ情報としてCPU34に与えられる。   The gyro sensors 38L and 38R are assigned to the optical / imaging systems 12L and 12R, respectively. Specifically, as shown in FIG. 4, the gyro sensor 38L is arranged in the vicinity of the optical / imaging system 12L, and the gyro sensor 38R is arranged in the vicinity of the optical / imaging system 12R. Both the gyro sensors 38L and 38R detect the shaking of the camera casing CB1 and output the detection result. The detection result of the gyro sensor 38L is given to the CPU 34 as L-side camera shake information, and the detection result of the gyro sensor 38R is given to the CPU 34 as R-side camera shake information.

CPU34は、AE/AF評価回路16から出力された輝度評価値およびフォーカス評価値とジャイロセンサ38Lおよび38Rから出力されたL側手振れ情報およびR側手振れ情報とを参照して、撮像条件調整タスクの下でAE処理,AF処理および手振れ補正処理を繰り返し実行する。この結果、スルー画像の明るさおよび鮮鋭度が適正に調整され、かつスルー画像の手振れが抑制される。なお、撮像条件調整タスクの下での処理については後段で詳述する。   The CPU 34 refers to the luminance evaluation value and the focus evaluation value output from the AE / AF evaluation circuit 16 and the L-side camera shake information and the R-side camera shake information output from the gyro sensors 38L and 38R. Below, AE processing, AF processing, and camera shake correction processing are repeatedly executed. As a result, the brightness and sharpness of the through image are appropriately adjusted, and camera shake of the through image is suppressed. The processing under the imaging condition adjustment task will be described in detail later.

キー入力装置36に設けられたムービボタン36mvが操作されると、CPU34は、動画記録処理の実行をメモリI/F30に命令する。メモリI/F30は、新規の動画ファイルを記録媒体32に作成し(作成した動画ファイルはオープンされる)、SDRAM22の合成画像エリア22Cに格納された合成画像データをメモリ制御回路20を通して繰り返し読み出し、そして読み出された合成画像データをオープン状態の動画ファイルに収める。   When a movie button 36mv provided on the key input device 36 is operated, the CPU 34 commands the memory I / F 30 to execute a moving image recording process. The memory I / F 30 creates a new moving image file on the recording medium 32 (the created moving image file is opened), and repeatedly reads the composite image data stored in the composite image area 22C of the SDRAM 22 through the memory control circuit 20, Then, the read composite image data is stored in an open moving image file.

ムービボタン36mvが再度操作されると、CPU34は、動画記録処理の停止をメモリI/F30に命令する。メモリI/F30は、合成画像エリア22Cからの合成画像データの読み出しを終了し、オープン状態の動画ファイルをクローズする。これによって、光学/撮像系12Lおよび12Rによって捉えられたシーンを継続的に表す動画像がファイル形式で記録媒体32に記録される。   When the movie button 36mv is operated again, the CPU 34 commands the memory I / F 30 to stop the moving image recording process. The memory I / F 30 finishes reading the composite image data from the composite image area 22C, and closes the open moving image file. Thus, a moving image that continuously represents the scene captured by the optical / imaging systems 12L and 12R is recorded in the recording medium 32 in a file format.

撮像条件調整タスクの下では、以下の処理が実行される。垂直同期信号Vsyncが発生すると、AE/AF評価回路16から出力された輝度評価値およびフォーカス評価値がCPU34によって取り込まれる。取り込まれた輝度評価値およびフォーカス評価値は、図9に示すレジスタRGST1の現フレームに対応するカラムに登録される。続いて、ジャイロセンサ38Lおよび38Rからそれぞれ出力されたL側手振れ情報およびR側手振れ情報が取り込まれる。L側手振れ情報およびR側手振れ情報もまた、レジスタRGST1の現フレームに対応するカラムに登録される。   The following processing is executed under the imaging condition adjustment task. When the vertical synchronization signal Vsync is generated, the luminance evaluation value and the focus evaluation value output from the AE / AF evaluation circuit 16 are captured by the CPU 34. The fetched luminance evaluation value and focus evaluation value are registered in the column corresponding to the current frame of the register RGST1 shown in FIG. Subsequently, the L-side camera shake information and the R-side camera shake information output from the gyro sensors 38L and 38R, respectively, are captured. The L-side camera shake information and the R-side camera shake information are also registered in the column corresponding to the current frame of the register RGST1.

輝度評価値,フォーカス評価値,L側手振れ情報およびR側手振れ情報が取得されると、現フレームに対応する重み付け量Wcrntの値と前フレームに対応する重み付け量Wprvの値とが次のように調整される。つまり、現フレームが偶数番目のフレームであれば、重み付け量Wcrntは定数K_L1に設定され、重み付け量Wprvは定数K_R2に設定される。一方、現フレームが奇数番目のフレームであれば、重み付け量Wcrntは定数K_R1に設定され、重み付け量Wprvは定数K_L2に設定される。   When the brightness evaluation value, the focus evaluation value, the L-side camera shake information, and the R-side camera shake information are acquired, the value of the weighting amount Wcrnt corresponding to the current frame and the value of the weighting amount Wprv corresponding to the previous frame are as follows: Adjusted. In other words, if the current frame is an even-numbered frame, the weighting amount Wcrnt is set to the constant K_L1, and the weighting amount Wprv is set to the constant K_R2. On the other hand, if the current frame is an odd-numbered frame, the weighting amount Wcrnt is set to the constant K_R1, and the weighting amount Wprv is set to the constant K_L2.

ここで、定数K_L1およびK_R2の各々の値は、その和が“1.0”を示すように“0”〜“1”の範囲内で選択される。同様に、定数K_R1およびK_L2の各々の値も、その和が“1.0”を示すように“0”〜“1”の範囲内で選択される。ただし、これらの定数の大きさは、K_L1→K_L2→K_R1→K_R2の順で減少する。   Here, the values of the constants K_L1 and K_R2 are selected within the range of “0” to “1” so that the sum thereof indicates “1.0”. Similarly, the values of the constants K_R1 and K_L2 are also selected within the range of “0” to “1” so that the sum thereof indicates “1.0”. However, the magnitudes of these constants decrease in the order of K_L 1 → K_L 2 → K_R 1 → K_R 2.

現フレームが偶数番目のフレームであるときは、L側画像データが現フレームに対応し、R側画像データが前フレームに対応する。これに対して、現フレームが奇数番目のフレームであるときは、R側画像データが現フレームに対応し、L側画像データが前フレームに対応する。   When the current frame is an even-numbered frame, the L-side image data corresponds to the current frame, and the R-side image data corresponds to the previous frame. On the other hand, when the current frame is an odd-numbered frame, the R-side image data corresponds to the current frame, and the L-side image data corresponds to the previous frame.

したがって、定数K_L1およびK_L2はL側画像データに割り当てられ、定数K_L1およびK_L2はR側画像データに割り当てられる。また、定数K_L1およびK_R1は現フレームに割り当てられ、定数K_L2およびK_R2は前フレームに割り当てられる。定数K_L1,K_L2,K_R1およびK_R2がこの順で減少することから、L側生画像データがR側画像データよりも重視され、現フレームが前フレームよりも重視されることが分かる。   Accordingly, the constants K_L1 and K_L2 are assigned to the L-side image data, and the constants K_L1 and K_L2 are assigned to the R-side image data. Constants K_L1 and K_R1 are assigned to the current frame, and constants K_L2 and K_R2 are assigned to the previous frame. Since the constants K_L1, K_L2, K_R1, and K_R2 decrease in this order, it can be seen that the L-side raw image data is more important than the R-side image data, and the current frame is more important than the previous frame.

こうして設定された重み付け量WcrntおよびWprvの値は、現フレームで取得されたL側手振れ情報およびR側手振れ情報を参照して補正される。この結果、カメラ筐体CB1の動きが重み付け量WcrntおよびWprvに反映される。   The values of the weights Wcrnt and Wprv set in this way are corrected with reference to the L-side camera shake information and the R-side camera shake information acquired in the current frame. As a result, the movement of the camera casing CB1 is reflected in the weighting amounts Wcrnt and Wprv.

重み付け量WcrntおよびWprvがこうして確定すると、最新2フレームにそれぞれ対応する2つのカラムをレジスタRGST1上で指定される。指定されたカラム上の2つの輝度評価値は数1に従う加重加算演算を施され、これによって統合輝度評価値が算出される。また、指定されたカラム上の2つのフォーカス評価値は数2に従う加重加算演算を施され、これによって統合フォーカス評価値が算出される。
[数1]
AEunit=AEcrnt*Wcrnt+AEprv*Wprv
AEcrnt:現フレームの輝度評価値
AEprv:前フレームの輝度評価値
AEunit:統合輝度評価値
[数2]
AFunit=AFcrnt*Wcrnt+AFprv*Wprv
AFcrnt:現フレームのフォーカス評価値
AFprv:前フレームのフォーカス評価値
AFunit:統合フォーカス評価値
When the weighting amounts Wcrnt and Wprv are determined in this way, two columns corresponding to the latest two frames are designated on the register RGST1. The two luminance evaluation values on the designated column are subjected to a weighted addition operation according to Equation 1, thereby calculating an integrated luminance evaluation value. Also, the two focus evaluation values on the designated column are subjected to a weighted addition operation according to Equation 2, thereby calculating an integrated focus evaluation value.
[Equation 1]
AEunit = AEcrnt * Wcrnt + AEprv * Wprv
AEcrnt: luminance evaluation value of the current frame AEprv: luminance evaluation value of the previous frame AEunit: integrated luminance evaluation value [Equation 2]
AFunit = AFcrnt * Wcrnt + AFprv * Wprv
AFCrnt: focus evaluation value AFprv of the current frame: focus evaluation value AFunit of the previous frame: integrated focus evaluation value

数1によれば、重み付け量Wcrntが現フレームの輝度評価値に掛け算され、重み付け量Wprvが前フレームの輝度評価値に掛け算され、そしてこれらの掛け算値が互いに加算される。数2によれば、重み付け量Wcrntが現フレームのフォーカス評価値に掛け算され、重み付け量Wprvが前フレームのフォーカス評価値に掛け算され、そしてこれらの掛け算値が互いに加算される。   According to Equation 1, the weighting amount Wcrnt is multiplied by the luminance evaluation value of the current frame, the weighting amount Wprv is multiplied by the luminance evaluation value of the previous frame, and these multiplication values are added to each other. According to Equation 2, the weighting amount Wcrnt is multiplied by the focus evaluation value of the current frame, the weighting amount Wprv is multiplied by the focus evaluation value of the previous frame, and these multiplication values are added to each other.

数1によって算出された統合輝度評価値はAE処理のために参照され、これによって適正EV値を定義する絞り量および露光時間が決定される。決定された絞り量はドライバ125Lおよび125Rに設定され、決定された露光時間はドライバ126Lおよび126Rに設定される。この結果、撮像装置123Lおよび123Rの露光量が共通的に調整される。   The integrated luminance evaluation value calculated by Equation 1 is referred to for the AE process, and thereby the aperture amount and the exposure time that define the appropriate EV value are determined. The determined aperture amount is set in the drivers 125L and 125R, and the determined exposure time is set in the drivers 126L and 126R. As a result, the exposure amounts of the imaging devices 123L and 123R are adjusted in common.

また、統合フォーカス評価値はAF処理のために参照される。AF処理の結果、フォーカスレンズ121Lはドライバ124Lによって合焦方向に移動され、フォーカスレンズ121Rはドライバ124Rによって合焦方向に移動される。フォーカスレンズ121Lおよび121Rの移動態様は共通し、これによってフォーカスが共通的に調整される。   The integrated focus evaluation value is referred to for AF processing. As a result of the AF process, the focus lens 121L is moved in the in-focus direction by the driver 124L, and the focus lens 121R is moved in the in-focus direction by the driver 124R. The movement modes of the focus lenses 121L and 121R are common, and thereby the focus is adjusted in common.

図10(A)および図10(B)に示すように、評価エリアEVAに属する画像は視野VF_LおよびVF_Rの間で相違し、これに起因して輝度評価値およびフォーカス評価値の各々がL側画像データとR側画像データとの間で相違するところ、露光量およびフォーカスは上述の要領で共通的に調整される。これによって、露光量およびフォーカスが視野VF_LおよびVF_Rの間でずれる事態が回避され、さらに露光量およびフォーカスが時間軸方向において変動する事態が回避される。   As shown in FIGS. 10A and 10B, the images belonging to the evaluation area EVA differ between the visual fields VF_L and VF_R, and due to this, each of the luminance evaluation value and the focus evaluation value is on the L side. Where there is a difference between the image data and the R-side image data, the exposure amount and the focus are adjusted in common as described above. This avoids a situation in which the exposure amount and the focus are shifted between the visual fields VF_L and VF_R, and further prevents a situation in which the exposure amount and the focus fluctuate in the time axis direction.

AE処理およびAF処理が完了すると、レジスタRGST1に登録されたL側手振れ情報を参照してL側手振れ補正が実行され、レジスタRGST1に登録されたR側手振れ情報を参照してR側手振れ補正が実行される。この結果、撮像装置123Lの姿勢がアクチュエータ127Lによって調整され、撮像装置123Rの姿勢がアクチュエータ127Rによって調整される。このように、撮像装置123Lおよび123Rの姿勢は、個別に調整される。   When the AE process and the AF process are completed, the L-side camera shake correction is executed with reference to the L-side camera shake information registered in the register RGST1, and the R-side camera shake correction is performed with reference to the R-side camera shake information registered in the register RGST1. Executed. As a result, the posture of the imaging device 123L is adjusted by the actuator 127L, and the posture of the imaging device 123R is adjusted by the actuator 127R. In this way, the postures of the imaging devices 123L and 123R are individually adjusted.

図11を参照して、現フレームで取得された輝度評価値および前フレームで取得された輝度評価値に基づく露光設定は、次フレームのために実行される。現フレームで取得されたフォーカス評価値および前フレームで取得されたフォーカス評価値に基づくフォーカス設定も、次フレームのために実行される。さらに、現フレームで取得されたL側手振れ情報およびR側手振れ情報に基づく姿勢制御も、次フレームのために実行される。この結果、光学/撮像系12Lおよび12Rからそれぞれ出力されるL側生画像データおよびR側生画像データの品質、ひいては画像合成回路24によって作成される合成画像データの品質が向上する。   Referring to FIG. 11, the exposure setting based on the luminance evaluation value acquired in the current frame and the luminance evaluation value acquired in the previous frame is executed for the next frame. Focus setting based on the focus evaluation value acquired in the current frame and the focus evaluation value acquired in the previous frame is also executed for the next frame. Further, posture control based on the L-side camera shake information and the R-side camera shake information acquired in the current frame is also executed for the next frame. As a result, the quality of the L-side raw image data and the R-side raw image data output from the optical / imaging systems 12L and 12R, respectively, and the quality of the synthesized image data created by the image synthesis circuit 24 are improved.

CPU34は、図12に示す撮像タスクおよび図13〜図14に示す撮像条件調整タスクを含む複数のタスクをマルチタスクOSの制御の下で並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ40に記憶される。   The CPU 34 executes a plurality of tasks including the imaging task shown in FIG. 12 and the imaging condition adjustment task shown in FIGS. 13 to 14 in parallel under the control of the multitask OS. Note that control programs corresponding to these tasks are stored in the flash memory 40.

図12を参照して、ステップS1では垂直同期信号Vsyncが発生したか否かを判別する。判別結果がNOからYESに更新されると、ステップS3で光学/撮像系12Lを起動する。ステップS5では、垂直同期信号Vsyncが発生したか否かを再度判別する。判別結果がNOからYESに更新されると、ステップS7で光学/撮像系12Rを起動する。   Referring to FIG. 12, in step S1, it is determined whether or not the vertical synchronization signal Vsync is generated. When the determination result is updated from NO to YES, the optical / imaging system 12L is activated in step S3. In step S5, it is determined again whether or not the vertical synchronization signal Vsync is generated. When the determination result is updated from NO to YES, the optical / imaging system 12R is activated in step S7.

この結果、L側生画像データが偶数番目のフレームに対応して光学/撮像系12Lから出力され、R側生画像データが奇数番目のフレームに対応して光学/撮像系12Rから出力される。信号処理回路14はL側生画像データに基づいてYUV形式のL側画像データを作成し、R側生画像データに基づいてYUV形式のR側画像データを作成し、そして画像合成回路24は、L側画像データおよびR側画像データに基づいて合成画像データを作成する。LCDモニタ28には、こうして作成された合成画像データに基づくスルー画像が表示される。   As a result, the L-side raw image data is output from the optical / imaging system 12L corresponding to the even-numbered frames, and the R-side raw image data is output from the optical / imaging system 12R corresponding to the odd-numbered frames. The signal processing circuit 14 creates L-side image data in YUV format based on the L-side raw image data, creates R-side image data in YUV format based on the R-side raw image data, and the image composition circuit 24 Composite image data is created based on the L-side image data and the R-side image data. A through image based on the composite image data created in this way is displayed on the LCD monitor 28.

ステップS9では撮像条件調整タスクを起動し、ステップS11ではムービボタン36mvが操作されたか否かを判別する。ステップS11の判別結果がNOからYESに更新されると、動画記録処理が実行中であるか否かをステップS13で判別する。ステップS13の判別結果がYESであればステップS15で動画記録処理を開始する一方、ステップS13の判別結果がNOであればステップS17で動画記録処理を中止する。ステップS15またはS17の処理が完了すると、ステップS11に戻る。ステップS15およびS17の処理の結果、ムービボタン36mvの1回目の操作から2回目の操作までの期間に作成された合成画像データが動画ファイル形式で記録媒体32に記録される。   In step S9, an imaging condition adjustment task is activated, and in step S11, it is determined whether or not the movie button 36mv has been operated. When the determination result in step S11 is updated from NO to YES, it is determined in step S13 whether or not the moving image recording process is being executed. If the determination result in step S13 is YES, the moving image recording process is started in step S15. If the determination result in step S13 is NO, the moving image recording process is stopped in step S17. When the process of step S15 or S17 is completed, the process returns to step S11. As a result of the processing in steps S15 and S17, the composite image data created in the period from the first operation to the second operation of the movie button 36mv is recorded in the recording medium 32 in the moving image file format.

図13を参照して、ステップS21ではフラグFLG_Lを“0”に設定し、ステップS23では垂直同期信号Vsyncが発生したか否かを判別する。判別結果がNOからYESに更新されると、AE/AF評価回路16から出力された輝度評価値およびフォーカス評価値をステップS25およびS27で取り込む。取り込まれた輝度評価値およびフォーカス評価値は、現フレームに対応してレジスタRGST1に登録される。ステップS29では、ジャイロセンサ38Lの検知結果をL側手振れ情報として取り込み、ジャイロセンサ38Rの検知結果をR側手振れ情報として取り込む。L側手振れ情報およびR側手振れ情報もまた、現フレームに対応してレジスタRGST1に登録される。   Referring to FIG. 13, in step S21, flag FLG_L is set to “0”, and in step S23, it is determined whether or not vertical synchronization signal Vsync has been generated. When the determination result is updated from NO to YES, the luminance evaluation value and the focus evaluation value output from the AE / AF evaluation circuit 16 are captured in steps S25 and S27. The fetched luminance evaluation value and focus evaluation value are registered in the register RGST1 corresponding to the current frame. In step S29, the detection result of the gyro sensor 38L is captured as L-side camera shake information, and the detection result of the gyro sensor 38R is captured as R-side camera shake information. The L-side camera shake information and the R-side camera shake information are also registered in the register RGST1 corresponding to the current frame.

ステップS31ではフラグFLG_Lが“0”を示すか否かを判別し、判別結果がYESであればステップS33に進む一方、判別結果がNOであればステップS37に進む。ステップS33では、重み付け量Wcrntを定数K_L1に設定し、重み付け量Wprvを定数K_R2に設定する。設定が完了すると、ステップS35でフラグFLG_Lを“1”に更新する。ステップS37では、重み付け量Wcrntを定数K_R1に設定し、重み付け量Wprvを定数K_L2に設定する。設定が完了すると、ステップS39でフラグFLG_Lを“0”に更新する。   In step S31, it is determined whether or not the flag FLG_L indicates “0”. If the determination result is YES, the process proceeds to step S33, and if the determination result is NO, the process proceeds to step S37. In step S33, the weighting amount Wcrnt is set to a constant K_L1, and the weighting amount Wprv is set to a constant K_R2. When the setting is completed, the flag FLG_L is updated to “1” in step S35. In step S37, the weighting amount Wcrnt is set to a constant K_R1, and the weighting amount Wprv is set to a constant K_L2. When the setting is completed, the flag FLG_L is updated to “0” in step S39.

ステップS35またはS39の処理が完了するとステップS41に進み、ステップS29で取得されたL側手振れ情報およびR側手振れ情報を参照して重み付け量WcrntおよびWprvの値を補正する。ステップS43では、最新2フレームにそれぞれ対応する2つのカラムをレジスタRGST1上で指定する。   When the process of step S35 or S39 is completed, the process proceeds to step S41, and the values of the weighting amounts Wcrnt and Wprv are corrected with reference to the L-side camera shake information and the R-side camera shake information acquired in step S29. In step S43, two columns corresponding to the latest two frames are designated on the register RGST1.

ステップS45では、指定カラムに記述された2つの輝度評価値に数1に従う加重加算演算を施し、統合輝度評価値を算出する。ステップS47では、算出された統合輝度評価値を参照したAE処理を実行し、適正EV値を定義する絞り量および露光時間を決定する。決定された絞り量はドライバ125Lおよび125Rに設定され、決定された露光時間はドライバ126Lおよび126Rに設定される。この結果、撮像装置123Lおよび123Rの露光量が共通的に調整される。   In step S45, a weighted addition operation according to Equation 1 is performed on the two luminance evaluation values described in the designated column to calculate an integrated luminance evaluation value. In step S47, an AE process with reference to the calculated integrated luminance evaluation value is executed, and an aperture amount and an exposure time that define an appropriate EV value are determined. The determined aperture amount is set in the drivers 125L and 125R, and the determined exposure time is set in the drivers 126L and 126R. As a result, the exposure amounts of the imaging devices 123L and 123R are adjusted in common.

ステップS49では、指定カラムに記述された2つのフォーカス評価値に数2に従う加重加算演算を施し、統合フォーカス評価値を算出する。ステップS51では、算出された統合フォーカス評価値を参照したAF処理を実行する。フォーカスレンズ121Lはドライバ124Lによって合焦方向に移動され、フォーカスレンズ121Rはドライバ124Rによって合焦方向に移動される。フォーカスレンズ121Lおよび121Rの移動態様は共通し、これによってフォーカスが共通的に調整される。   In step S49, a weighted addition operation according to Equation 2 is performed on the two focus evaluation values described in the designated column to calculate an integrated focus evaluation value. In step S51, AF processing with reference to the calculated integrated focus evaluation value is executed. The focus lens 121L is moved in the in-focus direction by the driver 124L, and the focus lens 121R is moved in the in-focus direction by the driver 124R. The movement modes of the focus lenses 121L and 121R are common, and thereby the focus is adjusted in common.

ステップS53ではレジスタRGST1に登録されたL側手振れ情報を参照してL側手振れ補正を実行し、ステップS55ではレジスタRGST1に登録されたR側手振れ情報を参照してR側手振れ補正を実行する。ステップS53の処理の結果、撮像装置123Lの姿勢がアクチュエータ127Lによって調整される。また、ステップS55の処理の結果、撮像装置123Rの姿勢がアクチュエータ127Rによって調整される。ステップS55の処理が完了すると、ステップS23に戻る。   In step S53, the L-side camera shake correction is executed with reference to the L-side camera shake information registered in the register RGST1, and in step S55, the R-side camera shake correction is executed with reference to the R-side camera shake information registered in the register RGST1. As a result of the processing in step S53, the posture of the imaging device 123L is adjusted by the actuator 127L. Further, as a result of the processing in step S55, the posture of the imaging device 123R is adjusted by the actuator 127R. When the process of step S55 is completed, the process returns to step S23.

以上の説明から分かるように、光学/撮像系12Lは、視野VF_Lを捉える撮像面を有し、視野VF_Lを表すL側生画像データを出力する。光学/撮像系12Rは、視野VF_Rを捉える撮像面を有し、視野VF_Rを表すR側生画像データを出力する。ここで、視野VF_LおよびVF_Rは部分的に共通し、L側生画像データおよびR側生画像データは選択的に出力される。CPU34は、光学/撮像系12Lおよび12Rの撮像条件を、L側画像データおよびR側生画像データと重み付け係数WcrntおよびWprvとに基づいて共通的に調整する(S25~S27, S43~S51)。CPU34はまた、現フレームの生画像データがL側生画像データおよびR側生画像データのいずれであるかを識別して重み付け係数WcrntおよびWprvの値を変更する(S21~S23, S31~S39)。   As can be seen from the above description, the optical / imaging system 12L has an imaging surface that captures the visual field VF_L, and outputs L-side raw image data representing the visual field VF_L. The optical / imaging system 12R has an imaging surface that captures the visual field VF_R, and outputs R-side raw image data representing the visual field VF_R. Here, the visual fields VF_L and VF_R are partially common, and the L-side raw image data and the R-side raw image data are selectively output. The CPU 34 commonly adjusts the imaging conditions of the optical / imaging systems 12L and 12R based on the L-side image data, the R-side raw image data, and the weighting coefficients Wcrnt and Wprv (S25 to S27, S43 to S51). The CPU 34 also identifies whether the raw image data of the current frame is the L side raw image data or the R side raw image data, and changes the values of the weighting coefficients Wcrnt and Wprv (S21 to S23, S31 to S39). .

視野VF_LおよびVF_Rをそれぞれ表すL側生画像データおよびR側生画像データを選択的に出力することで、ピーク電力が抑制される。また、光学/撮像系12Lおよび12Rの撮像条件を共通的に調整することで、視野VF_LおよびVF_Rの間での画質のずれが抑制される。さらに、現フレームの生画像データがL側生画像データおよびR側生画像データのいずれであるかを識別して重み付け係数WcrntおよびWprvの値を変更することで、時間軸方向における画質の変動が抑制される。こうして、撮像性能の向上が図られる。   By selectively outputting the L-side raw image data and the R-side raw image data representing the visual fields VF_L and VF_R, respectively, peak power is suppressed. Further, by commonly adjusting the imaging conditions of the optical / imaging systems 12L and 12R, the image quality deviation between the visual fields VF_L and VF_R is suppressed. Further, by identifying whether the raw image data of the current frame is the L-side raw image data or the R-side raw image data and changing the values of the weighting coefficients Wcrnt and Wprv, image quality fluctuations in the time axis direction can be changed. It is suppressed. Thus, the imaging performance is improved.

なお、この実施例では、マルチタスクOSおよびこれによって実行される複数のタスクに相当する制御プログラムは、フラッシュメモリ40に予め記憶される。しかし、図15に示すように通信I/F42をディジタルカメラ10に設け、一部の制御プログラムを内部制御プログラムとしてフラッシュメモリ40に当初から準備する一方、他の一部の制御プログラムを外部制御プログラムとして外部サーバから取得するようにしてもよい。この場合、上述の動作は、内部制御プログラムおよび外部制御プログラムの協働によって実現される。   In this embodiment, the multitask OS and control programs corresponding to a plurality of tasks executed thereby are stored in the flash memory 40 in advance. However, as shown in FIG. 15, a communication I / F 42 is provided in the digital camera 10 and some control programs are prepared in the flash memory 40 from the beginning as internal control programs, while other control programs are prepared as external control programs. May be acquired from an external server. In this case, the above-described operation is realized by cooperation of the internal control program and the external control program.

また、この実施例では、CPU34によって実行される処理を上述の要領で複数のタスクに区分するようにしている。しかし、各々のタスクをさらに複数の小タスクに区分してもよく、さらには区分された複数の小タスクの一部を他のタスクに統合するようにしてもよい。また、各々のタスクを複数の小タスクに区分する場合、その全部または一部を外部サーバから取得するようにしてもよい。   In this embodiment, the process executed by the CPU 34 is divided into a plurality of tasks as described above. However, each task may be further divided into a plurality of small tasks, and a part of the divided plurality of small tasks may be integrated with other tasks. Further, when each task is divided into a plurality of small tasks, all or part of the tasks may be acquired from an external server.

さらに、この実施例では、光学/撮像系12Lおよび12Rからそれぞれ出力されたL側生画像データおよびR側生画像データを単一の信号処理回路14に入力するようにしている。しかし、2つの信号処理回路を準備し、L側生画像データを一方の信号処理回路に入力する一方、R側生画像データを他方の信号処理回路に入力するようにしてもよい。これによって、信号処理回路の負荷を低減することができる。   Further, in this embodiment, the L-side raw image data and the R-side raw image data output from the optical / imaging systems 12L and 12R, respectively, are input to a single signal processing circuit 14. However, two signal processing circuits may be prepared, and the L-side raw image data may be input to one signal processing circuit, while the R-side raw image data may be input to the other signal processing circuit. As a result, the load on the signal processing circuit can be reduced.

また、この実施例では、2つの光学/撮像系12Lおよび12Rを設けるようにしているが、準備する光学/撮像系の数は3つ以上であってもよい。   In this embodiment, two optical / imaging systems 12L and 12R are provided, but the number of optical / imaging systems to be prepared may be three or more.

10 …ディジタルビデオカメラ
12L,12R …光学/撮像系
14 …信号処理回路
34 …CPU
38L,38R …ジャイロセンサ
DESCRIPTION OF SYMBOLS 10 ... Digital video camera 12L, 12R ... Optical / imaging system 14 ... Signal processing circuit 34 ... CPU
38L, 38R ... Gyro sensor

Claims (9)

部分的に共通する複数の視野をそれぞれ捉える複数の撮像面を有し、前記複数の視野をそれぞれ表す複数の画像を選択的に出力する撮像手段、
前記複数の撮像面にそれぞれ対応する複数の撮像条件を調整係数を参照して共通的に調整する調整手段、および
前記撮像手段から出力された画像が前記複数の視野のいずれを表す画像であるかを識別して前記調整係数の値を変更する変更手段を備える、電子カメラ。
An imaging unit having a plurality of imaging planes that respectively capture a plurality of partially common fields of view, and selectively outputting a plurality of images each representing the plurality of fields of view;
An adjustment unit that commonly adjusts a plurality of imaging conditions corresponding to the plurality of imaging planes with reference to an adjustment coefficient, and which of the plurality of fields of view represents the image output from the imaging unit An electronic camera comprising a changing means for identifying the value and changing the value of the adjustment coefficient.
タイミング信号を繰り返し発生する発生手段をさらに備え、
前記撮像手段は前記発生手段によって発生されたタイミング信号に基づいて画像出力処理を実行する画像出力手段を含み、
前記変更手段は前記発生手段によって発生されたタイミング信号に基づいて画像識別処理を実行する画像識別手段を含む、請求項1記載の電子カメラ。
It further comprises generating means for repeatedly generating timing signals,
The imaging means includes image output means for executing image output processing based on the timing signal generated by the generating means,
The electronic camera according to claim 1, wherein the changing unit includes an image identifying unit that executes an image identifying process based on a timing signal generated by the generating unit.
前記調整手段は、前記撮像手段から出力された画像の特性を前記複数の視野の各々に対応して検出する検出手段、および前記検出手段によって検出された特性と前記調整係数とに基づいて前記複数の撮像条件を調整する調整処理手段を含む、請求項1または2記載の電子カメラ。   The adjustment means detects a characteristic of the image output from the imaging means corresponding to each of the plurality of fields of view, and the plurality of adjustments based on the characteristic detected by the detection means and the adjustment coefficient The electronic camera according to claim 1, further comprising adjustment processing means for adjusting the imaging conditions. 前記複数の撮像面の動きを検出する検出手段、および
前記変更手段によって変更された値を前記検出手段の検出結果に基づいて補正する補正手段をさらに備える、請求項1ないし3のいずれかに記載の電子カメラ。
4. The apparatus according to claim 1, further comprising: a detecting unit that detects movements of the plurality of imaging surfaces; and a correcting unit that corrects a value changed by the changing unit based on a detection result of the detecting unit. Electronic camera.
前記複数の視野は共通の倍率を有し、
前記調整手段によって注目される複数の撮像条件の各々はフォーカスおよび露光量の少なくとも1つを含む、請求項1ないし4のいずれかに記載の電子カメラ。
The plurality of fields of view have a common magnification;
5. The electronic camera according to claim 1, wherein each of the plurality of imaging conditions noted by the adjusting unit includes at least one of a focus and an exposure amount.
部分的に共通する複数の視野をそれぞれ捉える複数の撮像面を有し、前記複数の視野をそれぞれ表す複数の画像を選択的に出力する撮像手段を備える電子カメラのプロセッサに、
前記複数の撮像面にそれぞれ対応する複数の撮像条件を調整係数を参照して共通的に調整する調整ステップ、および
前記撮像手段から出力された画像が前記複数の視野のいずれを表す画像であるかを識別して前記調整係数の値を変更する変更ステップを実行させるための、撮像制御プログラム。
In a processor of an electronic camera having a plurality of imaging planes that respectively capture a plurality of partially common fields of view, and having an imaging unit that selectively outputs a plurality of images each representing the plurality of fields of view,
An adjustment step for commonly adjusting a plurality of imaging conditions respectively corresponding to the plurality of imaging planes with reference to an adjustment coefficient, and which of the plurality of visual fields the image output from the imaging means represents An imaging control program for executing a change step of changing the value of the adjustment coefficient by identifying
部分的に共通する複数の視野をそれぞれ捉える複数の撮像面を有し、前記複数の視野をそれぞれ表す複数の画像を選択的に出力する撮像手段を備える電子カメラによって実行される撮像制御方法であって、
前記複数の撮像面にそれぞれ対応する複数の撮像条件を調整係数を参照して共通的に調整する調整ステップ、および
前記撮像手段から出力された画像が前記複数の視野のいずれを表す画像であるかを識別して前記調整係数の値を変更する変更ステップを備える、撮像制御方法。
An imaging control method that is executed by an electronic camera that includes a plurality of imaging planes that respectively capture a plurality of partially common fields of view and that includes an imaging unit that selectively outputs a plurality of images that respectively represent the plurality of fields of view. And
An adjustment step for commonly adjusting a plurality of imaging conditions respectively corresponding to the plurality of imaging planes with reference to an adjustment coefficient, and which of the plurality of visual fields the image output from the imaging means represents And a change step of changing the value of the adjustment coefficient.
部分的に共通する複数の視野をそれぞれ捉える複数の撮像面を有し、前記複数の視野をそれぞれ表す複数の画像を選択的に出力する撮像手段、および
メモリに保存された内部制御プログラムに従う処理を実行するプロセッサを備える電子カメラに供給される外部制御プログラムであって、
前記複数の撮像面にそれぞれ対応する複数の撮像条件を調整係数を参照して共通的に調整する調整ステップ、および
前記撮像手段から出力された画像が前記複数の視野のいずれを表す画像であるかを識別して前記調整係数の値を変更する変更ステップを前記内部制御プログラムと協働して前記プロセッサに実行させるための、外部制御プログラム。
A plurality of imaging planes that respectively capture a plurality of partially common fields of view, an imaging unit that selectively outputs a plurality of images each representing the plurality of fields of view, and a process according to an internal control program stored in a memory An external control program supplied to an electronic camera having a processor to execute,
An adjustment step for commonly adjusting a plurality of imaging conditions respectively corresponding to the plurality of imaging planes with reference to an adjustment coefficient, and which of the plurality of visual fields the image output from the imaging means represents An external control program for causing the processor to execute a changing step of identifying the value and changing the value of the adjustment coefficient in cooperation with the internal control program.
部分的に共通する複数の視野をそれぞれ捉える複数の撮像面を有し、前記複数の視野をそれぞれ表す複数の画像を選択的に出力する撮像手段、
外部制御プログラムを取り込む取り込み手段、および
前記取り込み手段によって取り込まれた外部制御プログラムとメモリに保存された内部制御プログラムとに従う処理を実行するプロセッサを備える電子カメラであって、
前記外部制御プログラムは、
前記複数の撮像面にそれぞれ対応する複数の撮像条件を調整係数を参照して共通的に調整する調整ステップ、および
前記撮像手段から出力された画像が前記複数の視野のいずれを表す画像であるかを識別して前記調整係数の値を変更する変更ステップを前記内部制御プログラムと協働して実行するプログラムに相当する、電子カメラ。
An imaging unit having a plurality of imaging planes that respectively capture a plurality of partially common fields of view, and selectively outputting a plurality of images each representing the plurality of fields of view;
An electronic camera comprising a capturing unit that captures an external control program, and a processor that executes processing according to the external control program captured by the capturing unit and the internal control program stored in a memory,
The external control program is
An adjustment step for commonly adjusting a plurality of imaging conditions respectively corresponding to the plurality of imaging planes with reference to an adjustment coefficient, and which of the plurality of visual fields the image output from the imaging means represents An electronic camera corresponding to a program that executes a changing step of identifying the change and changing the value of the adjustment coefficient in cooperation with the internal control program.
JP2011091889A 2011-04-18 2011-04-18 Electronic camera Withdrawn JP2012227638A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011091889A JP2012227638A (en) 2011-04-18 2011-04-18 Electronic camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011091889A JP2012227638A (en) 2011-04-18 2011-04-18 Electronic camera

Publications (1)

Publication Number Publication Date
JP2012227638A true JP2012227638A (en) 2012-11-15

Family

ID=47277379

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011091889A Withdrawn JP2012227638A (en) 2011-04-18 2011-04-18 Electronic camera

Country Status (1)

Country Link
JP (1) JP2012227638A (en)

Similar Documents

Publication Publication Date Title
JP5708097B2 (en) Imaging apparatus, imaging method, and imaging program
US8345109B2 (en) Imaging device and its shutter drive mode selection method
KR20190021138A (en) Electronic device which stores depth information associating with image in accordance with Property of depth information acquired using image and the controlling method thereof
JP4732303B2 (en) Imaging device
CN102972035A (en) Stereoscopic panorama image synthesizing device and compound-eye imaging device as well as stereoscopic panorama image synthesizing method
JP2009225072A (en) Imaging apparatus
US9154728B2 (en) Image processing apparatus, image capturing apparatus, and program
JP2016090973A (en) Imaging device
JP2013165485A (en) Image processing apparatus, image capturing apparatus, and computer program
US20130083174A1 (en) Stereoscopic image control apparatus, and method and program for controlling operation of same
JP2013165483A (en) Image processing apparatus, image capturing apparatus, and computer program
JP2009177503A (en) Imaging apparatus
KR20130069128A (en) Image pickup apparatus, method for image compensation and computer-readable recording medium
JP2009010888A (en) Image processing device, imaging apparatus, image processing method and program
KR102330264B1 (en) Electronic device for playing movie based on movment information and operating mehtod thereof
JP2010178164A (en) Imaging apparatus
JP4953770B2 (en) Imaging device
JP2013138413A (en) Imaging apparatus
JP5393877B2 (en) Imaging device and integrated circuit
US11722788B2 (en) Image processing apparatus and method, and image capturing apparatus
US20220385800A1 (en) Control apparatus, imaging apparatus, and lens apparatus
EP3836540A1 (en) Image processing apparatus and image capturing apparatus
JP5197064B2 (en) Video camera
JP2015177303A (en) Imaging device and control method therefor
JP2012227638A (en) Electronic camera

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20130404

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20130521

A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20140701