JP2006319524A - Image sensing device - Google Patents

Image sensing device Download PDF

Info

Publication number
JP2006319524A
JP2006319524A JP2005138303A JP2005138303A JP2006319524A JP 2006319524 A JP2006319524 A JP 2006319524A JP 2005138303 A JP2005138303 A JP 2005138303A JP 2005138303 A JP2005138303 A JP 2005138303A JP 2006319524 A JP2006319524 A JP 2006319524A
Authority
JP
Japan
Prior art keywords
image
image data
imaging
shooting
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2005138303A
Other languages
Japanese (ja)
Inventor
Kazuhiro Haneda
和寛 羽田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2005138303A priority Critical patent/JP2006319524A/en
Publication of JP2006319524A publication Critical patent/JP2006319524A/en
Withdrawn legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image sensing device shortening a shooting time while being able to photograph an image for a synthesis having no sense of incompatibility at a low cost. <P>SOLUTION: A lens 1 condenses a light from a subject, and senses the image. An image sensing element 2 photoelectrically converts a subject image sensed by the lens 1, and generates an image signal. A recording medium 7 previously stores an image data to which a photographing-condition information is related. A synthesizer 10 synthesizes a first image data previously recorded on the recording medium 7 and a second image data based on the image signal output from the image sensing element 2, and generates a synthetic image data. A display device 14 displays the image based on the synthetic image data generated by the synthesizer 10. A CPU 8 sets photographing conditions on the basis of the photographing-condition information related to the first image data in the case of a photographing generating the second image data. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、合成用画像を撮影する際の撮影条件の設定の容易化を図った撮像装置に関する。   The present invention relates to an imaging apparatus that facilitates setting of shooting conditions when shooting an image for synthesis.

複数の被写体を1つの撮影現場に揃えられなかったり、撮影が困難な被写体があったりした場合に、複数回に分けて撮影された映像を合成したり、実際に撮影された映像とCG(Computer Graphic)映像を合成したりして映像が作られることがある。このような合成用の被写体を撮影する際には、クロマキー撮影という技法がよく用いられている。例えば、以前に撮影された風景映像を背景として、別撮りした人物の映像を風景映像に合成する場合について説明する。   When multiple subjects cannot be arranged in one shooting site or there are subjects that are difficult to shoot, the images shot in multiple times are combined, or the images actually shot and CG (Computer) Graphic) Video may be created by combining video. When photographing such a composition subject, a technique called chroma key photography is often used. For example, a case will be described in which a video of a person taken separately is combined with a landscape video using a previously captured landscape video as a background.

人物の撮影では、人物の背景にブルーまたはグリーンのスクリーンを配置して撮影が行われる。撮影された映像は後に編集機等でデジタル処理され、スクリーンの部分が切り抜かれ、人物のみの映像となる。そして、人物のみの映像と背景映像とが合成される。この人物の撮影を行う際、撮影者はカメラのファインダーを覗きながら、上記のスクリーンの部分が別の映像と合成されることを想像して撮影を行っており、このとき、画角合わせをはじめとする沢山のカメラの撮影条件の設定には個々の微妙な調整が必要であり、多くの時間がかかっていた。   When shooting a person, a blue or green screen is placed on the background of the person. The captured image is later digitally processed by an editing machine or the like, and the screen portion is cut out to become an image of only a person. Then, the video of only the person and the background video are synthesized. When taking a picture of this person, the photographer looks into the camera's viewfinder and imagines that the above-mentioned part of the screen is combined with another image. It took a lot of time to set the shooting conditions for a lot of cameras.

従来、撮影条件の設定時間を短縮するための方法として、被写体全体の構成を事前に確認してから、合成した画像に違和感の無いように、カメラの設定を効率良く行うことが可能なシステムが用いられている。被写体全体の構成を事前に確認するため、撮影する人物の後ろのスクリーンに、合成する予定の背景映像を映写したり、カメラで人物を撮影した際のリアルタイム映像と、カメラとは別の機器で再生した背景映像とを映像合成装置等で合成表示したりすることが行われている。   Conventionally, as a method for shortening the setting time of shooting conditions, there is a system that can efficiently set the camera so that the synthesized image does not feel strange after checking the configuration of the entire subject in advance. It is used. In order to check the overall composition of the subject in advance, the background image to be synthesized is projected on the screen behind the person to be photographed, the real-time image when the person is photographed with the camera, and a device other than the camera. The reproduced background video is synthesized and displayed by a video synthesizer or the like.

また、カメラの多くの設定条件を容易に設定することが可能な方法として、特許文献1に示されているように、撮影したときの設定条件を記録することができ、また以前に記録された設定条件を容易に再設定することができるカメラが提案されている。
特開平8−88790号公報
Further, as a method capable of easily setting many setting conditions of a camera, as shown in Patent Document 1, setting conditions at the time of shooting can be recorded, and previously recorded. A camera capable of easily resetting the setting conditions has been proposed.
JP-A-8-88790

しかしながら、上記の従来技術のように、背景映像をスクリーンに映写したり、複数の機器を接続したりして合成結果を事前に確認できるようにするためには、映像再生用の再生装置と映像合成用の映像合成装置とを用意する等、大掛かりなシステムを用意しなければならなかった。このため、従来技術においては、コストがかかっていた。   However, in order to be able to confirm the synthesis result in advance by projecting the background video on the screen or connecting multiple devices as in the prior art described above, a video playback device and video A large-scale system had to be prepared, such as a video synthesizing apparatus for synthesis. For this reason, the prior art is costly.

また、合成用の背景と人物とを別々に撮影する場合に、それらの撮影条件を等しくしたいとしても、個々の撮影条件を記憶したり、設定したり、確認したりする手間や時間がかかっていた。それらの撮影条件は、特に人物や背景が動く場合やカメラの位置が変化する場合等には、リアルタイムに変化するものである。この場合の撮影条件はさらに複雑になり、以前撮影が行われた際の撮影条件を記憶しておいても、その撮影条件をリアルタイムに設定することは困難である。   Also, when shooting a background for composition and a person separately, even if you want to make the shooting conditions the same, it takes time and effort to memorize, set, and check the individual shooting conditions. It was. These shooting conditions change in real time, particularly when a person or background moves or when the position of the camera changes. The shooting conditions in this case are further complicated, and it is difficult to set the shooting conditions in real time even if the shooting conditions when the previous shooting was performed are stored.

また、特許文献1に記載の技術においては、以前に撮影が行われたときの撮影条件を容易に再設定することは可能であるが、特許文献1では動画や合成画像の撮影に関しては言及されていない。さらに、再設定した撮影条件が最適であるか否かを、リアルタイムに合成した画像で確認することはできない。   In the technique described in Patent Document 1, it is possible to easily reset the shooting conditions when shooting was performed previously. However, Patent Document 1 refers to shooting of moving images and composite images. Not. Furthermore, it is not possible to confirm whether or not the reset imaging conditions are optimal with an image synthesized in real time.

本発明は、上述した問題点に鑑みてなされたものであって、撮影時間を短縮すると共に、違和感の無い合成用画像を低コストで撮影することができる撮像装置を提供することを目的とする。   The present invention has been made in view of the above-described problems, and it is an object of the present invention to provide an imaging apparatus capable of reducing the shooting time and shooting a composite image without a sense of incongruity at low cost. .

本発明は、上記の課題を解決するためになされたもので、請求項1に記載の発明は、被写体からの光を集光し、結像する結像光学系と、前記結像光学系によって結像された被写体像を光電変換し、画像信号を生成する撮像素子と、撮影条件情報が関連付けられた画像データを予め記憶する記憶手段と、前記記憶手段によって予め記憶された第1の画像データと、前記撮像素子から出力された前記画像信号に基づいた第2の画像データとを合成し、合成画像データを生成する合成手段と、前記合成手段によって生成された前記合成画像データに基づいた画像を表示する表示手段と、前記第2の画像データを生成する撮影の際に、前記第1の画像データに関連付けられた前記撮影条件情報に基づいて、撮影条件を設定する撮影条件設定手段とを有する撮像装置である。   The present invention has been made to solve the above-described problems, and the invention according to claim 1 includes an imaging optical system that focuses light from a subject and forms an image, and the imaging optical system. An image sensor that photoelectrically converts the formed subject image to generate an image signal, a storage unit that stores in advance image data associated with shooting condition information, and first image data stored in advance by the storage unit And a second image data based on the image signal output from the image sensor, a combining unit that generates combined image data, and an image based on the combined image data generated by the combining unit And a shooting condition setting means for setting shooting conditions based on the shooting condition information associated with the first image data when shooting to generate the second image data. Yes That is an image pickup apparatus.

請求項2に記載の発明は、請求項1に記載の撮像装置において、前記撮影条件情報は、前記結像光学系の情報や前記撮像素子の駆動情報であることを特徴とする。   According to a second aspect of the present invention, in the imaging apparatus according to the first aspect, the imaging condition information is information on the imaging optical system and driving information on the imaging element.

請求項3に記載の発明は、請求項1に記載の撮像装置において、前記撮影条件情報は、階調特性や色再現性を補正するための画像処理に用いられる情報であることを特徴とする。   According to a third aspect of the present invention, in the imaging apparatus according to the first aspect, the photographing condition information is information used for image processing for correcting gradation characteristics and color reproducibility. .

請求項4に記載の発明は、請求項1〜請求項3のいずれかの項に記載の撮像装置において、前記合成手段はさらに、前記記憶手段によって予め記憶された2つの前記画像データを合成し、前記合成画像データを生成することを特徴とする。   According to a fourth aspect of the present invention, in the imaging apparatus according to any one of the first to third aspects, the combining unit further combines the two pieces of image data stored in advance by the storage unit. The composite image data is generated.

請求項5に記載の発明は、請求項1〜請求項4のいずれかの項に記載の撮像装置において、前記記憶手段はさらに、外部装置から入力された画像データを記憶することを特徴とする。   According to a fifth aspect of the present invention, in the imaging apparatus according to any one of the first to fourth aspects, the storage unit further stores image data input from an external device. .

請求項6に記載の発明は、請求項1〜請求項5のいずれかの項に記載の撮像装置において、前記表示手段はさらに、前記合成画像データに基づいた静止画像を表示するフリーズ機能を有することを特徴とする。   According to a sixth aspect of the present invention, in the imaging apparatus according to any one of the first to fifth aspects, the display unit further has a freeze function for displaying a still image based on the composite image data. It is characterized by that.

請求項7に記載の発明は、請求項1〜請求項6のいずれかの項に記載の撮像装置において、前記合成手段が前記第1の画像データと前記第2の画像データを合成する際の合成条件が複数の条件の中から選択可能であることを特徴とする。   According to a seventh aspect of the present invention, in the imaging apparatus according to any one of the first to sixth aspects, the synthesizing unit synthesizes the first image data and the second image data. The synthesis condition can be selected from a plurality of conditions.

請求項8に記載の発明は、請求項1〜請求項7のいずれかの項に記載の撮像装置において、前記記憶手段によって予め記憶された第1の画像データのフレームレートと、前記撮像素子から出力された前記画像信号に基づいた第2の画像データのフレームレートが異なる場合に、2つの画像データのフレーム間隔が時間軸上で等間隔となるようにフレームレートを変換するフレームレート変換手段をさらに有することを特徴とする。   According to an eighth aspect of the present invention, in the imaging apparatus according to any one of the first to seventh aspects, the frame rate of the first image data stored in advance by the storage unit, and the imaging element. Frame rate conversion means for converting the frame rate so that the frame intervals of the two image data are equal on the time axis when the frame rates of the second image data based on the output image signal are different. Furthermore, it is characterized by having.

請求項9に記載の発明は、請求項1〜請求項8のいずれかの項に記載の撮像装置において、前記表示手段はさらに、前記合成画像データに基づいた画像と共に前記撮影条件情報を表示することを特徴とする。   According to a ninth aspect of the present invention, in the imaging device according to any one of the first to eighth aspects, the display unit further displays the photographing condition information together with an image based on the composite image data. It is characterized by that.

本発明によれば、撮影時間を短縮すると共に、違和感の無い合成用画像を低コストで撮影することができるという効果が得られる。   According to the present invention, it is possible to shorten the photographing time and to obtain an effect that a compositing image without a sense of incongruity can be photographed at a low cost.

以下、図面を参照し、本発明を実施するための最良の形態について説明する。図1は、本発明の一実施形態による撮像装置の構成を示している。被写体からの光はレンズ1(結像光学系)によって集光され、撮像素子2に入射する。この際、レンズ1によって撮像素子2の撮像面に被写体像が結像される。撮像素子2は、1つの撮像素子の各画素に、例えば図2に示される一般的なベイヤ配列になるように原色の色フィルターが配列された構成を有する。撮像素子2は、入射した撮像光を光電変換し、被写体像に基づいた画像信号を生成する。この画像信号は撮像素子2の画素の読み出しの順番で出力される。駆動回路3は、撮像素子2の駆動タイミングや電子シャッタースピード(電荷蓄積時間)の制御を行う。   The best mode for carrying out the present invention will be described below with reference to the drawings. FIG. 1 shows the configuration of an imaging apparatus according to an embodiment of the present invention. Light from the subject is collected by the lens 1 (imaging optical system) and enters the image sensor 2. At this time, a subject image is formed on the imaging surface of the imaging device 2 by the lens 1. The image sensor 2 has a configuration in which color filters of primary colors are arranged in each pixel of one image sensor so as to have, for example, a general Bayer arrangement shown in FIG. The image sensor 2 photoelectrically converts the incident imaging light and generates an image signal based on the subject image. This image signal is output in the order of reading pixels of the image sensor 2. The drive circuit 3 controls the drive timing of the image sensor 2 and the electronic shutter speed (charge accumulation time).

アナログ処理部4は、撮像素子2によって生成された画像信号に対して、撮像素子2で発生したノイズを除去するための処理や、信号を適正レベルに増幅するための増幅処理等のアナログ処理を行う。A/D変換部5は、アナログ処理部4によって処理されたアナログ信号をデジタル信号(画像データ)に変換する。画像処理部6は、A/D変換部5によって処理されたデジタル信号に対して、黒レベルを揃える処理や、撮像素子2の出力特性が線形になるように補正する処理、レンズ1の集光ムラまたは撮像素子2の画面内の出力ムラを補正する処理等を行う。   The analog processing unit 4 performs analog processing such as processing for removing noise generated in the image sensor 2 and amplification processing for amplifying the signal to an appropriate level on the image signal generated by the image sensor 2. Do. The A / D conversion unit 5 converts the analog signal processed by the analog processing unit 4 into a digital signal (image data). The image processing unit 6 performs processing for aligning the black level with respect to the digital signal processed by the A / D conversion unit 5, processing for correcting the output characteristics of the image sensor 2 to be linear, and focusing of the lens 1. Processing for correcting unevenness or output unevenness in the screen of the image sensor 2 is performed.

記録媒体7(記憶手段)は、画像データを記録するための、撮像装置から取り外し可能な、例えばカード型の記録メディアである。画像処理部6から出力された画像データは所定の画像フォーマットに変換され、CPU8からの指示に従って、図示せぬ書き込み回路によって記録媒体7に書き込まれる(格納される)。また、記録媒体7に記録された画像データは、CPU8からの指示に従って、図示せぬ読み出し回路によって読み出され、画像変換部9へ出力される。   The recording medium 7 (storage means) is, for example, a card-type recording medium that is removable from the imaging device for recording image data. The image data output from the image processing unit 6 is converted into a predetermined image format, and is written (stored) in the recording medium 7 by a writing circuit (not shown) according to an instruction from the CPU 8. Further, the image data recorded on the recording medium 7 is read out by a reading circuit (not shown) according to an instruction from the CPU 8 and is output to the image conversion unit 9.

記録媒体7には外部の画像データを入力してもよい。例えば、記録媒体7に対して、図1に示される撮像装置以外の編集装置等の外部装置を接続し、編集装置等によって作成された画像データを記録媒体7に記録してもよい。また、記録媒体7を取り外し可能な形態とせずに固定型とし、図示せぬインタフェース等を介して編集装置等の外部装置から入力された画像データを記録媒体7に記録してもよい。後述するように、記録媒体7には、撮影時の各種の撮影条件を示す映像情報(撮影条件情報)も記録される。   External image data may be input to the recording medium 7. For example, an external device such as an editing device other than the imaging device shown in FIG. 1 may be connected to the recording medium 7 and the image data created by the editing device or the like may be recorded on the recording medium 7. Alternatively, the recording medium 7 may be a fixed type without being removable, and image data input from an external device such as an editing device via an interface (not shown) may be recorded on the recording medium 7. As will be described later, the recording medium 7 also records video information (shooting condition information) indicating various shooting conditions at the time of shooting.

CPU8(撮影条件設定手段)は、図1に示される各構成を制御することによって、撮像装置の基本動作等の制御および管理を行う。撮像装置の基本動作とは、記録媒体7への画像データの記録や、記録媒体7からの画像データの再生等の動作を含む。画像処理部6によって処理された画像データは記録媒体7に格納されると共に、画像変換部9へ出力される。画像変換部9は、入力された画像データに対して、画像のフレームレートを、表示装置14(表示手段)に適応したフレームレートに揃えるための画像変換処理を行う。所望の撮影効果を得るため、フレームレートを変えて撮影を行ったり、他の撮像装置によって撮影された画像を本撮像装置で用いたりする場合等に、画像変換処理が行われる。   The CPU 8 (shooting condition setting means) controls and manages the basic operation and the like of the image pickup apparatus by controlling the components shown in FIG. The basic operation of the imaging apparatus includes operations such as recording of image data on the recording medium 7 and reproduction of image data from the recording medium 7. The image data processed by the image processing unit 6 is stored in the recording medium 7 and is output to the image conversion unit 9. The image conversion unit 9 performs an image conversion process for matching the frame rate of the image to the frame rate adapted to the display device 14 (display unit) for the input image data. In order to obtain a desired shooting effect, image conversion processing is performed when shooting is performed at a different frame rate or when an image shot by another imaging device is used in the imaging device.

記録媒体7に予め記録された画像データ(例えば背景の画像データ等)と、撮像によってリアルタイムに生成される画像データ(例えば人物の画像データ等)とを合成する合成処理を撮像装置が行う場合には、以下のように画像変換処理が行われる。画像処理部6によって処理された画像データと、記録媒体7から読み出されて再生された画像データとが画像変換部9に入力される。画像変換部9は、記録媒体7から読み出されて再生された画像データのフレームレートと、画像処理部6によって処理された画像データのフレームレートが異なる場合に、2つの画像データのフレーム間隔が時間軸上で等間隔となるようにフレームレートを変換する。例えば、表示装置14の表示フレームレートが毎秒30フレームであり、画像処理部6で処理された画像データのフレームレートが毎秒120フレームであり、記録媒体7から再生された画像データのフレームレートが毎秒5フレームであった場合には、画像処理部6で処理された画像データの4フレーム毎に3フレームを間引き、記録媒体7から再生された画像データの1フレームをコピーして6フレーム分繰り返すことによって、両画像データのフレームレートを毎秒30フレームに揃える処理が行われる。   When the imaging apparatus performs a synthesis process for synthesizing image data (for example, background image data) recorded in advance on the recording medium 7 and image data (for example, person image data) generated in real time by imaging. The image conversion process is performed as follows. The image data processed by the image processing unit 6 and the image data read from the recording medium 7 and reproduced are input to the image conversion unit 9. When the frame rate of the image data read and reproduced from the recording medium 7 is different from the frame rate of the image data processed by the image processing unit 6, the image conversion unit 9 sets the frame interval between the two image data. The frame rate is converted so as to be equally spaced on the time axis. For example, the display frame rate of the display device 14 is 30 frames per second, the frame rate of the image data processed by the image processing unit 6 is 120 frames per second, and the frame rate of the image data reproduced from the recording medium 7 is every second. In the case of 5 frames, 3 frames are thinned out every 4 frames of the image data processed by the image processing unit 6, and 1 frame of the image data reproduced from the recording medium 7 is copied and repeated for 6 frames. As a result, the processing for adjusting the frame rate of both image data to 30 frames per second is performed.

画像変換部9によって処理された2つの画像データは合成部10(合成手段)に入力される。合成部10は、それらの画像データをリアルタイムに合成し、合成画像データを生成する処理を行う。この合成処理では、上記の2つの画像データのうち、ブルー(またはグリーン)のスクリーンを被写体の一部として構成した被写体の撮影(クロマキー撮影)によって生成された画像データにおいて、画像データ中のブルーの部分を切り抜く処理が行われ、ブルーの部分が切り抜かれた画像と、別のもう一方の画像とが重ね合わせられて、合成画像が生成される。ブルーまたはグリーンのスクリーンの画像の輝度レベルがしきい値として予め記録され、切り抜き処理を対象とする画像中のある連続領域において、輝度レベルが上記のしきい値を超えた場合に、その領域を切り抜く処理が行われる。上記の合成処理を行わない設定が撮像装置になされている場合には、合成部10は、入力された画像データをそのまま補間部11へ出力する。   Two pieces of image data processed by the image conversion unit 9 are input to the synthesis unit 10 (synthesis unit). The synthesizing unit 10 performs a process of synthesizing those image data in real time and generating synthesized image data. In this composition processing, among the two image data described above, in the image data generated by photographing the subject (chroma key photographing) in which the blue (or green) screen is configured as a part of the subject, the blue color in the image data is displayed. A process of cutting out the part is performed, and the image from which the blue part is cut out is superimposed on another image, thereby generating a composite image. The brightness level of the blue or green screen image is recorded in advance as a threshold value, and if the brightness level exceeds the above threshold value in a certain continuous area in the image targeted for cropping processing, the area is A clipping process is performed. When the setting not to perform the above-described combining process is performed in the imaging apparatus, the combining unit 10 outputs the input image data to the interpolation unit 11 as it is.

合成部10によって合成され、補間部11に入力される合成画像は、例えばベイヤ配列の画像である。補間部11は、その画像のうち色情報の欠落した画素に対して色情報の補間を行う。補間部11は、補間したい色情報を持った周辺の画素の信号を用いて、例えば加算平均処理を行うことによって、欠落した色情報を補間し、図3(a)〜(c)に示されるようなカラー画像を生成する。補間部11によってカラー化された合成画像データは画像処理部12に入力される。画像処理部12は、階調補正、色再現性の補正、輪郭の強調等の、画像の見えを良好にする処理を行う。   The composite image synthesized by the synthesis unit 10 and input to the interpolation unit 11 is, for example, a Bayer array image. The interpolating unit 11 interpolates color information for pixels in the image that lack color information. The interpolation unit 11 interpolates the missing color information, for example, by performing an averaging process using a signal of a peripheral pixel having color information to be interpolated, and is shown in FIGS. 3 (a) to 3 (c). Such a color image is generated. The composite image data colored by the interpolation unit 11 is input to the image processing unit 12. The image processing unit 12 performs processing for improving the appearance of an image, such as gradation correction, color reproducibility correction, and contour enhancement.

リサイズ部13は、画像処理部12によって処理された画像のサイズを、表示装置14に適した画像サイズになるように変更する。表示装置14は、リサイズ部13によって処理された画像データに基づいた画像を表示する、例えば撮像装置のファインダーやモニター等である。操作部15は、ユーザ(撮影者)によって操作される入力装置を備えており、ユーザによる操作に基づいた信号をCPU8へ出力する。CPU8は、操作部15から出力された信号に基づいて、ユーザからの指示を判断する。   The resizing unit 13 changes the size of the image processed by the image processing unit 12 so as to be an image size suitable for the display device 14. The display device 14 is, for example, a finder or a monitor of an imaging device that displays an image based on the image data processed by the resizing unit 13. The operation unit 15 includes an input device operated by a user (photographer), and outputs a signal based on an operation by the user to the CPU 8. The CPU 8 determines an instruction from the user based on the signal output from the operation unit 15.

次に、記録媒体7に格納される情報を詳細に説明する。図4に示されるように、記録媒体7には複数のデータA1,A2,・・・,Anが格納されている。各データにおいて、画像データと映像情報とが関連付けられて、対となって記録されている。データA1は映像情報A1aと画像データA1bとを含んでおり、データA2は映像情報A2aと画像データA2bとを含んでおり、データAnは映像情報Anaと画像データAnbとを含んでいる。上記の各画像データは、動画像を構成する映像データである。一連の映像データを含む1つの画像データに対して1つの映像情報が付加されているが、1つの画像データの各フレームにフレームのヘッダ情報として映像情報が付加されていてもよい。   Next, information stored in the recording medium 7 will be described in detail. As shown in FIG. 4, the recording medium 7 stores a plurality of data A1, A2,. In each data, image data and video information are associated and recorded as a pair. The data A1 includes video information A1a and image data A1b, the data A2 includes video information A2a and image data A2b, and the data An includes video information Ana and image data Anb. Each of the above image data is video data constituting a moving image. One piece of video information is added to one piece of image data including a series of pieces of video data, but video information may be added to each frame of one piece of image data as frame header information.

記録媒体7に記録される画像データは、撮像素子2で得られた電気信号に対して、ホワイトバランス、階調補正、輪郭強調、色補正等の画像処理が行われていない画像データ(RAWデータ)である。RAWデータを記録媒体7に記録しておくことによって、その再生時に種々の画像処理パラメータに変更を加えたとしても、変更前の影響を受けずに適切な処理を行うことが可能である。   The image data recorded on the recording medium 7 is image data (RAW data) that has not undergone image processing such as white balance, gradation correction, contour enhancement, and color correction on the electrical signal obtained by the image sensor 2. ). By recording the RAW data in the recording medium 7, even if various image processing parameters are changed at the time of reproduction, it is possible to perform appropriate processing without being affected by the change before the change.

画像データと共に記録される映像情報は、結像光学系の情報や撮像素子2の駆動情報、および階調特性や色再現性を補正するための画像処理に用いられる情報である。結像光学系の情報とは、レンズ1に関する情報であり、レンズの種類、絞り値、ズーム位置、フォーカス位置等の情報を含んでいる。撮像素子2の駆動情報とは、駆動回路3によって制御される撮像素子2の駆動タイミング(フレームレート)や電子シャッタースピード等の情報を含んでいる。   The video information recorded together with the image data is information used for image processing for correcting the imaging optical system information, the driving information of the image sensor 2, and the gradation characteristics and color reproducibility. The imaging optical system information is information relating to the lens 1 and includes information such as the type of lens, aperture value, zoom position, and focus position. The drive information of the image pickup device 2 includes information such as the drive timing (frame rate) of the image pickup device 2 controlled by the drive circuit 3 and the electronic shutter speed.

階調特性や色再現性を補正するための画像処理に用いられる情報とは、アナログ処理部4、画像処理部6、および画像処理部12が画像データを処理する際に用いる画像処理パラメータである。アナログ処理部4の画像処理パラメータは、例えばノイズ除去のレベルや、増幅処理におけるゲインである。画像処理部6の画像処理パラメータは、例えば黒レベルのばらつきを抑えるためのパラメータや、撮像素子2の出力特性の線形補正のためのテーブル、レンズ1の集光ムラや感度ムラを補正するためのテーブルである。画像処理部12の画像処理パラメータは、例えばホワイトバランスの値や、ガンマテーブルの種類、色の強調の度合である。   Information used for image processing for correcting gradation characteristics and color reproducibility is an image processing parameter used when the analog processing unit 4, the image processing unit 6, and the image processing unit 12 process image data. . The image processing parameters of the analog processing unit 4 are, for example, a noise removal level and a gain in amplification processing. The image processing parameters of the image processing unit 6 include, for example, parameters for suppressing variations in black level, a table for linear correction of output characteristics of the image sensor 2, and correction for light collection unevenness and sensitivity unevenness of the lens 1. It is a table. The image processing parameters of the image processing unit 12 are, for example, the white balance value, the type of gamma table, and the degree of color enhancement.

撮影時にCPU8はレンズ1、駆動回路3、アナログ処理部4、画像処理部6、および画像処理部12の設定値を読み取り、上記の映像情報を生成する。CPU8は、生成した映像情報を、撮像によって生成された画像データと関連付けて記録媒体7に記録する。   At the time of shooting, the CPU 8 reads the set values of the lens 1, the drive circuit 3, the analog processing unit 4, the image processing unit 6, and the image processing unit 12, and generates the above video information. The CPU 8 records the generated video information on the recording medium 7 in association with the image data generated by imaging.

次に、撮影条件の設定について説明する。ユーザは、操作部15を操作する、あるいは各部を直接操作することによって、撮影条件を設定することができる。撮影前の準備等の際に撮影条件を設定する場合、図5に示されるような画像が表示装置14の画面14aに表示される。画面14aには、レンズ1および撮像素子2の情報を含む撮像条件M1、階調特性や色再現性を補正するための画像処理に用いられる画像処理パラメータM2、および合成モードM3が表示されている。   Next, setting of shooting conditions will be described. The user can set shooting conditions by operating the operation unit 15 or directly operating each unit. When shooting conditions are set during preparation before shooting, an image as shown in FIG. 5 is displayed on the screen 14a of the display device 14. On the screen 14a, an imaging condition M1 including information on the lens 1 and the imaging device 2, an image processing parameter M2 used for image processing for correcting gradation characteristics and color reproducibility, and a synthesis mode M3 are displayed. .

合成モードM3(合成条件)は画像合成の条件を示している。画像合成の条件を指定する場合に、例えば2つの画像データを重ね合わせる際にどちらを上にするのか、および2つの画像データのうちのどちらを切り抜き処理の対象とするのか等が、ユーザによって指定される。また、画像の再生開始の指示、再生停止の指示、静止画像を表示するフリーズ、同じ画像データからなる映像を繰り返し再生する繰り返し再生等も、合成条件としてユーザによって指定される。撮像条件M1、画像処理パラメータM2、および合成モードM3は、複数の中からいずれかを選択することが可能となっている。   The composition mode M3 (composition condition) indicates the condition for image composition. When specifying the conditions for image composition, for example, the user specifies which of the two image data is to be over and which of the two image data is to be cut out Is done. In addition, an instruction to start playback of an image, an instruction to stop playback, a freeze for displaying a still image, repeated playback for repeatedly playing a video composed of the same image data, and the like are specified by the user as a synthesis condition. The imaging condition M1, the image processing parameter M2, and the composition mode M3 can be selected from a plurality.

操作部15を介した撮像条件M1、画像処理パラメータM2、および合成モードM3の選択は以下のように行われる。CPU8は、操作部15から出力された信号に基づいて、選択された条件の設定を行う。例えば、撮像条件M1が入力された場合には、CPU8はレンズ1あるいは駆動回路3に撮像条件を設定する。また、画像処理パラメータM2が入力された場合には、CPU8はアナログ処理部4、画像処理部6、あるいは画像処理部12の画像処理パラメータを設定する。また、合成モードM3が入力された場合には、CPU8は、画像合成の際に画像変換部9、合成部10、あるいは表示装置14が用いる制御パラメータを設定する。   Selection of the imaging condition M1, the image processing parameter M2, and the synthesis mode M3 via the operation unit 15 is performed as follows. The CPU 8 sets the selected condition based on the signal output from the operation unit 15. For example, when the imaging condition M1 is input, the CPU 8 sets the imaging condition in the lens 1 or the drive circuit 3. When the image processing parameter M2 is input, the CPU 8 sets the image processing parameters of the analog processing unit 4, the image processing unit 6, or the image processing unit 12. When the synthesis mode M3 is input, the CPU 8 sets control parameters used by the image conversion unit 9, the synthesis unit 10, or the display device 14 at the time of image synthesis.

次に、図6を参照して、本実施形態による撮像装置を用いた撮影の方法を説明する。まず、合成用の画像を撮影するための準備が開始され、撮影者によって撮像モードが選択される。本実施形態においては、撮像モードとして合成表示モードおよび非合成表示モードが用意されているものとする。合成表示モードは、2つの画像を合成して合成画像を表示するモードであり、非合成表示モードは、画像の合成を行わず、撮影された画像をそのまま表示するモードである。撮影者によって、画像を合成表示するか否かの判断がなされ、操作部15に判断結果が入力される(ステップS601)。操作部15は、判断結果を示す信号をCPU8へ出力する。CPU8は、入力された信号に基づいて、撮像モードを決定する(ステップS602)。撮像モードが合成表示モードの場合には、処理はステップS605へ進み、非合成表示モードの場合には、処理はステップS603へ進む。   Next, with reference to FIG. 6, a photographing method using the imaging apparatus according to the present embodiment will be described. First, preparation for capturing an image for synthesis is started, and an imaging mode is selected by a photographer. In the present embodiment, it is assumed that a composite display mode and a non-composite display mode are prepared as imaging modes. The composite display mode is a mode in which two images are combined to display a composite image, and the non-composite display mode is a mode in which a captured image is displayed as it is without combining the images. The photographer determines whether or not to synthesize and display an image, and the determination result is input to the operation unit 15 (step S601). The operation unit 15 outputs a signal indicating the determination result to the CPU 8. The CPU 8 determines an imaging mode based on the input signal (step S602). If the imaging mode is the composite display mode, the process proceeds to step S605. If the imaging mode is the non-composite display mode, the process proceeds to step S603.

以下、非合成表示モードが選択された場合の撮影の方法を説明する。撮像装置が非合成表示モードで動作する場合には、撮影された画像のスルー画像が表示装置14に表示され、撮影者はそのスルー画像を確認しながら通常の撮影操作を行うことが可能である。画像処理部6によって処理された画像データは画像変換部9に入力される。画像変換部9はフレームレートの変換を行わずに(スルー)、画像データを合成部10へ出力する。合成部10も、入力された画像データをそのまま補間部11へ出力する。補間部11は画像データの色成分の補間処理を行い、カラー画像に対応した画像データを生成する。画像処理部12は、補間部11によってカラー化処理が施された画像データに対して各種の処理を行う。リサイズ部13は、画像処理部12によって処理された画像データに対して、表示装置14に適した画像サイズとなるように画像のサイズを変更する処理を施す。撮像装置のファインダーやモニター等の表示装置14は、リサイズ部13によって処理された画像データに基づいた画像を表示する(ステップS603)。撮影者は、表示装置14に表示された画像を確認しながら撮影を行うことが可能である。   Hereinafter, a photographing method when the non-composite display mode is selected will be described. When the imaging device operates in the non-composite display mode, a through image of the captured image is displayed on the display device 14, and the photographer can perform a normal shooting operation while checking the through image. . The image data processed by the image processing unit 6 is input to the image conversion unit 9. The image conversion unit 9 outputs the image data to the synthesis unit 10 without converting the frame rate (through). The combining unit 10 also outputs the input image data to the interpolation unit 11 as it is. The interpolation unit 11 performs an interpolation process on the color components of the image data, and generates image data corresponding to the color image. The image processing unit 12 performs various types of processing on the image data that has been colorized by the interpolation unit 11. The resizing unit 13 performs processing for changing the image size so that the image data processed by the image processing unit 12 has an image size suitable for the display device 14. The display device 14 such as a viewfinder or a monitor of the imaging device displays an image based on the image data processed by the resizing unit 13 (step S603). The photographer can take a picture while confirming the image displayed on the display device 14.

続いて、表示された画像に基づいて、撮影者によって、撮像条件や各種の画像処理パラメータが入力され、設定される(ステップS604)。以後の処理はステップS614に進む。ステップS614において、操作部15を介して撮影開始の指示が入力され、撮像装置は撮影動作を開始する。撮影の開始後、被写体を撮像して得られた画像データが記録媒体7に記録される。この際、ステップS604において設定された撮像条件や各種画像処理パラメータの情報が映像情報として画像データに付加されて記録媒体7に記録される(ステップS615)。非合成表示モードでの撮影によって、例えば合成表示モードで使用される合成用の画像データが生成される。   Subsequently, based on the displayed image, the imaging condition and various image processing parameters are input and set by the photographer (step S604). Subsequent processing proceeds to step S614. In step S614, an instruction to start shooting is input via the operation unit 15, and the imaging apparatus starts a shooting operation. After the start of imaging, image data obtained by imaging the subject is recorded on the recording medium 7. At this time, information on the imaging conditions and various image processing parameters set in step S604 is added to the image data as video information and recorded on the recording medium 7 (step S615). By photographing in the non-composite display mode, for example, image data for composition used in the composite display mode is generated.

以下、合成表示モードが選択された場合の撮影の方法を説明する。表示装置14は、CPU8による指示に従って、記録媒体7に記録されている画像データのファイル情報およびサムネイル画像の一覧を表示する(ステップS605)。図7はこの際の表示の例を示している。図7に示されるように、表示装置14の表示画面14aには、画像データのファイル名F1a,F2a,・・・,Fnaと共に、サムネイル画像F1b,F2b,・・・,Fnbが表示される。各画像データには、撮像条件および画像処理パラメータを含む撮影条件が関連付けられている。この撮影条件を画面14aに表示可能としてもよい。   Hereinafter, a photographing method when the composite display mode is selected will be described. The display device 14 displays file information of image data recorded on the recording medium 7 and a list of thumbnail images in accordance with an instruction from the CPU 8 (step S605). FIG. 7 shows an example of display at this time. As shown in FIG. 7, thumbnail images F1b, F2b,..., Fnb are displayed on the display screen 14a of the display device 14 together with the file names F1a, F2a,. Each image data is associated with imaging conditions including imaging conditions and image processing parameters. This photographing condition may be displayed on the screen 14a.

続いて、表示された画像データの一覧の中から、合成に使用したい画像データが撮影者によって選択される。画像データの選択は操作部15を介して行われ、CPU8は、操作部15から出力された信号に基づいて、どの画像データが選択されたのかを判断する(ステップS606)。画像データの選択後、例えば選択された画像データに基づいた画像が表示装置14に表示され、その表示に基づいて、選択した画像が所望の画像であるか否かが、操作者によって判断される。CPU8は、画像データの選択を終了する指示、あるいは画像データの選択を続行する指示を示す信号が操作部15から出力されるか否か監視する。CPU8は、操作部15から出力される上記の信号に基づいて、画像データの選択を完了するか否かを判断する(ステップS607)。   Subsequently, the photographer selects image data to be used for composition from the displayed list of image data. The selection of image data is performed via the operation unit 15, and the CPU 8 determines which image data is selected based on the signal output from the operation unit 15 (step S606). After the image data is selected, for example, an image based on the selected image data is displayed on the display device 14, and based on the display, the operator determines whether the selected image is a desired image. . The CPU 8 monitors whether a signal indicating an instruction to end the selection of image data or an instruction to continue the selection of image data is output from the operation unit 15. The CPU 8 determines whether or not the selection of the image data is completed based on the signal output from the operation unit 15 (step S607).

画像データの選択を続行する指示を示す信号が操作部15から出力された場合、処理はステップS601に戻る。また、画像データの選択を終了する指示を示す信号が操作部15から出力された場合には、以後の撮影によって生成される画像データとリアルタイムに合成される画像データが選択されたことになる。この場合には、合成される2つの画像について、どちらの画像に対してブルースクリーン等の切り抜き処理を行うのか、および画像の重ね合わせの順番等が入力される。そして、画像処理部6によって処理された画像データと、記録媒体7から読み出された画像データとが合成された合成画像データに基づいた画像が表示装置14に表示される(ステップS608)。   If a signal indicating an instruction to continue selecting image data is output from the operation unit 15, the process returns to step S601. In addition, when a signal indicating an instruction to end selection of image data is output from the operation unit 15, image data to be synthesized in real time with image data generated by subsequent shooting is selected. In this case, with respect to the two images to be combined, which image is to be subjected to the cutting process such as a blue screen, the order of image superposition, and the like are input. Then, an image based on the combined image data obtained by combining the image data processed by the image processing unit 6 and the image data read from the recording medium 7 is displayed on the display device 14 (step S608).

続いて、ブルースクリーン等の切り抜き処理や合成時の画像の重ね合わせの順番、再生開始・再生停止・フリーズ・繰り返し再生等の再生機能の条件を示す合成モード(合成条件)の選択が、操作部15を介して行われる(ステップS609)。合成モードの選択後、記録媒体7から再生された画像データに付加された映像情報を利用するか否かの選択が、操作部15を介して行われる(ステップS610)。映像情報を利用するか否かの選択は、撮像モードの選択前等に行ってもよい。   Subsequently, the selection of the synthesis mode (compositing condition) indicating the order of the image processing at the time of cropping processing such as blue screen and the composition, the start of playback, playback stop, freeze, and repeated playback is performed on the operation unit. 15 (step S609). After selecting the compositing mode, whether to use the video information added to the image data reproduced from the recording medium 7 is selected via the operation unit 15 (step S610). The selection of whether to use the video information may be performed before the selection of the imaging mode.

映像情報を利用することが選択された場合、CPU8は、現在撮影中の画像と合成されている画像データに関連付けられた映像情報を記録媒体7から読み出し、その映像情報に基づいて、撮影条件を撮像装置の各部に設定する。例えば、CPU8は、映像情報に含まれるレンズ1および撮像素子2の駆動情報を参照し、レンズ1の状態を制御すると共に、撮像素子2の駆動に必要な駆動回路3のパラメータを設定する。また、CPU8は、映像情報に含まれる画像処理パラメータを参照し、アナログ処理部4、画像処理部6、および画像処理部12の必要なパラメータを設定する(ステップS611)。   When it is selected that the video information is to be used, the CPU 8 reads the video information associated with the image data combined with the image currently being shot from the recording medium 7, and sets the shooting conditions based on the video information. Set for each part of the imaging device. For example, the CPU 8 refers to the driving information of the lens 1 and the image sensor 2 included in the video information, controls the state of the lens 1, and sets the parameters of the driving circuit 3 necessary for driving the image sensor 2. Further, the CPU 8 refers to the image processing parameters included in the video information, and sets necessary parameters for the analog processing unit 4, the image processing unit 6, and the image processing unit 12 (step S611).

続いて、合成画像が表示されると共に、ステップS611において設定された撮影条件を基準として、必要に応じて、撮影者によって各種の撮影条件の微調整が行われ、最終的な撮影条件の設定が行われる(ステップS612)。合成条件としてフリーズが選択された場合には、静止画像が表示されるので、撮影条件の微調整をより容易に行うことができる。以後の処理はステップS614へ進む。一方、ステップS610において、映像情報を利用しないことが選択された場合、撮影者によって、各種の撮影条件が最適となるように設定される(ステップS613)。以後の処理はステップS614へ進む。   Subsequently, a composite image is displayed, and various photographing conditions are finely adjusted by the photographer as necessary with reference to the photographing conditions set in step S611, and the final photographing conditions are set. This is performed (step S612). When freeze is selected as the composition condition, a still image is displayed, so that fine adjustment of the photographing condition can be performed more easily. The subsequent processing proceeds to step S614. On the other hand, if it is selected in step S610 that the video information is not used, various shooting conditions are set by the photographer so as to be optimal (step S613). The subsequent processing proceeds to step S614.

撮影条件の自動設定あるいはマニュアル設定の後、操作部15を介して撮影開始の指示が入力され、撮像装置は撮影動作を開始する(ステップS614)。撮影の開始後、被写体を撮像して得られた画像データが記録媒体7に記録される。この際、撮像条件や各種画像処理パラメータの情報が映像情報として画像データに付加されて記録媒体7に記録される。また、被写体を撮像して得られた画像データは、記録媒体7に予め記録された画像データと合成されて合成画像データが生成され、表示装置14には合成画像が表示される(ステップS615)。撮影者によって、操作部15を介して撮影終了の指示が入力されると撮影および画像データの記録が終了する。   After automatic setting of shooting conditions or manual setting, an instruction to start shooting is input via the operation unit 15, and the imaging apparatus starts a shooting operation (step S614). After the start of imaging, image data obtained by imaging the subject is recorded on the recording medium 7. At this time, information on imaging conditions and various image processing parameters is added to the image data as video information and recorded on the recording medium 7. Further, the image data obtained by imaging the subject is combined with the image data recorded in advance on the recording medium 7 to generate combined image data, and the combined image is displayed on the display device 14 (step S615). . When a photographing end instruction is input by the photographer via the operation unit 15, photographing and recording of image data are finished.

図8は、ステップS612およびS615等において、表示装置14の画面14aに表示される合成画像の例である。この合成画像は、予め記録媒体7に記録された屋外の風景画像の画像データと、合成用にクロマキー撮影を行っている人物画像の画像データとが合成された画像データに基づいて表示された画像である。撮影者は、撮像装置のファインダー等である表示装置14に表示された合成画像を確認しながら、実際の撮影をリアルタイムに行うことができる。また、表示装置14には、現在設定されている撮像条件M1および画像処理パラメータM2が合成画像と共に表示される。   FIG. 8 is an example of a composite image displayed on the screen 14a of the display device 14 in steps S612 and S615. This synthesized image is an image displayed based on image data obtained by synthesizing image data of an outdoor landscape image recorded in advance on the recording medium 7 and image data of a person image that has been subjected to chroma key photography for synthesis. It is. The photographer can perform actual photographing in real time while confirming the composite image displayed on the display device 14 such as a viewfinder of the imaging device. The display device 14 displays the currently set imaging condition M1 and image processing parameter M2 together with the composite image.

上記の説明においては、撮像によってリアルタイムに生成され、画像処理部6によって処理された画像データと、記録媒体7に予め記録された画像データとが合成されるとしているが、記録媒体7に予め記録された2つの画像データが合成されるとしてもよい。例えば前述したように、記録媒体7に格納されている画像データの一覧が表示装置14に表示され、操作者によって2つの画像データが選択されたとする。CPU8は、選択された2つの画像データを記録媒体7から読み出し、画像変換部9へ出力する。   In the above description, the image data generated in real time by imaging and processed by the image processing unit 6 and the image data recorded in advance on the recording medium 7 are synthesized. The two pieces of image data may be combined. For example, as described above, it is assumed that a list of image data stored in the recording medium 7 is displayed on the display device 14 and two image data are selected by the operator. The CPU 8 reads the selected two pieces of image data from the recording medium 7 and outputs them to the image conversion unit 9.

2つの画像データは、画像変換部9によってフレームレートが揃えられて合成部10へ出力される。合成部10は、前述した処理と同様の処理を行って2つの画像データを合成し、補間部11へ出力する。合成の際には、画像データの重ね合わせの順番や切り抜き処理の対象の指定等が、操作部15を介して入力され、合成部10は、入力された情報に従って動作する。合成部10によって生成された合成画像データは、補間部11〜リサイズ部13によって処理され、表示装置14へ出力される。表示装置14は合成画像を表示する。   The two image data are output to the synthesizing unit 10 with the same frame rate by the image converting unit 9. The synthesizer 10 performs the same process as described above, synthesizes two image data, and outputs the synthesized image data to the interpolator 11. At the time of composition, the order of superimposing image data, designation of a target for clipping processing, and the like are input via the operation unit 15, and the composition unit 10 operates according to the input information. The combined image data generated by the combining unit 10 is processed by the interpolation unit 11 to the resizing unit 13 and output to the display device 14. The display device 14 displays the composite image.

上述したように、本実施形態による撮像装置は、予め記録された第1の画像データと、撮像素子から出力された画像信号に基づいた第2の画像データとを合成して合成画像データを生成し、合成画像データに基づいた画像を表示する。また、本実施形態による撮像装置は、第1の画像データに関連付けられた映像情報(撮影条件情報)に基づいて、撮影条件を設定する。これによって、合成用の画像を予め撮影したときの撮影条件と同じ撮影条件が撮像装置に自動的に設定されて撮影が行われるので、撮影時間を大幅に短縮することができる。さらに、従来のように映像再生用の再生装置と映像合成用の映像合成装置とを用意する必要が無く、本実施形態による撮像装置1台を用いて低コストで合成画像を生成することができる。   As described above, the imaging apparatus according to the present embodiment generates the synthesized image data by synthesizing the first image data recorded in advance and the second image data based on the image signal output from the imaging element. Then, an image based on the composite image data is displayed. The imaging apparatus according to the present embodiment sets shooting conditions based on video information (shooting condition information) associated with the first image data. As a result, the same shooting conditions as when shooting a composite image in advance are automatically set in the imaging apparatus and shooting is performed, so that the shooting time can be greatly shortened. Furthermore, it is not necessary to prepare a playback device for video playback and a video synthesis device for video synthesis as in the prior art, and a composite image can be generated at low cost by using one imaging device according to the present embodiment. .

また、例えば予め記録された背景用の画像データを合成に用いて、人物を撮影するというような場合に、本実施形態による撮像装置は合成画像をファインダー等に表示する。これによって、合成される被写体のうち片方の被写体のみを撮影していても、合成結果をリアルタイムに確認しながら撮影することができるので、合成された際に違和感の無い合成用画像を撮影することができる。さらに、撮影者は、合成画像を確認することによって、自動で設定された撮影条件が最適であるか否かを判断することができる。   Further, for example, when a person is photographed using pre-recorded background image data for composition, the imaging apparatus according to the present embodiment displays the composite image on a viewfinder or the like. As a result, even if only one of the subjects to be synthesized is photographed, it is possible to photograph while confirming the composition result in real time. Can do. Furthermore, the photographer can determine whether or not the photographing conditions set automatically are optimal by checking the composite image.

また、本実施形態による撮像装置は撮影条件を合成画像と共に表示する。これによって、操作者は撮影条件を確認することができ、その撮影条件を基準として撮影条件の微調整を行うことができる。   In addition, the imaging apparatus according to the present embodiment displays shooting conditions together with a composite image. As a result, the operator can check the shooting conditions, and fine adjustment of the shooting conditions can be performed based on the shooting conditions.

また、本実施形態による撮像装置は、記録媒体7に記録された2つの画像データを合成し、合成画像を表示する機能も有している。これによって、撮影後に合成結果を再度確認することができる。   The imaging apparatus according to the present embodiment also has a function of combining two image data recorded on the recording medium 7 and displaying a combined image. Thereby, the composite result can be confirmed again after photographing.

以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、本発明は、ベイヤ方式に配列された原色系の色フィルターを備えた撮像素子を有する単板式の撮像方式を用いた撮像装置の他、それ以外の色フィルターの配列の撮像素子を有する撮像装置や、撮像素子を複数使用した撮像装置にも適用可能である。また、画像データが記録される記録媒体としては、カード型の導体メモリやハードディスク等のディスク状媒体といったランダムアクセス可能な様々な媒体を適用することができる。   The embodiment of the present invention has been described in detail above with reference to the drawings, but the specific configuration is not limited to this embodiment, and includes design changes and the like within a scope that does not depart from the gist of the present invention. For example, the present invention provides an image pickup apparatus using a single-plate image pickup method having an image pickup device having primary color filters arranged in a Bayer method, and an image pickup device having an image pickup device of other color filter array. The present invention is also applicable to an apparatus or an imaging apparatus using a plurality of imaging elements. As a recording medium on which image data is recorded, various randomly accessible media such as a card-type conductor memory and a disk-shaped medium such as a hard disk can be applied.

本発明の一実施形態による撮像装置の構成を示すブロック図である。It is a block diagram which shows the structure of the imaging device by one Embodiment of this invention. 本発明の一実施形態による撮像装置が備える撮像素子の画素の配列を説明するための参考図である。FIG. 4 is a reference diagram for explaining an arrangement of pixels of an image sensor included in an imaging apparatus according to an embodiment of the present invention. 本発明の一実施形態による撮像装置が備える補間部が行う補間処理を説明するための参考図である。FIG. 6 is a reference diagram for explaining an interpolation process performed by an interpolation unit included in an imaging apparatus according to an embodiment of the present invention. 本発明の一実施形態による撮像装置が備える記録媒体に記録されるデータを示す参考図である。FIG. 6 is a reference diagram illustrating data recorded on a recording medium included in the imaging apparatus according to the embodiment of the present invention. 本発明の一実施形態における撮影条件の設定方法を説明するための参考図である。FIG. 5 is a reference diagram for describing a method for setting shooting conditions according to an embodiment of the present invention. 本発明の一実施形態による撮像装置を用いた撮影の手順を示すフローチャートである。It is a flowchart which shows the procedure of imaging | photography using the imaging device by one Embodiment of this invention. 本発明の一実施形態における画像データの一覧表示の例を示す参考図である。It is a reference figure showing an example of a list display of image data in one embodiment of the present invention. 本発明の一実施形態による撮像装置が備える表示装置に表示される合成画像の例を示す参考図である。FIG. 8 is a reference diagram illustrating an example of a composite image displayed on a display device included in an imaging device according to an embodiment of the present invention.

符号の説明Explanation of symbols

1・・・レンズ、2・・・撮像素子、3・・・駆動回路、4・・・アナログ処理部、5・・・A/D変換部、6,12・・・画像処理部、7・・・記録媒体、8・・・CPU、9・・・画像変換部、10・・・合成部、11・・・補間部、13・・・リサイズ部、14・・・表示装置、15・・・操作部

DESCRIPTION OF SYMBOLS 1 ... Lens, 2 ... Image pick-up element, 3 ... Drive circuit, 4 ... Analog processing part, 5 ... A / D conversion part, 6, 12 ... Image processing part, 7. ..Recording medium, 8... CPU, 9... Image conversion unit, 10... Composition unit, 11... Interpolation unit, 13 .. resize unit, 14.・ Operation part

Claims (9)

被写体からの光を集光し、結像する結像光学系と、
前記結像光学系によって結像された被写体像を光電変換し、画像信号を生成する撮像素子と、
撮影条件情報が関連付けられた画像データを予め記憶する記憶手段と、
前記記憶手段によって予め記憶された第1の画像データと、前記撮像素子から出力された前記画像信号に基づいた第2の画像データとを合成し、合成画像データを生成する合成手段と、
前記合成手段によって生成された前記合成画像データに基づいた画像を表示する表示手段と、
前記第2の画像データを生成する撮影の際に、前記第1の画像データに関連付けられた前記撮影条件情報に基づいて、撮影条件を設定する撮影条件設定手段と、
を有する撮像装置。
An imaging optical system that collects light from the subject and forms an image;
An image sensor that photoelectrically converts a subject image formed by the imaging optical system and generates an image signal;
Storage means for storing in advance image data associated with shooting condition information;
Synthesizing means for synthesizing the first image data stored in advance by the storage means and the second image data based on the image signal output from the image sensor, and generating synthesized image data;
Display means for displaying an image based on the combined image data generated by the combining means;
Shooting condition setting means for setting shooting conditions based on the shooting condition information associated with the first image data when shooting to generate the second image data;
An imaging apparatus having
前記撮影条件情報は、前記結像光学系の情報や前記撮像素子の駆動情報であることを特徴とする請求項1に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the imaging condition information is information on the imaging optical system and driving information on the imaging element. 前記撮影条件情報は、階調特性や色再現性を補正するための画像処理に用いられる情報であることを特徴とする請求項1に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the photographing condition information is information used for image processing for correcting gradation characteristics and color reproducibility. 前記合成手段はさらに、前記記憶手段によって予め記憶された2つの前記画像データを合成し、前記合成画像データを生成することを特徴とする請求項1〜請求項3のいずれかの項に記載の撮像装置。   The said synthetic | combination means further synthesize | combines the two said image data beforehand memorize | stored by the said memory | storage means, The said synthetic | combination image data is produced | generated, The Claim 1 characterized by the above-mentioned Imaging device. 前記記憶手段はさらに、外部装置から入力された画像データを記憶することを特徴とする請求項1〜請求項4のいずれかの項に記載の撮像装置。   The imaging device according to claim 1, wherein the storage unit further stores image data input from an external device. 前記表示手段はさらに、前記合成画像データに基づいた静止画像を表示するフリーズ機能を有することを特徴とする請求項1〜請求項5のいずれかの項に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the display unit further has a freeze function for displaying a still image based on the composite image data. 前記合成手段が前記第1の画像データと前記第2の画像データを合成する際の合成条件が複数の条件の中から選択可能であることを特徴とする請求項1〜請求項6のいずれかの項に記載の撮像装置。   The composition condition when the composition means composes the first image data and the second image data can be selected from a plurality of conditions. The imaging device according to the section. 前記記憶手段によって予め記憶された第1の画像データのフレームレートと、前記撮像素子から出力された前記画像信号に基づいた第2の画像データのフレームレートが異なる場合に、2つの画像データのフレーム間隔が時間軸上で等間隔となるようにフレームレートを変換するフレームレート変換手段をさらに有することを特徴とする請求項1〜請求項7のいずれかの項に記載の撮像装置。   When the frame rate of the first image data stored in advance by the storage means and the frame rate of the second image data based on the image signal output from the image sensor are different, two image data frames The imaging apparatus according to claim 1, further comprising a frame rate conversion unit configured to convert the frame rate so that the intervals are equally spaced on the time axis. 前記表示手段はさらに、前記合成画像データに基づいた画像と共に前記撮影条件情報を表示することを特徴とする請求項1〜請求項8のいずれかの項に記載の撮像装置。

The imaging apparatus according to claim 1, wherein the display unit further displays the photographing condition information together with an image based on the composite image data.

JP2005138303A 2005-05-11 2005-05-11 Image sensing device Withdrawn JP2006319524A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005138303A JP2006319524A (en) 2005-05-11 2005-05-11 Image sensing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005138303A JP2006319524A (en) 2005-05-11 2005-05-11 Image sensing device

Publications (1)

Publication Number Publication Date
JP2006319524A true JP2006319524A (en) 2006-11-24

Family

ID=37539814

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005138303A Withdrawn JP2006319524A (en) 2005-05-11 2005-05-11 Image sensing device

Country Status (1)

Country Link
JP (1) JP2006319524A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009105681A (en) * 2007-10-23 2009-05-14 Canon Inc Image processing apparatus and image processing program
WO2009139341A1 (en) * 2008-05-13 2009-11-19 シャープ株式会社 Video information processing device
JP2013081220A (en) * 2012-12-05 2013-05-02 Canon Inc Image processing apparatus and image processing method
JP2016151975A (en) * 2015-02-18 2016-08-22 ネオス株式会社 Synthetic video data generation system and program

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009105681A (en) * 2007-10-23 2009-05-14 Canon Inc Image processing apparatus and image processing program
WO2009139341A1 (en) * 2008-05-13 2009-11-19 シャープ株式会社 Video information processing device
JPWO2009139341A1 (en) * 2008-05-13 2011-09-22 シャープ株式会社 Video information processing device
JP2013150353A (en) * 2008-05-13 2013-08-01 Sharp Corp Video information processing device
JP2013081220A (en) * 2012-12-05 2013-05-02 Canon Inc Image processing apparatus and image processing method
JP2016151975A (en) * 2015-02-18 2016-08-22 ネオス株式会社 Synthetic video data generation system and program

Similar Documents

Publication Publication Date Title
JP4126640B2 (en) Electronic camera
JP5235798B2 (en) Imaging apparatus and control method thereof
JP5214476B2 (en) Imaging apparatus, image processing method, and program
JP4943721B2 (en) Color noise removal method for image data and imaging apparatus using the method
JP2006340120A (en) Imaging apparatus, method of processing image pick-up result, image processing apparatus, program of processing method of image pick-up result, recording medium recording program of processing method of image pick-up result, and processing system of image pick-up result
JP2008022240A (en) Photographing device, image processor, image file generating method, image processing method, and image processing program
JP5186021B2 (en) Imaging apparatus, image processing apparatus, and imaging method
JP2005051776A (en) Digital camera image template guide apparatus and method thereof
JP6304293B2 (en) Image processing apparatus, image processing method, and program
JP3531003B2 (en) Image processing apparatus, recording medium on which image processing program is recorded, and image reproducing apparatus
JP2007135133A (en) Imaging apparatus
JP4696614B2 (en) Image display control device and program
JP2002305684A (en) Imaging system and program
JP4584544B2 (en) Image reproducing device and solid-state imaging device
JP2006319524A (en) Image sensing device
JP4439173B2 (en) Digital camera and information terminal
JP2004180151A (en) Digital camera
JP5035614B2 (en) Imaging apparatus and program
JPH1042307A (en) Key system and synthetic image forming method
JP2005117399A (en) Image processor
JP2009130464A (en) Image processing apparatus, method of controlling image processing apparatus, and computer program
JP2014049882A (en) Imaging apparatus
JP2012151708A (en) Imaging device
JP5332668B2 (en) Imaging apparatus and subject detection program
JP5417920B2 (en) Image processing apparatus, image processing method, electronic camera, and image processing program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080312

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20090918