JP4700557B2 - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP4700557B2
JP4700557B2 JP2006131772A JP2006131772A JP4700557B2 JP 4700557 B2 JP4700557 B2 JP 4700557B2 JP 2006131772 A JP2006131772 A JP 2006131772A JP 2006131772 A JP2006131772 A JP 2006131772A JP 4700557 B2 JP4700557 B2 JP 4700557B2
Authority
JP
Japan
Prior art keywords
image
time
frame
division
scene change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006131772A
Other languages
Japanese (ja)
Other versions
JP2007306242A (en
Inventor
猛士 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Olympus Imaging Corp
Original Assignee
Olympus Corp
Olympus Imaging Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp, Olympus Imaging Corp filed Critical Olympus Corp
Priority to JP2006131772A priority Critical patent/JP4700557B2/en
Publication of JP2007306242A publication Critical patent/JP2007306242A/en
Application granted granted Critical
Publication of JP4700557B2 publication Critical patent/JP4700557B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、動画像に対してフレーム間相関に基づく符号化を行う撮像装置に関する。   The present invention relates to an imaging apparatus that performs encoding based on correlation between frames for a moving image.

動画を撮像するときに、撮像するシーンが切り換わるシーンチェンジが発生することがある。具体的には、撮像装置をパンしたり、ズームしたりするときが、こうしたシーンチェンジが発生するケースとして挙げられる。   When capturing a moving image, a scene change that switches the scene to be captured may occur. Specifically, such a scene change occurs when the imaging apparatus is panned or zoomed.

このようなシーンチェンジを検出する技術としては、例えば、連続する2つのフレーム間で画素データ毎に差分を求めて、求めた差分の絶対値の総和が所定の閾値を超えたときに、シーンチェンジが発生したと判定する技術が知られている。   As a technique for detecting such a scene change, for example, when a difference is obtained for each pixel data between two consecutive frames and the sum of absolute values of the obtained differences exceeds a predetermined threshold, a scene change is detected. A technique for determining that occurrence has occurred is known.

ところで、フレーム間相関を利用して動画像を符号化する装置は、従来より広く知られているが、このような符号化装置では、シーンチェンジが発生してフレーム間相関が低下すると、符号化効率が低下して、データ量が多くなったり、あるいはデータ量を維持する場合には画質が劣化したりすることになる。   By the way, an apparatus for encoding a moving picture using inter-frame correlation has been widely known. However, in such an encoding apparatus, when a scene change occurs and the inter-frame correlation is reduced, encoding is performed. The efficiency decreases and the data amount increases, or the image quality deteriorates when the data amount is maintained.

そこで、シーンチェンジが発生したときに符号化効率が低下して画質が劣化するのを防止する技術が提案されている。   In view of this, a technique has been proposed for preventing the picture quality from degrading due to a decrease in coding efficiency when a scene change occurs.

例えば、特開2001−78196号公報には、動画像を圧縮する際に、シーンチェンジを検出した場合には、時間的に前後するフレーム間で処理するフレーム間予測符号化を行う代わりに、フレーム内で処理するフレーム内符号化を行うようにする技術が記載されている。   For example, in Japanese Patent Application Laid-Open No. 2001-78196, when a scene change is detected when compressing a moving image, instead of performing inter-frame predictive coding that processes between frames that are temporally forward and backward, A technique for performing intra-frame coding to be processed within the frame is described.

そして、このような従来技術におけるフレーム画像の露出時間は、1/30秒または1/60秒となっているのが一般的である。
特開2001−78196号公報
The exposure time of the frame image in such a conventional technique is generally 1/30 seconds or 1/60 seconds.
JP 2001-78196 A

しかしながら、上述したような従来技術を用いた撮像装置であって、例えば焦点距離の長いレンズを備える撮像装置を用いて撮影を行う場合には、上述したような1/60秒または1/30秒の露出時間に、手ぶれ等に起因して許容レベル以上の画像ぶれが発生する可能性がある。そして、このような場合には、各フレームの画像が画像ぶれしていることになるために、動画符号化が高精度であるか否かに関わらず、画質の劣化を防止することはできない。   However, in the case of imaging using an imaging apparatus using the conventional technique as described above and having a lens with a long focal length, for example, 1/60 seconds or 1/30 seconds as described above. In this exposure time, there is a possibility that image blur exceeding an allowable level may occur due to camera shake or the like. In such a case, since the image of each frame is blurred, it is impossible to prevent the deterioration of the image quality regardless of whether or not the moving image encoding is highly accurate.

また、上述した特開2001−78196号公報に記載されているような、フレーム間予測符号化とフレーム内符号化とを併用する符号化方式であっても、上述したような画像ぶれによる画質の劣化を防止することができないとともに、さらにこの符号化方式では、符号化装置および復号化装置が複雑化してしまうことになる。   Further, even with an encoding method using both inter-frame prediction encoding and intra-frame encoding as described in the above-mentioned Japanese Patent Application Laid-Open No. 2001-78196, the image quality due to image blur as described above can be reduced. Deterioration cannot be prevented, and furthermore, this encoding method complicates the encoding device and the decoding device.

本発明は上記事情に鑑みてなされたものであり、符号化や復号化を複雑にすることなく、シーンチェンジに起因するフレーム画像の画質劣化を防止することができる撮像装置を提供することを目的としている。   The present invention has been made in view of the above circumstances, and an object of the present invention is to provide an imaging apparatus capable of preventing deterioration in image quality of a frame image caused by a scene change without complicating encoding and decoding. It is said.

上記の目的を達成するために、第1の発明による撮像装置は、撮像して得られたフレーム画像群でなる動画像に対してフレーム間相関に基づく符号化を行う撮像装置において、上記フレーム画像の露光時間を分割して得られる複数の時分割露光時間で撮像を行うことにより該フレーム画像を構成するべき複数の時分割画像を生成する撮像部と、シーンチェンジが発生したか否かを検出するシーンチェンジ検出部と、上記複数の時分割画像を合成することによりフレーム画像を生成するものであって上記シーンチェンジ検出部によりシーンチェンジが発生したことが検出された場合には該シーンチェンジに起因するフレーム画像の画質劣化を防止するように上記時分割画像を合成してフレーム画像を生成する画像合成部と、上記画像合成部により生成されたフレーム画像をフレーム間相関に基づいて符号化する符号化部と、を具備し、上記画像合成部が、上記シーンチェンジ検出部によりシーンチェンジが発生したことが検出された場合には、一フレーム画像に係る時分割画像群の内の、該シーンチェンジが発生する以前の時分割画像群と、該シーンチェンジが発生した以後の時分割画像群と、の何れか一方のみを合成してフレーム画像を生成することにより、該シーンチェンジに起因するフレーム画像の画質劣化を防止するものである。 In order to achieve the above object, an image pickup apparatus according to a first aspect of the present invention provides an image pickup apparatus that performs encoding based on inter-frame correlation on a moving image composed of a group of frame images obtained by image pickup. An imaging unit that generates a plurality of time-division images to form the frame image by performing imaging with a plurality of time-division exposure times obtained by dividing the exposure time, and detects whether a scene change has occurred A scene change detection unit that generates a frame image by synthesizing the plurality of time-division images, and if the scene change detection unit detects that a scene change has occurred, An image composition unit that synthesizes the time-division image to generate a frame image so as to prevent image quality degradation of the resulting frame image, and an image composition unit. The generated frame image comprising an encoding unit for encoding, a based on inter-frame correlation, in the case where the image synthesizing unit has been detected that the scene change occurs by the scene change detection unit, Only one of the time-division image group before the scene change occurs in the time-division image group related to one frame image and the time-division image group after the scene change occurs are combined. By generating a frame image, image quality deterioration of the frame image due to the scene change is prevented.

さらに、第2の発明による撮像装置は、上記第1の発明による撮像装置において、上記画像合成部が、上記シーンチェンジが発生する以前の時分割画像群と、該シーンチェンジが発生した以後の時分割画像群と、の何れか一方のみを合成したときには、さらに、時分割画像の不足を補う分だけ合成した画像を増幅することにより、フレーム画像を生成するものである。 The image pickup apparatus according to the second invention is the image pickup apparatus according to the first invention, wherein the image composition unit includes a time-division image group before the scene change occurs and a time after the scene change occurs. When only one of the divided image groups is combined, a frame image is generated by further amplifying the combined image to compensate for the lack of time-divided images.

本発明の撮像装置によれば、符号化や復号化を複雑にすることなく、シーンチェンジに起因するフレーム画像の画質劣化を防止することが可能となる。   According to the imaging apparatus of the present invention, it is possible to prevent deterioration of the image quality of a frame image due to a scene change without complicating encoding and decoding.

以下、図面を参照して本発明の実施の形態を説明する。   Embodiments of the present invention will be described below with reference to the drawings.

[実施形態1]
図1から図4は本発明の実施形態1を示したものであり、図1は撮像装置の構成を示すブロック図である。
[Embodiment 1]
1 to 4 show a first embodiment of the present invention, and FIG. 1 is a block diagram showing the configuration of an imaging apparatus.

この撮像装置は、例えば、デジタルカメラ機能を備えたデジタルビデオカメラとして構成されたものとなっている。   The imaging apparatus is configured as a digital video camera having a digital camera function, for example.

すなわち、この撮像装置は、図1に示すように、レンズ1と、撮像素子2と、撮像回路3と、A/D変換器4と、信号処理回路5と、フレームメモリ6と、FIFOメモリ7と、オンスクリーン回路8と、TFT液晶駆動回路9と、TFTパネル10と、バックライトユニット11と、ビデオ出力回路12と、ビデオ出力端子13と、記録バッファ14と、記録媒体インタフェース(記録媒体I/F)15と、記録媒体16と、アクチュエータ17と、アクチュエータ駆動回路18と、EEPROM19と、ぶれ検出部21と、外部データインタフェース(外部データI/F)22と、キーマトリクス23と、LCD表示回路24と、LCDパネル25と、電池26と、電源回路27と、バックアップ電源28と、電池状態検出回路29と、第1CPU31と、第2CPU32と、を有して構成されている。   That is, as shown in FIG. 1, the imaging apparatus includes a lens 1, an imaging device 2, an imaging circuit 3, an A / D converter 4, a signal processing circuit 5, a frame memory 6, and a FIFO memory 7. An on-screen circuit 8, a TFT liquid crystal driving circuit 9, a TFT panel 10, a backlight unit 11, a video output circuit 12, a video output terminal 13, a recording buffer 14, and a recording medium interface (recording medium I). / F) 15, recording medium 16, actuator 17, actuator drive circuit 18, EEPROM 19, shake detection unit 21, external data interface (external data I / F) 22, key matrix 23, and LCD display A circuit 24, an LCD panel 25, a battery 26, a power supply circuit 27, a backup power supply 28, a battery state detection circuit 29, A CPU 31, is configured to include a first CPU 32, a.

レンズ1は、光学的な被写体像を撮像素子2へ結像するためのものである。   The lens 1 is for forming an optical subject image on the image sensor 2.

撮像素子2は、レンズ1により結像された光学的な被写体像を光電変換して、電気的な映像信号を出力する撮像部である。なお、撮像素子2は、高速読み出しを行うことができるタイプのものであれば、CCD、CMOS、あるいはその他のタイプの撮像素子の何れを用いても構わない。   The imaging device 2 is an imaging unit that photoelectrically converts an optical subject image formed by the lens 1 and outputs an electrical video signal. As long as the image pickup device 2 is of a type that can perform high-speed reading, any one of a CCD, a CMOS, or another type of image pickup device may be used.

撮像回路3は、撮像素子2からの出力に各種のアナログ信号処理を行うものである。   The imaging circuit 3 performs various analog signal processing on the output from the imaging device 2.

A/D変換器4は、撮像回路3から出力されるアナログの映像信号をデジタルの映像信号に変換するためのものである。   The A / D converter 4 is for converting an analog video signal output from the imaging circuit 3 into a digital video signal.

信号処理回路5は、A/D変換器4から出力された映像信号に各種のデジタル的な信号処理を行うためのものである。   The signal processing circuit 5 is for performing various digital signal processings on the video signal output from the A / D converter 4.

フレームメモリ6は、各種のデータ等を記憶する記憶手段であり、信号処理回路5により処理された映像信号(露光データ)を記憶するための露光データ保持部6aを有して構成されている。   The frame memory 6 is a storage unit that stores various data and the like, and includes an exposure data holding unit 6a for storing a video signal (exposure data) processed by the signal processing circuit 5.

FIFOメモリ7は、撮像して得られた動画像や、静止画撮像時のモニタ画像となるリアルタイム映像などを表示したり出力したりする際にバッファリングを行うためのメモリである。   The FIFO memory 7 is a memory for performing buffering when displaying or outputting a moving image obtained by imaging or a real-time video that becomes a monitor image at the time of still image imaging.

オンスクリーン回路8は、FIFOメモリ7から出力される映像信号に、文字データやその他のオンスクリーンデータを重畳するための回路である。このオンスクリーン回路8により重畳するデータは、第1CPU31から出力されるようになっている。   The on-screen circuit 8 is a circuit for superimposing character data and other on-screen data on the video signal output from the FIFO memory 7. The data superimposed by the on-screen circuit 8 is output from the first CPU 31.

TFT液晶駆動回路9は、オンスクリーン回路8から出力される映像信号に基づき、TFTパネル10を制御するものである。   The TFT liquid crystal drive circuit 9 controls the TFT panel 10 based on the video signal output from the on-screen circuit 8.

TFTパネル10は、カラー表示可能なものであって、TFT液晶駆動回路9の制御に基づき、撮像されている動画像、リアルタイム映像、撮影後の静止画像、あるいはこの撮像装置に係る各種の情報等を表示したりするための表示手段である。   The TFT panel 10 is capable of color display, and is based on the control of the TFT liquid crystal driving circuit 9 and is capturing a moving image, a real-time image, a still image after photographing, various information relating to the imaging device, and the like. Is a display means for displaying.

バックライトユニット11は、TFTパネル10の背面側に設けられていて、TFTパネル10を背面側から照明するためのものである。   The backlight unit 11 is provided on the back side of the TFT panel 10 and illuminates the TFT panel 10 from the back side.

ビデオ出力回路12は、オンスクリーン回路8からの映像信号を、ビデオ出力端子13を介して外部へ出力するためのものである。   The video output circuit 12 is for outputting the video signal from the on-screen circuit 8 to the outside via the video output terminal 13.

ビデオ出力端子13は、外部のビデオケーブル等を接続するための接続端子である。   The video output terminal 13 is a connection terminal for connecting an external video cable or the like.

記録バッファ14は、フレームメモリ6に記憶されている映像信号を、記録媒体16に記録する際に、バッファリングを行うものである。また、記録バッファ14は、記録媒体16から読み出される信号のバッファリングも行うようになっている。   The recording buffer 14 performs buffering when the video signal stored in the frame memory 6 is recorded on the recording medium 16. The recording buffer 14 also performs buffering of signals read from the recording medium 16.

記録媒体インタフェース15は、記録媒体16へのデータの記録や、記録媒体16からのデータの読み出しを制御するためのものである。   The recording medium interface 15 is for controlling data recording on the recording medium 16 and data reading from the recording medium 16.

記録媒体16は、画像データやその他の各種データを記録するための不揮発性の記録媒体であり、この撮像装置に対して例えば着脱自在に構成されたものとなっている。   The recording medium 16 is a non-volatile recording medium for recording image data and other various data, and is configured to be detachable from the imaging apparatus, for example.

アクチュエータ17は、レンズ1を駆動して、オートフォーカスを行ったり、あるいは自動ズーム機能が備えられている場合には自動ズームを行ったりするための駆動源である。   The actuator 17 is a drive source for driving the lens 1 to perform autofocus, or to perform automatic zoom when an automatic zoom function is provided.

アクチュエータ駆動回路18は、第1CPU31の制御に基づいて、アクチュエータ17を制御し駆動するものである。   The actuator drive circuit 18 controls and drives the actuator 17 based on the control of the first CPU 31.

EEPROM19は、この撮像装置に係る各種のデータや、第1CPU31あるいは第2CPU32により実行される処理プログラム等を保存するための不揮発性の記憶媒体である。   The EEPROM 19 is a non-volatile storage medium for storing various data relating to the imaging apparatus, a processing program executed by the first CPU 31 or the second CPU 32, and the like.

ぶれ検出部21は、例えばジャイロセンサ等を含んで構成されていて、この撮像装置に生じているヨー方向およびピッチ方向の角速度を検出し、検出した角速度に基づき撮像装置のぶれを検出するためのぶれ検出手段である。   The shake detection unit 21 includes, for example, a gyro sensor, detects angular velocities in the yaw direction and pitch direction generated in the imaging apparatus, and detects shakes of the imaging apparatus based on the detected angular velocities. Shake detection means.

外部データインタフェース22は、例えばUSB等で構成されていて、外部の機器とデータの送受信を行うためのインタフェースである。   The external data interface 22 is configured by, for example, a USB or the like, and is an interface for transmitting / receiving data to / from an external device.

キーマトリクス23は、この撮像装置に設けられている各種の操作スイッチや操作ボタン等を含む操作入力手段の総称である。このキーマトリクス23は、具体例としては、この撮像装置の電源をオンするための電源スイッチや、撮影動作を入力するための撮影ボタン等を含んでいる。そして、このキーマトリクス23が操作されることにより発生した信号は、第1CPU31に入力されるようになっている。   The key matrix 23 is a general term for operation input means including various operation switches and operation buttons provided in the imaging apparatus. As a specific example, the key matrix 23 includes a power switch for turning on the power of the imaging apparatus, a photographing button for inputting a photographing operation, and the like. A signal generated by operating the key matrix 23 is input to the first CPU 31.

LCD表示回路24は、第1CPU31の制御に基づき、LCDパネル25を制御して各種の表示を行わせるための回路である。   The LCD display circuit 24 is a circuit for controlling the LCD panel 25 to perform various displays based on the control of the first CPU 31.

LCDパネル25は、例えばモノクロLCDを含んで構成されていて、この撮像装置に設定されている撮影モード等の動作モードや、記録媒体16に記録された映像の録画時間などの情報を表示するための表示手段である。   The LCD panel 25 is configured to include, for example, a monochrome LCD, and displays information such as an operation mode such as a shooting mode set in the imaging apparatus and a recording time of a video recorded on the recording medium 16. Display means.

電池26は、この撮像装置のメイン電源である。   A battery 26 is a main power source of the imaging apparatus.

バックアップ電源28は、この撮像装置における日付表示用の電源を供給するための電源である。   The backup power supply 28 is a power supply for supplying power for date display in this imaging apparatus.

電源回路27は、第1CPU31の指令に基づいて、電池26およびバックアップ電源28の電源を、この撮像装置内の各回路へ供給する制御を行う回路である。   The power supply circuit 27 is a circuit that performs control to supply the power of the battery 26 and the backup power supply 28 to each circuit in the imaging apparatus based on a command from the first CPU 31.

電池状態検出回路29は、電池26の電圧等を検出して、電池26の電池残量等を算出し、その結果を第1CPU31へ出力するものである。   The battery state detection circuit 29 detects the voltage of the battery 26, etc., calculates the remaining battery level of the battery 26, and outputs the result to the first CPU 31.

第1CPU31は、メインCPUであって、この撮像装置の各回路を統括的に制御するための制御手段である。この第1CPU31は、この撮像装置のシステムをコントロールするためのシステムコントロール部31aを備えており、このシステムコントロール部31a内には、分割露光制御部31b、ぶれ補正制御部31c、Iフレーム決定部31dが備えられている。   The first CPU 31 is a main CPU, and is a control means for comprehensively controlling each circuit of the imaging apparatus. The first CPU 31 includes a system control unit 31a for controlling the system of the imaging apparatus, and in the system control unit 31a, a divided exposure control unit 31b, a shake correction control unit 31c, and an I frame determination unit 31d. Is provided.

ここに、分割露光制御部31bは、測光データ等に基づきフレーム画像の露光時間(シャッタ時間)を演算し、さらにこの露光時間を複数に時分割して、複数枚の時分割画像を露光するように制御するものである。   Here, the division exposure control unit 31b calculates the exposure time (shutter time) of the frame image based on the photometric data and the like, and further divides this exposure time into a plurality of times to expose a plurality of time division images. To control.

また、ぶれ補正制御部31cは、ぶれ検出部21からの出力に基づいて、上述した分割露光制御部31bにより制御されて撮影された複数枚の時分割画像の位置関係(ぶれ状態)を把握し、第2CPU32の後述する分割露光合成部32aにより画像加算を行う際のぶれ補正量を制御するぶれ補正手段である。   Further, the blur correction control unit 31c grasps the positional relationship (blurring state) of a plurality of time-division images photographed under the control of the above-described divided exposure control unit 31b based on the output from the blur detection unit 21. This is a shake correction means for controlling the shake correction amount when the image addition is performed by the divided exposure composition unit 32a described later of the second CPU 32.

さらに、Iフレーム決定部31dは、フレーム内符号化を行う対象のフレーム(Iフレーム(Iピクチャのフレーム))を決定する基準フレーム決定部である。ここに、Iフレームは、他のフレーム(Pフレーム(Pピクチャのフレーム)やBフレーム(Bピクチャのフレーム))から、フレーム間相関の対象として参照される基準フレームとなっている。   Furthermore, the I frame determination unit 31d is a reference frame determination unit that determines a target frame (I frame (frame of I picture)) to be subjected to intra-frame encoding. Here, the I frame is a reference frame that is referred to as a target of inter-frame correlation from other frames (P frame (P picture frame) and B frame (B picture frame)).

こうして、第1CPU31は主に制御を行い、画像データを扱う処理に関しては主に第2CPU32が行うようになっている。   Thus, the first CPU 31 mainly performs control, and the second CPU 32 mainly performs processing for handling image data.

すなわち、第2CPU32は、フレームメモリ6に記憶されている画像データを処理するものである。この第2CPU32は、分割露光合成部32aと、MPEG画像圧縮伸張部32bと、静止画像圧縮伸張部32cと、シーンチェンジ検出部32dと、記録媒体アクセス部32eと、を有して構成されている。   That is, the second CPU 32 processes the image data stored in the frame memory 6. The second CPU 32 includes a divided exposure combining unit 32a, an MPEG image compression / decompression unit 32b, a still image compression / decompression unit 32c, a scene change detection unit 32d, and a recording medium access unit 32e. .

分割露光合成部32aは、ぶれ補正制御部31cの制御に基づき必要に応じて各時分割画像の位置合わせ(ぶれ補正)を行った後に、分割露光制御部31bの制御に基づき各時分割画像を加算して、通常の1フレームの露光画像(撮像素子2により通常の1フレームの露光を行って得られる画像に相当する画像)を生成する画像合成部であり、ぶれ補正手段となっている。   The divided exposure composition unit 32a performs alignment (blur correction) of each time-division image as necessary based on the control of the shake correction control unit 31c, and then converts each time-division image based on the control of the division exposure control unit 31b. This is an image composition unit that adds and generates a normal one-frame exposure image (an image corresponding to an image obtained by performing normal one-frame exposure by the image sensor 2), and serves as a shake correction unit.

MPEG画像圧縮伸張部32bは、分割露光合成部32aにより生成された各フレーム画像をMPEG圧縮したり、記録媒体16に記録されているMPEG圧縮された画像を伸張したりする処理を行う符号化部である。   The MPEG image compression / decompression unit 32b performs a process of performing MPEG compression on each frame image generated by the divided exposure synthesis unit 32a or decompressing an MPEG compressed image recorded on the recording medium 16. It is.

静止画像圧縮伸張部32cは、フレームメモリ6に記憶されている画像データを、例えばJPEG圧縮等したり、あるいは記録媒体16から読み出された圧縮されている画像データを伸張したりする処理を行うものである。この撮像装置は、上述したようにデジタルカメラとしての機能も備えているために、この静止画像圧縮伸張部32cが設けられている。   The still image compression / decompression unit 32c performs a process of, for example, JPEG compression or the like on the image data stored in the frame memory 6, or decompressing the compressed image data read from the recording medium 16. Is. Since the imaging apparatus also has a function as a digital camera as described above, the still image compression / decompression unit 32c is provided.

シーンチェンジ検出部32dは、時分割露光により得られた各露光画像の内の、時間的に連続する露光画像同士の相関を算出することにより、シーンチェンジが発生したか否かを検出するものである。なお、ここでは相関に基づきシーンチェンジが発生したか否かを検出するようにしているが、その他の技術を用いてシーンチェンジが発生したか否かを検出するようにしても構わない。また、このシーンチェンジ検出部32dにより、画像ぶれが発生したか否かを検出することも可能であり、このときには、シーンチェンジ検出部32dはぶれ検出部(ぶれ検出手段)を兼ねたものとなる。   The scene change detection unit 32d detects whether or not a scene change has occurred by calculating a correlation between exposure images that are temporally continuous among exposure images obtained by time-division exposure. is there. Note that, here, whether or not a scene change has occurred is detected based on the correlation, but other techniques may be used to detect whether or not a scene change has occurred. The scene change detection unit 32d can also detect whether or not image blur has occurred. At this time, the scene change detection unit 32d also serves as a blur detection unit (blur detection unit). .

記録媒体アクセス部32eは、記録媒体インタフェース15による記録媒体16のアクセスを制御するためのものである。   The recording medium access unit 32 e is for controlling access to the recording medium 16 by the recording medium interface 15.

次に、図2は、この撮像装置により時分割画像からフレーム画像を生成するときの画像合成の原理を説明するための図である。   Next, FIG. 2 is a diagram for explaining the principle of image composition when a frame image is generated from a time-division image by this imaging apparatus.

まず、図2(A)は、通常の撮影により得られる各フレームデータF1〜F3を示している。これらのフレームデータF1〜F3は、例えば1/30秒の時間間隔(フレームレート)で得られるものとなっている。   First, FIG. 2A shows frame data F1 to F3 obtained by normal photographing. These frame data F1 to F3 are obtained at a time interval (frame rate) of 1/30 seconds, for example.

これに対して、図2(B)は、時分割露光により得られる各時分割画像データを示している。ここに、時分割画像データD1−1〜D1−3は、フレームデータF1の露光時間を分割露光制御部31bの制御に基づき3つに分割し、分割された各露光時間でそれぞれ露光して得られるデータである。同様に、時分割画像データD2−1〜D2−3は、フレームデータF2の露光時間を3つに分割して、分割された各露光時間でそれぞれ露光して得られるデータ、時分割画像データD3−1〜D3−3は、フレームデータF3の露光時間を3つに分割して、分割された各露光時間でそれぞれ露光して得られるデータである。なお、ここでは1つのフレームを3つに時分割して露光を行っているが、もちろんこれに限るものではなく、2以上の任意の分割数で時分割して露光を行うことも可能である。   On the other hand, FIG. 2B shows each time-division image data obtained by time-division exposure. Here, the time-division image data D1-1 to D1-3 are obtained by dividing the exposure time of the frame data F1 into three based on the control of the division exposure control unit 31b and exposing each of the divided exposure times. Data. Similarly, the time-division image data D2-1 to D2-3 are data obtained by dividing the exposure time of the frame data F2 into three and exposing each of the divided exposure times, and time-division image data D3. −1 to D3-3 are data obtained by dividing the exposure time of the frame data F3 into three and exposing each of the divided exposure times. Here, exposure is performed by time-dividing one frame into three, but it is of course not limited to this, and exposure can be performed by time-sharing with an arbitrary number of divisions of 2 or more. .

そして、このように時分割して得られた時分割画像データD1−1〜D1−3,D2−1〜D2−3,D3−1〜D3−3を、分割露光制御部31bの制御に基づいて分割露光合成部32aがそれぞれ合成する(加算する)ことにより、図2(C)に示すように、各フレームデータf1,f2,f3を生成するようになっている。すなわち、時分割画像データD1−1〜D1−3を合成することによりフレームデータf1が、時分割画像データD2−1〜D2−3を合成することによりフレームデータf2が、時分割画像データD3−1〜D3−3を合成することによりフレームデータf3が、それぞれ生成される。こうして、通常の露光を行って得られるフレームデータF1〜F3に各相当するデータとして、フレームデータf1〜f3が生成される。なお、このフレームデータf1〜f3の出力レートは、フレームデータF1〜F3と同じであり、例えば1/30秒である。   The time-division image data D1-1 to D1-3, D2-1 to D2-3, and D3-1 to D3-3 obtained by time division in this way are controlled based on the control of the division exposure control unit 31b. Then, the divided exposure combining unit 32a combines (adds) the respective frame data f1, f2, and f3 as shown in FIG. 2C. That is, the frame data f1 is synthesized by synthesizing the time-division image data D1-1 to D1-3, and the frame data f2 is synthesized by synthesizing the time-division image data D2-1 to D2-3. Frame data f3 is generated by combining 1 to D3-3. Thus, frame data f1 to f3 are generated as data corresponding to the frame data F1 to F3 obtained by performing normal exposure. The output rate of the frame data f1 to f3 is the same as that of the frame data F1 to F3, and is 1/30 second, for example.

このように生成されたフレームデータf1〜f3は、MPEG画像圧縮伸張部32bにより、フレーム間相関に基づき圧縮される。   The frame data f1 to f3 generated in this way are compressed based on the interframe correlation by the MPEG image compression / decompression unit 32b.

ところで、撮影を行っているときに、シーンチェンジが発生することがある。例えば、図2に示す時刻T1に、シーンチェンジが発生したものとする。   By the way, a scene change may occur when shooting. For example, it is assumed that a scene change occurs at time T1 shown in FIG.

このシーンチェンジの発生は、シーンチェンジ検出部32dが、時分割画像データD1−1と、時分割画像データD1−2と、の相関性(例えば、画素毎の差分絶対値の総和値)を算出し、算出された相関性が所定値よりも低い相関性を示すものである場合(総和値が所定値よりも大きい場合)に検出される。   When this scene change occurs, the scene change detection unit 32d calculates the correlation between the time-division image data D1-1 and the time-division image data D1-2 (for example, the sum of absolute difference values for each pixel). When the calculated correlation indicates a correlation lower than a predetermined value (when the total value is larger than the predetermined value), it is detected.

このようなシーンチェンジが発生したときに、時分割画像データD1−1〜D1−3を合成してフレームデータf1を生成すると、異なるシーンの画像を合成することになり、高画質の画像を得ることができなくなる。そこで、本実施形態においては、シーンチェンジが発生する以前の時分割画像群のみを用いてフレームデータを生成するようにしている。具体的には、フレームデータf1を生成するのに、時分割画像データD1−1のみを用い、時分割画像データD1−2,D1−3は用いないようにすることになる。このときには、露光量が不足することになるために、時分割画像データD1−1を3倍に増幅したものを、フレームデータf1とする。   When such a scene change occurs, if the frame data f1 is generated by combining the time-division image data D1-1 to D1-3, images of different scenes are combined to obtain a high-quality image. I can't do that. Therefore, in the present embodiment, frame data is generated using only the time-division image group before the scene change occurs. Specifically, only the time-division image data D1-1 is used to generate the frame data f1, and the time-division image data D1-2 and D1-3 are not used. At this time, since the exposure amount is insufficient, the frame data f1 is obtained by amplifying the time-division image data D1-1 three times.

なお、ここでは、シーンチェンジが発生する以前の時分割画像群のみを用いてフレームデータを生成するようにしているが、これに限らず、シーンチェンジが発生した以後の時分割画像群のみを用いてフレームデータを生成するようにしても構わない。このときには、フレームデータf1を生成するのに、時分割画像データD1−2,D1−3を用い、時分割画像データD1−1は用いないことになる。さらに、1つのフレームに係る時分割画像の内の、シーンチェンジが発生する以前の枚数と、シーンチェンジが発生した以後の枚数とを比較して、枚数が多い方の時分割画像群を用いてフレームデータを生成するようにしても良い。   Here, the frame data is generated using only the time-division image group before the scene change occurs. However, the present invention is not limited to this, and only the time-division image group after the scene change is used. Thus, frame data may be generated. At this time, the time division image data D1-2 and D1-3 are used to generate the frame data f1, and the time division image data D1-1 is not used. Furthermore, by comparing the number of time-division images related to one frame before the scene change occurs with the number after the scene change occurs, the time-division image group having the larger number is used. Frame data may be generated.

そして、このように生成されたフレームデータf1が他のフレームから参照されるフレームとなると、画質の劣化が他のフレームにも及ぶことになるために、Iフレーム決定部31dは、フレームデータf1をIフレームとして設定しないようにするとともに、次の時分割画像データD2−1〜D2−3を合成して得られるフレームデータf2をIフレームとして設定するようになっている。   Then, when the frame data f1 generated in this way is a frame that is referred to by another frame, the image quality deterioration also extends to the other frame. Therefore, the I frame determination unit 31d stores the frame data f1 in the frame data f1. The frame data f2 obtained by synthesizing the next time-division image data D2-1 to D2-3 is set as the I frame while not being set as the I frame.

同様に、例えば、図示の時刻T2にシーンチェンジが発生した場合には、フレームデータf2を生成するのに、時分割画像データD2−1,D2−2を用い、時分割画像データD2−3は用いないことになる。そして、露光量の不足を補うために、時分割画像データD2−1,D2−2を合成して得られる画像データを1.5倍に増幅して、フレームデータf2を生成する。   Similarly, for example, when a scene change occurs at time T2 shown in the figure, time-division image data D2-1 and D2-2 are used to generate frame data f2, and time-division image data D2-3 is It will not be used. Then, in order to compensate for the shortage of exposure amount, the image data obtained by synthesizing the time-division image data D2-1 and D2-2 is amplified 1.5 times to generate frame data f2.

このときにはさらに、フレームデータf2はIフレームとしては設定されず、次の時分割画像データD3−1〜D3−3を合成して得られるフレームデータf3が、Iフレームとして設定される。   At this time, the frame data f2 is not set as an I frame, and frame data f3 obtained by synthesizing the next time-division image data D3-1 to D3-3 is set as an I frame.

次に、図3は、撮像装置による撮影動作の処理を示すフローチャートである。   Next, FIG. 3 is a flowchart showing processing of photographing operation by the imaging apparatus.

キーマトリクス23に含まれる撮影ボタンが操作されると、この撮影動作が開始されるようになっている。   This photographing operation is started when a photographing button included in the key matrix 23 is operated.

この処理を開始すると、まず、AE動作を行って、これから撮像しようとしているフレームの露光時間を算出する(ステップS1)。   When this process starts, first, an AE operation is performed, and an exposure time of a frame to be imaged is calculated (step S1).

次に、分割露光制御部31bが、この露光時間のフレーム画像を最終的に得るために行う時分割露光の回数と、各時分割露光の露光時間と、を算出する(ステップS2)。   Next, the division exposure control unit 31b calculates the number of time division exposures performed in order to finally obtain a frame image of this exposure time and the exposure time of each time division exposure (step S2).

このステップS2における処理としては、レンズ1の焦点距離に依存する手ぶれ限界秒時以下の時分割露光時間を算出し、ステップS1で算出した露光時間をこの時分割露光時間で割ることにより時分割露光の回数を算出することが、一例として挙げられる。従って、ステップS1において算出された露光時間が1/15秒であって、手ぶれ限界秒時の露光時間が1/60秒として算出された場合を例にとると、時分割露光回数は4回となる。   As processing in this step S2, time-division exposure time equal to or less than the camera shake limit second depending on the focal length of the lens 1 is calculated, and the exposure time calculated in step S1 is divided by this time-division exposure time, thereby time-division exposure. One example is to calculate the number of times. Accordingly, in the case where the exposure time calculated in step S1 is 1/15 seconds and the exposure time at the camera shake limit time is calculated as 1/60 seconds, the time-division exposure number is 4 times. Become.

続いて、設定された時分割露光時間により、時分割露光を行い(ステップS3)、1回の時分割露光が終了する毎に時分割露光データを読み出す(ステップS4)。   Subsequently, time-division exposure is performed according to the set time-division exposure time (step S3), and time-division exposure data is read every time one time-division exposure is completed (step S4).

そして、今回の時分割露光が、1フレームを分割する複数回の時分割露光の内の、第1回目の時分割露光であるか否かを判定する(ステップS5)。   Then, it is determined whether or not the current time-division exposure is the first time-division exposure among a plurality of time-division exposures for dividing one frame (step S5).

ここで、第1回目の時分割露光でないと判定された場合には、シーンチェンジ検出部32dが、前回の時分割画像との画素毎の差分を計算し、さらに計算した差分の絶対値の総和を算出し、この総和が所定値よりも大きいか否かに基づいて、シーンチェンジ検出を行う(ステップS6)。   Here, when it is determined that the first time-division exposure is not performed, the scene change detection unit 32d calculates a pixel-by-pixel difference from the previous time-division image, and further sums the absolute values of the calculated differences. And scene change detection is performed based on whether the sum is greater than a predetermined value (step S6).

そして、システムコントロール部31aが、シーンチェンジ検出部32dによるシーンチェンジ検出の結果に応じて、処理の分岐を行う(ステップS7)。   Then, the system control unit 31a branches the process according to the result of the scene change detection by the scene change detection unit 32d (step S7).

ここで、シーンチェンジが発生していないと判定された場合には、前回までの加算された時分割露光データに、今回の時分割露光データをさらに加算する(ステップS8)。   If it is determined that no scene change has occurred, the current time-division exposure data is further added to the time-division exposure data added up to the previous time (step S8).

上述したステップS5において第1回目の時分割露光であると判定された場合、または上述したステップS8の処理が終了した場合には、ステップS2で算出された回数の時分割露光が終了したか否かを判定する(ステップS9)。   If it is determined in step S5 that it is the first time-division exposure, or if the process in step S8 is completed, whether or not the time-division exposure of the number of times calculated in step S2 has been completed. Is determined (step S9).

ここで、所定回数の時分割露光がまだ終了していない場合には、ステップS3へ戻って、上述したような処理を繰り返して行う。   If the predetermined number of time-division exposures have not yet been completed, the process returns to step S3 and the above-described processing is repeated.

また、上述したステップS7において、シーンチェンジが発生したと判定された場合には、シーンチェンジフラグをオンにしてから(ステップS10)、前回までの加算された時分割露光データの不足露光分をデジタル処理により増幅して補正する(ステップS11)。   If it is determined in step S7 that a scene change has occurred, the scene change flag is turned on (step S10), and the insufficient exposure of the time-division exposure data added up to the previous time is digitally converted. It is amplified and corrected by processing (step S11).

このステップS11の処理が終了するか、または、上述したステップS9において所定回数の時分割露光が終了したと判定された場合には、得られたフレーム画像を後で図4を参照して説明するようにMPEG圧縮処理する(ステップS12)。   If it is determined that the process of step S11 is completed or a predetermined number of time-division exposures are completed in step S9 described above, the obtained frame image will be described later with reference to FIG. MPEG compression processing is performed as described above (step S12).

そして、撮影ボタンの操作状態が変化して撮影終了になったか否かを判定し(ステップS13)、撮影終了でないと判定された場合にはステップS1へ戻って、次のフレームについて上述したような処理を行う。   Then, it is determined whether or not the shooting button operation state has changed and the shooting has ended (step S13). If it is determined that the shooting has not ended, the process returns to step S1 and the next frame is as described above. Process.

こうして、ステップS13において、撮影終了であると判定された場合には、記録媒体アクセス部32eの制御により、記録媒体インタフェース15を介して記録媒体16へ画像の記録を行い(ステップS14)、この一連の撮影動作を終了する。   Thus, if it is determined in step S13 that the photographing has been completed, the image is recorded on the recording medium 16 via the recording medium interface 15 under the control of the recording medium access unit 32e (step S14). The shooting operation ends.

次に、図4は、図3のステップS12におけるMPEG圧縮処理の詳細を示すフローチャートである。   Next, FIG. 4 is a flowchart showing details of the MPEG compression processing in step S12 of FIG.

この処理を開始すると、新しいGOP(Group of Pictures)フラグがオンになっているか否かを判定する(ステップS21)。ここに、GOPは、上述したIフレームを含むグループであって、このIフレームを参照して得られるフレームのグループのことである。そして、Iフレーム決定部31dは、新たなGOPを開始するときには、この新しいGOPフラグをオンにするようになっている。   When this process is started, it is determined whether or not a new GOP (Group of Pictures) flag is turned on (step S21). Here, GOP is a group including the above-described I frame, and is a group of frames obtained by referring to the I frame. The I-frame determining unit 31d turns on this new GOP flag when starting a new GOP.

ここで、新しいGOP(Group of Pictures)フラグがオンになっていると判定された場合には、新しいGOPとしてフレームを登録し、新しいGOPフラグをクリアする(ステップS22)。   If it is determined that the new GOP (Group of Pictures) flag is turned on, the frame is registered as a new GOP, and the new GOP flag is cleared (step S22).

一方、ステップS21において、新しいGOP(Group of Pictures)フラグがオンになっていないと判定された場合には、既存のGOPとしてフレームを登録する(ステップS23)。   On the other hand, if it is determined in step S21 that the new GOP (Group of Pictures) flag is not turned on, the frame is registered as an existing GOP (step S23).

こうして、ステップS22またはステップS23の処理が終了したら、次に、シーンチェンジフラグがオンになっているか否かを判定する(ステップS24)。   When the processing of step S22 or step S23 is thus completed, it is next determined whether or not the scene change flag is turned on (step S24).

ここで、シーンチェンジフラグがオンになっていると判定された場合には、Iフレーム決定部31dは、このフレームデータまででGOPを終了するように登録し、次のフレームから新しいGOPとなるように、新しいGOPフラグをオンする(ステップS25)。   Here, if it is determined that the scene change flag is on, the I frame determination unit 31d registers the GOP to be completed up to this frame data, and a new GOP starts from the next frame. The new GOP flag is turned on (step S25).

そして、Iフレーム決定部31dは、シーンチェンジフラグをクリアする(ステップS26)。   Then, the I frame determination unit 31d clears the scene change flag (step S26).

このステップS26が終了するか、またはステップS24においてシーンチェンジフラグがオフである場合には、登録されたGOP構成に従ってフレームを処理し、圧縮データを生成して(ステップS27)、図3に示したような処理に復帰する。   When step S26 ends or when the scene change flag is OFF in step S24, the frame is processed according to the registered GOP configuration to generate compressed data (step S27), as shown in FIG. Return to the process.

このような実施形態1によれば、1つのフレームを複数に時分割して撮影を行い、時分割撮影の途中でシーンチェンジが発生した場合には、シーンチェンジが発生する以前の時分割画像群、またはシーンチェンジが発生した以後の時分割画像群のみからフレーム画像を合成するようにしたために、異なるシーンの画像が合成されて画質が劣化することはなくなり、良好な画質のフレーム画像を得ることが可能となる。   According to the first embodiment, when a frame is shot in a time division manner and a scene change occurs during the time division shooting, the time division image group before the scene change occurs. Or, since the frame images are synthesized only from the time-division image group after the scene change occurs, the images of different scenes will not be synthesized and the image quality will not deteriorate, and a good quality image frame image will be obtained Is possible.

このとき、露光時間が不足する分を、デジタル的に増幅するようにしているために、生成されるフレーム画像が暗くなることはない。   At this time, since the amount of exposure time is insufficient, the generated frame image is never darkened.

そして、シーンチェンジが発生したフレームを、他のフレームからフレーム間相関の対象として参照される基準フレームにはしないようにしたために、シーンチェンジが発生したフレーム画像の画質が他のフレームに影響を及ぼすのを防止することができ、他のフレーム画像の画質を高画質に保持することが可能となる。   Since the frame in which the scene change has occurred is not used as a reference frame that is referred to as a target of inter-frame correlation from other frames, the image quality of the frame image in which the scene change has occurred affects other frames. Therefore, the image quality of other frame images can be kept high.

[実施形態2]
図5は本発明の実施形態2を示したものであり、撮像装置による撮影動作の処理を示すフローチャートである。この実施形態2において、上述の実施形態1と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
[Embodiment 2]
FIG. 5 shows a second embodiment of the present invention, and is a flowchart showing processing of photographing operation by the imaging apparatus. In the second embodiment, parts that are the same as those in the first embodiment are given the same reference numerals and description thereof is omitted, and only differences are mainly described.

本実施形態は、複数の時分割画像を合成してフレーム画像を生成する際に、時分割画像同士の画像ぶれを補正してから合成するようにしたものとなっている。なお、本実施形態における撮像装置の構成は、上述した実施形態1と同様である。   In the present embodiment, when a frame image is generated by combining a plurality of time-division images, image blur between the time-division images is corrected and then combined. Note that the configuration of the imaging apparatus in the present embodiment is the same as that in the first embodiment described above.

すなわち、図2に示したように、例えば時刻T1にシーンチェンジが発生したものとする。このときに、ぶれ補正制御部31cは、ぶれ検出部21からの出力に基づき、発生したシーンチェンジがぶれを補正可能なシーンチェンジであるか否かを判定する。   That is, as shown in FIG. 2, it is assumed that a scene change has occurred at time T1, for example. At this time, the shake correction control unit 31 c determines whether the generated scene change is a scene change that can correct the shake based on the output from the shake detection unit 21.

そして、ぶれを補正可能なシーンチェンジであると判定した場合には、上述とは異なる処理を行うようになっている。   When it is determined that the scene change is capable of correcting blur, processing different from that described above is performed.

つまり、ぶれを補正可能なシーンチェンジであると判定した場合には、ぶれ補正制御部31cの制御に基づいて、分割露光合成部32aが、時分割画像データD1−1に対して時分割画像データD1−2および時分割画像データD1−3をそれぞれぶれ補正した後に合成し、フレームデータを生成する。ここに、ぶれ補正は、ぶれ検出部21により検出されたぶれ量に基づいて、該ぶれ量を補正する量だけ加算する画素同士の位置をずらすことにより行われる。   In other words, when it is determined that the scene change is capable of correcting blur, the divided exposure composition unit 32a performs time-division image data on the time-division image data D1-1 based on the control of the blur correction control unit 31c. D1-2 and time-division image data D1-3 are each subjected to shake correction and then combined to generate frame data. Here, the blur correction is performed by shifting the positions of the pixels to be added based on the blur amount detected by the blur detection unit 21 by an amount for correcting the blur amount.

その後、Iフレーム決定部31dが、次の時分割画像データD2−1〜D2−3を合成して得られるフレームデータf2をIフレームとして設定するのは、上述と同様である。   Thereafter, the I frame determination unit 31d sets the frame data f2 obtained by synthesizing the next time-division image data D2-1 to D2-3 as the I frame, as described above.

このような本実施形態の撮像装置の作用について、図5を参照して説明する。   The operation of the image pickup apparatus of this embodiment will be described with reference to FIG.

この処理を開始して、ステップS1〜S7までの処理を行い、ステップS7においてシーンチェンジが発生したと判定されて、ステップS10の処理が行われたものとする。   It is assumed that the processing from step S1 to S7 is started, it is determined that a scene change has occurred in step S7, and the processing in step S10 is performed.

すると、ぶれ補正制御部31cが、ぶれ検出部21の出力に基づいて、シーンチェンジをぶれとして検出したか否かを判定する(ステップS31)。   Then, the shake correction control unit 31c determines whether or not a scene change is detected as a shake based on the output of the shake detection unit 21 (step S31).

ここで、ぶれとして検出された場合には、ぶれ補正制御部31cが、検出されたぶれが補正可能なぶれであるか否かをさらに判定する(ステップS32)。   Here, when it is detected as a shake, the shake correction control unit 31c further determines whether or not the detected shake is a shake that can be corrected (step S32).

そして、補正可能なぶれであると判定された場合には、ぶれを補正したデータ(すなわち、基準となる時分割画像の画素位置に対して現在の時分割画像の画素位置がずれた量および方向を示すベクトルの逆ベクトルを、現在の時分割画像の位置ベクトルに加算したデータ)を生成し、上述したステップS8の処理へ移行する。   If it is determined that the shake can be corrected, the data (that is, the amount and direction in which the pixel position of the current time-division image is shifted from the pixel position of the reference time-division image) Is generated by adding the inverse vector of the vector indicating the position vector of the current time-division image), and the process proceeds to step S8 described above.

また、ステップS31において、シーンチェンジをぶれとして検出していないと判定された場合、あるいは、ステップS32において、検出したぶれが補正可能でないと判定された場合には、上述したステップS11へ行って、上述したような処理を行う。   If it is determined in step S31 that a scene change has not been detected as a shake, or if it is determined in step S32 that the detected shake cannot be corrected, the process proceeds to step S11 described above. Processing as described above is performed.

なお、その他の処理については、上述した実施形態1の図3に示したものと同様である。   Other processes are the same as those shown in FIG. 3 of the first embodiment described above.

このような実施形態2によれば、上述した実施形態1とほぼ同様の効果を奏するとともに、ぶれ補正可能な場合には、時分割画像同士の画像ぶれを補正してから合成してフレーム画像を生成するようにしたために、ぶれがない高画質のフレーム画像となる。   According to the second embodiment, the same effects as those of the first embodiment described above can be obtained, and when shake correction is possible, the image of the time-division images is corrected and then combined to form a frame image. As a result of the generation, a high-quality frame image without blurring is obtained.

そして、ぶれが発生したフレーム画像は、他のフレームからフレーム間相関の対象として参照される基準フレームにはしないようにしたために、ぶれが発生したフレーム画像の画質が他のフレームに影響を及ぼすのを防止することができ、他のフレーム画像の画質を高画質に保持することが可能となる。   Since the frame image in which the blur has occurred is not used as a reference frame that is referred to as a target of inter-frame correlation from other frames, the image quality of the frame image in which the blur has occurred affects the other frames. Therefore, the image quality of other frame images can be kept high.

なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。   It should be noted that the present invention is not limited to the above-described embodiments, and various modifications and applications can be made without departing from the spirit of the invention.

本発明は、動画像に対してフレーム間相関に基づく符号化を行う撮像装置に好適に利用することができる。   INDUSTRIAL APPLICABILITY The present invention can be suitably used for an imaging apparatus that performs encoding based on correlation between frames for a moving image.

本発明の実施形態1における撮像装置の構成を示すブロック図。1 is a block diagram illustrating a configuration of an imaging apparatus according to Embodiment 1 of the present invention. 上記実施形態1の撮像装置により時分割画像からフレーム画像を生成するときの画像合成の原理を説明するための図。FIG. 3 is a diagram for explaining the principle of image composition when a frame image is generated from a time-division image by the imaging apparatus of the first embodiment. 上記実施形態1の撮像装置による撮影動作の処理を示すフローチャート。5 is a flowchart illustrating processing of a shooting operation performed by the imaging apparatus according to the first embodiment. 上記図3のステップS12におけるMPEG圧縮処理の詳細を示すフローチャート。The flowchart which shows the detail of the MPEG compression process in step S12 of the said FIG. 本発明の実施形態2の撮像装置による撮影動作の処理を示すフローチャート。9 is a flowchart showing processing of a photographing operation by the imaging apparatus according to the second embodiment of the present invention.

符号の説明Explanation of symbols

1…レンズ
2…撮像素子(撮像部)
3…撮像回路
4…A/D変換器
5…信号処理回路
6…フレームメモリ
6a…露光データ保持部
7…FIFOメモリ
8…オンスクリーン回路
9…TFT液晶駆動回路
10…TFTパネル
11…バックライトユニット
12…ビデオ出力回路
13…ビデオ出力端子
14…記録バッファ
15…記録媒体インタフェース(記録媒体I/F)
16…記録媒体
17…アクチュエータ
18…アクチュエータ駆動回路
19…EEPROM
21…ぶれ検出部
22…外部データインタフェース(外部データI/F)
23…キーマトリクス
24…LCD表示回路
25…LCDパネル
26…電池
27…電源回路
28…バックアップ電源
29…電池状態検出回路
31…第1CPU
31a…システムコントロール部
31b…分割露光制御部
31c…ぶれ補正制御部
31d…Iフレーム決定部(基準フレーム決定部)
32…第2CPU
32a…分割露光合成部(画像合成部)
32b…MPEG画像圧縮伸張部(符号化部)
32c…静止画像圧縮伸張部
32d…シーンチェンジ検出部
32e…記録媒体アクセス部
DESCRIPTION OF SYMBOLS 1 ... Lens 2 ... Image sensor (imaging part)
DESCRIPTION OF SYMBOLS 3 ... Imaging circuit 4 ... A / D converter 5 ... Signal processing circuit 6 ... Frame memory 6a ... Exposure data holding part 7 ... FIFO memory 8 ... On-screen circuit 9 ... TFT liquid crystal drive circuit 10 ... TFT panel 11 ... Backlight unit DESCRIPTION OF SYMBOLS 12 ... Video output circuit 13 ... Video output terminal 14 ... Recording buffer 15 ... Recording medium interface (recording medium I / F)
16 ... Recording medium 17 ... Actuator 18 ... Actuator drive circuit 19 ... EEPROM
21 ... blur detection unit 22 ... external data interface (external data I / F)
DESCRIPTION OF SYMBOLS 23 ... Key matrix 24 ... LCD display circuit 25 ... LCD panel 26 ... Battery 27 ... Power supply circuit 28 ... Backup power supply 29 ... Battery state detection circuit 31 ... 1st CPU
31a ... System control unit 31b ... Divided exposure control unit 31c ... Blur correction control unit 31d ... I frame determination unit (reference frame determination unit)
32 ... Second CPU
32a: Divided exposure composition unit (image composition unit)
32b... MPEG image compression / decompression unit (encoding unit)
32c: Still image compression / decompression unit 32d: Scene change detection unit 32e: Recording medium access unit

Claims (2)

撮像して得られたフレーム画像群でなる動画像に対して、フレーム間相関に基づく符号化を行う撮像装置において、
上記フレーム画像の露光時間を分割して得られる複数の時分割露光時間で撮像を行うことにより、該フレーム画像を構成するべき複数の時分割画像を生成する撮像部と、
シーンチェンジが発生したか否かを検出するシーンチェンジ検出部と、
上記複数の時分割画像を合成することによりフレーム画像を生成するものであって、上記シーンチェンジ検出部によりシーンチェンジが発生したことが検出された場合には、該シーンチェンジに起因するフレーム画像の画質劣化を防止するように上記時分割画像を合成してフレーム画像を生成する画像合成部と、
上記画像合成部により生成されたフレーム画像をフレーム間相関に基づいて符号化する符号化部と、
を具備し、
上記画像合成部は、上記シーンチェンジ検出部によりシーンチェンジが発生したことが検出された場合には、一フレーム画像に係る時分割画像群の内の、該シーンチェンジが発生する以前の時分割画像群と、該シーンチェンジが発生した以後の時分割画像群と、の何れか一方のみを合成してフレーム画像を生成することにより、該シーンチェンジに起因するフレーム画像の画質劣化を防止するものであることを特徴とする撮像装置。
In an imaging device that performs encoding based on inter-frame correlation for a moving image composed of a group of frame images obtained by imaging,
An imaging unit that generates a plurality of time-division images to form the frame image by performing imaging with a plurality of time-division exposure times obtained by dividing the exposure time of the frame image;
A scene change detection unit for detecting whether or not a scene change has occurred;
A frame image is generated by combining the plurality of time-division images. When the scene change detection unit detects that a scene change has occurred, the frame image resulting from the scene change An image synthesizing unit that synthesizes the time-division image to generate a frame image so as to prevent image quality degradation;
An encoding unit for encoding the frame image generated by the image combining unit based on the inter-frame correlation;
Equipped with,
When the scene change detection unit detects that a scene change has occurred, the image composition unit is a time-division image of the time-division image group related to one frame image before the scene change occurs. The frame image is generated by synthesizing only one of the group and the time-division image group after the scene change occurs, thereby preventing deterioration of the image quality of the frame image due to the scene change. There is an imaging apparatus.
上記画像合成部は、上記シーンチェンジが発生する以前の時分割画像群と、該シーンチェンジが発生した以後の時分割画像群と、の何れか一方のみを合成したときには、さらに、時分割画像の不足を補う分だけ合成した画像を増幅することにより、フレーム画像を生成するものであることを特徴とする請求項1に記載の撮像装置。 When only one of the time-division image group before the scene change occurs and the time-division image group after the scene change occurs, the image composition unit further adds the time-division image. The imaging apparatus according to claim 1, wherein the frame image is generated by amplifying the synthesized image by an amount that compensates for the shortage .
JP2006131772A 2006-05-10 2006-05-10 Imaging device Expired - Fee Related JP4700557B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006131772A JP4700557B2 (en) 2006-05-10 2006-05-10 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006131772A JP4700557B2 (en) 2006-05-10 2006-05-10 Imaging device

Publications (2)

Publication Number Publication Date
JP2007306242A JP2007306242A (en) 2007-11-22
JP4700557B2 true JP4700557B2 (en) 2011-06-15

Family

ID=38839819

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006131772A Expired - Fee Related JP4700557B2 (en) 2006-05-10 2006-05-10 Imaging device

Country Status (1)

Country Link
JP (1) JP4700557B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5251410B2 (en) * 2008-10-03 2013-07-31 株式会社ニコン Camera work calculation program, imaging apparatus, and camera work calculation method
JP6549409B2 (en) * 2015-05-13 2019-07-24 オリンパス株式会社 Imaging device, imaging method, and program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0750839A (en) * 1993-08-06 1995-02-21 Matsushita Electric Ind Co Ltd Coding method for motion picture
JPH0998426A (en) * 1995-10-02 1997-04-08 Dainippon Printing Co Ltd Digital dynamic image encoder
JPH1169350A (en) * 1997-08-21 1999-03-09 Mitsubishi Electric Corp Digital moving image coding system
JP2001078196A (en) * 1999-09-03 2001-03-23 Nec Corp Moving picture coding method and moving picture coder
JP2006033123A (en) * 2004-07-13 2006-02-02 Konica Minolta Photo Imaging Inc Image pickup device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0750839A (en) * 1993-08-06 1995-02-21 Matsushita Electric Ind Co Ltd Coding method for motion picture
JPH0998426A (en) * 1995-10-02 1997-04-08 Dainippon Printing Co Ltd Digital dynamic image encoder
JPH1169350A (en) * 1997-08-21 1999-03-09 Mitsubishi Electric Corp Digital moving image coding system
JP2001078196A (en) * 1999-09-03 2001-03-23 Nec Corp Moving picture coding method and moving picture coder
JP2006033123A (en) * 2004-07-13 2006-02-02 Konica Minolta Photo Imaging Inc Image pickup device

Also Published As

Publication number Publication date
JP2007306242A (en) 2007-11-22

Similar Documents

Publication Publication Date Title
KR101229600B1 (en) Image capturing apparatus and camera shake correction method, and computer-readable medium
WO2009098877A1 (en) Image processing device and image processing method
JP4687807B2 (en) Movie recording apparatus, moving image tilt correction method, and program
JP4501994B2 (en) Imaging device
JP4985251B2 (en) Imaging apparatus, focus control method, and focus control program
JP2000341577A (en) Device and method for correcting camera shake
US20120075508A1 (en) Image processing apparatus, method for controlling image processing apparatus, and storage medium
JP2009284394A (en) Imaging apparatus and imaging method
US8503855B2 (en) Image processing apparatus, control method therefor, and program
JP4483483B2 (en) Imaging device
JP4742813B2 (en) Image processing apparatus and image processing method
US8405745B2 (en) Image processing apparatus, image processing method, and program
JP4670663B2 (en) Image generating apparatus and image generating program
JP4700557B2 (en) Imaging device
JP2010021710A (en) Imaging device, image processor, and program
JP6465154B2 (en) Image processing device
JP2003348422A (en) Imaging apparatus, imaging method, program and storage medium
JP2007282134A (en) Imaging apparatus
JP2013183189A (en) Image processing apparatus, imaging apparatus, and image processing program
JP5482428B2 (en) Imaging apparatus, camera shake correction method, and program
JP4687619B2 (en) Image processing apparatus, image processing method, and program
JP2005217493A (en) Imaging apparatus
JP2011035718A (en) Imaging apparatus and method for controlling the same
JP2008211502A (en) Image encoding device, image decoding device, image encoding method, image decoding method, imaging apparatus, and control method and program of imaging apparatus
JP6149539B2 (en) Image processing apparatus and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110304

R150 Certificate of patent or registration of utility model

Ref document number: 4700557

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees