JP2010283630A - Image pickup device and control method thereof - Google Patents
Image pickup device and control method thereof Download PDFInfo
- Publication number
- JP2010283630A JP2010283630A JP2009135680A JP2009135680A JP2010283630A JP 2010283630 A JP2010283630 A JP 2010283630A JP 2009135680 A JP2009135680 A JP 2009135680A JP 2009135680 A JP2009135680 A JP 2009135680A JP 2010283630 A JP2010283630 A JP 2010283630A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- moving
- moving image
- still
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 33
- 238000003384 imaging method Methods 0.000 claims abstract description 40
- 230000006866 deterioration Effects 0.000 abstract description 3
- 230000002950 deficient Effects 0.000 abstract 2
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 abstract 1
- 239000000872 buffer Substances 0.000 description 19
- 238000001514 detection method Methods 0.000 description 18
- 238000009825 accumulation Methods 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 230000001771 impaired effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、ビデオカメラやデジタルスチルカメラ等の撮像装置に関し、特に動画の撮像中に静止画の撮像が可能な撮像装置に関する。 The present invention relates to an imaging apparatus such as a video camera or a digital still camera, and more particularly to an imaging apparatus capable of capturing a still image while capturing a moving image.
上記のような撮像装置において、動画の撮像中に静止画の撮像を行う場合、所定の周期（例えば、１／６０秒のフレームレート）で取得されている動画用フレーム画像の一部が、静止画の撮像処理のために欠落することがある。この結果、特に動きのある被写体を撮像した動画を再生する際に、再生動画の連続性が損なわれる可能性がある。
このような問題を解決するために、特許文献１には、動画撮像中に静止画撮像がなされた際の欠落フレームを、その前後のフレーム画像によって補間する撮像装置が開示されている。
また、静止画撮像により得られた静止画データを使用して、欠落フレームを補間する方法も知られている。
In the imaging apparatus as described above, when capturing a still image while capturing a moving image, a part of the moving image frame image acquired at a predetermined cycle (for example, a frame rate of 1/60 seconds) is still. It may be lost due to image capture processing. As a result, there is a possibility that the continuity of the reproduced moving image is impaired particularly when reproducing a moving image obtained by capturing a moving subject.
In order to solve such a problem, Patent Document 1 discloses an imaging apparatus that interpolates a missing frame when a still image is captured during moving image capturing, using frame images before and after the frame.
Also known is a method of interpolating missing frames using still image data obtained by still image capturing.
しかしながら、欠落フレームを補間する際に、補間用のフレーム画像のフィールド情報（ＥｖｅｎフィールドやＯｄｄフィールド）を考慮しないと、補間されたフレームの直後において、斜め線等の被写体が滑らかに表示されない等の画質劣化が生ずる可能性がある。
本発明は、動画撮像中の静止画撮像によって生じた欠落フレームを適切なフィールド情報を持った画像データで補間することによって、再生動画の画質劣化を少なくすることができるようにした撮像装置を提供する。
However, when interpolating the missing frame, if the field information (Even field or Odd field) of the frame image for interpolation is not taken into consideration, the subject such as the diagonal line is not displayed smoothly immediately after the interpolated frame. Image quality degradation may occur.
The present invention provides an imaging apparatus capable of reducing image quality degradation of a reproduced moving image by interpolating a missing frame caused by still image capturing during moving image capturing with image data having appropriate field information. To do.
本発明の一側面としての撮像装置は、被写体像を光電変換する撮像素子を有し、動画の撮像中に静止画の撮像が可能である。該撮像装置は、撮像素子の動画用駆動により得られた信号を用いて動画用画像データを生成し、該撮像素子の静止画用駆動により得られた信号を用いて静止画用画像データを生成する画像生成手段と、各画像データを一時的に保持する画像保持手段と、該画像保持手段により保持された各画像データを記録する記録手段と、動画撮像中に静止画撮像が指示された場合において、撮像素子の静止画用駆動によって動画において欠落したフレームを、該静止画用駆動の次の撮像素子の動画用駆動によって生成された動画用画像データを第１の補間用画像データとして用いて補間する第１の補間処理を行う補間処理手段とを有する。さらに、撮像装置は、第１の補間用画像データのフィールド情報が、静止画撮像の指示がなされたタイミングでの撮像素子の動画用駆動により生成された動画用画像データのフィールド情報と同じになるように、撮像素子の動画用駆動を制御する制御手段を有することを特徴とする。 An imaging apparatus according to one aspect of the present invention includes an imaging element that performs photoelectric conversion of a subject image, and can capture a still image while capturing a moving image. The imaging device generates moving image data using a signal obtained by driving the moving image of the imaging device, and generates still image data using a signal obtained by driving the still image of the imaging device. An image generation unit that performs image generation, an image holding unit that temporarily stores each image data, a recording unit that records each image data held by the image holding unit, and a still image shooting is instructed during moving image shooting , Using the moving image data generated by the moving image drive of the image sensor next to the still image driving as the first interpolation image data. Interpolation processing means for performing a first interpolation process for interpolation. Further, in the imaging apparatus, the field information of the first interpolation image data is the same as the field information of the moving image data generated by the moving image driving of the image sensor at the timing when the still image capturing instruction is given. As described above, it has a control means for controlling the moving image drive of the image sensor.
また、本発明の他の一側面としての制御方法は、被写体像を光電変換する撮像素子を有し、動画の撮像中に静止画の撮像が可能な撮像装置に適用される。該制御方法は、撮像素子の動画用駆動により得られた信号を用いて動画用画像データを生成し、該撮像素子の静止画用駆動により得られた信号を用いて静止画用画像データを生成するステップと、画像保持手段によって一時的に保持された各画像データを記録又は表示するステップと、動画撮像中に静止画撮像が指示された場合において、撮像素子の静止画用駆動によって動画において欠落したフレームを、該静止画用駆動の次の撮像素子の動画用駆動によって生成された動画用画像データを第１の補間用画像データとして用いて補間する第１の補間処理を行うステップとを有する。さらに、該制御方法は、第１の補間用画像データのフィールド情報が、静止画撮像の指示がなされたタイミングでの前記撮像素子の動画用駆動により生成された動画用画像データのフィールド情報と同じになるように、前記撮像素子の動画用駆動を制御するステップとを有することを特徴とする。 In addition, a control method according to another aspect of the present invention is applied to an imaging apparatus that includes an imaging device that photoelectrically converts a subject image and that can capture a still image while capturing a moving image. The control method generates moving image data using a signal obtained by driving a moving image of the imaging device, and generates still image data using a signal obtained by driving the still image of the imaging device. A step of recording, displaying or displaying each image data temporarily held by the image holding means, and when still image shooting is instructed during moving image shooting, the image sensor lacks in the moving image by driving for still images Performing a first interpolation process for interpolating the frame using the moving image image data generated by the moving image driving of the image sensor next to the still image driving as the first interpolation image data. . Further, in the control method, the field information of the first interpolation image data is the same as the field information of the moving image data generated by the moving image driving of the image sensor at the timing when the still image capturing instruction is given. And a step of controlling the moving image driving of the image sensor.
本発明によれば、動画撮像中の静止画撮像によって生じた欠落フレームを適切なフィールド情報を有する第１の補間用画像データで補間するので、再生動画の画質劣化を少なくすることができる。 According to the present invention, since a missing frame caused by still image capturing during moving image capturing is interpolated with the first interpolation image data having appropriate field information, it is possible to reduce degradation in the quality of the reproduced moving image.
以下、本発明の実施例について図面を参照しながら説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図１には、本発明の実施例１である撮像装置としてのビデオカメラの構成を示している。なお、ここでは、ビデオカメラについて説明するが、本発明は、動画撮像及び静止画撮像（動画撮像中の静止画撮像を含む）を行うことができるデジタルスチルカメラにも適用することができる。
１０１はフォーカスレンズや絞り等を含む光学系である。１０２はＣＣＤセンサやＣＭＯＳセンサ等の撮像素子であり、光学系１０１により形成された被写体像を光電変換する。
１０３は撮像素子１０２から読み出されたアナログ画素信号をデジタル画素信号に変換するＡ／Ｄ変換部である。
１０４は該デジタル画素信号（つまりは撮像された動画）から被写体の動きを検出する動き検出部（検出手段）である。
１０５はデジタル画素信号に対して、色変換、ホワイトバランス、ガンマ補正等の画像処理や解像度変換処理等の信号処理を行って画像データを生成するカメラ信号処理部（画像生成手段）である。
１０６はカメラ信号処理部１０５で生成された画像データや、後述する他の処理が行われた画像データを一時的に格納（保持）するＳＤＲＡＭ等のメインメモリである。また、１０７はカメラ信号処理部１０５からの画像データの出力タイミングを調整するために該画像データを一時的に保持（バッファリング）するバッファ部である。メインメモリ１０６は第１の画像保持手段に、バッファ部１０７は第２の画像保持手段にそれぞれ相当する。
１０８はセレクタ部（選択手段）であり、これよりも後段の処理（記録又は表示）を行う画像データとして、バッファ部１０７から出力された画像データとメインメモリ１０６から読み出された画像データのうち一方を選択する。
１０９はセレクタ部１０８から出力された画像データ（動画データ）のサイズ（画角又は画素数）を、動画記録に適したサイズに変換（リサイズ）するための動画リサイズ部である。１１０は動画リサイズ部１０９にてリサイズされた画像データに対してノイズリダクション処理を行うＮＲ処理部である。
１１１はメインメモリ１０６から読み出された画像データのサイズを、後述する被写体検出部１１２での被写体検出処理に適したサイズにリサイズする被写体検出リサイズ部である。
被写体検出部１１２は、被写体検出リサイズ部１１１にてリサイズされた画像データに含まれる被写体を検出する被写体検出処理を行う。
１１３はメインメモリ１０６に格納された画像データ（静止画データ）に対してＪＰＥＧ等の符号化処理を行う静止画符号化部である。１１４は静止画符号化部１１３にて符号化された静止画データを半導体メモリ等の静止画記録媒体（図にはｃａｒｄと記す）１１４に記録する静止画記録部である。
１１５は動画リサイズ部１０９にてリサイズされた動画データを符号化する動画符号化部である。１１６は動画データと不図示のマイクロフォンから入力された音声データとを、所定の動画／音声記録用フォーマットに変換する記録信号処理部（記録手段）である。
１１７は記録信号処理部１１６にてフォーマット変換された動画像データ及び音声データを記録する、半導体メモリ、光ディスク及び磁気テープ等の動画記録媒体である。記録信号処理部１１６は、所定の動画／音声記録用フォーマットに変換した画像データや音声データを動画記録媒体１１７に記録する。また、記録信号処理部１１６は、動画記録媒体１１７に記録された動画データを再生する際には、動画データと音声データを復号処理し、動画データをメインメモリ１０６を介して後述する表示部１１８に出力するとともに、音声データを不図示のスピーカに出力する。
表示部１１８は、液晶パネル等の表示素子を含み、画像データ（動画データ及び静止画データ）を表示素子に表示させる。
１１９は、ビデオカメラの動作全体を制御するシステム制御部である。システム制御部１１９には、ユーザによって操作される不図示の操作部から、動画撮像を指示する信号（動画トリガ）や静止画撮像（動画撮像中の静止画撮像を含む）を指示する信号（静止画トリガ）が入力される。
１２０は撮像素子制御部であり、システム制御部１１９からの制御信号に応じて、撮像素子１０２の駆動（電荷蓄積及び電荷読み出し）を制御する。システム制御部１１９は、動画撮像を行う場合には撮像素子制御部１２０に撮像素子１０２の動画用駆動を行わせ、動画撮像を行う場合には撮像素子制御部１２０に撮像素子１０２の静止画用駆動を行わせる。システム制御部１１９と撮像素子制御部１２０とにより、制御手段が構成される。また、システム制御部１１９は、補間処理手段としても機能する。
このように構成されたビデオカメラにおける動画撮像時の処理タイミングを図２に示す。図中の丸囲みの数字１〜１１は、動画の垂直同期信号（ＶＤ）に同期した時間（タイミング）を示している。以下の説明において、この時間をＶＤと称する。撮像素子１０２での電荷蓄積（センサ蓄積）、撮像素子１０２からの電荷（アナログ画像信号）読み出し、バッファ部１０７又はメインメモリ１０６での一時保持（バッファ）及び画像データの記録の各処理は、ＶＤに同期して行われる。
図中の灰色部分はフィールド情報としてのＥｖｅｎフィールドを、白色部はフィールド情報としてのＯｄｄフィールドを示す。フィールド情報は、撮像素子１０２の駆動フィールということもできる。
動画撮像中（動画記録中）は、撮像素子１０２からＥｖｅｎフィールド、Ｏｄｄフィールド、Ｅｖｅｎフィールド、Ｏｄｄフィールド、…の順番でアナログ画素信号としての電荷が読み出される。このため、前述した処理を経て、動画記録媒体１１７にも、Ｅｖｅｎフィールド、Ｏｄｄフィールド、Ｅｖｅｎフィールド、Ｏｄｄフィールド、…の順番で動画データの各フレームを構成するフレーム画像データ（以下、単に画像データという）が記録される。
動画記録媒体１１７に記録された動画データを表示部１１８にて再生表示する場合には、Ｅｖｅｎフィールドの画像データとＯｄｄフィールドの画像データとが交互に再生される。これにより、滑らかな動画を再生表示することができる。例えば、図３に示すように、動画撮像された被写体が斜め線であった場合には、図３の左側に示すように、動画記録媒体１１７にはそれぞれ途切れた斜め線を含むＥｖｅｎフィールドの画像データとＯｄｄフィールドの画像データが記録される。そして、これらが交互に再生されることで、図３の右側に示すように滑らかな斜め線が表示される。
図４には、従来のビデオカメラ（撮像装置）における動画撮像中に静止画撮像が行われた場合の記録シーケンス（処理タイミング）を示している。図中の灰色部分はフィールド情報としてのＥｖｅｎフィールドを、白色部分はフィールド情報としてのＯｄｄフィールドを示している。また、網掛け部分は、静止画撮像における各処理でのフィールド情報を示す。
動画撮像中のＶＤ２〜ＶＤ３の間の▼印を付したタイミングで静止画トリガが入力されると、ＶＤ３〜ＶＤ４において静止画撮像のためのセンサ蓄積が行われる。その後、ＶＤ４〜ＶＤ６までの２ＶＤ期間において撮像素子１０２からＥｖｅｎフィールドとＯｄｄフィールドの両フィールドの電荷読み出しが行われる。このため、ＶＤ４〜ＶＤ６までの２ＶＤ期間では、動画撮像のためのセンサ蓄積を行うことができない。したがって、ＶＤ５のタイミングでは、撮像素子１０２からの電荷読み出しを行うことができず、図中に点線で示すように、動画用の画像データＥを得ることはできない。すなわち、静止画撮像を行ったことによって、本来画像データＥが記録されるはずであったフレームが欠落する。
従来のビデオカメラでは、まず静止画撮像によって取得した静止画データＤを、Ｅｖｅｎフィールドの画像データＣの次に記録するＯｄｄフィールドの画像データＤとして用いる。次に、得られなかった画像データＥの代わりに、静止画データＤをＥｖｅｎフィールドの画像データＤとしても用いて、欠落したフレームを補間する。この場合、Ｅｖｅｎフィールドの画像データＤが補間用画像データとなる。
この結果、図４に示すように、記録される画像データは、Ａ→Ｂ→Ｃ→Ｄ→Ｄ→Ｆ→…となる。しかしながら、撮像している被写体の動きが大きい場合にこのような補間処理を行うと、記録された動画を再生した場合に、Ｃ→Ｄ→Ｄ→Ｆの間に被写体が一瞬止またように表示され、動画としての連続性が損なわれ、これを見るユーザに違和感を与える。
このため、本実施例では、システム制御部１１９は、動き検出部１０４に、撮像素子１０２から読み出した画素信号（Ａ／Ｄ変換後のデジタル画素信号）から被写体の動きを検出させる。該検出では、まず、基準フィールド）の画素信号中の特徴点（被写体）を抽出する処理と、基準フィールドに続くフィールドの画素信号において上記特徴点に対応する対応点を抽出する処理とが行われる。次に、特徴点と対応点との間の動きの方向と量を示す動きベクトルを算出する処理が行われる。動きベクトルが、被写体の動きを示す。
そして、システム制御部１１９は、動き検出部１０４により検出された被写体の動きが所定の大きさよりも大きいか否かを判断する。被写体の動きが所定の大きさよりも大きい場合には、システム制御部１１９は、図４に示した静止画データＤを用いた欠落フレーム（画像データＥ）の補間処理を行わず、図５に示すような記録処理（言い換えれば、第１の補間処理を含む記録処理）を行う。図５は、本発明の実施例としての制御方法における各ステップを時間の流れに従って示したものである。
なお、ここでは動き検出部１０４により被写体の動きを検出する場合について説明するが、被写体検出部１１２による被写体の検出結果を用いて被写体の動きを得てもよい。このことは、後述する実施例２でも同じである。
システム制御部１１９は、まず静止画撮像でのセンサ蓄積タイミング（静止画データＤ用のセンサ蓄積タイミング）よりも前のタイミングで生成されてバッファ部１０７にてバッファリングされている画像データＡ，Ｂ，Ｃをセレクタ部１０８を通じて選択する。そして、これら画像データＡ，Ｂ，Ｃを動画記録媒体１１７に記録する。
一方、静止画データＤ用のセンサ蓄積タイミングよりも後では、セレクタ部１０８をバッファ部１０７側からメインメモリ１０６側に切り替える。これにより、カメラ信号処理部１０５にて生成された画像データのうち、バッファ部１０７にてバッファリングされない画像データＦ，Ｇ，Ｈ，Ｉを選択して動画記録媒体１１７に記録する。
このような記録処理（第１の補間処理）によれば、再生される画像データは、Ａ→Ｂ→Ｃ→Ｄ→Ｆ→…となる。すなわち、補間用画像データとして静止画データＤを用いずに、画像データＦを用いて欠落フレームを補間する。これにより、記録された動画を再生した場合に、被写体が一瞬止まったように表示されることを回避することができ、動画としての連続性を維持することができる。
図６には、上記のように被写体の動きに応じた記録処理（第１の補間処理）を行う場合の各画像データのフィールド情報を示す。本実施例では、静止画撮像によって、静止画データＤとして、Ｅｖｅｎフィールドの画像データＤとＯｄｄフィールドの画像データＤとが生成される。この場合に、システム制御部１１９は、静止画撮像の直前の動画撮像により得られた画像データＣのフィールド情報に応じて、これら両画像データＤのうち一方を選択する。つまり、画像データＣのフィールド情報とは異なるフィールド情報を有する画像データＤを選択する。これにより、画像データＣ→Ｄ間においては滑らかな再生動画を得ることができる。
そして、Ｏｄｄフィールドの画像データＤの次に、第１の補間用画像データとしての画像データＦを動画記録媒体１１７に記録する。このときの画像データＦのフィールド情報は、従来通りの撮像素子１０２からの電荷読み出しを行うと、必ずＯｄｄフィールドとなる。この場合に動画記録媒体１１７に記録される画像データとそのフィールド情報を記すと、
Ａ（Ｅｖｅｎ）→Ｂ（Ｏｄｄ）→Ｃ（Ｅｖｅｎ）→Ｄ（Ｏｄｄ）→Ｆ（Ｏｄｄ）→Ｇ（Ｅｖｅｎ）…となる。
ここで、前述したように、画像データＤを記録した次に画像データＤではなく、画像データＦを記録することで、記録動画を再生したときに動きのある被写体が一瞬止まって表示されることは回避できる。ただし、図７に示すように、被写体が斜め線である場合、Ｄ（Ｏｄｄ）→Ｆ（Ｏｄｄ）においてＯｄｄフィールドの画像データが連続して再生されることになり、滑らかな斜め線が表示されない。
そこで本実施例では、静止画撮像の次（直後）の動画撮像（第１の補間用画像データＦ）に対する撮像素子１０２の駆動フィールドを、静止画トリガが入力されたタイミングでの動画撮像（画像データＣ）に対する駆動フィールドと同じにする。つまり、画像データＦを生成するための撮像素子１０２の駆動フィールドを、画像データＣを生成するための駆動フィールドと同じＥｖｅｎフィールドとする。
このようなフィールド制御によれば、図８に示すように、静止画撮像により得られた画像データＤとその前後の動画撮像によって得られた画像データＣ，Ｆにおいて、同じフィールド情報が連続することはない。すなわち、互いに隣接するフィールドは必ずＥｖｅｎフィールドとＯｄｄフィールドの組み合わせとなる。したがって、斜め線も滑らかに表示され、画質の劣化を抑制することができる。
以上説明したように、本実施例によれば、動画撮像中の静止画撮像によって生じた欠落フレームを、適切なフィールド情報を有する動画用画像データで補間することができ、再生動画の画質劣化を少なくすることができる。
なお、音声データに関しても、画像データと同様にバッファリングしてタイミング調整を行うことにより、画像データに合わせて出力することができる。このことは、後述する実施例１でも同じである。
FIG. 1 shows the configuration of a video camera as an image pickup apparatus that is Embodiment 1 of the present invention. Although a video camera will be described here, the present invention can also be applied to a digital still camera that can perform moving image capturing and still image capturing (including still image capturing during moving image capturing).
Reference numeral 101 denotes an optical system including a focus lens and a diaphragm. Reference numeral 102 denotes an image sensor such as a CCD sensor or a CMOS sensor, which photoelectrically converts a subject image formed by the optical system 101.
Reference numeral 103 denotes an A / D converter that converts an analog pixel signal read from the image sensor 102 into a digital pixel signal.
Reference numeral 104 denotes a motion detection unit (detection unit) that detects the motion of the subject from the digital pixel signal (that is, the captured moving image).
Reference numeral 105 denotes a camera signal processing unit (image generation unit) that performs image processing such as color conversion, white balance, and gamma correction, and resolution conversion processing on the digital pixel signal to generate image data.
Reference numeral 106 denotes a main memory such as an SDRAM that temporarily stores (holds) image data generated by the camera signal processing unit 105 and image data subjected to other processing described later. Reference numeral 107 denotes a buffer unit that temporarily holds (buffers) the image data in order to adjust the output timing of the image data from the camera signal processing unit 105. The main memory 106 corresponds to a first image holding unit, and the buffer unit 107 corresponds to a second image holding unit.
Reference numeral 108 denotes a selector unit (selection means), which includes image data output from the buffer unit 107 and image data read from the main memory 106 as image data for subsequent processing (recording or display). Select one.
Reference numeral 109 denotes a moving image resizing unit for converting (resizing) the size (view angle or number of pixels) of the image data (moving image data) output from the selector unit 108 into a size suitable for moving image recording. Reference numeral 110 denotes an NR processing unit that performs noise reduction processing on the image data resized by the moving image resizing unit 109.
A subject detection resizing unit 111 resizes the size of the image data read from the main memory 106 to a size suitable for subject detection processing in the subject detection unit 112 described later.
The subject detection unit 112 performs subject detection processing for detecting a subject included in the image data resized by the subject detection resizing unit 111.
A still image encoding unit 113 performs encoding processing such as JPEG on image data (still image data) stored in the main memory 106. Reference numeral 114 denotes a still image recording unit that records still image data encoded by the still image encoding unit 113 on a still image recording medium 114 (denoted as card in the drawing) such as a semiconductor memory.
Reference numeral 115 denotes a moving image encoding unit that encodes the moving image data resized by the moving image resizing unit 109. A recording signal processing unit (recording unit) 116 converts moving image data and audio data input from a microphone (not shown) into a predetermined moving image / audio recording format.
Reference numeral 117 denotes a moving image recording medium such as a semiconductor memory, an optical disk, or a magnetic tape that records moving image data and audio data whose format has been converted by the recording signal processing unit 116. The recording signal processing unit 116 records the image data and audio data converted into a predetermined moving image / audio recording format on the moving image recording medium 117. Further, when reproducing the moving image data recorded on the moving image recording medium 117, the recording signal processing unit 116 decodes the moving image data and the audio data, and displays the moving image data via the main memory 106, which will be described later. And audio data to a speaker (not shown).
The display unit 118 includes a display element such as a liquid crystal panel, and displays image data (moving image data and still image data) on the display element.
A system control unit 119 controls the entire operation of the video camera. The system control unit 119 receives a signal (moving image trigger) for instructing moving image capturing or a signal (still image capturing including still image capturing during moving image capturing) from an operation unit (not illustrated) operated by the user. Image trigger) is input.
An image sensor control unit 120 controls driving (charge accumulation and charge readout) of the image sensor 102 in accordance with a control signal from the system control unit 119. The system control unit 119 causes the image sensor control unit 120 to drive the image sensor 102 when performing moving image imaging, and causes the image sensor control unit 120 to use the still image of the image sensor 102 when performing moving image imaging. Let the drive do. The system control unit 119 and the image sensor control unit 120 constitute a control unit. The system control unit 119 also functions as an interpolation processing unit.
FIG. 2 shows the processing timing at the time of moving image capturing in the video camera configured as described above. Circled numbers 1 to 11 in the figure indicate time (timing) synchronized with the vertical synchronizing signal (VD) of the moving image. In the following description, this time is referred to as VD. The charge accumulation (sensor accumulation) in the image sensor 102, the charge (analog image signal) readout from the image sensor 102, the temporary storage (buffer) in the buffer unit 107 or the main memory 106, and the image data recording process are VD. Done in sync with
In the figure, the gray portion indicates an Even field as field information, and the white portion indicates an Odd field as field information. The field information can also be referred to as a drive feel of the image sensor 102.
During moving image capturing (during moving image recording), charges as analog pixel signals are read from the image sensor 102 in the order of the even field, odd field, even field, odd field,. For this reason, through the above-described processing, the moving image recording medium 117 also includes frame image data (hereinafter simply referred to as image data) constituting each frame of the moving image data in the order of the Even field, Odd field, Even field, Odd field,. ) Is recorded.
When the moving image data recorded on the moving image recording medium 117 is reproduced and displayed on the display unit 118, the image data in the Even field and the image data in the Odd field are alternately reproduced. Thereby, a smooth moving image can be reproduced and displayed. For example, as shown in FIG. 3, when the moving image subject is an oblique line, as shown on the left side of FIG. 3, the moving image recording medium 117 includes an even field image including the broken oblique line. Data and image data of the Odd field are recorded. And these are reproduced | regenerated alternately, and a smooth diagonal line is displayed as shown on the right side of FIG.
FIG. 4 shows a recording sequence (processing timing) when still image capturing is performed during moving image capturing in a conventional video camera (imaging device). In the figure, the gray portion indicates an Even field as field information, and the white portion indicates an Odd field as field information. The shaded portion indicates field information in each process in still image capturing.
When a still image trigger is input at a timing marked with a ▼ mark between VD2 and VD3 during moving image capturing, sensor accumulation for still image capturing is performed in VD3 to VD4. Thereafter, in the 2VD period from VD4 to VD6, charges are read out from the image sensor 102 in both the Even field and the Odd field. For this reason, in the 2VD period from VD4 to VD6, sensor accumulation for moving image capturing cannot be performed. Therefore, at the timing of VD5, charge readout from the image sensor 102 cannot be performed, and the moving image data E cannot be obtained as indicated by the dotted line in the figure. That is, the frame where the image data E was supposed to be recorded is lost due to the still image capturing.
In a conventional video camera, first, still image data D acquired by still image capturing is used as image data D in the Odd field to be recorded next to image data C in the Even field. Next, the missing frame is interpolated using the still image data D as the Even field image data D instead of the image data E that was not obtained. In this case, the image data D in the Even field is the image data for interpolation.
As a result, as shown in FIG. 4, the recorded image data is A → B → C → D → D → F →. However, if such an interpolation process is performed when the movement of the subject being imaged is large, when the recorded moving image is reproduced, the subject is displayed so as to stop for a moment between C → D → D → F. As a result, the continuity as a moving image is impaired, and the user who sees this is uncomfortable.
For this reason, in this embodiment, the system control unit 119 causes the motion detection unit 104 to detect the movement of the subject from the pixel signal (digital pixel signal after A / D conversion) read from the image sensor 102. In the detection, first, a process of extracting a feature point (subject) in the pixel signal of the reference field) and a process of extracting a corresponding point corresponding to the feature point in the pixel signal of the field subsequent to the reference field are performed. . Next, a process of calculating a motion vector indicating the direction and amount of motion between the feature point and the corresponding point is performed. The motion vector indicates the motion of the subject.
Then, the system control unit 119 determines whether or not the motion of the subject detected by the motion detection unit 104 is larger than a predetermined size. When the movement of the subject is larger than the predetermined size, the system control unit 119 does not perform the interpolation process of the missing frame (image data E) using the still image data D shown in FIG. Such a recording process (in other words, a recording process including the first interpolation process) is performed. FIG. 5 shows each step in the control method as an embodiment of the present invention according to the flow of time.
Although the case where the motion of the subject is detected by the motion detection unit 104 will be described here, the motion of the subject may be obtained using the detection result of the subject by the subject detection unit 112. This is the same in the second embodiment described later.
The system control unit 119 first generates image data A and B that are generated at a timing before the sensor accumulation timing (sensor accumulation timing for still image data D) in still image capturing and buffered in the buffer unit 107. , C are selected through the selector unit 108. These image data A, B, and C are recorded on the moving image recording medium 117.
On the other hand, after the sensor accumulation timing for the still image data D, the selector unit 108 is switched from the buffer unit 107 side to the main memory 106 side. As a result, among the image data generated by the camera signal processing unit 105, image data F, G, H, and I that are not buffered by the buffer unit 107 are selected and recorded on the moving image recording medium 117.
According to such a recording process (first interpolation process), the reproduced image data is A → B → C → D → F →. That is, the missing frame is interpolated using the image data F without using the still image data D as the interpolation image data. Thereby, when the recorded moving image is reproduced, it is possible to prevent the subject from being displayed as if it has stopped for a moment, and it is possible to maintain continuity as a moving image.
FIG. 6 shows field information of each image data when performing the recording process (first interpolation process) according to the movement of the subject as described above. In the present embodiment, the image data D of the Even field and the image data D of the Odd field are generated as the still image data D by still image capturing. In this case, the system control unit 119 selects one of the two image data D according to the field information of the image data C obtained by moving image capturing immediately before the still image capturing. That is, the image data D having field information different from the field information of the image data C is selected. Thereby, a smooth reproduced moving image can be obtained between the image data C → D.
Then, after the image data D in the Odd field, the image data F as the first interpolation image data is recorded on the moving image recording medium 117. The field information of the image data F at this time always becomes an Odd field when charge reading from the image sensor 102 is performed as usual. In this case, when the image data recorded in the moving image recording medium 117 and its field information are described,
A (Even) → B (Odd) → C (Even) → D (Odd) → F (Odd) → G (Even).
Here, as described above, by recording the image data F instead of the image data D after recording the image data D, the moving subject is displayed momentarily when the recorded moving image is reproduced. Can be avoided. However, as shown in FIG. 7, when the subject is an oblique line, the image data in the Odd field is continuously reproduced in D (Odd) → F (Odd), and a smooth oblique line is not displayed. .
Therefore, in the present embodiment, the driving field of the image sensor 102 for the next (immediately after) still image capturing (first interpolation image data F) is set to the moving image capturing (image at the timing when the still image trigger is input). Same as drive field for data C). That is, the drive field of the image sensor 102 for generating the image data F is the same Even field as the drive field for generating the image data C.
According to such field control, as shown in FIG. 8, the same field information is continuous in the image data D obtained by still image capturing and the image data C and F obtained by moving image capturing before and after that. There is no. That is, the adjacent fields are always a combination of the Even field and the Odd field. Accordingly, diagonal lines are also displayed smoothly, and deterioration in image quality can be suppressed.
As described above, according to the present embodiment, it is possible to interpolate a missing frame caused by still image capturing during moving image capturing with image data for moving image having appropriate field information, and to reduce the quality of a reproduced moving image. Can be reduced.
Note that the audio data can also be output in accordance with the image data by performing buffering and timing adjustment in the same manner as the image data. This is the same in Example 1 described later.
本発明の実施例２について説明する。本実施例において、ビデオカメラの構成は図１に示した実施例１のビデオカメラの構成と同じである。このため、以下の説明において、実施例１と共通する構成要素には実施例１（図１）と同符号を付す。
本実施例のビデオカメラにおける動画撮像時の処理タイミングを図９に示す。図中の丸囲みの数字１〜１６は、動画の垂直同期信号（ＶＤ）に同期した時間（タイミング：以下、ＶＤと称する）を示している。本実施例でも、撮像素子１０２での電荷蓄積（センサ蓄積）、撮像素子１０２からの電荷（アナログ画像信号）読み出し、バッファ部１０７又はメインメモリ１０６での一時保持（バッファ）及び画像データの記録の各処理は、ＶＤに同期して行われる。
また、図中の灰色部分、白色部分及び網掛け部分はそれぞれ、Ｅｖｅｎフィールド、Ｏｄｄフィールド、及び静止画撮像における各処理でのフィールド情報を示す。
本実施例でも、動画撮像中（動画記録中）は、撮像素子１０２からＥｖｅｎフィールド、Ｏｄｄフィールド、Ｅｖｅｎフィールド、Ｏｄｄフィールド、…の順番でアナログ画素信号としての電荷が読み出される。このため、前述した処理を経て、動画記録媒体１１７にも、Ｅｖｅｎフィールド、Ｏｄｄフィールド、Ｅｖｅｎフィールド、Ｏｄｄフィールド、…の順番でフレーム画像としての画像データが記録される。
動画撮像中のＶＤ２〜ＶＤ３の間の▼印を付したタイミングで静止画トリガが入力されると、ＶＤ３〜ＶＤ４において静止画撮像のためのセンサ蓄積が行われる。その後、ＶＤ４〜ＶＤ６までの２ＶＤ期間において撮像素子１０２からＥｖｅｎフィールドとＯｄｄフィールドの両フィールドの電荷読み出しが行われる。このため、ＶＤ５のタイミングでは撮像素子１０２からの電荷読み出しを行うことができず、図中に点線で示すように、動画用の画像データＥを得ることはできない。つまり、実施例１と同様に、静止画撮像を行ったことによって、本来画像データＥが記録されるはずであったフレームが欠落する。
本実施例でも、システム制御部１１９は、動き検出部１０４により検出された被写体の動きが所定の大きさよりも大きいか否かを判断する。そして、被写体の動きが所定の大きさよりも大きい場合には、静止画用画像データＤを用いた欠落フレーム（画像データＥ）の補間処理を行わず、動画用画像データＦを用いた記録処理（補間処理）を行う。該記録処理の具体的な方法は、実施例１で説明した通りである。これにより、記録された動画を再生した場合に、被写体が一瞬止まったように表示されることを回避することができ、動画としての連続性を維持することができる。
しかも、静止画撮像により得られる画像データＤとその前後の動画撮像によって得られる画像データＣ，Ｆに関して、実施例１にて説明したフィールド制御を行うことで、斜め線も滑らかに表示され、画質の劣化を抑制することができる。
また、本実施例のように画像データＦを用いて欠落フレーム（画像データＥ）を補間した後、次の静止画撮像に備えるため、システム制御部１１９は、動き検出部１０４に被写体の動きを検出させる。そして、該検出結果から被写体の動きが所定の大きさよりも小さいと判断した場合には、バッファ部１０７にバッファリングされている画像データを選択するようにセレクタ部１０８を制御し、該画像データを動画記録媒体１１７に記録させる。これにより、先の静止画トリガが入力される前と同じ動画記録状態（動画撮像状態：バッファ部１０７にバッファリングされた画像データが記録される状態）に戻す。
ここで、図中の▽印を付したタイミング（特定タイミング）で撮像素子１０２から読み出した、画像データＩ，Ｊ，Ｋに対応する画素信号から被写体の動きが所定の大きさよりも小さいと判断した場合について説明する。この場合、仮にシステム制御部１１９がセレクタ部１０８を制御して、バッファ部１０７にバッファリングされている画像データを選択したとする。このとき、ＶＤ１３〜ＶＤ１４の期間とＶＤ１４〜ＶＤ１５の期間にそれぞれ動画記録媒体１１７に記録される画像データは、ともにバッファ部１０７にバッファリングされている画像データＬとなる。つまり、ＶＤ１３〜ＶＤ１５の２ＶＤの期間にて同一の画像データが連続して記録されることになる。
これを回避するためには、ＶＤ１４〜ＶＤ１５の期間に記録する画像データ（つまりは特定フレーム）を、画像データＬ以外の第２の補間用画像データを用いて補間する（第２の補間処理を行う）必要がある。
そこで本実施例では、補間タイミングであるＶＤ１４〜ＶＤ１５の期間より前にて該補間タイミングにできるだけ（又は最も）近いタイミングで生成され、かつ画像データＬとは逆のフィールド情報を持つ画像データＫを第２の補間用画像データとして用いる。
さらに、本実施例では、システム制御部１１９は、被写体の動きが小さいと判断した▽印のタイミングでの画像データＬに対する撮像素子１０２の駆動フィールドと同じ駆動フィールドで次の画像データＭに対する撮像素子１０２の動画用駆動を行う。具体的には、画像データＬと同じＥｖｅｎフィールドで画像データＭに対する撮像素子１０２の動画用駆動を行う。これにより、図９に示すように、バッファ部１０７には、Ｅｖｅｎフィールドの画像データＭがバッファリングされる。
画像データの補間後（ＶＤ１５以降）は、システム制御部１１９は、バッファ部１０７にバッファリングされている画像データを動画記録媒体１１７に記録する。
以上のような制御を行うことで、バッファ部１０７にバッファリングされている画像データを動画記録媒体１１７に記録する動画記録状態に戻した場合でも、互いに隣接する画像データのフィールド情報は必ずＥｖｅｎ／Ｏｄｄの組み合わせとなる。この結果、滑らかで良好な再生動画を得つつ、静止画トリガが入力される前の動画記録状態に戻すことができる。
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
A second embodiment of the present invention will be described. In the present embodiment, the configuration of the video camera is the same as the configuration of the video camera of the first embodiment shown in FIG. For this reason, in the following description, the same code | symbol as Example 1 (FIG. 1) is attached | subjected to the component which is common in Example 1. FIG.
FIG. 9 shows the processing timing at the time of moving image capturing in the video camera of this embodiment. Circled numbers 1 to 16 in the figure indicate time (timing: hereinafter referred to as VD) synchronized with the vertical synchronizing signal (VD) of the moving image. In this embodiment, charge accumulation (sensor accumulation) in the image sensor 102, charge (analog image signal) readout from the image sensor 102, temporary storage (buffer) in the buffer unit 107 or main memory 106, and recording of image data are also performed. Each process is performed in synchronization with VD.
In addition, the gray portion, white portion, and shaded portion in the figure indicate the field information in each process in the Even field, the Odd field, and the still image shooting, respectively.
Also in this embodiment, during moving image capturing (moving image recording), the charge as an analog pixel signal is read from the image sensor 102 in the order of Even field, Odd field, Even field, Odd field,. For this reason, image data as a frame image is recorded on the moving image recording medium 117 in the order of Even field, Odd field, Even field, Odd field,.
When a still image trigger is input at a timing marked with a ▼ mark between VD2 and VD3 during moving image capturing, sensor accumulation for still image capturing is performed in VD3 to VD4. Thereafter, in the 2VD period from VD4 to VD6, charges are read out from the image sensor 102 in both the Even field and the Odd field. For this reason, charge readout from the image sensor 102 cannot be performed at the timing of VD5, and as shown by a dotted line in the drawing, image data E for moving image cannot be obtained. That is, as in the first embodiment, the frame where the image data E should have been originally recorded is lost due to the still image capturing.
Also in this embodiment, the system control unit 119 determines whether or not the motion of the subject detected by the motion detection unit 104 is larger than a predetermined size. When the movement of the subject is larger than a predetermined size, the recording process using the moving image data F is not performed without performing the interpolation process of the missing frame (image data E) using the still image data D. Interpolation). A specific method of the recording process is as described in the first embodiment. Thereby, when the recorded moving image is reproduced, it is possible to prevent the subject from being displayed as if it has stopped for a moment, and it is possible to maintain continuity as a moving image.
Moreover, the field control described in the first embodiment is performed on the image data D obtained by still image capturing and the image data C and F obtained by moving image capturing before and after the image data, so that diagonal lines are also displayed smoothly. Can be prevented.
In addition, after interpolating the missing frame (image data E) using the image data F as in the present embodiment, the system control unit 119 sends the motion of the subject to the motion detection unit 104 in order to prepare for the next still image capturing. Let it be detected. When it is determined from the detection result that the movement of the subject is smaller than a predetermined size, the selector unit 108 is controlled to select the image data buffered in the buffer unit 107, and the image data is Recording is performed on the moving image recording medium 117. This restores the same moving image recording state (moving image capturing state: a state in which the image data buffered in the buffer unit 107 is recorded) as before the previous still image trigger is input.
Here, it is determined that the movement of the subject is smaller than a predetermined size from the pixel signals corresponding to the image data I, J, and K read from the image sensor 102 at the timing (specific timing) marked with ▽ in the figure. The case will be described. In this case, it is assumed that the system control unit 119 selects the image data buffered in the buffer unit 107 by controlling the selector unit 108. At this time, the image data recorded on the moving image recording medium 117 in the periods VD13 to VD14 and VD14 to VD15, respectively, is the image data L buffered in the buffer unit 107. That is, the same image data is continuously recorded in a period of 2VD from VD13 to VD15.
In order to avoid this, the image data (that is, the specific frame) recorded during the period of VD14 to VD15 is interpolated using the second interpolation image data other than the image data L (the second interpolation process is performed). There is a need to do.
Therefore, in this embodiment, image data K generated at a timing as close as possible (or closest) to the interpolation timing before the period of VD14 to VD15 which is the interpolation timing and having field information opposite to the image data L is obtained. Used as second interpolation image data.
Further, in the present embodiment, the system control unit 119 determines that the movement of the subject is small, and the image sensor for the next image data M in the same drive field as the drive field of the image sensor 102 for the image data L at the timing indicated by ▽. 102 for moving images is performed. Specifically, the moving image drive of the image sensor 102 for the image data M is performed in the same Even field as the image data L. As a result, as shown in FIG. 9, the image data M in the Even field is buffered in the buffer unit 107.
After the interpolation of the image data (after VD15), the system control unit 119 records the image data buffered in the buffer unit 107 on the moving image recording medium 117.
By performing the control as described above, even when the image data buffered in the buffer unit 107 is returned to the moving image recording state in which the image data is recorded on the moving image recording medium 117, the field information of the adjacent image data is always Even / A combination of Odd. As a result, it is possible to return to the moving image recording state before the still image trigger is input while obtaining a smooth and good reproduced moving image.
Each embodiment described above is only a representative example, and various modifications and changes can be made to each embodiment in carrying out the present invention.
動画撮像中の静止画撮像によって生じた欠落フレームを補間することによる再生動画の画質劣化を少なくすることができる撮像装置を実現できる。 It is possible to realize an imaging apparatus that can reduce the deterioration of the image quality of a reproduced moving image by interpolating a missing frame caused by still image capturing during moving image capturing.
１０１ 光学系
１０２ 撮像素子
１０４ 動き検出部
１０５ カメラ信号処理部
１０６ メインメモリ
１０７ バッファ部
１０８ セレクタ部
１１９ システム制御部
DESCRIPTION OF SYMBOLS 101 Optical system 102 Image pick-up element 104 Motion detection part 105 Camera signal processing part 106 Main memory 107 Buffer part 108 Selector part 119 System control part
Claims (6)
前記撮像素子の動画用駆動により得られた信号を用いて動画用画像データを生成し、該撮像素子の静止画用駆動により得られた信号を用いて静止画用画像データを生成する画像生成手段と、
前記各画像データを一時的に保持する画像保持手段と、
該画像保持手段により保持された前記各画像データを記録する記録手段と、
動画撮像中に静止画撮像が指示された場合において、前記撮像素子の静止画用駆動によって動画において欠落したフレームを、該静止画用駆動の次の前記撮像素子の動画用駆動によって生成された動画用画像データを第１の補間用画像データとして用いて補間する第１の補間処理を行う補間処理手段と、
前記第１の補間用画像データのフィールド情報が、前記静止画撮像の指示がなされたタイミングでの前記撮像素子の動画用駆動により生成された動画用画像データのフィールド情報と同じになるように、前記撮像素子の動画用駆動を制御する制御手段とを有することを特徴とする撮像装置。 An imaging device that has an image sensor that photoelectrically converts a subject image and is capable of capturing a still image while capturing a moving image,
Image generating means for generating moving image data using a signal obtained by driving the moving image of the imaging device, and generating still image data using a signal obtained by driving the still image of the imaging device When,
Image holding means for temporarily holding each image data;
Recording means for recording each image data held by the image holding means;
When a still image is instructed during moving image capturing, a frame that has been lost in the moving image due to the still image drive of the image sensor is generated by the moving image drive of the image sensor next to the still image drive. Interpolation processing means for performing first interpolation processing for interpolating using the image data as first interpolation image data;
The field information of the first interpolation image data is the same as the field information of the moving image data generated by the moving image driving of the image sensor at the timing when the still image capturing instruction is given. An image pickup apparatus comprising: control means for controlling driving of the image pickup device for moving images.
該撮像装置は、前記撮像素子の静止画用駆動の前の動画用駆動によって生成された動画用画像データのフィールド情報に応じて、前記記録手段によって記録する画像データを、前記第１の画像保持手段から出力された画像データと前記第２の画像保持手段から出力された画像データとの間で選択する選択手段を有することを特徴とする請求項１に記載の撮像装置。 The image holding means is a first image holding means for temporarily holding the image data generated by the image generation means, and a first image holding means for temporarily holding the image data output from the first image holding means. Two image holding means,
The imaging apparatus stores the first image holding image data to be recorded by the recording unit in accordance with field information of moving image image data generated by moving image driving prior to still image driving of the imaging device. 2. The imaging apparatus according to claim 1, further comprising selection means for selecting between image data output from the means and image data output from the second image holding means.
前記補間処理手段は、該被写体の動きが所定の大きさよりも大きい場合に前記第１の補間処理を行うことを特徴とする請求項１又は２に記載の撮像装置。 The imaging apparatus includes a detecting unit that detects a movement of a subject in the moving image,
The imaging apparatus according to claim 1, wherein the interpolation processing unit performs the first interpolation processing when the movement of the subject is larger than a predetermined size.
該補間処理手段は、前記特定フレームの前のフレームを構成する動画用画像データであって前記第２の補間用画像データとは逆のフィールド情報を有する動画用画像データを前記第２の補間用画像データとして用いることを特徴とする請求項１又は２に記載の撮像装置。 The interpolation processing means performs a second interpolation on a frame next to a specific frame constituted by moving image image data generated by moving image driving of the image sensor at a specific timing after the first interpolation processing. Perform a second interpolation process to interpolate using the image data for
The interpolation processing means converts the moving image data having the field information opposite to the second interpolation image data, which is the moving image image data constituting the frame before the specific frame, to the second interpolation. The imaging apparatus according to claim 1, wherein the imaging apparatus is used as image data.
前記補間処理手段は、該被写体の動きが所定の大きさよりも小さい場合に前記第２の補間処理を行うことを特徴とする請求項４に記載の撮像装置。 The imaging apparatus includes a detecting unit that detects a movement of a subject in the moving image,
The imaging apparatus according to claim 4, wherein the interpolation processing unit performs the second interpolation processing when the movement of the subject is smaller than a predetermined size.
前記撮像素子の動画用駆動により得られた信号を用いて動画用画像データを生成し、該撮像素子の静止画用駆動により得られた信号を用いて静止画用画像データを生成するステップと、
画像保持手段によって一時的に保持された前記各画像データを記録又は表示するステップと、
動画撮像中に静止画撮像が指示された場合において、前記撮像素子の静止画用駆動によって動画において欠落したフレームを、該静止画用駆動の次の前記撮像素子の動画用駆動によって生成された動画用画像データを第１の補間用画像データとして用いて補間する第１の補間処理を行うステップと、
前記第１の補間用画像データのフィールド情報が、前記静止画撮像の指示がなされたタイミングでの前記撮像素子の動画用駆動により生成された動画用画像データのフィールド情報と同じになるように、前記撮像素子の動画用駆動を制御するステップとを有することを特徴とする撮像装置の制御方法。
A control method for an image pickup apparatus having an image pickup device for photoelectrically converting a subject image and capable of taking a still image during moving image pickup,
Generating moving image data using a signal obtained by driving the moving image of the imaging device, and generating still image data using a signal obtained by driving the still image of the imaging device;
Recording or displaying each of the image data temporarily held by the image holding means;
When a still image is instructed during moving image capturing, a frame that has been lost in the moving image due to the still image drive of the image sensor is generated by the moving image drive of the image sensor next to the still image drive. Performing a first interpolation process for interpolating using the image data as first interpolation image data;
The field information of the first interpolation image data is the same as the field information of the moving image data generated by the moving image driving of the image sensor at the timing when the still image capturing instruction is given. A control method for an image pickup apparatus, comprising: a step of controlling driving of the image pickup device for moving images.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009135680A JP5300606B2 (en) | 2009-06-05 | 2009-06-05 | Imaging apparatus and control method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009135680A JP5300606B2 (en) | 2009-06-05 | 2009-06-05 | Imaging apparatus and control method thereof |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2010283630A true JP2010283630A (en) | 2010-12-16 |
| JP2010283630A5 JP2010283630A5 (en) | 2012-04-05 |
| JP5300606B2 JP5300606B2 (en) | 2013-09-25 |
Family
ID=43539979
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009135680A Expired - Fee Related JP5300606B2 (en) | 2009-06-05 | 2009-06-05 | Imaging apparatus and control method thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5300606B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017158672A (en) * | 2016-03-08 | 2017-09-14 | Hoya株式会社 | Electronic endoscope system |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05304632A (en) * | 1992-02-28 | 1993-11-16 | Sanyo Electric Co Ltd | Picture signal output controller |
| JP2001352483A (en) * | 2000-06-07 | 2001-12-21 | Matsushita Electric Ind Co Ltd | Moving image and static image image pickup device |
-
2009
- 2009-06-05 JP JP2009135680A patent/JP5300606B2/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05304632A (en) * | 1992-02-28 | 1993-11-16 | Sanyo Electric Co Ltd | Picture signal output controller |
| JP2001352483A (en) * | 2000-06-07 | 2001-12-21 | Matsushita Electric Ind Co Ltd | Moving image and static image image pickup device |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017158672A (en) * | 2016-03-08 | 2017-09-14 | Hoya株式会社 | Electronic endoscope system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5300606B2 (en) | 2013-09-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8264565B2 (en) | Image processing device and image processing method | |
| JP2007135057A (en) | Imaging apparatus, image processing method, as well as program | |
| JP2009288780A (en) | Image sensing apparatus | |
| JP2008109336A (en) | Image processor and imaging apparatus | |
| US6876386B1 (en) | Digital camera with downsampling and zoom processing and method of controlling operation of same | |
| JP4556195B2 (en) | Imaging device, moving image playback device, and program | |
| JP4105967B2 (en) | Digital still camera | |
| US20100277613A1 (en) | Image recording device and image reproduction device | |
| KR20090064273A (en) | Recording apparatus, reproducing apparatus, recoding method, reproducing method and storing medium having program to perform the method | |
| JP4876066B2 (en) | Video processing apparatus, video processing system, video processing method, and program | |
| JP5105844B2 (en) | Imaging apparatus and method | |
| JP2006033123A (en) | Image pickup device | |
| JP2000134549A (en) | Solid-state image pickup device | |
| JP2004336608A (en) | Method and circuit for converting image data, and electronic camera | |
| JP4606218B2 (en) | Distortion correction device | |
| JP5300606B2 (en) | Imaging apparatus and control method thereof | |
| JP2010283630A5 (en) | ||
| JP2000069418A (en) | Pixel number converter and digital camera device | |
| JP2004015236A (en) | Imaging apparatus | |
| JP4292963B2 (en) | Imaging device | |
| JP5408907B2 (en) | Imaging device | |
| JP5306068B2 (en) | Imaging apparatus and control method thereof | |
| JP2004120624A (en) | Image acquisition method and apparatus, and reproducing apparatus | |
| JPH11313239A (en) | Image pickup device | |
| JP3768987B2 (en) | Imaging device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120222 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120222 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130221 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130226 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130426 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130521 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130618 |
|
| LAPS | Cancellation because of no payment of annual fees |