JP2009260943A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2009260943A
JP2009260943A JP2009046424A JP2009046424A JP2009260943A JP 2009260943 A JP2009260943 A JP 2009260943A JP 2009046424 A JP2009046424 A JP 2009046424A JP 2009046424 A JP2009046424 A JP 2009046424A JP 2009260943 A JP2009260943 A JP 2009260943A
Authority
JP
Japan
Prior art keywords
image data
still image
data
moving image
recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009046424A
Other languages
English (en)
Other versions
JP2009260943A5 (ja
JP5230483B2 (ja
Inventor
Akio Fujii
昭雄 藤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2009046424A priority Critical patent/JP5230483B2/ja
Priority to US12/404,169 priority patent/US8279298B2/en
Priority to CN200910129411XA priority patent/CN101540867B/zh
Publication of JP2009260943A publication Critical patent/JP2009260943A/ja
Publication of JP2009260943A5 publication Critical patent/JP2009260943A5/ja
Priority to US13/598,004 priority patent/US8587683B2/en
Application granted granted Critical
Publication of JP5230483B2 publication Critical patent/JP5230483B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/333Mode signalling or mode changing; Handshaking therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/212Motion video recording combined with still video recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/21Intermediate information storage
    • H04N2201/212Selecting different recording or reproducing modes, e.g. high or low resolution, field or frame
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/333Mode signalling or mode changing; Handshaking therefor
    • H04N2201/33307Mode signalling or mode changing; Handshaking therefor of a particular mode
    • H04N2201/33342Mode signalling or mode changing; Handshaking therefor of a particular mode of transmission mode
    • H04N2201/33357Compression mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/7921Processing of colour television signals in connection with recording for more than one processing mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】動画と静止画とを記録する場合の使い勝手を向上させる。
【解決手段】ユーザにより設定された動画の画質に基づいて、動画データのデータレートRmv(ビット/秒)を決定し、記録処理部105が記録媒体106にデータを記録する際のデータレートの最大値Rmax(ビット/秒)の情報を取得する。そして、RmaxとRmvとの差分により、残りのデータレートRst(ビット/秒)を算出して、静止画像データの1画面当たりのデータ量Vst(ビット)を算出する。静止画符号化部108は、静止画データを算出されたデータ量Vstに調整する。
【選択図】図1

Description

本発明は撮像装置に関し、特に、動画と静止画とを撮影するために用いて好適な技術に関する。
従来、画像を撮影してメモリカードなどの記録媒体に記録するビデオカメラが知られている。ビデオカメラにおいては、近年、撮像素子の多画素化が進み、動画に加えて高精細な静止画を撮影することが可能となってきた。また、動画の撮影中に静止画を撮影することができるビデオカメラもある。このビデオカメラでは、動画の記録中にシャッターボタンが押されると、静止画を撮影することができる。
例えば、特許文献1に開示されているビデオカメラは、MPEG方式を用いて動画を符号化して記録する。そして、動画の記録中に静止画像の撮影指示があると、イントラ(I)フレームとして動画を符号化する。さらに、Iフレームを静止画データとしてメモリに記憶しておき、動画の撮影が終了した後に、記録媒体に静止画データを記録している。
また、特許文献2に記載のビデオカメラでは、静止画用のバッファメモリを備えている。そして、動画を記録している時に静止画の撮影要求があった場合に、静止画データをバッファメモリに一旦記憶する。そして、動画データの記録が終了すると、バッファメモリから静止画データを読み出して、記録媒体に記録する。
さらに、特許文献3に記載の画像記録装置では、動画データを第1の記録媒体に記録する。そして、動画データを記録している時に静止画の撮影要求があった場合、静止画データを第2の記録媒体に記録する。そして、動画データの記録が終了した後に、第2の記録媒体に記録された静止画データを第1の記録媒体にコピーしている。
特開平7−284058号公報 特開平9−233410号公報 特開2005−12378号公報
しかしながら、特許文献1では、動画の撮影中に静止画撮影が指示されたフレームをIフレームとして記録する。このため、動画データを再生する時の画質を劣化させるという問題点があった。
また、特許文献2では、動画の撮影中に静止画の撮影が指示されると、バッファメモリに静止画データを記憶し、動画の撮影が終了した後に記録媒体に記録する。しかし、動画の撮影中にバッファメモリの空き容量が無くなると、それ以上静止画を撮影することができなくなるという問題点があった。また、動画の撮影が終了した後にバッファに記憶された静止画データを記録媒体に記録するため、記録媒体に静止画データを記録し終わるまで、ユーザは、撮影など次の操作をすぐに行うことができないという問題点があった。
さらに、特許文献3では、動画の撮影中に静止画の撮影が指示されると、動画データを記録している記録媒体とは別の記録媒体に静止画データを記録する。そして、動画の撮影が終了した後に別の記録媒体に記録されている静止画データを動画データが記録された記録媒体に記録する。このため、動画の撮影停止後、動画データが記録された記録媒体に静止画データを記録し終わるまで、ユーザは、撮影など次の操作をすぐに行うことができないという問題点があった。また、そもそも複数の記録媒体に対して動画と静止画とを記録できなければならない。
この様に、前記特許文献1〜3に記載の技術では、動画の撮影中に静止画の撮影指示があると、撮影した静止画を一旦バッファメモリに蓄積し、動画の記録が終了した後に静止画を記録している。このため、動画の撮影中に、静止画用のバッファメモリの空き容量がなくなった場合、それ以上静止画を撮影できないという制約や、動画の記録が終了した後に次の操作を行うことができないといった制約が生じる。そのため、非常に使い勝手が悪いものであった。
本発明は前述の問題点に鑑み、動画と静止画とを記録する場合の使い勝手を向上させることを目的としている。
本発明の撮像装置は、撮像手段と、前記撮像手段から出力された画像データを用いて動画データと静止画データとを生成する信号処理手段と、前記動画データを符号化して情報量を圧縮する動画符号化手段と、前記静止画データを符号化して情報量を圧縮する静止画符号化手段と、前記動画符号化手段によって符号化された動画データと前記静止画符号化手段によって符号化された静止画データとを記録媒体に記録する記録手段と、前記動画符号化手段によって符号化される動画データのデータレートを設定する設定手段と、前記動画符号化手段と前記静止画符号化手段とを制御する制御手段とを備え、前記制御手段は、前記設定手段により設定されたデータレートに基づいて前記動画符号化手段を制御することにより前記動画データのデータレートを調整し、前記設定手段により設定されたデータレートと前記記録媒体の記録データレートとに基づいて前記静止画符号化手段を制御することにより前記静止画データのデータ量を調整することを特徴とする。
また、本発明の撮像装置の他の特徴とするところは、撮像手段と、前記撮像手段から出力された画像データを用いて動画データと静止画データとを生成する信号処理手段と、前記動画データを符号化して情報量を圧縮する動画符号化手段と、前記静止画データを符号化して情報量を圧縮する静止画符号化手段と、前記動画符号化手段によって符号化された動画データと前記静止画符号化手段によって符号化された静止画データとを記録媒体に記録する記録手段と、前記静止画符号化手段によって符号化される静止画データの画質を設定する設定手段と、前記動画符号化手段と前記静止画符号化手段とを制御する制御手段とを備え、前記制御手段は、前記設定手段により設定された画質に基づいて前記静止画符号化手段を制御することにより前記静止画データのデータ量を調整し、前記設定手段により設定された画質に基づいて符号化された前記静止画データのデータ量と前記記録媒体の記録データレートとに基づいて前記動画符号化手段を制御することにより前記動画データのデータレートを調整することを特徴とする。
また、本発明の撮像装置のその他の特徴とするところは、撮像手段と、前記撮像手段から出力された画像データを用いて動画データと静止画データとを生成する信号処理手段と、前記動画データを符号化して情報量を圧縮する動画符号化手段と、前記静止画データを符号化して情報量を圧縮する静止画符号化手段と、前記動画符号化手段によって符号化された動画データと前記静止画符号化手段によって符号化された静止画データとを記録媒体に記録する記録手段と、前記前記動画符号化手段によって符号化される動画データのデータレートと、前記静止画符号化手段によって符号化される静止画データの画質とを設定する設定手段と、第1のモードと第2のモードとの何れかを選択する選択手段と、前記選択手段により選択されたモードに応じて、前記動画符号化手段と前記静止画符号化手段とを制御する制御手段とを備え、前記制御手段は、前記第1のモードにおいては、前記制御手段は、前記設定手段により設定されたデータレートに基づいて前記動画符号化手段を制御することにより前記動画データのデータレートを調整し、前記設定手段により設定されたデータレートと前記記録媒体の記録データレートとに基づいて前記静止画符号化手段を制御することにより前記静止画データのデータ量を調整し、前記第2のモードにおいては、前記設定手段により設定された画質に基づいて前記静止画符号化手段を制御することにより前記静止画データのデータ量を調整し、前記設定手段により設定された画質に基づいて符号化された前記静止画データのデータ量と前記記録媒体の記録データレートとに基づいて前記動画符号化手段を制御することにより前記動画データのデータレートを調整することを特徴とする。
本発明によれば、動画と静止画とを撮影する場合における使い勝手がよくなる。
本発明の実施形態に係る撮像装置の構成を示すブロック図である。 動画符号化部の構成を示すブロック図である。 静止画符号化部の構成を示すブロック図である。 静止画符号化部の構成を示すブロック図である。 静止画符号化部の構成を示すブロック図である。 動画の画質モード設定処理を示すフローチャートである。 記録処理を示すフローチャートである。 静止画記録処理を示すフローチャートである。 本発明の実施形態に係る撮像装置の構成を示すブロック図である。 記録処理を示すフローチャートである。 静止画符号化処理を示すフローチャートである。 記録処理を示すフローチャートである。 静止画符号化部を示すブロック図である。
(第1の実施形態)
本発明の第1の実施形態について図1を参照しながら説明する。
図1は、本実施形態に係る撮像装置100の構成例を示すブロック図である。
図1において、撮像部101は、CCDなどの撮像素子、画像信号をデジタル信号に変換するAD変換器などを有する。撮像部101は、被写体像を撮影し、動画データを出力する。動画信号処理部102は、撮像部101から出力された動画データに対し、後述の如く必要な処理を施す。動画符号化部103は、動画信号処理部102から出力された動画データを受け、公知の符号化方式により動画データを符号化してその情報量を圧縮する。
マルチプレクサ104は、動画符号化部103からの動画データと、静止画符号化部108からの静止画データとの何れか一方を選択し、記録処理部105に出力する。記録処理部105は、マルチプレクサ104から出力された動画データ、或いは静止画データに対し、必要な処理を施し、記録するのに適した形式に変換して記録媒体106に記録する。
記録媒体106はランダムアクセスな記録媒体であり、例えば、メモリカードやハードディスクドライブ(HDD)、光ディスクなどを含む。また、本実施形態では、記録媒体106の記録データレートは、動画データのデータレートよりも高く、記録媒体106として大容量HDDを用いる。さらに、本実施形態では、記録媒体106として、HDDが撮像装置100の本体に内蔵されており、容易に取り出せない構成としているが、不図示のメカニズムなどにより、HDDを容易に交換できるようにしてもよい。
静止画信号処理部107は、システム制御部111からの静止画の撮影指示に従い、撮像部101から出力された動画データのうちの1フレームを静止画として選択し、静止画データを生成する。そして、選択したフレームの静止画データに対して必要な処理を施して静止画符号化部108に出力する。静止画符号化部108は、静止画信号処理部107から出力された静止画データを公知の符号化方式により符号化し、その情報量を圧縮する。
符号量制御部109は、後述の如く動画符号化部103、静止画符号化部108の符号化処理を制御する。表示部110は、撮像部101から出力された動画データに係る動画像、或いは、静止画の撮影指示に対応する静止画像の他、各種の情報を表示する。
システム制御部111は、撮像装置100各部の動作を制御する。操作部112は、電源スイッチや動画の記録開始、停止を指示する動画記録スイッチ、静止画の撮影を指示する静止画記録スイッチなどを含む。また、操作部112は、後述の様に、公知のメニュー画面を用いて動画の画質モードや静止画の連写枚数、静止画の画質などを設定するためのメニュースイッチやジョイスティックなどを含む。
本実施形態では、ユーザは、記録する動画像の画質を複数の所定の画質の中から選択することができる。例えば、本実施形態では、標準画質モードと高画質モードとの2つの画質モードを用意しておき、ユーザは何れか一方の画質モードを選択する。ユーザは、記録停止中など、撮影動作中以外のタイミングで操作部112を操作することにより、記録する動画の画質モードを選択することができる。
また、高画質モードにおいて記録される動画データのデータレート(単位時間当たりのデータ量)は、標準画質モードにおいて記録される動画データのデータレートとは異なる。即ち、動画符号化部103は、高画質モードにおける動画像データのデータレートの上限値を標準画質モードよりも高く設定し、動画データを符号化する。
次に、撮像装置100による画質モードの設定に伴う動画データのデータレート、及び、動画の撮影中に記録する静止画データのデータ量の設定処理について説明する。図6は、画質モードの設定処理の際に実行される処理を示すフローチャートである。なお、図6の処理は、システム制御部111が各部を制御することにより実行される。
前述の様に、ユーザにより動画データの画質モードが選択されると、システム制御部111は、設定された画質モードを示す情報を符号量制御部109に出力する(S601)。符号量制御部109は、システム制御部111からの画質モードの情報に基づき、動画データのデータレートRmv(ビット/秒)を決定し、このRmvの情報を動画符号化部103に出力する。前述の様に、各画質モードにおける動画データのデータレートの上限値Rmvが予め決まっているため、システム制御部111は、設定された画質モードに対応するデータレートRmvを決定する。
次に、符号量制御部109は、記録処理部105が記録媒体106にデータを記録する際のデータレートの最大値Rmax(ビット/秒)の情報を取得する(S602)。本実施形態では、記録媒体106として、撮像装置100に内蔵されているHDDを用いるため、このHDDに記録可能なデータレートの最大値は予め記録処理部105が保持しているものとする。これ以外にも、例えば、メモリカードなどの交換可能な記録媒体を用いた場合には、記録媒体から、データレートの最大値の情報を読み出すことにより、記録データレートRmaxの情報を取得できる。
次に、符号量制御部109は、動画データのデータレートRmvと記録媒体106の記録データレートRmaxとに基づいて、動画の撮影中に記録する静止画データの1画面あたりのデータ量Vstを以下の様に算出する。
まず、RmaxからRmvを除いた、残りのデータレートRst(ビット/秒)を以下の様に算出する。
Rst=Rmax−Rmv
Rstは、動画データの記録中に動画データ以外のデータを記録する場合に、この動画データ以外のデータのデータレートの上限値を示している。ここでは、動画データの記録中に記録するデータを静止画データとする。
さらに、符号量制御部109は、Rstに基づいて、動画像データの記録中に記録する静止画像データの1画面当たりのデータ量Vst(ビット)を、以下の様に算出する。
Vst=Rst/N
ここで、Nは撮像装置100において単位時間当たり、例えば1秒間に撮影可能な静止画の枚数である。本実施形態では、Nの値は予め決定されているものとするが、例えば、操作部112を設定することにより、上限枚数までの間で任意に変更できるようにしてもよい。この様に、単位時間に撮影されるN画面の静止画データのデータ量が、互いに同じデータ量Vstとなる。
符号量制御部109は、この様にVstを算出すると、このVstを示す情報を静止画符号化部108に出力する(S603)。
このように、本実施形態では、動画像の画質モードが設定されると、設定された画質モードと記録媒体の記録データレートとに基づいて、動画像データ同時に記録する静止画データの1枚当たりのデータ量Vstを決定する。従って、動画データの画質モードを標準画質モードに設定すると、高画質モードよりも、動画の撮影中に記録する静止画データのデータ量が多くなる。即ち、高画質な静止画を撮影することができる。
次に、撮像装置100による記録動作について説明する。図7は、本実施形態における記録処理を示すフローチャートである。図7の処理は、システム制御部111が各部を制御することにより実行される。
操作部112により動画の撮影開始が指示されると、システム制御部111は、動画データの記録を開始するために各ブロックを制御する(S701)。そして、撮像部101から動画データが動画信号処理部102に出力される。動画信号処理部102は、出力された動画データに対して、ホワイトバランス、色処理、ガンマ処理、輪郭補正などの処理を施し、動画符号化部103に出力する。動画符号化部103は、供給された動画データを公知の符号化方式に従って符号化する。
本実施形態では、動画符号化部103は、MPEG方式により動画データを符号化する。MPEG方式は、フレーム内符号化ピクチャ(Iピクチャ)、前方予測フレーム間符号化ピクチャ(Pピクチャ)、及び双方向予測フレーム間符号化ピクチャ(Bピクチャ)を用いて動画データを符号化する方式である。
図2は、動画符号化部103の構成を示すブロック図である。
図2において、ブロック化回路201は、入力された動画データを水平方向及び垂直方向が8×8画素単位のブロックに分割し、減算器202、及び動き補償回路210に供給する。
動き補償回路210は、符号化するピクチャがIピクチャ、Pピクチャ、Bピクチャの何れであるかに応じて、減算器202に対して参照データを出力する。即ち、動き補償回路210は、Iピクチャ(フレーム内符号化ピクチャ)を符号化する際には、0データを減算器202に出力する。また、Pピクチャ、またはBピクチャを符号化する際には、メモリ209に記憶された参照フレームのデータとブロック化回路201から出力されたデータを比較する。そして、最も差分が小さくなるブロックのデータをメモリ209から読み出し、参照データとして減算器202に出力する。
まず、フレーム内符号化を行う場合について説明する。
この場合、減算器202には0データが参照データとして入力されるので、入力された画像データがそのまま直交変換回路203に出力される。直交変換回路203は、減算器202からの動画データをブロック毎に直交変換し、量子化回路204に出力する。
符号量制御回路211には、符号量制御部109から動画データのデータレートRmvの情報が入力される。符号量制御回路211は、このRmvに応じて、量子化回路204が動画データを量子化する際の量子化ステップの初期値を設定する。量子化回路204は、設定された量子化ステップに従って、直交変換回路203からの直交変換後のデータをブロック毎に量子化し、符号化回路205、及び逆量子化回路207に出力する。
逆量子化回路207は、量子化回路204から出力された量子化後のデータをブロック毎に逆量子化及び逆直交変換し、加算器208に出力する。ここで、フレーム内符号化を行う場合、前述の様に動き補償回路210からは0データが供給されており、加算器208は逆量子化回路207からのデータをそのままメモリ209に出力する。メモリ209は、供給されたフレームのデータが参照フレームのデータとして記憶される。
また、符号化回路205は、量子化回路204からのデータに対してハフマン符号などを用いて可変長符号化し、バッファメモリ206に出力する。バッファメモリ206は符号化されたデータを一時蓄積し、所定のタイミングで符号化動画データとしてマルチプレクサ104に出力する。
また、符号量制御回路211は、バッファメモリ206に蓄積されたデータの蓄積速度を監視する。そして、動画データのデータレートが設定された値Rmv以下になるように、量子化回路204の量子化ステップを制御する。
次に、フレーム間符号化を行う場合について説明する。
この場合、減算器202には動き補償回路210から参照データが供給される。減算器202では、ブロック化回路201からのデータから、動き補償回路210から供給される参照データを減算して予測誤差を求め直交変換回路203に出力する。直交変換回路203は、減算器202からのデータに対してブロック毎に直交変換を施して量子化回路204に出力する。
量子化回路204は、符号量制御回路211により制御される量子化ステップに従い、直交変換回路203からのデータを量子化し、符号化回路205及び逆量子化回路207に供給する。逆量子化回路207は、量子化回路204からのデータを逆量子化及び逆直交変換し、加算器208に出力する。
フレーム間符号化を行う場合、加算器208に対しては、動き補償回路210から参照データが供給されている。加算器208は、逆量子化回路207からのデータに動き補償回路210から供給される参照データを加算してメモリ209に出力する。これにより、メモリ209には、供給されるフレームのデータが参照フレームのデータとして記憶される。なお、フレーム間予測により符号化されるデータのうち、Pピクチャのデータだけが参照フレームのデータとしてメモリ209に蓄積される。
符号化回路205は、量子化回路204からのデータに対してハフマン符号などを用いて可変長符号化し、バッファメモリ206に出力する。符号量制御回路211は、前述の通り、動画データのデータレートがRmv以下になるように、量子化回路204の量子化ステップを制御する。
図1及び図7の説明に戻り、マルチプレクサ104は、静止画の撮影指示が無い場合には、動画符号化部103からの符号化後動画データを選択し、記録処理部105に出力する。記録処理部105は、マルチプレクサ104から出力された動画データを内部のメモリに一時蓄積する。そして、メモリに蓄積された動画データのデータ量が所定量に達すると、メモリから動画データを読み出し、必要なデータを付加して記録媒体106に記録する。メモリに蓄積された動画データが決められたデータ量になると、記録媒体106への記録を中止する。この様に、本実施形態では、記録媒体に対し、動画データを間欠的に記録している。
次に、動画データの記録中、操作部112から静止画の撮影指示があるかどうかを判別する(S702)。静止画撮影の指示が無い場合、動画の記録停止の指示があったかどうかを判別する(S703)。動画記録停止の指示が無い場合にはS701に戻り、そのまま動画データの記録を続ける。
一方、動画の記録停止の指示があると、記録媒体106に対する動画データの記録を停止する(S704)。本実施形態では、動画データをファイルとして記録し、記録開始の指示から記録停止の指示までの間に記録した1シーンの動画データを1つのファイルとして管理する。
次に、S702で、動画の撮影中に静止画の撮影指示があった場合の処理について説明する。動画の記録中に静止画撮影の指示があると、S705に移行し、静止画記録処理を実行する。
図8は、図7のS705の静止画記録処理を示すフローチャートである。
静止画撮影の指示があると、システム制御部111は、静止画信号処理部107に対して静止画撮影を指示する。静止画信号処理部107は、静止画撮影の指示があると、撮像部101から出力されている動画データのうち、静止画撮影の指示に応じたタイミングで1画面のデータを選択し、内部のメモリに一時蓄積する(S801)。そして、静止画信号処理部107は、メモリに蓄積した1画面の静止画データに対し、撮像部101から出力される画像信号に対して、ホワイトバランス、色処理、ガンマ処理、輪郭補正などの処理を施して、静止画符号化部108に出力する。
次に、静止画符号化部108は、入力した静止画データを公知の符号化方式に従って符号化する。本実施形態では、静止画符号化部108は、JPEG方式に従って静止画データを符号化する。
図3は、静止画符号化部108の構成を示すブロック図である。
図3において、ブロック化回路301は、入力された静止画データを水平方向及び垂直方向で8×8画素単位のブロックに分割し、直交変換回路302に出力する。直交変換回路302は、静止画データをブロック毎に直交変換してメモリ303に蓄積する。
符号量制御回路307には、符号量制御部109から静止画データの1枚当たりのデータ量Vstの情報が入力される。符号量制御回路307は、静止画のサイズ(画素数)、1画素当たりのビット幅等を考慮して、量子化回路304に対して、量子化ステップの初期値を設定する。
量子化回路304は、メモリ303から直交変換された静止画データを読み出す。そして、符号量制御回路307の指示に従って、直交変換された静止画データをブロック毎に量子化し、符号化回路305に供給する。符号化回路305は、量子化された静止画データをブロック毎に可変長符号化し、バッファメモリ306に蓄積する。また、符号化の際の符号長についての情報を符号量制御回路307に出力する(S802)。
次に、符号量制御回路307は、符号化回路305から出力される情報に応じて、1枚当たりの静止画データのデータ量を算出する(S803)。そして、算出したデータ量が、設定されたデータ量Vstを上回っているかどうか判別する(S804)。
算出したデータ量が、設定されたデータ量Vstを上回っていた場合は、符号量制御回路307は、量子化回路304の量子化ステップを大きくする(S807)。そして、再度、直交変換された静止画データをメモリ303から読み出し、量子化及び符号化を行い(S808)、S803に戻ってデータ量を算出する。このように、撮影された静止画データのデータ量が設定されたデータ量Vst以下になるように符号化する。
一方、静止画データのデータ量がVst以下になった場合は(S804でYES)、符号量制御回路307は、バッファメモリ306から符号化された静止画データを読み出し、マルチプレクサ104に出力する(S805)。
次に、マルチプレクサ104は、システム制御部111から静止画撮影の指示を受け、静止画符号化部108から前記の様に符号化された静止画データが出力されると、この静止画データを選択して記録処理部105に出力する。そして、記録処理部105は、マルチプレクサ104から出力された静止画データをメモリに一時蓄積する。そして、動画データの記録を行っていない所定のタイミングで静止画データをメモリから読み出し、記録媒体106に記録する(S806)。なお、本実施形態では、1回の静止画撮影指示によって記録される1画面の静止がデータを1つのファイルとして管理する。
以上のように本実施形態によれば、記録媒体106の記録データレートと、記録する動画データのデータレートとに基づいて、動画の撮影中に記録する静止画データのデータ量を決定する。そのため、動画データを記録しながら静止画データを記録することができるとともに、静止画像の最小撮影間隔を保証することができるようになる。
従って、1シーンの動画の撮影中に静止画撮影指示があっても、撮影した静止画データを動画の撮影終了まで記憶しておくためのバッファメモリが不要となる。また、動画の撮影中に撮影できる静止画の枚数の制限が無くなる。
また、動画の撮影が終了した後に静止画データを記録せずに済むので、ユーザは、動画の撮影終了後、すぐに次の操作を行うことができる。さらに、ユーザが設定した画質モードに従って動画データのデータレートを決めるので、1シーンの中で動画データの符号量のばらつきを抑え、良好な画質を得ることができる。
なお、本実施形態において、動画データの記録中に静止画像データを記録する場合には、静止画データのデータ量をVst以下となるように符号化した。一方、本実施形態では、動画データの記録中以外にも静止画データを記録することができる。即ち、記録停止状態において、ユーザが操作部112を操作して静止画の撮影を指示すると、システム制御部111が静止画信号処理部107と静止画符号化部108を制御して、1画面の静止画データを生成し、符号化する。そして、この静止画データを記録処理部105により記録媒体106に記録する。
このとき、静止画データのデータ量は、動画データの画質(データレート)に無関係に設定する。即ち、静止画データのデータ量を所定のデータ量としてもよい。或いは、動画データの画質モードとは別に、静止画像のみを記録する場合の静止画像データの画質モードをユーザが設定できるようにしてもよい。システム制御部111は、この様に、静止画のみを記録する場合の静止画データの画質モードに従い、静止画データのデータ量を調整する。
また、本実施形態では、動画データの画質モードとして、2種類のモードを用意したが、これに限らず、3つ以上の画質モードを用意し、ユーザが画質モードを選択できるようにしてもよい。
(第2の実施形態)
本実施形態では、静止画符号化部108が、符号量算出回路を複数備える構成とした。
図4は、本実施形態の静止画符号化部108の構成を示すブロック図である。なお、撮像装置の全体構成及び動画符号化回路の構成については第1の実施形態と同様である。以下、第1の実施形態と異なる箇所のみ説明する。
図4において、符号量算出回路407a〜407cはそれぞれ、直交変換された静止画データを異なる量子化ステップで量子化した場合の符号量を算出する回路である。それぞれの符号量算出回路407a〜407cは、メモリ403から直交変換された静止画データを読み出して、ブロック毎に各々量子化する。本実施形態では、符号量制御回路408は、Vstに基づいて、それぞれの符号量算出回路407a〜407cに対し、それぞれ異なる量子化ステップを設定する。
符号量算出回路407a〜407cはそれぞれ、量子化したデータを可変長符号化し、静止画データの1枚の符号量を算出する。そして、符号量算出回路407a〜407cはそれぞれ、算出した符号量の情報を符号量制御回路408に出力する。
符号量制御回路408は、符号量算出回路407a〜407cによって符号量が算出された静止画データのうち、符号量がVst以下で、かつ符号量が大きいものを選択する。そして、選択した静止画データを符号化するために設定した量子化ステップを量子化回路404に設定する。量子化回路404は、メモリ403から直交変換された静止画データを読み出して量子化し、符号化回路405に出力する。
符号化回路405は、入力されたデータを可変長符号化してバッファメモリ406に出力し、符号化データを記憶する。バッファメモリ406に記憶されたデータは、マルチプレクサ104に出力される。
以上のように、本実施形態によれば、静止画データの符号量の見積もりを並列に実行するようにしたので、静止画データの符号化に要する時間を短縮することが可能になる。そのため、動画の撮影中における静止画の撮影間隔を短くすることが可能になる。
なお、図4では、3つの符号量算出回路407a〜407cを備え、各符号量算出回路によって静止画データの符号量の見積もりを並列に実行する構成とした。これ以外にも、2つ、或いは4つ以上の符号量算出回路を備える構成としてもよい。
(第3の実施形態)
本実施形態では、第1及び第2の実施形態とは異なる構成の静止画像符号化回路の場合について説明する。
図5は、本実施形態の静止画符号化部108の構成を示すブロック図である。なお、撮像装置の全体構成及び動画像符号化回路の構成については第1の実施形態と同様である。以下、第1の実施形態と異なる箇所のみ説明する。
図5において、量子化回路504a〜504cはそれぞれ、メモリ503から直交変換された静止画データを読み出して、ブロック毎に各々量子化する。本実施形態では、符号量制御回路508は、Vstに基づいて、それぞれの量子化回路504a〜504cに対し、それぞれ異なる量子化ステップを設定する。
符号化回路505a〜505cはそれぞれ、入力したデータを可変長符号化し、符号化したデータをバッファメモリ506a〜506cに記憶する。また、符号化回路505a〜505cはそれぞれ、符号長の情報を符号量制御回路508に出力する。符号量制御回路508は、符号化回路505a〜505c毎に、静止画データの1枚の符号量を算出する。
また、符号量制御回路508は、符号化回路505a〜505cにより符号化された静止画データのうち、データ量がVst以下で、かつ符号量が大きいものを選択する。そして、セレクタ507を制御し、バッファメモリ506a〜506cのうち、選択した静止画データを記憶したバッファメモリから静止画データを読み出し、マルチプレクサ104に出力する。
以上のように本実施形態によれば、静止画像データの符号量の見積もりを並列に実行するとともに、その時の符号化データをバッファメモリに記憶するようにした。これにより、静止画像データの符号化に要する時間をさらに短縮することが可能になり、動画像の撮影中における静止画像の撮影間隔を短くすることが可能になる。
なお、図5では、3つの量子化回路504a〜504cを備え、各量子化回路によって並列に静止画データを量子化する構成とした。これ以外にも、2つ、或いは4つ以上の量子化回路を備える構成としてもよい。
(第4の実施形態)
本実施形態では、動画の撮影中に記録する静止画の画質(データ量)をユーザが任意に設定できるようにした。
図9は、本実施形態に係る撮像装置100aの構成例を示すブロック図である。図9の撮像装置100aは、図1の撮像装置100と同様の機能ブロックを備え、同様に、動画、静止画の撮影機能を持つ。以下、第1の実施形態と異なる箇所について説明する。
本実施形態では、ユーザは、操作部112を操作することにより、動画の撮影中に記録する静止画データの画質を設定することができる。例えば、本実施形態では、静止画の画質モードとして、標準画質モードと高画質モードとの2つの画質モードを用意しておき、ユーザは何れか一方の画質モードを選択する。ユーザは、記録停止中など、撮影動作中以外のタイミングで操作部112を操作することにより、記録する静止画の画質モードを選択することができる。
システム制御部111は、ユーザにより選択された画質モードの情報を符号量制御部109aに出力する。符号量制御部109aは、システム制御部111からの静止画の画質モードの情報に基づいて、動画の撮影中に記録する静止画データの量子化ステップを決定し、静止画符号化部108aに出力する。
また、符号量制御部109aは、第1の実施形態と同様、ユーザが選択した動画データの画質モードに従って動画データのデータレートRmvを決定し、動画符号化部103に出力する。さらに、符号量制御部109aは、記録媒体106の記録データレートRmaxの情報を取得する。
次に、撮像装置100による記録動作について説明する。図10は、本実施形態における記録処理を示すフローチャートである。図10の処理は、システム制御部111が各部を制御することにより実行される。
システム制御部111は、操作部112より動画の撮影開始の指示があると、各部を制御して動画データの符号化、及び記録処理を開始する(S1001)。このとき、第1の実施形態と同様、符号量制御部109aは動画データのデータレートRmvの情報を動画符号化部103に出力する。動画符号化部103は、符号化される動画データのデータレートがRmvを超えない様に符号量を調整する。
そして、この様に動画データを記録中に、操作部112から静止画の撮影指示があるかどうかを判別する(S1002)。静止画撮影の指示が無い場合は、動画の記録停止の指示があったかどうかを判別する(S1010)。記録停止の指示が無い場合にはS1001に戻り、そのまま動画データの記録を続ける。また、動画の記録停止の指示があると、記録媒体106に対する動画データの記録を停止する(S1011)。
次に、S1002で、動画の撮影中に静止画の撮影指示があった場合の処理について説明する。動画の記録中に静止画撮影の指示があると、S1003に移行し、静止画符号化処理を実行する。
図13は、本実施形態における静止画符号化部108aの構成を示す図である。なお、図13において、図3と同様の構成については同一番号を付加し、その詳細な説明は省略する。また、図11は、S1003の静止画記録処理を示すフローチャートである。
図11において、静止画撮影の指示があると、システム制御部111は、静止画信号処理部107に対して静止画撮影を指示する。静止画信号処理部107は、静止画撮影の指示があると、撮像部101から出力されている動画データのうち、静止画撮影の指示に応じたタイミングで1画面のデータを選択し、内部のメモリに一時蓄積する(S1101)。そして、静止画信号処理部107は、メモリに蓄積した1画面の静止画データに対し、撮像部101から出力される画像信号に対して、ホワイトバランス、色処理、ガンマ処理、輪郭補正などの処理を施して、静止画符号化部108aに出力する。
静止画符号化部108aの符号量制御回路1307は、前記の様に符号量制御部109aより入力した静止画の画質モードの情報に基づき、量子化回路304における量子化ステップを設定する(S1102)。そして、静止画符号化部108aは、設定された量子化ステップに従い、前述の様に静止画データを符号化し(S1103)、符号化した静止画データをバッファメモリ306に保存する(S1104)。
また、本実施形態では、符号量制御回路1307は、符号化回路305より、静止画データの符号化結果を順次取得し、一画面の静止画データのデータ量Svを算出する。そして、このSv(ビット)の情報を符号量制御部109aに出力する。
この様に図10のS1003において静止画データの符号化が終了すると、図10のS1004に進み、符号量制御部109aは、静止画符号化部108aより静止画データのデータ量Svの情報を取得する(S1004)。そして、このデータ量Svに応じて、動画データのデータレートRmvを変更するか否かを判別する(S1005)。
このとき、まず、符号量制御部109aは、例えば、静止画を撮影する間隔Nが1に設定されている場合、下記の式を満たすかどうかを判別する。
Rmax−Rmv>Sv
即ち、記録媒体の記録データレートから動画データのデータレートを引いた残りが、静止画データのデータ量Svよりも大きいかどうかを判別する。前記の式を満たしている場合、動画像データのデータレートRmvを変更すること無く、動画データの記録中に静止画データを記録することができると判断し、S1010に進む。
一方、ステップS1005において、静止画データのデータ量Svが、
Rmax−Rmv≦Sv
である場合、動画データの記録中に静止画データを記録するためには、動画データのデータレートを現在よりも下げる必要があると判断し、S1006に進む。そして、以下の様に動画データのデータレートRmv'を算出する。
Rmv'=Rmv×α(ただし、0<α<1)
そして、動画データのデータレートをRmv'に変更するよう、動画符号化部103に対し、Rmv'の情報を出力する(S1006)。なお、αの値が極端に小さいと、動画の画質が著しく低下するため、概ね0.7〜0.9程度とすることが望ましい。
動画符号化部103は、符号化された動画データのデータレートが新たに設定されたRmv'を超えないよう、動画データを符号化する。そして、記録処理部105は、マルチプレクサ104を介してバッファメモリ306に保存されている静止画データを読み出し、この静止画データと符号化された動画データとを記録媒体106に記録する(S1007)。
そして、静止画データの記録を開始した後、静止画データの記録が終了するのを待つ(S1008)。静止画の記録が終了すると、動画データのデータレートを変更前のRmvに戻し、このRmvの情報を動画符号化部103に出力する。すると、動画符号化部103は、再び、動画データのデータレートがRmvを超えない様に符号化し、記録処理部105は、符号化された動画データを記録媒体106に記録する(S1009)。
この様に静止画データを記録した場合、データ量Svの静止画データを記録し終わるまでの時間Tは、
T=Sv/(Rmax−Rmv×α) (秒)
となる。
以上説明した様に、本実施形態によれば、動画の撮影中に記録する静止画データの画質をユーザが予め設定しておく。そして、動画の撮影中に静止画撮影の指示があると、符号化された静止画データのデータ量に基づいて動画データのデータレートを変更して動画データ及び静止画データを記録する。このため、動画の撮影中に静止画撮影の指示があった場合に、動画を記録しながら、ユーザが設定した画質の静止画を記録できる。
また、1シーンの動画の撮影中に静止画撮影の指示があっても、撮影した静止画データを動画の撮影終了まで記憶しておくためのバッファメモリが不要となる。また、動画の撮影中に撮影できる静止画の枚数の制限が無くなる。
また、動画の撮影が終了した後に静止画データを記録せずに済むので、ユーザは、動画の撮影終了後、すぐに次の操作を行うことができる。さらに、動画の撮影中に静止画を撮影する場合に、動画のデータレートを下げたく無い場合は、静止画の画質を低く設定すればよい。
なお、本実施形態では、動画の撮影中に記録する静止画の画質モードとして、2種類のモードを用意したが、これに限らず、3つ以上の画質モードを用意し、ユーザが画質モードを選択できるようにしてもよい。
(第5の実施形態)
第1〜第3の実施形態では、動画の撮影中に静止画を撮影する場合に、動画データのデータレートは変えずに、静止画データのデータ量を設定した。一方、第4の実施形態では、動画の撮影中に静止画を撮影する場合に、設定された静止画データの画質(データ量)は変えずに、動画データのデータレートを設定した。
これに対して本実施形態では、動画の撮影中に静止画を撮影する場合に、動画のデータレートは変えずに静止画のデータ量を設定する第1のモードと、静止画の画質を変えずに動画のデータレートを設定する第2のモードとを備える。そして、ユーザが、これらの第1、及び第2のモードの何れかを選択し、設定できるようにした。
なお、本実施形態における撮像装置の構成は、図1に記載の撮像装置100に図9に記載の撮像装置100aの機能を付加したものと同様であり、また、基本的な記録処理も同様である。即ち、ユーザは、操作部112により、記録する動画データの画質モードを設定すると共に、動画の撮影中に記録する静止画の画質モードも設定する。また、ユーザは操作部112を操作することにより、前記の第1のモード(動画優先モード)と第2のモード(静止画優先モード)とを選択する。そして、システム制御部111は、動画の撮影中に静止画撮影の指示があると、ユーザが設定したモードに応じて各部を制御する。
図12は、本実施形態における記録処理を示すフローチャートである。なお、図12の処理は、システム制御部111が各部を制御することにより実行される。
ユーザにより、動画の記録開始が指示されると、システム制御部111は、動画優先モード、静止画優先モードの何れが選択されているかを判別する(S1201)。動画優先モードが選択されていた場合、S1202の動画優先モード処理を実行する。この動画優先モード処理においては、第1の実施形態にて説明した図7、図8の処理と同様の処理を実行する。
一方、静止画優先モードが選択されていた場合、S1203の静止画優先モード処理を実行する。この静止画優先モード処理においては、第4の実施形態において説明した図10、図11の処理と同様の処理を実行する。
(本発明に係る他の実施形態)
前述した本発明の実施形態における撮像装置を構成する各手段、並びに記録方法の各工程は、コンピュータのRAMやROMなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム(実施形態では図6〜図8、図10〜図12)に示すフローチャートに対応したプログラム)を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。
プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM、DVD−R)などもある。
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
また、その他の方法として、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
さらに、その他の方法として、まず記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
100 撮像装置
101 撮像部
102 動画信号処理部
103 動画符号化部
104 マルチプレクサ
105 記録処理部
106 記録媒体
107 静止画信号処理部
108 静止画符号化部
109 符号量制御部
110 表示部
111 システム制御部
112 操作部

Claims (22)

  1. 撮像手段と、
    前記撮像手段から出力された画像データを用いて動画データと静止画データとを生成する信号処理手段と、
    前記動画データを符号化して情報量を圧縮する動画符号化手段と、
    前記静止画データを符号化して情報量を圧縮する静止画符号化手段と、
    前記動画符号化手段によって符号化された動画データと前記静止画符号化手段によって符号化された静止画データとを記録媒体に記録する記録手段と、
    前記動画符号化手段によって符号化される動画データのデータレートを設定する設定手段と、
    前記動画符号化手段と前記静止画符号化手段とを制御する制御手段とを備え、
    前記制御手段は、前記設定手段により設定されたデータレートに基づいて前記動画符号化手段を制御することにより前記動画データのデータレートを調整し、前記設定手段により設定されたデータレートと前記記録媒体の記録データレートとに基づいて前記静止画符号化手段を制御することにより前記静止画データのデータ量を調整することを特徴とする撮像装置。
  2. 前記制御手段は、前記記録媒体の記録データレートと前記設定手段により設定されたデータのデータレートとの差に基づいて、前記静止画データのデータ量を調整することを特徴とする請求項1記載の撮像装置。
  3. 前記信号処理手段は、単位時間あたりN画面の前記静止画データを生成し、前記制御手段は、N画面それぞれの前記静止画データの情報量が同じになるように前記静止画データのデータ量を調整することを特徴とする請求項1または2記載の撮像装置。
  4. 前記設定手段は、ユーザの操作に応じて複数の所定のデータレートのうちの何れかを選択することを特徴とする請求項1から3の何れか1項に記載の撮像装置。
  5. 前記信号処理手段は、前記動画データの記録中における静止画撮影指示に応じて前記静止画データを生成し、前記記録手段は、前記動画データの記録中に前記静止画データを前記記録媒体に記録することを特徴とする請求項1から4の何れか1項に記載の撮像装置。
  6. 前記制御手段は、前記設定手段により設定されたデータレートと前記記録媒体の記録データレートとに基づいて、前記動画データの記録中に生成された前記静止画データのデータ量を調整することを特徴とする請求項5記載の撮像装置。
  7. 前記信号処理手段は、前記動画データを記録していないときに静止画撮影指示があると前記静止画データを生成し、前記制御手段は、前記動画データを記録していないときに前記信号処理手段により生成された静止画データを前記設定手段により設定されたデータレートと無関係に符号化するよう前記静止画符号化手段を制御することを特徴とする請求項6記載の撮像装置。
  8. 前記設定手段は、前記動画データを記録していないときに記録する前記静止画データの画質を任意に設定し、前記制御手段は、前記設定手段により設定された静止画の画質に基づいて前記静止画符号化手段を制御することを特徴とする請求項7記載の撮像装置。
  9. 前記静止画符号化手段は、前記静止画データを量子化する量子化手段を有し、前記制御手段は、前記設定された画質に基づいて前記量子化手段の量子化ステップを調整することを特徴とする請求項8記載の撮像装置。
  10. 前記信号処理手段は、前記動画データの記録中における静止画撮影指示に応じて前記静止画データを生成し、前記制御手段は、前記動画データの記録中に前記符号化された静止画データを記録できるように、前記静止画符号化手段により符号化される静止画データのデータ量を調整することを特徴とする請求項1記載の撮像装置。
  11. 撮像手段と、
    前記撮像手段から出力された画像データを用いて動画データと静止画データとを生成する信号処理手段と、
    前記動画データを符号化して情報量を圧縮する動画符号化手段と、
    前記静止画データを符号化して情報量を圧縮する静止画符号化手段と、
    前記動画符号化手段によって符号化された動画データと前記静止画符号化手段によって符号化された静止画データとを記録媒体に記録する記録手段と、
    前記静止画符号化手段によって符号化される静止画データの画質を設定する設定手段と、
    前記動画符号化手段と前記静止画符号化手段とを制御する制御手段とを備え、
    前記制御手段は、前記設定手段により設定された画質に基づいて前記静止画符号化手段を制御することにより前記静止画データのデータ量を調整し、前記設定手段により設定された画質に基づいて符号化された前記静止画データのデータ量と前記記録媒体の記録データレートとに基づいて前記動画符号化手段を制御することにより前記動画データのデータレートを調整することを特徴とする撮像装置。
  12. 前記制御手段は、前記記録媒体の記録データレートと前記静止画データのデータ量との差に基づいて前記動画データのデータレートを調整することを特徴とする請求項11記載の撮像装置。
  13. 前記設定手段は、ユーザの操作に応じて複数の所定の画質のうちの何れかを選択することを特徴とする請求項11または12記載の撮像装置。
  14. 前記信号処理手段は、前記動画データの記録中における静止画撮影指示に応じて前記静止画データを生成し、前記記録手段は、前記動画データの記録中に前記静止画データを前記記録媒体に記録することを特徴とする請求項11から13の何れか1項に記載の撮像装置。
  15. 前記制御手段は、前記動画データの記録中に符号化された前記静止画データのデータ量と前記記録媒体の記録データレートとに基づいて、前記動画データのデータレートを調整することを特徴とする請求項11から14の何れか1項に記載の撮像装置。
  16. 前記設定手段は、前記動画データのデータレートを任意に設定し、前記制御手段は、前記動画データの記録開始の指示に応じて前記設定手段により設定されたデータレートに基づいて前記動画データのデータレートを調整し、前記動画データの記録中に静止画撮影指示があると、前記動画データの記録中に符号化された前記静止画データのデータ量と前記記録媒体の記録データレートとに基づいて、前記動画データのデータレートを調整することを特徴とする請求項15記載の撮像装置。
  17. 前記制御手段は、前記記録手段が前記静止画データの記録を終了すると、前記設定手段により設定されたデータレートに基づいて前記動画データのデータレートを調整することを特徴とする請求項16記載の撮像装置。
  18. 前記静止画符号化手段は、前記静止画データを量子化する量子化手段を有し、前記制御手段は前記設定手段により設定された画質に基づいて前記量子化手段の量子化ステップを調整することを特徴とする請求項11から17の何れか1項に記載の撮像装置。
  19. 前記信号処理手段は、前記動画データの記録中における静止画撮影指示に応じて前記静止画データを生成し、前記制御手段は、前記動画データの記録中に前記符号化された静止画データを記録できるように、前記動画符号化手段により符号化される動画データのデータレートを調整することを特徴とする請求項11記載の撮像装置。
  20. 撮像手段と、
    前記撮像手段から出力された画像データを用いて動画データと静止画データとを生成する信号処理手段と、
    前記動画データを符号化して情報量を圧縮する動画符号化手段と、
    前記静止画データを符号化して情報量を圧縮する静止画符号化手段と、
    前記動画符号化手段によって符号化された動画データと前記静止画符号化手段によって符号化された静止画データとを記録媒体に記録する記録手段と、
    前記前記動画符号化手段によって符号化される動画データのデータレートと、前記静止画符号化手段によって符号化される静止画データの画質とを設定する設定手段と、
    第1のモードと第2のモードとの何れかを選択する選択手段と、
    前記選択手段により選択されたモードに応じて、前記動画符号化手段と前記静止画符号化手段とを制御する制御手段とを備え、
    前記制御手段は、前記第1のモードにおいては、前記制御手段は、前記設定手段により設定されたデータレートに基づいて前記動画符号化手段を制御することにより前記動画データのデータレートを調整し、前記設定手段により設定されたデータレートと前記記録媒体の記録データレートとに基づいて前記静止画符号化手段を制御することにより前記静止画データのデータ量を調整し、前記第2のモードにおいては、前記設定手段により設定された画質に基づいて前記静止画符号化手段を制御することにより前記静止画データのデータ量を調整し、前記設定手段により設定された画質に基づいて符号化された前記静止画データのデータ量と前記記録媒体の記録データレートとに基づいて前記動画符号化手段を制御することにより前記動画データのデータレートを調整することを特徴とする撮像装置。
  21. 前記信号処理手段は、前記動画データの記録中における静止画撮影指示に応じて前記静止画データを生成し、前記制御手段は、前記第1のモードにおいては、前記動画データの記録中に前記符号化された静止画データを記録できるように、前記静止画符号化手段により符号化される静止画データのデータ量を調整することを特徴とする請求項20記載の撮像装置。
  22. 前記信号処理手段は、前記動画データの記録中における静止画撮影指示に応じて前記静止画データを生成し、前記制御手段は、前記第2のモードにおいては、前記動画データの記録中に前記符号化された静止画データを記録できるように、前記動画符号化手段により符号化される動画データのデータレートを調整することを特徴とする請求項20記載の撮像装置。
JP2009046424A 2008-03-18 2009-02-27 撮像装置及びその制御方法 Active JP5230483B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2009046424A JP5230483B2 (ja) 2008-03-18 2009-02-27 撮像装置及びその制御方法
US12/404,169 US8279298B2 (en) 2008-03-18 2009-03-13 Imaging apparatus having improved usability when moving images and still images are recorded
CN200910129411XA CN101540867B (zh) 2008-03-18 2009-03-18 摄像设备
US13/598,004 US8587683B2 (en) 2008-03-18 2012-08-29 Imaging apparatus having improved usability when moving images and still images are recorded

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008070420 2008-03-18
JP2008070420 2008-03-18
JP2009046424A JP5230483B2 (ja) 2008-03-18 2009-02-27 撮像装置及びその制御方法

Publications (3)

Publication Number Publication Date
JP2009260943A true JP2009260943A (ja) 2009-11-05
JP2009260943A5 JP2009260943A5 (ja) 2012-04-12
JP5230483B2 JP5230483B2 (ja) 2013-07-10

Family

ID=41088478

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009046424A Active JP5230483B2 (ja) 2008-03-18 2009-02-27 撮像装置及びその制御方法

Country Status (3)

Country Link
US (2) US8279298B2 (ja)
JP (1) JP5230483B2 (ja)
CN (1) CN101540867B (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4137085B2 (ja) * 2005-04-21 2008-08-20 キヤノン株式会社 撮像装置
US20110066979A1 (en) * 2009-09-14 2011-03-17 Olympus Corporation Nondestructive testing apparatus
JP2011223079A (ja) * 2010-04-05 2011-11-04 Canon Inc 画像処理装置
KR101711009B1 (ko) 2010-08-26 2017-03-02 삼성전자주식회사 영상 저장장치, 영상 재생장치, 영상 저장방법, 영상 제공방법, 저장매체 및 촬영장치
JP6021594B2 (ja) * 2012-11-08 2016-11-09 オリンパス株式会社 撮像装置及びプログラム
JP2014095781A (ja) * 2012-11-08 2014-05-22 Olympus Imaging Corp ズームレンズ及びそれを備えた撮像装置
EP2999214A1 (en) 2013-08-23 2016-03-23 Canon Kabushiki Kaisha Image recording apparatus and method, and image playback apparatus and method
JP5969139B2 (ja) * 2013-11-08 2016-08-17 富士フイルム株式会社 カメラシステム、カメラ本体及び通信方法
JP6489879B2 (ja) * 2015-03-09 2019-03-27 キヤノン株式会社 画像再生装置及び画像再生方法
DE102016109179B4 (de) * 2015-05-29 2023-08-03 Canon Kabushiki Kaisha Bildaufnahmeeinrichtung und Bildgebungsvorrichtung
CN116760988B (zh) * 2023-08-18 2023-11-10 瀚博半导体(上海)有限公司 基于人类视觉系统的视频编码方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001211425A (ja) * 2000-01-27 2001-08-03 Hitachi Ltd 情報処理装置
JP2005217493A (ja) * 2004-01-27 2005-08-11 Canon Inc 撮像装置
JP2005303336A (ja) * 2001-10-25 2005-10-27 Matsushita Electric Ind Co Ltd 映像信号記録装置および映像信号再生装置
JP2005318540A (ja) * 2004-03-30 2005-11-10 Casio Comput Co Ltd 撮像装置、動画撮影時の静止画表示方法、及びプログラム
JP2007259156A (ja) * 2006-03-23 2007-10-04 Olympus Imaging Corp カメラ、カメラの画像処理方法、プログラム、記録媒体

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4774562A (en) * 1987-06-02 1988-09-27 Eastman Kodak Company Image transmission system with preview mode
JP3182289B2 (ja) 1994-04-06 2001-07-03 三洋電機株式会社 画像記録方法及び画像記録装置
US7058721B1 (en) * 1995-07-14 2006-06-06 Broadband Royalty Corporation Dynamic quality adjustment based on changing streaming constraints
JPH09233410A (ja) 1996-02-27 1997-09-05 Olympus Optical Co Ltd デジタルビデオカメラ
US7110025B1 (en) * 1997-05-28 2006-09-19 Eastman Kodak Company Digital camera for capturing a sequence of full and reduced resolution digital images and storing motion and still digital image data
US6151069A (en) * 1997-11-03 2000-11-21 Intel Corporation Dual mode digital camera for video and still operation
US6545601B1 (en) * 1999-02-25 2003-04-08 David A. Monroe Ground based security surveillance system for aircraft and other commercial vehicles
JP2002290908A (ja) * 2001-03-28 2002-10-04 Minolta Co Ltd 撮影装置、動画および静止画の記録制御方法、画像編集装置
US7024045B2 (en) * 2001-08-21 2006-04-04 Sun Microsystems, Inc. Dynamic bandwidth adaptive image compression/decompression scheme
US6888891B2 (en) * 2002-01-09 2005-05-03 Octa Technology, Inc. Wavelet domain half-pixel motion compensation
JP4189627B2 (ja) * 2002-04-24 2008-12-03 富士フイルム株式会社 画像サーバ並びに画像表示システム
AU2003241143A1 (en) * 2002-06-25 2004-01-06 Quix Technologies Ltd. Image processing using probabilistic local behavior assumptions
JP2005012378A (ja) 2003-06-17 2005-01-13 Fuji Photo Film Co Ltd 画像記録装置及び画像記録方法
DE602004019821D1 (de) * 2004-03-11 2009-04-16 Ultrawaves Design Holding B V Sender und empfänger für ein überwachungssystem
CN101156434B (zh) * 2004-05-01 2010-06-02 雅各布·伊莱泽 具有非均匀图像分辨率的数码相机
SE0401574D0 (sv) * 2004-06-18 2004-06-18 Henrik Ehrnlund Trådlöst sensornätverk
US8018489B2 (en) * 2005-02-04 2011-09-13 Mccutchen David Surveillance system
US20070047642A1 (en) * 2005-08-31 2007-03-01 Erlandson Erik E Video data compression
EP2052552A4 (en) * 2006-07-16 2011-12-28 Seambi Ltd SYSTEM AND METHOD FOR POSITIONING VIRTUAL CONTENT
US20080165843A1 (en) * 2007-01-03 2008-07-10 Human Monitoring Ltd. Architecture for image compression in a video hardware

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001211425A (ja) * 2000-01-27 2001-08-03 Hitachi Ltd 情報処理装置
JP2005303336A (ja) * 2001-10-25 2005-10-27 Matsushita Electric Ind Co Ltd 映像信号記録装置および映像信号再生装置
JP2005217493A (ja) * 2004-01-27 2005-08-11 Canon Inc 撮像装置
JP2005318540A (ja) * 2004-03-30 2005-11-10 Casio Comput Co Ltd 撮像装置、動画撮影時の静止画表示方法、及びプログラム
JP2007259156A (ja) * 2006-03-23 2007-10-04 Olympus Imaging Corp カメラ、カメラの画像処理方法、プログラム、記録媒体

Also Published As

Publication number Publication date
CN101540867B (zh) 2012-01-25
US20090237519A1 (en) 2009-09-24
US20120321274A1 (en) 2012-12-20
JP5230483B2 (ja) 2013-07-10
US8279298B2 (en) 2012-10-02
US8587683B2 (en) 2013-11-19
CN101540867A (zh) 2009-09-23

Similar Documents

Publication Publication Date Title
JP5230483B2 (ja) 撮像装置及びその制御方法
JP4817990B2 (ja) 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP5153674B2 (ja) 動画像符号化装置及び動画像符号化方法
JP2006229474A (ja) 撮像装置及びその制御方法
US9042447B2 (en) Image coding apparatus and image coding method
JP4724639B2 (ja) 撮像装置
JP4875008B2 (ja) 動画像符号化方法、動画像復号化方法、動画像符号化装置及び動画像復号化装置
JP4585919B2 (ja) 画像符号化装置及び画像符号化方法
JP5773855B2 (ja) 画像処理装置
US8306110B2 (en) Moving image coding apparatus and method using copy pictures depending on virtual buffer verifier occupancy
JPH10271498A (ja) 圧縮データ変換方法、画像圧縮データの情報量変換方法およびその方法を適用した画像記録装置
JP2005175974A (ja) 撮像装置
JP4854580B2 (ja) 画像処理装置
JP2011049927A (ja) 画像処理装置、およびそれを搭載した撮像装置
JP2007184909A (ja) 画像符号化装置、画像符号化装置の制御方法、プログラム並びに記憶媒体
JP2004180345A (ja) 撮影画像記録装置
US20130057719A1 (en) Image pickup apparatus
JP4759360B2 (ja) 画像処理装置
JP2007109329A (ja) 画像データ記録装置、画像データ再生装置、画像データ記録方法、プログラム及び記録媒体
JP4181705B2 (ja) 撮像装置、画像処理方法、及びコンピュータ読み取り可能な記憶媒体
JP5355234B2 (ja) 符号化装置及び符号化方法
JP2009081727A (ja) 画像符号化装置及びその制御方法、プログラム
JP2006237847A (ja) 画像処理装置
JP2007158712A (ja) 画像符号化装置及び画像符号化方法
JP3645254B2 (ja) 画像データ記録システムおよび画像データ記録方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120227

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130319

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160329

Year of fee payment: 3