JP2016019161A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2016019161A
JP2016019161A JP2014140909A JP2014140909A JP2016019161A JP 2016019161 A JP2016019161 A JP 2016019161A JP 2014140909 A JP2014140909 A JP 2014140909A JP 2014140909 A JP2014140909 A JP 2014140909A JP 2016019161 A JP2016019161 A JP 2016019161A
Authority
JP
Japan
Prior art keywords
moving image
image
recording
raw data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014140909A
Other languages
English (en)
Inventor
参納　雅人
Masahito Sanno
雅人 参納
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014140909A priority Critical patent/JP2016019161A/ja
Priority to CN201510381083.8A priority patent/CN105323467A/zh
Priority to US14/793,054 priority patent/US20160012562A1/en
Publication of JP2016019161A publication Critical patent/JP2016019161A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2104—Intermediate information storage for one or a few pictures
    • H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/212—Motion video recording combined with still video recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3247—Data linking a set of images to one another, e.g. sequence, burst or continuous capture mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3252—Image capture parameters, e.g. resolution, illumination conditions, orientation of the image capture device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3274—Storage or retrieval of prestored additional information

Abstract

【課題】 静止画撮影直前に動画を撮影した場合、ホワイトバランスの収束状況によって動画と静止画の色合いが異なることがある。
【解決手段】 動画用のＲＡＷデータおよび静止画用のＲＡＷデータを取得する取得手段と、前記取得手段により取得された少なくとも所定時間分の動画用のＲＡＷデータを一時的に記憶する記憶手段と、前記記憶手段に記憶された動画用のＲＡＷデータを動画データにエンコードするエンコード手段と、前記エンコードされた動画データを記録媒体に記録する記録手段と、静止画の記録の指示が入力されたことに応じて、前記記録の指示が入力されるよりも前の所定時間分の動画データを記録媒体に記録するように前記記録媒体を制御する制御手段を有する撮像装置であって、静止画の記録の際に、前記エンコード手段は、動画用のＲＡＷデータに前記静止画用のＲＡＷデータからの評価値を適用した後に動画データにエンコードする。
【選択図】 図３

Description

本発明は静止画の撮影時、静止画撮影前の動画をあらかじめ撮影し、同時に記録することが可能な撮像装置に関するものである。
従来より、動画の撮影中に静止画を撮影する場合、静止画撮影用のホワイトバランスに切り替えることにより、動画の色の変化による違和感をユーザーに見せないような技術が開示されている。たとえば、特許文献１では静止画記録スイッチのオフからオンへの変化が、所定の時間内に少なくとも１回以上繰り返されていると判断された場合は、判断されない場合よりもホワイトバランスの制御範囲を狭くする事が開示されている。
特開平１０−１７４１１３
動画の記録中には被写体に対して適正なホワイトバランス位置まで追従しながら制御している。そのため従来の方法ではホワイトバランスの制御範囲を狭くしたことにより、被写体に対しての適正なホワイトバランス位置が制御範囲外にあった場合には、動画の１シーンに対して適切なホワイトバランスとならない場合がある。そのような状況で動画記録直後に静止画を撮影した場合、静止画を撮影する直前に記録された動画と静止画の色合いが異なってしまい、撮影された動画と静止画を比較した場合、違和感を生じさせるという問題があった。
本発明の撮像装置は、動画用のＲＡＷデータおよび静止画用のＲＡＷデータを取得する取得手段と、前記取得手段により取得された少なくとも所定時間分の動画用のＲＡＷデータを一時的に記憶する記憶手段と、前記記憶手段に記憶された動画用のＲＡＷデータを動画データにエンコードするエンコード手段と、前記エンコードされた動画データを記録媒体に記録する記録手段と、静止画の記録の指示が入力されたことに応じて、前記記録の指示が入力されるよりも前の所定時間分の動画データを記録媒体に記録するように前記記録媒体を制御する制御手段を有する撮像装置であって、静止画の記録の際に、前記エンコード手段は、動画用のＲＡＷデータに前記静止画用のＲＡＷデータからの評価値を適用した後に動画データにエンコードすることを特徴としている。
以上説明したように、本発明によれば、後から静止画の評価値を基準に動画データを作成するため、静止画撮影の直前に動画を撮影しても静止画と動画の色合いの違和感を感じることなく動画と静止画を撮影することができる。
本発明の実施形態のブロック図である 第１の実施形態を示すシーケンス図である 第１の実施形態を示すフローチャートである 第２の実施形態を示すシーケンス図である 第２の実施形態を示すフローチャートである
以下、本発明を実施するための形態に関してデジタルカメラを例に用いて説明する。
図１は、本発明の実施形態の構成を示すブロック図である。
１００は画像処理装置である。１０は撮影レンズ、１２は絞り機能を備える機械式シャッター、１４は光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換器である。
１８は撮像素子１４、Ａ／Ｄ変換器１６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。１２の機械式シャッター以外にも、１８の撮像素子のリセットタイミングの制御によって、電子シャッタとして、蓄積時間を制御することが可能であり、動画撮影などに使用可能である。
２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して画像拡大／縮小のための画素補間処理や色変換処理、ノイズ除去処理やエッジ強調処理などを行う。また、画像処理回路２０においてはメモリ制御回路２２からの画像データに対して、図２の説明で後述するウェーブレット変換処理なども行う。その他にも、画像処理回路２０では、ＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理をするために撮像した画像データを用いて所定の演算処理を行う。そこで得られた演算結果をＷＢ評価値として算出したり、算出されたＷＢ評価値を基に画像データの色の変換なども行う。さらに、画像処理回路２０では、ＴＴＬ方式のＡＦ処理、ＡＥ処理、ＥＦ処理を行うための、ＡＦ評価値、ＡＥ評価値、ＥＦ評価値を算出するために、撮像した画像データを用いて所定の演算処理を行う。得られたＡＦ評価値、ＡＥ評価値、ＥＦ評価値を基にシステム制御回路５０が、アルゴリズムに従って露光制御手段４０、測距制御手段４２に対して制御を行う。
２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、メモリ３０、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６のデータが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、メモリ３０に書き込まれる。
２８はＴＦＴ ＬＣＤ等から成る画像表示部であり、メモリ３０に書き込まれた表示用の画像データはメモリ制御回路２２を介して画像表示部２８により表示される。画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には画像処理装置１００の電力消費を大幅に低減することが出来る。
３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。
３１はＦｌａｓｈＲＯＭ等で構成された不揮発性メモリである。システム制御回路５０が実行するプログラムコードは不揮発性メモリ３１に書き込まれ、逐次読み出しながらプログラムコードを実行する。また、不揮発性メモリ内にはシステム情報を記憶する領域や、ユーザー設定情報を記憶する領域を設け、さまざまな情報や設定を次回起動時に読み出して、復元することを実現している。
３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。
４０は絞り機能を備えるシャッター１２を制御する露光制御手段であり、フラッシュ４８と連動することによりフラッシュ調光機能も有するものである。４２は撮影レンズ１０のフォーカシングを制御する測距制御手段、４４は撮影レンズ１０のズーミングを制御するズーム制御手段である。４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。露光制御手段４０、測距制御手段４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御手段４０、測距制御手段４２に対して制御を行う。
５０は画像処理装置１００全体を制御するシステム制御回路である。６０、６２、６４、６６、７０及び７２は、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。ここで、これらの操作手段の具体的な説明を行う。
６０はモードダイアルスイッチで、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、ＰＣ接続モード等の各機能モードを切り替え設定することが出来る。６２はシャッタースイッチＳＷ１で、シャッターボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等の動作開始を指示する。
６４はシャッタースイッチＳＷ２で、シャッターボタンの操作完了でＯＮとなる。フラッシュ撮影の場合、ＥＦ（フラッシュプリ発光）処理を行った後に、ＡＥ処理で決定された露光時間分、撮像素子１４を露光させる。このフラッシュ撮影の場合、この露光期間中に発光させて、露光期間終了と同時に露光制御手段４０により遮光することで、撮像素子１４への露光を終了させる。撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む。画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行う。次に記録媒体２００に画像データを書き込む記録処理という一連の処理の動作開始を指示する。
６６は表示切替スイッチで、画像表示部２８の表示切替をすることが出来る。この機能により、光学ファインダー１０４を用いて撮影を行う際に、ＴＦＴ ＬＣＤ等から成る画像表示部への電流供給を遮断することにより、省電力を図ることが可能となる。
７０は各種ボタン、タッチパネルや回転式ダイアル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、ストロボ発光の設定ボタン、単写／連写／セルフタイマー切り替えボタン等がある。またメニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等もある。その他、種々の撮影条件を設定するためのボタンとして扱う。
７２はユーザーが撮像画像の倍率変更指示を行うズーム操作手段としてのズームスイッチ部である。以下、ズームスイッチ７２ともいう。このズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチからなる。このズームスイッチ７２を用いることにより、ズーム制御手段４４に撮影レンズ１０の撮像画角の変更を指示し光学ズーム操作を行うトリガとなる。また、画像処理回路２０による画像の切り出しや、画素補間処理などによる撮像画角の電子的なズーミング変更のトリガともなる。
８６はアルカリ電池の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等からなる電源手段である。９０はメモリカードやハードディスク等の記録媒体とのインタフェース、９２はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。１０４は光学ファインダであり、画像表示部２８による電子ファインダー機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。１１０は通信手段でＵＳＢ、ＬＡＮ、無線通信、等の各種通信機能を有する。１１２は通信手段１１０により画像処理装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。
２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、画像処理装置１００とのインタフェース２０４、画像処理装置１００と接続を行うコネクタ２０６を備えている。
次に、本発明による第１の実施形態を図２のシーケンス図、および図３のフローチャートを用いて説明する。
＜第１の実施形態＞
第１の実施形態は静止画の撮影前に動画を記録する例である。たとえば、静止画撮影指示のタイミングで撮影された静止画のファイルと静止画撮影指示される数秒前を撮影した動画の２つのファイルを記録する場合などである。
図２は第１の実施形態の動画撮影から静止画撮影までのシーケンスを示した図である。シーケンスの前半部分は動画撮影処理を示したものであり、撮像素子１４から取得した動画用のＲＡＷデータをメモリ３０に一時的に記憶しておく。そして、次のフレームで撮像素子１４から前回読み出したフレームの次フレームの動画ＲＡＷデータをメモリ３０に一時的に記憶しておく。同じタイミングで一時的に記憶させた前回読み出したフレームの動画ＲＡＷデータを画像処理回路２０で表示用データに変換し、画像表示部２８に表示させる。このようにして静止画撮影まで毎フレームの動画ＲＡＷデータをメモリ３０に一時的に所定時間分を記憶する。
静止画撮影指示がされたら、撮像素子の駆動を変更し静止画ＲＡＷをメモリ３０に一時的に記憶する。その後、画像処理回路２０で静止画ＲＡＷに対してホワイトバランス評価値を算出する。その後、算出されたホワイトバランス評価値を用いて静止画ＲＡＷの現像処理を行い静止画データを作成し、メモリ３０を介して圧縮・伸長回路３２で圧縮を行い、不揮発性メモリ３１に記憶する。その後に画像処理回路２０と圧縮・伸長回路３２を用いて動画のＲＡＷのエンコード処理を行う。
次に図３を用いて第１の実施形態のフローを示す。
まず、Ｓ３０１で動画記録を開始する。Ｓ３０２ではＲＡＷデータを記録しながらスルー画面を表示する。本実施形態では、メモリ３０内のバッファに動画のＲＡＷデータを記録できなくなったら、前に記録された順に古いＲＡＷデータを上書きしながら動画ＲＡＷデータを記録する。そして、Ｓ３０３で静止画指示されるまで動画ＲＡＷを記録しながらのスルー画表示を続け、Ｓ３０３で静止画指示されたらＳ３０４に遷移し、静止画用のＲＡＷをメモリ３０内のバッファに記録する。Ｓ３０５では画像処理回路２０で静止画用のＲＡＷに対してホワイトバランス係数を算出し、Ｓ３０６で求められたホワイトバランス係数を用いて画像処理回路２０や圧縮・伸長回路３２でＲＡＷをＪＰＥＧなどの画像フォーマットに変換する。その後、Ｓ３０７に遷移して静止画を不揮発性メモリ３１に記憶する。その後Ｓ３０８で静止画撮影時にストロボ発光されていなかったらＳ３０９に遷移して動画用のホワイトバランス係数に静止画時に求めたホワイトバランス係数を適用する。また、Ｓ３０８で静止画撮影時にストロボ発光されていたら、Ｓ３１０に遷移してメモリ３０内に記録されている動画ＲＡＷの最終フレームからホワイトバランス係数を求める。その後、Ｓ３１１に進みＳ３１０求められたホワイトバランス係数を動画のホワイトバランス係数に適用する。Ｓ３１２では適用されたホワイトバランス係数を用いて画像処理回路２０や圧縮・伸長回路３２でメモリ３０内に記録されている動画ＲＡＷを動画ファイルとして、動画フォーマットにエンコードする。
＜第２の実施形態＞
本発明による第２の実施形態を図４および図５を用いて説明する。たとえば、動画記録中にユーザーの静止画指示などにより静止画のファイルも記録する場合などである。
図４は第２の実施形態の動画撮影から静止画の撮影後の動画記録再開までのシーケンスを示した図である。また、撮影する動画のフォーマットの例はＭＰＥＧである。
シーケンスの前半部分は動画撮影処理を示したものであり、撮像素子１４から読み出した動画ＲＡＷデータをメモリ３０に一時的に記憶しておく。また、次のフレームで撮像素子１４から前回読み出した次のフレームの動画ＲＡＷデータをメモリ３０に一時的に記憶しておく。同時に一時的に記憶させた前回読み出した動画ＲＡＷデータを画像処理回路２０で表示用データに変換し、画像表示部２８に表示させるとともに、画像処理回路２０と圧縮・伸長回路３２を用いて動画のエンコード処理を行う。これらの動作を静止画撮影指示されるまで繰り返す。
シーケンスの中盤部分は静止画の撮影指示により開始される静止画撮影処理を示したものである。静止画撮影指示がされたら、撮像素子の駆動を変更し静止画ＲＡＷをメモリ３０に一時的に記憶する。その後、画像処理回路２０で静止画ＲＡＷに対してホワイトバランス評価値を算出する。その後、算出されたホワイトバランス評価値を用いて静止画ＲＡＷの現像処理を行い静止画データを作成し、メモリ３０を介して圧縮・伸長回路３２で圧縮を行い、不揮発性メモリ３１に記憶する。
シーケンスの後半部分は静止画記録後の動画記録の再開処理である。動画記録の再開がされたら動画のＲＡＷを記録するとともに、次のフレームから動画の表示を再開する。また、動画記録の再開の最初にメモリ３０に一時的に記憶されている静止画撮影直前の特定時間の動画ＲＡＷをエンコードしなおす。その後、動画記録再開後に記録されたＲＡＷを順次動画エンコードする。
次に図５を用いて第２の実施形態のフローを示す。
まず、Ｓ５０１で動画記録を開始する。Ｓ５０２ではＲＡＷデータをメモリ３０に記録しながらスルー画面を表示し、動画のエンコードを行う。また、同時にＩフレームには動画エンコード時に設定したホワイトバランス係数をメモリ３０に記憶しておく。Ｓ５０３では動画撮影停止の指示がされたかどうかを判定し、動画停止指示されていたら修了し、動画停止されていなかったらＳ５０４に移動して静止画撮影が指示されたかどうかを判定する。Ｓ５０４で静止画指示されていたらＳ５０５に遷移して動画のエンコードを停止してＳ５０６に遷移し、静止画ＲＡＷをメモリ３０に記憶する。その後Ｓ５０７に遷移して静止画ＷＢ係数演算を行う。その後、Ｓ５０８に遷移して算出されたホワイトバランス評価値を用いて静止画ＲＡＷの現像処理を行い静止画データを作成し、メモリ３０を介して圧縮・伸長回路３２で圧縮を行い、不揮発性メモリ３１に記憶する。
次にＳ５０９に遷移して動画記録再開の処理を行うために毎フレームの動画ＲＡＷをメモリ３０に記憶を開始する。次にＳ５１０に遷移して動画表示処理を開始する。その後Ｓ５１１で静止画キャプチャの５秒前にもっと近い動画のＩフレームを検索する。その後Ｓ５１２に遷移して、メモリ３０に記憶していたＷＢ係数のうち検索されたＩフレームのＷＢ係数と、静止画のＷＢ係数から、検索されたＩフレームから静止画を撮影する直前の動画フレームまでのＷＢ係数を補間して求める。係数の補間方法にはスプライン補間などの方法がある。その後Ｓ５１３では、Ｓ５１２で求めたＷＢ係数に基づきＳ５１１で検索されたＩフレームから静止画を撮影する直前の動画のフレームまでを再エンコードし、既にエンコードした動画データのうち該当する部分を、再エンコードした動画データに置き換える。
その後Ｓ５１４に遷移し、静止画の撮影後に再開された動画フレームから動画のエンコードを開始し、必要に応じて再エンコードした動画の後に静止画が撮影されたことを示す動画データなどを追記して、静止画撮影後の動画データを追記していく。その後Ｓ５０２に戻り、これまでの動作を繰り返す。
上述したように、第１の実施形態では静止画撮影の前に動画を記録する場合において、静止画撮影前の動画記録の状態でホワイトバランスがターゲットとする色味まで変化している途中である。そのため、従来では動画と静止画で色味が異なっていた場合においても、静止画と静止画撮影前の動画を連続して再生させた場合など、互いを比較した場合においても違和感ない動画と静止画を撮影することができる。
また、第２の実施形態では動画中に静止画を撮影する場合においても、動画記録中にホワイトバランスが変化している途中で静止画を撮影しても静止画撮影までの色味をスムーズに変化させた動画を撮影することが可能となる。
尚、本実施形態ではホワイトバランスの変化について記述したが、アパーチャやガンマテーブルなど他の画像パラメータに関するものであってもかまわない。また、第２の実施形態で記述したホワイトバランスの補間のためにさかのぼる時間を５秒前としたがそれ以外の時間であってもかまわないし、補間の方法についてもある１フレームからの補間ではなく、複数フレームから補間してもかまわない。また、本件はＭＰＥＧ動画について記載したが、ＭＰＥＧ動画以外の動画に適応してもかまわないし、ＭＰＥＧ動画であっても補完するフレームをＩフレーム以外から補間してもかまわない。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能な撮像装置に供給し、そのプログラムを実行する場合も本発明に含む。
従って、本発明の機能処理を撮像装置で実現するために、該撮像装置に供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのプログラム自体も本発明に含まれる。
１０ 撮影レンズ
２０ 画像処理回路
２２ メモリ制御回路
２８ 画像表示部
３０ メモリ
３２ 画像圧縮・伸長回路
５０ システム制御回路
１００ 画像処理装置
１１０ 通信手段
２００ 記録媒体

Claims (5)

  1. 動画用のＲＡＷデータおよび静止画用のＲＡＷデータを取得する取得手段と、
    前記取得手段により取得された少なくとも所定時間分の動画用のＲＡＷデータを一時的に記憶する記憶手段と、
    前記記憶手段に記憶された動画用のＲＡＷデータを動画データにエンコードするエンコード手段と、
    前記エンコードされた動画データを記録媒体に記録する記録手段と、
    静止画の記録の指示が入力されたことに応じて、前記記録の指示が入力されるよりも前の所定時間分の動画データを記録媒体に記録するように前記記録媒体を制御する制御手段を有する撮像装置であって、
    静止画の記録の際に、前記エンコード手段は、動画用のＲＡＷデータに前記静止画用のＲＡＷデータからの評価値を適用した後に動画データにエンコードすることを特徴とする撮像装置。
  2. 前記評価値は、ホワイトバランス係数であることを特徴とする請求項１に記載の撮像装置。
  3. 動画用のＲＡＷデータを動画データにエンコードする際に、撮影条件に応じて前記静止画用のＲＡＷデータからの評価値と動画用のＲＡＷデータの最終フレームからの評価値とを切り替えて適用することを特徴とする請求項１に記載の撮像装置。
  4. 前記撮影条件とはストロボ発光であることを特徴とする請求項３に記載の撮像装置。
  5. 前記静止画の記録後、動画の記録を再開する場合、前記エンコード手段によってエンコードされた動画データを再エンコードすることを特徴とする請求項１に記載の撮像装置。
JP2014140909A 2014-07-08 2014-07-08 撮像装置 Pending JP2016019161A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014140909A JP2016019161A (ja) 2014-07-08 2014-07-08 撮像装置
CN201510381083.8A CN105323467A (zh) 2014-07-08 2015-07-02 图像处理设备及图像处理方法
US14/793,054 US20160012562A1 (en) 2014-07-08 2015-07-07 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014140909A JP2016019161A (ja) 2014-07-08 2014-07-08 撮像装置

Publications (1)

Publication Number Publication Date
JP2016019161A true JP2016019161A (ja) 2016-02-01

Family

ID=55067946

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014140909A Pending JP2016019161A (ja) 2014-07-08 2014-07-08 撮像装置

Country Status (3)

Country Link
US (1) US20160012562A1 (ja)
JP (1) JP2016019161A (ja)
CN (1) CN105323467A (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6572107B2 (ja) * 2015-11-19 2019-09-04 キヤノン株式会社 画像処理装置及び画像処理方法
JPWO2018062561A1 (ja) * 2016-09-29 2019-07-11 株式会社ニコン 撮像素子およびカメラ
JP6953961B2 (ja) * 2017-09-27 2021-10-27 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP7410620B2 (ja) * 2019-10-31 2024-01-10 キヤノン株式会社 撮像装置、画像処理装置、及び、その制御方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004158967A (ja) * 2002-11-05 2004-06-03 Konica Minolta Holdings Inc 撮像装置付き携帯電話機
JP2006287803A (ja) * 2005-04-04 2006-10-19 Canon Inc 撮像装置
JP2008048307A (ja) * 2006-08-21 2008-02-28 Megachips Lsi Solutions Inc 一眼レフデジタルカメラにおける連続撮像方法
JP2010050913A (ja) * 2008-08-25 2010-03-04 Canon Inc 画像処理装置及び画像処理方法
JP2011015043A (ja) * 2009-06-30 2011-01-20 Canon Inc 撮像装置、その制御方法及びプログラム
US20130002898A1 (en) * 2011-06-30 2013-01-03 Dihong Tian Encoder-supervised imaging for video cameras

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009033338A (ja) * 2007-07-25 2009-02-12 Olympus Imaging Corp 撮像装置
JP5610860B2 (ja) * 2009-08-07 2014-10-22 キヤノン株式会社 撮像装置及び情報処理装置
US8629913B2 (en) * 2010-09-30 2014-01-14 Apple Inc. Overflow control techniques for image signal processing
US8593544B2 (en) * 2010-11-11 2013-11-26 Olympus Imaging Corp. Imaging apparatus, imaging method, and computer-readable recording medium

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004158967A (ja) * 2002-11-05 2004-06-03 Konica Minolta Holdings Inc 撮像装置付き携帯電話機
JP2006287803A (ja) * 2005-04-04 2006-10-19 Canon Inc 撮像装置
JP2008048307A (ja) * 2006-08-21 2008-02-28 Megachips Lsi Solutions Inc 一眼レフデジタルカメラにおける連続撮像方法
JP2010050913A (ja) * 2008-08-25 2010-03-04 Canon Inc 画像処理装置及び画像処理方法
JP2011015043A (ja) * 2009-06-30 2011-01-20 Canon Inc 撮像装置、その制御方法及びプログラム
US20130002898A1 (en) * 2011-06-30 2013-01-03 Dihong Tian Encoder-supervised imaging for video cameras

Also Published As

Publication number Publication date
CN105323467A (zh) 2016-02-10
US20160012562A1 (en) 2016-01-14

Similar Documents

Publication Publication Date Title
JP4137085B2 (ja) 撮像装置
JP4193804B2 (ja) 撮像装置、画像記憶装置、撮像方法、記憶方法及びプログラム
JP4035543B2 (ja) 撮像装置
JP4574459B2 (ja) 撮影装置及びその制御方法及びプログラム及び記憶媒体
JP6116299B2 (ja) 撮像装置及びその制御方法
JP5889247B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム、並びに撮像装置
JP6827854B2 (ja) 画像処理装置及び方法、及び撮像装置
JP2007081732A (ja) 撮像装置
JP2016019161A (ja) 撮像装置
JP2015225284A (ja) 撮像装置及びその制御方法、プログラム、並びに記録媒体
JP6559014B2 (ja) 撮像装置、その制御方法及びプログラム
JP5780885B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP2012090041A (ja) 画像処理装置及び方法、並びにプログラム
JP2012065267A (ja) 撮像装置、撮像方法及びプログラム
JP5828663B2 (ja) 画像処理装置及び画像処理装置の制御方法
JP2015080152A (ja) 撮像装置、その制御方法及びプログラム
JP2012156886A (ja) 撮像装置
JP2015171113A (ja) 画像処理装置及びその制御方法
JP6526270B2 (ja) 撮像装置及びその制御方法
JP2010068474A (ja) 撮像装置及び撮像装置の制御方法
JP2006203665A (ja) 撮像装置及び方法、並びに記録媒体及びプログラム
JP2006033160A (ja) 撮像システム
JP2017038300A (ja) 画像処理装置及び方法
JP2015119231A (ja) 画像処理装置及び画像処理装置の制御方法
JP2020088600A (ja) 撮像素子、撮像装置、制御方法、並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170706

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180821

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190312