JP2015056807A - 撮像装置及びその制御方法 - Google Patents

撮像装置及びその制御方法 Download PDF

Info

Publication number
JP2015056807A
JP2015056807A JP2013189847A JP2013189847A JP2015056807A JP 2015056807 A JP2015056807 A JP 2015056807A JP 2013189847 A JP2013189847 A JP 2013189847A JP 2013189847 A JP2013189847 A JP 2013189847A JP 2015056807 A JP2015056807 A JP 2015056807A
Authority
JP
Japan
Prior art keywords
still image
hdr
frame
image
recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013189847A
Other languages
English (en)
Other versions
JP6306845B2 (ja
Inventor
平 池田
Taira Ikeda
平 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2013189847A priority Critical patent/JP6306845B2/ja
Application filed by Canon Inc filed Critical Canon Inc
Priority to RU2016113690A priority patent/RU2642109C2/ru
Priority to US15/021,249 priority patent/US10082723B2/en
Priority to PCT/JP2014/074609 priority patent/WO2015037742A1/en
Priority to KR1020167009184A priority patent/KR101771408B1/ko
Priority to BR112016002540A priority patent/BR112016002540A2/pt
Priority to CN201480050201.0A priority patent/CN105531990B/zh
Priority to EP14844407.8A priority patent/EP3044949A4/en
Publication of JP2015056807A publication Critical patent/JP2015056807A/ja
Application granted granted Critical
Publication of JP6306845B2 publication Critical patent/JP6306845B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Exposure Control For Cameras (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)

Abstract

【課題】 露出の異なる複数の画像を合成することによりダイナミックレンジの広いＨＤＲ動画記録中に静止画撮影する場合に、適切なＨＤＲ静止画を記録できる撮像装置を提供すること。【解決手段】 露出条件の異なる複数の画像を合成しダイナミックレンジの広い合成画像を生成し、ＨＤＲ動画として記録可能であり、ＨＤＲ動画記録中に静止画撮影指示があった場合、露出条件の異なる複数の画像を合成しダイナミックレンジの広い合成画像を生成し、ＨＤＲ静止画として記録することが可能な撮像装置であって、ＨＤＲ動画記録中に静止画撮影指示があった場合、静止画撮影指示後に撮像したＨＤＲ動画用の合成画像を生成するのと同一のフレームの組み合わせでＨＤＲ静止画用の合成画像を生成することを特徴とする構成とした。【選択図】 図３

Description

本発明は撮像装置及びその制御方法に関する。
近年のデジタルカメラなどの撮像装置では、静止画の撮影だけでなく音声付き動画も撮影記録することができるものが多く、１台のデジタルカメラで多様な撮影が可能となっている。さらに最近では、音声付き動画を撮影しながら静止画も撮影可能なものや、連続的に撮像した複数枚の画像を合成することで、これまで撮影できなかったようなシーンを記録可能としたものも存在する。
特許文献１に開示された撮像装置は、撮像素子を全画素読出モードで駆動して得られる一連の画像データを、動画記録画素数に間引いて動画として処理及び記録する。そして、動画撮影中に静止画の撮影が指示されると、画像データを間引かずに静止画として処理及び記録する。これによれば、動画撮影中に動画の撮影を中断することなく、高画質の静止画を撮影できると共に、フレームレートを落とさずに動画を撮影できる。
また、特許文献２では、露光時間を周期的に変化させて撮像した露光量の異なる複数の画像を合成することで、ダイナミックレンジの広い動画を得ることを可能とする撮像装置が開示されている。これによれば、露光時間を長秒・短秒と交互に変更しながら連続撮像して各画像を合成することにより、ダイナミックレンジの広い動画（以下「ＨＤＲ動画」という。）を生成することが可能である。
特開２００５−５７３７８号公報 特公平７−９７８４１号公報
しかし、これまでは、ＨＤＲ動画の記録中に静止画撮影指示がなされＨＤＲ静止画記録するような場合の具体的な処理方法については検討されてこなかった。静止画撮影指示がなされるタイミングは動画記録のための連続的な撮像処理に対して非同期であるため、どのフレームを用いてＨＤＲ動画やＨＤＲ静止画を生成するかは、求める性能に応じて様々なバリエーションが考えられる。
そこで、本発明は、露出の異なる複数の画像を合成することによりダイナミックレンジを拡大するＨＤＲ動画の記録中に静止画撮影する場合に、適切なＨＤＲ静止画を記録できる撮像装置を提供する。
本発明の一側面によれば、露出条件の異なる複数の動画フレームを生成し合成することで高ダイナミックレンジのＨＤＲ動画フレームを生成し、ＨＤＲ動画として記録媒体に記録する処理を行う第１の記録制御手段と、前記第１の記録制御手段による処理中に静止画撮影指示を受け付ける受付手段と、前記受付手段が前記第１の記録制御手段による処理中に前記静止画撮影指示を受け付けたことに応じて、前記第１の記録制御手段による処理中に、露出条件の異なる複数の静止画フレームを合成することで高ダイナミックレンジのＨＤＲ静止画フレームを生成し、ＨＤＲ静止画として記録媒体に記録する第２の記録制御手段とを有することを特徴とする撮像装置が提供される。
本発明によれば、本発明によれば、露出の異なる複数の画像を合成することによりダイナミックレンジを拡大するＨＤＲ動画の記録中に静止画撮影する場合に、適切なＨＤＲ静止画を記録することができる。
実施形態における撮像装置の外観図。 実施形態における撮像装置の概略構成ブロック図。 実施形態における撮像装置の動作タイミング図。 実施形態における撮像装置の動作フローチャート。 実施形態における撮像装置の動作タイミング図。 実施形態における撮像装置の動作フローチャート。 実施形態における撮像装置の動作タイミング図。 実施形態における撮像装置の動作フローチャート。 実施形態における撮像装置の動作タイミング図。 実施形態における撮像装置の動作フローチャート。
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決のために必須のものであるとは限らない。
図１は、本実施形態における撮像装置１０の外観図、図２は、その概略構成ブロック図である。コネクタ１１２は、接続ケーブルと撮像装置１０とをつなぐ。記録媒体２０は、メモリカード又はハードディスク等の記録媒体である。記録媒体スロット２０１は、記録媒体２０を格納するためのスロットである。記録媒体スロット２０１に格納された記録媒体２０は、撮像装置１０との通信が可能となる。蓋２０３は記録媒体スロット２０１の蓋である。
ＣＰＵ１１（中央処理装置）は、後述する各処理部やデータフローなどを制御する。ＲＯＭ１２には、ＣＰＵ１１の処理手順に係るプログラム（ファームウェア）及び各種情報が格納されている。表示部１３はカラー液晶表示器等で構成され、画像を表示し、グラフィックユーザインタフェースを表示するために用いる。表示部１３は、ＴＶ等の外部表示装置に映像信号を出力する端子も備えている。操作部１４はユーザからの指示を受け付ける、レリーズスイッチＳＷ１／ＳＷ２、動画記録ボタン、各種ボタン、十字キー、コントロールホイール及びダイヤルスイッチなどからなる。
ＤＲＡＭ１５は、ＣＰＵ１１のワークエリアとして使用され、画像データや表示用データ、画像伸張後のデータなどを一時記憶するバッファ機能を有する。通常は、ＤＲＡＭとの間にメモリーコントローラを介しデータの書き込みや読み出しを行うが、ここでは示していない。また、図示しないが、各処理部とＤＲＡＭ１５間には、ＣＰＵ１１とのＲｅａｄ／Ｗｒｉｔｅを介さないＤＭＡ転送を行うためのＤＭＡコントローラを備えている。
記録媒体インタフェース１６は、ＣＰＵ１１からの指示に従い、画像データの記録媒体２０への書き込み及び記録媒体２０からの読み出しを行う。記録媒体２０は、メモリカード、光ディスク又はハードディスク等のランダムアクセス可能な記録媒体からなり、撮像装置１０に着脱自在である。撮像部１７は、レンズ、絞りやシャッター、ＣＣＤセンサーやＣＭＯＳセンサー等の撮像素子からなり、被写体を撮像する。画像処理回路１８は、撮像部１７から入力された画像データに画像処理を行いＹＵＶデータを生成したり、ＹＵＶデータを任意のサイズにリサイズ、回転、色変換する。画像処理回路１８はまた、撮像部１７から入力された複数の画像データや複数のＹＵＶデータを合成して１枚の画像データやＹＵＶデータを生成することもできる。動画圧縮回路１９は、ＹＵＶデータをＨ．２６４形式等の動画像データに圧縮符号化する。静止画圧縮回路２１は、ＹＵＶデータをＪＰＥＧ形式等の静止画像データに圧縮符号化する。ＣＰＵ１１、ＲＯＭ１２、表示部１３、操作部１４、ＤＲＡＭ１５、記録媒体Ｉ／Ｆ１６、撮像部１７、画像処理回路１８、動画圧縮回路１９、静止画圧縮回路２１は、内部バス３０を介して通信する。
＜実施形態１＞
撮像装置１０は、露出条件（例えば、露光時間）を変えて連続的に撮像して得た複数の画像フレームを合成することで高ダイナミックレンジの動画（以下「ＨＤＲ動画」という。）を生成、記録することができる。また、ＨＤＲ動画の記録中に操作部１４の操作による静止画撮影指示を受け付けた場合に、ＨＤＲ動画の記録を継続しながら、露光時間を変えて連続的に撮像した複数の画像フレームを合成することで高ダイナミックレンジの静止画（以下「ＨＤＲ静止画」という。）を撮影することもできる。
図３に、撮像装置１０の動作タイミングの例を示す。撮像部１７は、交互に露出条件（例えば、露光時間）を変えて撮像する。画像処理回路１８は、繰り返し、第１の露出条件で撮像された露出オーバー動画フレーム３０１、第２の露出条件で撮像された露出アンダー動画フレーム３０２を生成する。画像処理回路１８は、１組の露出オーバー／アンダー動画フレームが得られたら、その露出オーバー／アンダー動画フレームを合成し、高ダイナミックレンジのＨＤＲ動画フレーム３０３を生成する。動画圧縮回路１９は、連続するＨＤＲ動画フレームを圧縮符号化し、ＨＤＲ動画として記録媒体２０に記録する。
さらに、ＨＤＲ動画の記録中に操作部１４の操作により静止画撮影指示３０４を受け付けた場合、画像処理回路１８は次の処理を行う。すなわち、画像処理回路１８は、動画フレームを生成しながら、静止画撮影指示３０４から一番近い１組の露出オーバー静止画フレーム３０５、露出アンダー静止画フレーム３０６を生成する。１組の露出オーバー／アンダー静止画フレームが得られたら、画像処理回路１８はその露出オーバー／アンダー静止画フレームを合成し、ダイナミックレンジを拡大したＨＤＲ静止画フレーム３０７を生成する。動画圧縮回路１９は、ＨＤＲ静止画フレーム圧縮符号化し、ＨＤＲ静止画として記録媒体２０に記録する。
図４に、撮像装置１０の動作フローチャートを示す。ＣＰＵ１１が、図４に示す動作を実現するように各部を制御する。すなわち、ＣＰＵ１１は、ＨＤＲ動画フレームの生成及び記録を行う第１の記録制御手段、並びに、ＨＤＲ静止画フレームの生成及び記録を行う第２の記録制御手段として機能する。操作部１４の動画記録ボタン押下によりＨＤＲ動画記録開始指示がなされると、図４に示すフローがスタートする。Ｓ１０１で、ＣＰＵ１１は、ＨＤＲ動画記録の処理中に、受付手段としての操作部１４のレリーズスイッチＳＷ２の操作により、ユーザから静止画撮影指示がなされたかどうかを判定する。静止画撮影指示がなされていないと判定された場合、処理はそのままＳ１０３に進む。静止画撮影指示がなされたと判定された場合、Ｓ１０２で、ＣＰＵ１１は、静止画処理フラグをＴＲＵＥ（例えば、１）に設定し、ＤＲＡＭ１５に記憶する。静止画処理フラグは後続のフローにおいて静止画処理を行うかどうかの判定として使用される。Ｓ１０３で、ＣＰＵ１１は、撮像部１７において適正露出より露出オーバーの画像を撮影する。Ｓ１０４で、ＣＰＵ１１は、Ｓ１０３において撮影された露出オーバーの画像に対して画像処理回路１８を用いてＹＵＶデータへの変換処理、動画記録サイズへのリサイズ処理等を行い、露出オーバー動画フレームを生成しＤＲＡＭ１５に記憶する。
Ｓ１０５で、ＣＰＵ１１は、ＤＲＡＭ１５に記憶されている静止画処理フラグがＴＲＵＥに設定されているかどうかを判定する。静止画処理フラグがＴＲＵＥに設定されていないと判定された場合、処理はＳ１０７に進む。静止画処理フラグがＴＲＵＥに設定されていると判定された場合、処理はＳ１０６に進む。Ｓ１０６では、ＣＰＵ１１は、Ｓ１０３において撮影された露出オーバーの画像に対して画像処理回路１８を用いてＹＵＶデータへの変換処理等を行い、露出オーバー静止画フレームを生成しＤＲＡＭ１５に記憶する。
Ｓ１０７で、ＣＰＵ１１は、撮像部１７において適正露出より露出アンダーの画像を撮影する。Ｓ１０８で、ＣＰＵ１１は、Ｓ１０７で撮影された露出アンダーの画像に対して画像処理回路１８を用いてＹＵＶデータへの変換処理、動画記録サイズへのリサイズ処理等を行い、露出アンダー動画フレームを生成しＤＲＡＭ１５に記憶する。
Ｓ１０９で、ＣＰＵ１１は、ＤＲＡＭ１５に記憶されている静止画処理フラグがＴＲＵＥに設定されているかどうかを判定する。静止画処理フラグがＴＲＵＥに設定されていないと判定された場合、処理はＳ１１１に進む。静止画処理フラグがＴＲＵＥに設定されていると判定された場合、処理はＳ１１０に進む。Ｓ１１０では、ＣＰＵ１１は、Ｓ１０７で撮影された露出アンダーの画像に対して画像処理回路１８を用いてＹＵＶデータへの変換処理等を行い、露出アンダー静止画フレームを生成しＤＲＡＭ１５に記憶する。
Ｓ１１１で、ＣＰＵ１１は、Ｓ１０４、Ｓ１０８においてＤＲＡＭ１５に記憶された露出オーバー動画フレーム及び露出アンダー動画フレームを読み出し、画像処理回路１８を用いて合成処理を行い高ダイナミックレンジのＨＤＲ動画フレームを生成する。Ｓ１１２で、ＣＰＵ１１は、動画圧縮回路１９を用いて、Ｓ１１１で生成したＨＤＲ動画フレームをＨ．２６４形式等の動画像データに圧縮符号化する。Ｓ１１３で、ＣＰＵ１１は、Ｓ１１２で圧縮符号化された動画像データを、記録媒体インタフェース１６を介して記録媒体２０に記録する。Ｓ１１４で、ＣＰＵ１１は、画像処理回路１８を用いて、Ｓ１１１で生成したＨＤＲ動画フレームに対して表示サイズへのリサイズ処理等を行い、電子ファインダー表示用データを生成する。Ｓ１１５で、ＣＰＵ１１は、Ｓ１１４で生成した表示用データを表示部１３に表示させる。すなわち、表示部１３のライブビュー表示画像が更新される。
Ｓ１１６で、ＣＰＵ１１は、ＤＲＡＭ１５に記憶されている静止画処理フラグがＴＲＵＥに設定されているかどうかを判定する。静止画処理フラグがＴＲＵＥに設定されていないと判定された場合、処理はＳ１２１に進む。静止画処理フラグがＴＲＵＥに設定されていると判定された場合、処理はＳ１１７に進む。Ｓ１１７では、ＣＰＵ１１は、Ｓ１０６、Ｓ１１０でＤＲＡＭ１５に記憶された露出オーバー静止画フレーム及び露出アンダー静止画フレームを読み出し、画像処理回路１８を用いて合成処理を行い高ダイナミックレンジのＨＤＲ静止画フレームを生成する。Ｓ１１８で、ＣＰＵ１１は、静止画圧縮回路２１を用いて、Ｓ１１７で生成したＨＤＲ静止画フレームをＪＰＥＧ形式の静止画像データに圧縮符号化する。Ｓ１１９で、ＣＰＵ１１は、Ｓ１１８で圧縮符号化された静止画像データを、記録媒体インタフェース１６を介して記録媒体２０に記録する。Ｓ１２０で、ＣＰＵ１１は、Ｓ１０１での静止画撮影指示に応じた一連の静止画処理が終了したため、静止画処理フラグをＦＡＬＳＥ（例えば、０）に設定し、ＤＲＡＭ１５に記憶する。
Ｓ１２１で、ＣＰＵ１１は、操作部１４の動画記録ボタンの操作により、動画記録停止指示がなされたかどうかを判定する。動画記録停止指示がなされてないと判定された場合、ＣＰＵ１１は、Ｓ１０１に戻り、次の動画フレームの処理を続ける。動画記録停止指示がなされたと判定された場合、ＣＰＵ１１は、ＨＤＲ動画記録を終了する。
以上の処理をまとめる。本実施形態では、第１の記録制御手段としてのＣＰＵ１１は、露出条件の異なる複数の動画フレームを生成し合成することで高ダイナミックレンジのＨＤＲ動画フレームを生成し、ＨＤＲ動画として記録媒体に記録する処理を行う。撮像装置１０は、このＨＤＲ動画処理の最中に、静止画撮影指示を受け付け可能である。第２の記録制御手段としてのＣＰＵ１１は、静止画撮影指示を受け付けたことに応じて、ＨＤＲ動画の処理中に、ＨＤＲ静止画フレームを生成し、ＨＤＲ静止画として記録媒体に記録する。 本実施形態では、ＣＰＵ１１は、第１の露出条件で撮像されたフレームと、それに続く、第２の露出条件で撮像されたフレームとを含む複数のフレームから、複数の動画フレームを生成する。また、ＣＰＵ１１は、静止画撮影指示を受け付けた後、最初に得られる第１の露出条件で撮像されたフレームと、それに続く、第２の露出条件で撮像されたフレームとを含む複数のフレームから、複数の静止画フレームを生成する。こうして、ＨＤＲ動画記録中に静止画撮影指示を受け付けた場合、ＨＤＲ動画記録を継続しながら、ＨＤＲ動画フレームを生成するのに使用したのと同一の組の露出オーバー／アンダー画像から生成したＨＤＲ静止画を記録することができる。
また、本実施形態では、露出オーバー／アンダー画像をＹＵＶデータへ変換した後で合成してＨＤＲ画像を生成する例で説明したが、撮像部から出力された生データ形式の露出オーバー／アンダー画像を合成してからＹＵＶデータへ変換するようにしてもよい。
また、本実施形態では、露出オーバー／アンダーの２枚の画像を合成してＨＤＲ画像を生成する例で説明したが、露出オーバー／適正／アンダーの３枚の画像を合成して生成するなど合成枚数を増やしてもよい。
＜実施形態２＞
撮像装置１０は、露光時間を変えて連続的に撮像した複数の画像を合成しＨＤＲ動画を生成、記録することができる。また、ＨＤＲ動画の記録中に操作部１４の操作による静止画撮影指示を受け付け、ＨＤＲ動画記録を継続しながらＨＤＲ静止画を撮影することもでき、その際の撮影タイムラグを短くすることができる。
図５に、撮像装置１０の動作タイミングの例を示す。撮像部１７は、交互に露光時間を変えて撮像し、画像処理回路１８は、繰り返し露出オーバー動画フレーム４０１、露出アンダー動画フレーム４０２を生成する。画像処理回路１８は、１組の露出オーバー／アンダー動画フレームが得られたら、その露出オーバー／アンダー動画フレームを合成し、ダイナミックレンジを拡大したＨＤＲ動画フレーム４０３を生成する。動画圧縮回路１９は、連続するＨＤＲ動画フレームを圧縮符号化し、ＨＤＲ動画として記録媒体２０に記録する。
さらに、ＨＤＲ動画の記録中に操作部１４の操作により静止画撮影指示４０４を受け付けた場合、画像処理回路１８は、次の処理を行う。すなわち、画像処理回路１８は、動画フレームを生成しながら、静止画撮影指示４０４を受け付けた次のフレームから露出アンダー静止画フレーム４０５または露出オーバー静止画フレーム４０６を生成する。画像処理回路１８は、さらに次のフレームから露出オーバー静止画フレーム４０６または露出アンダー静止画フレーム４０５を生成する。１組の露出オーバー／アンダー静止画フレームが得られたら、画像処理回路１８は、その露出オーバー／アンダー静止画フレームを合成し、ダイナミックレンジを拡大したＨＤＲ静止画フレーム４０７を生成する。ＨＤＲ静止画フレームは静止画圧縮回路２１により圧縮符号化し、ＨＤＲ静止画として記録媒体２０に記録する。
このように、静止画撮影指示を受け付けたフレームの次とその次のフレームを合成してＨＤＲ静止画フレームを生成して記録する。こうすることで、ＨＤＲ動画フレームを生成するのに使用したのと同一の組にならないことがある代わりに撮影タイムラグを短くすることができる。
図６に、撮像装置１０の動作フローチャートを示す。ＣＰＵ１１が、図６に示す動作を実現するように各部を制御する。操作部１４の動画記録ボタン押下によりＨＤＲ動画記録開始指示がなされると、図６に示すフローがスタートする。Ｓ２０１で、ＣＰＵ１１は、次のフレームの露出設定をオーバー露出設定に設定し、ＤＲＡＭ１５に記憶する。露出設定は後続のフローにおいて露出オーバー画像を撮影するか露出アンダー画像を撮影するかを判定するために使用される。Ｓ２０２で、ＣＰＵ１１は、操作部１４のレリーズスイッチＳＷ２の操作により、ユーザから静止画撮影指示がなされたかどうかを判定する。静止画撮影指示がなされていないと判定された場合、処理はＳ２０４に進む。静止画撮影指示がなされたと判定された場合、Ｓ２０３で、ＣＰＵ１１は、静止画処理フラグをＴＲＵＥ（例えば、１）に設定し、ＤＲＡＭ１５に記憶する。静止画処理フラグは後続のフローにおいて静止画処理を行うかどうかの判定として使用される。
Ｓ２０４で、ＣＰＵ１１は、ＤＲＡＭ１５に記憶されている露出設定がオーバー露出に設定されているかアンダー露出に設定されているかを判定する。露出設定がオーバー露出に設定されていると判定された場合、処理はＳ２０５に進み、露出設定がアンダー露出に設定されていると判定された場合、処理はＳ２１０に進む。Ｓ２０５では、ＣＰＵ１１は、撮像部１７において適正露出より露出オーバーの画像を撮影する。Ｓ２０６で、ＣＰＵ１１は、Ｓ２０５で撮影された露出オーバーの画像に対して画像処理回路１８を用いてＹＵＶデータへの変換処理、動画記録サイズへのリサイズ処理等を行い、露出オーバー動画フレームを生成しＤＲＡＭ１５に記憶する。Ｓ２０７で、ＣＰＵ１１は、ＤＲＡＭ１５に記憶されている静止画処理フラグがＴＲＵＥに設定されているかどうかを判定する。静止画処理フラグがＴＲＵＥに設定されていないと判定された場合、処理はＳ２０９に進む。静止画処理フラグがＴＲＵＥに設定されていると判定された場合、処理はＳ２０８に進む。Ｓ２０８では、ＣＰＵ１１は、Ｓ２０５で撮影された露出オーバーの画像に対して画像処理回路１８を用いてＹＵＶデータへの変換処理等を行い、露出オーバー静止画フレームを生成しＤＲＡＭ１５に記憶する。Ｓ２０９で、ＣＰＵ１１は、次のフレームの露出設定をアンダー露出設定に設定し、ＤＲＡＭ１５に記憶する。その後、処理はＳ２１５に進む。
Ｓ２１０では、ＣＰＵ１１は、撮像部１７において適正露出より露出アンダーの画像を撮影する。Ｓ２１１で、ＣＰＵ１１は、Ｓ２１０において撮影された露出アンダーの画像に対して画像処理回路１８を用いてＹＵＶデータへの変換処理、動画記録サイズへのリサイズ処理等を行い、露出アンダー動画フレームを生成しＤＲＡＭ１５に記憶する。Ｓ２１２で、ＣＰＵ１１は、ＤＲＡＭ１５に記憶されている静止画処理フラグがＴＲＵＥに設定されているかどうかを判定する。静止画処理フラグがＴＲＵＥに設定されていないと判定された場合、処理はＳ２１４に進む。静止画処理フラグがＴＲＵＥに設定されていると判定された場合、処理はＳ２１３に進む。Ｓ２１３では、ＣＰＵ１１は、Ｓ２１０で撮影された露出アンダーの画像に対して画像処理回路１８を用いてＹＵＶデータへの変換処理等を行い、露出アンダー静止画フレームを生成しＤＲＡＭ１５に記憶する。Ｓ２１４で、ＣＰＵ１１は、次のフレームの露出設定をオーバー露出設定に設定し、ＤＲＡＭ１５に記憶する。その後、処理はＳ２１５に進む。
Ｓ２１５では、ＣＰＵ１１は、Ｓ２０６、Ｓ２１１で露出オーバー及び露出アンダー動画フレームがＤＲＡＭ１５に記憶され１組の露出オーバー及び露出アンダー動画フレームが揃っているかどうかを判定する。１組の露出オーバー及び露出アンダー動画フレームが揃っていないと判定された場合、処理はＳ２２１に進む。１組の露出オーバー及び露出アンダー動画フレームが揃っていると判定された場合、処理はＳ２１６に進む。
Ｓ２１６では、ＣＰＵ１１は、Ｓ２０６、Ｓ２１１においてＤＲＡＭ１５に記憶された１組の露出オーバー及び露出アンダー動画フレームを読み出して、画像処理回路１８を用いて合成処理を行いダイナミックレンジを拡大したＨＤＲ動画フレームを生成する。Ｓ２１７で、ＣＰＵ１１は、動画圧縮回路１９を用いて、Ｓ２１６で生成したＨＤＲ動画フレームをＨ．２６４形式等の動画像データに圧縮符号化する。Ｓ２１８で、ＣＰＵ１１は、Ｓ２１７で圧縮符号化された動画像データを、記録媒体インタフェース１６を介して記録媒体２０に記録する。Ｓ２１９で、ＣＰＵ１１は、画像処理回路１８を用いて、Ｓ２１６で生成したＨＤＲ動画フレームに対して表示サイズへのリサイズ処理等を行い、電子ファインダー表示用データを生成する。Ｓ２２０で、ＣＰＵ１１は、Ｓ２１９で生成した表示用データを表示部１３に表示させる。すなわち、表示部１３のライブビュー表示画像が更新される。
Ｓ２２１で、ＣＰＵ１１は、ＤＲＡＭ１５に記憶されている静止画処理フラグがＴＲＵＥに設定されているかどうかを判定する。静止画処理フラグがＴＲＵＥに設定されていないと判定された場合、処理はＳ２２７に進む。静止画処理フラグがＴＲＵＥに設定されていると判定された場合、処理はＳ２２２に進む。Ｓ２２２では、ＣＰＵ１１は、Ｓ２０８、Ｓ２１３において露出オーバー及び露出アンダー静止画フレームがＤＲＡＭ１５に記憶され１組の露出オーバー及び露出アンダー静止画フレームが揃っているかどうかを判定する。１組の露出オーバー及び露出アンダー静止画フレームが揃っていないと判定された場合、処理はＳ２２７に進む。１組の露出オーバー及び露出アンダー静止画フレームが揃っていると判定された場合、処理はＳ２２３に進む。
Ｓ２２３で、ＣＰＵ１１は、Ｓ２０８、Ｓ２１３においてＤＲＡＭ１５に記憶された露出オーバー及び露出アンダー静止画フレームを読み出して、画像処理回路１８を用いて合成処理を行いダイナミックレンジを拡大したＨＤＲ静止画フレームを生成する。Ｓ２２４で、ＣＰＵ１１は、静止画圧縮回路２１を用いて、Ｓ２２３で生成したＨＤＲ静止画フレームをＪＰＥＧ形式の静止画像データに圧縮符号化する。Ｓ２２５で、ＣＰＵ１１は、Ｓ２２４で圧縮符号化された静止画像データを、記録媒体インタフェース１６を介して記録媒体２０に記録する。Ｓ２２６で、ＣＰＵ１１は、Ｓ２０２での静止画撮影指示に応じた一連の静止画処理が終了したため、静止画処理フラグをＦＡＬＳＥ（例えば、０）に設定し、ＤＲＡＭ１５に記憶する。
Ｓ２２７で、ＣＰＵ１１は、操作部１４の動画記録ボタンの操作により、動画記録停止指示がなされたかどうかを判定する。動画記録停止指示がなされてないと判定された場合、ＣＰＵ１１は、Ｓ２０２に戻り、次の動画フレームの処理を続ける。動画記録停止指示がなされたと判定された場合、ＣＰＵ１１は、ＨＤＲ動画記録を終了する。
以上のように本実施形態では、ＣＰＵ１１は、第１の露出条件で撮像されたフレームと、それに続く、第２の露出条件で撮像されたフレームとを含む複数のフレームから、複数の動画フレームを生成する。また、ＣＰＵ１１は、静止画撮影指示を受け付けた直後のフレームとそれに続くフレームとを含む複数のフレームから、複数の静止画フレームを生成する。これにより、実施形態１の制御処理に比べて、ＨＤＲ静止画フレームの撮影タイムラグを短くすることができる。
また、本実施形態では、露出オーバー／アンダー画像をＹＵＶデータへ変換した後で合成してＨＤＲ画像を生成する例で説明したが、撮像部から出力された生データ形式の露出オーバー／アンダー画像を合成してからＹＵＶデータへ変換するようにしてもよい。
また、本実施形態では、露出オーバー／アンダーの２枚の画像を合成してＨＤＲ画像を生成する例で説明したが、露出オーバー／適正／アンダーの３枚の画像を合成して生成するなど合成枚数を増やしてもよい。
＜実施形態３＞
撮像装置１０は、露光時間を変えて連続的に撮像した複数の画像を合成しＨＤＲ動画を生成、記録することができる。また、ＨＤＲ動画の記録中に操作部１４の操作による静止画撮影指示を受け付け、ＨＤＲ動画記録を継続しながらＨＤＲ静止画を撮影することもでき、その際の撮影タイムラグを短くすることができる。
図７に、撮像装置１０の動作タイミングの例を示す。撮像部１７は、交互に露光時間を変えて撮像し、画像処理回路１８は、繰り返し露出オーバー動画フレーム５０１、露出アンダー動画フレーム５０２を生成する。画像処理回路１８は、１組の露出オーバー／アンダー動画フレームが得られたら、その露出オーバー／アンダー動画フレームを合成し、ダイナミックレンジを拡大したＨＤＲ動画フレーム５０３を生成する。動画圧縮回路１９は、連続するＨＤＲ動画フレームを圧縮符号化し、ＨＤＲ動画として記録媒体２０に記録する。
その際、動画フレームの生成と同時に、繰り返し露出オーバー静止画フレーム５０５、露出アンダー静止画フレーム５０６も生成し、ＤＲＡＭ１５のバッファに記憶する。このときＤＲＡＭ１５には合成処理に最低限必要な、画像２枚分のバッファ容量を確保しておき、生成した露出オーバー静止画フレームと露出アンダー静止画フレームをそれぞれ１枚ずつ記憶できるようにしておく。露出オーバー静止画フレーム又は露出アンダー静止画フレームが新たに生成されると、それまで記憶されていた露出オーバー静止画フレーム又は露出アンダー静止画フレームは上書きされることになる。
さらに、ＨＤＲ動画の記録中に操作部１４の操作により静止画撮影指示５０４を受け付けた場合、画像処理回路１８は次の処理を行う。すなわち、画像処理回路１８は、静止画撮影指示を受け付けたフレームの露出オーバー静止画フレーム又は露出アンダー静止画フレームが生成され１組の静止画フレームが得られるのを待つ。１組の露出オーバー／アンダー静止画フレームが得られたら、画像処理回路１８は、１組の露出オーバー／アンダー静止画フレームを合成し、ダイナミックレンジを拡大したＨＤＲ静止画フレーム５０７を生成する。静止画圧縮回路２１は、ＨＤＲ静止画フレームを圧縮符号化し、ＨＤＲ静止画として記録媒体２０に記録する。
このように、動画フレーム生成と同時に静止画フレームも繰り返し生成しバッファに記憶するようにすることで静止画撮影指示を受け付けたフレームとバッファに記憶されているひとつ前のフレームを合成してＨＤＲ静止画フレームを生成して記録できる。こうすることで、常に静止画フレームも生成するために処理負荷や消費電力の増加するものの撮影タイムラグを短くすることができる。
図８に、撮像装置１０の動作フローチャートを示す。ＣＰＵ１１が、図８に示す動作を実現するように各部を制御する。操作部１４の動画記録ボタン押下によりＨＤＲ動画記録開始指示がなされると、図８に示すフローがスタートする。Ｓ３０１で、ＣＰＵ１１は、次のフレームの露出設定をオーバー露出設定に設定し、ＤＲＡＭ１５に記憶する。露出設定は後続のフローにおいて露出オーバー画像を撮影するか露出アンダー画像を撮影するかを判定するために使用される。Ｓ３０２で、ＣＰＵ１１は、操作部１４のレリーズスイッチＳＷ２の操作により、ユーザから静止画撮影指示がなされたかどうかを判定する。静止画撮影指示がなされていないと判定された場合、処理はＳ３０４に進む。静止画撮影指示がなされたと判定された場合、Ｓ３０３で、ＣＰＵ１１は、静止画処理フラグをＴＲＵＥ（例えば、１）に設定し、ＤＲＡＭ１５に記憶する。静止画処理フラグは後続のフローにおいて静止画処理を行うかどうかの判定として使用される。Ｓ３０４で、ＣＰＵ１１は、ＤＲＡＭ１５に記憶されている露出設定がオーバー露出に設定されているかアンダー露出に設定されているかを判定する。露出設定がオーバー露出に設定されていると判定された場合、処理はＳ３０５に進み、露出設定がアンダー露出に設定されていると判定された場合、処理はＳ３０９に進む。Ｓ３０５では、ＣＰＵ１１は、撮像部１７において適正露出より露出オーバーの画像を撮影する。Ｓ３０６で、ＣＰＵ１１は、Ｓ３０５で撮影された露出オーバーの画像に対して画像処理回路１８を用いてＹＵＶデータへの変換処理、動画記録サイズへのリサイズ処理等を行い、露出オーバー動画フレームを生成しＤＲＡＭ１５に記憶する。Ｓ３０７で、ＣＰＵ１１は、Ｓ３０５で撮影された露出オーバーの画像に対して画像処理回路１８を用いてＹＵＶデータへの変換処理等を行い、露出オーバー静止画フレームを生成しＤＲＡＭ１５のバッファに記憶する。Ｓ３０８で、ＣＰＵ１１は、次のフレームの露出設定をアンダー露出設定に設定し、ＤＲＡＭ１５に記憶する。その後、処理はＳ３１３に進む。
Ｓ３０９では、ＣＰＵ１１は、撮像部１７において適正露出より露出アンダーの画像を撮影する。Ｓ３１０で、ＣＰＵ１１は、Ｓ３０９で撮影された露出アンダーの画像に対して画像処理回路１８を用いてＹＵＶデータへの変換処理、動画記録サイズへのリサイズ処理等を行い、露出アンダー動画フレームを生成しＤＲＡＭ１５に記憶する。Ｓ３１１で、ＣＰＵ１１は、Ｓ３０９で撮影された露出アンダーの画像に対して画像処理回路１８を用いてＹＵＶデータへの変換処理等を行い、露出アンダー静止画フレームを生成しＤＲＡＭ１５のバッファに記憶する。Ｓ３１２で、ＣＰＵ１１は、次のフレームの露出設定をオーバー露出設定に設定し、ＤＲＡＭ１５に記憶する。その後、処理はＳ３１３に進む。
Ｓ３１３では、ＣＰＵ１１は、ステップＳ３０６、Ｓ３１０で露出オーバー及び露出アンダー動画フレームがＤＲＡＭ１５に記憶され１組の露出オーバー及び露出アンダー動画フレームが揃っているかどうかを判定する。１組の露出オーバー及び露出アンダー動画フレームが揃っていないと判定された場合、処理はＳ３１９に進む。１組の露出オーバー及び露出アンダー動画フレームが揃っていると判定された場合、処理はＳ３１４に進む。Ｓ３１４では、ＣＰＵ１１は、Ｓ３０６、Ｓ３１０においてＤＲＡＭ１５に記憶された１組の露出オーバー及び露出アンダー動画フレームを読み出して、画像処理回路１８を用いて合成処理を行いダイナミックレンジを拡大したＨＤＲ動画フレームを生成する。Ｓ３１５で、ＣＰＵ１１は、動画圧縮回路１９を用いて、Ｓ３１４で生成したＨＤＲ動画フレームをＨ．２６４形式等の動画像データに圧縮符号化する。Ｓ３１６で、ＣＰＵ１１は、ステップＳ３１５で圧縮符号化された動画像データを、記録媒体インタフェース１６を介して記録媒体２０に記録する。Ｓ３１７で、ＣＰＵ１１は、画像処理回路１８を用いて、Ｓ３１５で生成したＨＤＲ動画フレームに対して表示サイズへのリサイズ処理等を行い、電子ファインダー表示用データを生成する。Ｓ３１８で、ＣＰＵ１１は、Ｓ３１７で生成した表示用データを表示部１３に表示させる。すなわち、表示部１３のライブビュー表示画像が更新される。
Ｓ３１９で、ＣＰＵ１１は、ＤＲＡＭ１５に記憶されている静止画処理フラグがＴＲＵＥに設定されているかどうかを判定する。静止画処理フラグがＴＲＵＥに設定されていないと判定された場合、処理はＳ３２４に進む。静止画処理フラグがＴＲＵＥに設定されていると判定された場合、処理はＳ３２０に進む。Ｓ３２０では、ＣＰＵ１１は、Ｓ３０７、Ｓ３１１においてＤＲＡＭ１５のバッファに記憶された露出オーバー及び露出アンダー静止画フレームを読み出し、画像処理回路１８を用いて合成処理を行い高ダイナミックレンジのＨＤＲ静止画フレームを生成する。その際、静止画撮影指示を受けたフレームとバッファに記憶されているひとつ前のフレームを合成に使用する。Ｓ３２１で、ＣＰＵ１１は、静止画圧縮回路２１を用いて、Ｓ３２０で生成したＨＤＲ静止画フレームをＪＰＥＧ形式の静止画像データに圧縮符号化する。Ｓ３２２で、ＣＰＵ１１は、Ｓ３２１で圧縮符号化された静止画像データを、記録媒体インタフェース１６を介して記録媒体２０に記録する。Ｓ３２３で、ＣＰＵ１１は、ステップＳ３０２での静止画撮影指示に応じた一連の静止画処理が終了したため、静止画処理フラグをＦＡＬＳＥ（例えば、０）に設定し、ＤＲＡＭ１５に記憶する。
Ｓ３２４で、ＣＰＵ１１は、操作部１４の動画記録ボタンの操作により、動画記録停止指示がなされたかどうかを判定する。動画記録停止指示がなされてないと判定された場合、ＣＰＵ１１は、Ｓ３０２に戻り、次の動画フレームの処理を続ける。動画記録停止指示がなされたと判定された場合、ＣＰＵ１１は、ＨＤＲ動画記録を終了する。
以上のように本実施形態では、ＣＰＵ１１は、複数の動画フレームが生成される都度、対応する複数の静止画フレームを生成する。バッファ手段はこの生成された複数の静止画フレームを一時的に記憶する。ＣＰＵ１１はまた、静止画撮影指示を受け付けた場合、現フレームで生成される静止画フレームと、バッファから読み出した直前のフレームの静止画フレームとを使用する。これにより、処理負荷や消費電力は増加するものの、その際の撮影タイムラグを短くすることができる。
また、本実施形態では、露出オーバー／アンダー画像をＹＵＶデータへ変換した後で合成してＨＤＲ画像を生成する例で説明したが、撮像部から出力された生データ形式の露出オーバー／アンダー画像を合成してからＹＵＶデータへ変換するようにしてもよい。
また、本実施形態では、露出オーバー／アンダーの２枚の画像を合成してＨＤＲ画像を生成する例で説明したが、露出オーバー／適正／アンダーの３枚の画像を合成して生成するなど合成枚数を増やしてもよい。
＜実施形態４＞
撮像装置１０は、露光時間を変えて連続的に撮像した複数の画像を合成しＨＤＲ動画を生成、記録することができる。また、ＨＤＲ動画の記録中に操作部１４の操作による静止画撮影指示を受け付け、ＨＤＲ動画記録を継続しながらＨＤＲ静止画を撮影することもでき、その際の撮影タイムラグをなくすことができる。
図９に、撮像装置１０の動作タイミングの例を示す。撮像部１７は、交互に露光時間を変えて撮像し、画像処理回路１８は、繰り返し露出オーバー動画フレーム６０１、露出アンダー動画フレーム６０２を生成する。画像処理回路１８は、１組の露出オーバー／アンダー動画フレームが得られたら、その露出オーバー／アンダー動画フレームを合成し、ダイナミックレンジを拡大したＨＤＲ動画フレーム６０３を生成する。動画圧縮回路１９は、連続するＨＤＲ動画フレームを圧縮符号化し、ＨＤＲ動画として記録媒体２０に記録する。その際、動画フレームの生成と同時に、繰り返し露出オーバー静止画フレーム６０５、露出アンダー静止画フレーム６０６も生成し、ＤＲＡＭ１５のバッファに記憶する。このときＤＲＡＭ１５には静止画撮影指示があった際に表示部１３に表示しているＨＤＲ合成画像を生成するのに使用した１組の露出オーバー／アンダー静止画フレームまでを記憶しておけるだけのバッファ領域を確保しておく。表示部１３のファインダー表示が更新されたら、表示しているＨＤＲ合成画像を生成するのに使用した１組の露出オーバー／アンダー静止画フレームは不要となるため、新たに生成される露出オーバー／アンダー静止画フレームで上書きしてよい。
さらに、ＨＤＲ動画の記録中に操作部１４の操作により静止画撮影指示６０４を受け付けた場合、画像処理回路１８は、１組の露出オーバー／アンダー静止画フレームを合成し、ダイナミックレンジを拡大したＨＤＲ静止画フレーム６０７を生成する。その時、合成にはバッファに記憶されている、表示部１３に表示しているＨＤＲ合成画像を生成するのに使用した１組の露出オーバー／アンダー静止画フレームを使用する。静止画圧縮回路２１は、ＨＤＲ静止画フレームを圧縮符号化し、ＨＤＲ静止画として記録媒体２０に記録する。
このように、動画フレーム生成と同時に静止画フレームも繰り返し生成しバッファに記憶する。こうすることで、静止画撮影指示を受けた際に表示されているＨＤＲ合成画像を生成したのと同じ１組の露出オーバー／アンダー静止画フレームを合成してＨＤＲ静止画フレームを生成して記録できる。これにより、常に静止画フレームも生成するために処理負荷や消費電力は増加するものの、表示中のＨＤＲ合成画像を生成するのに使用したのと同じフレームまで記憶しておくために必要なバッファ容量も多くなるものの撮影タイムラグをなくすことができる。
図１０に、撮像装置１０の動作フローチャートを示す。ＣＰＵ１１が、図１０に示す動作を実現するように各部を制御する。操作部１４の動画記録ボタン押下によりＨＤＲ動画記録開始指示がなされると、図１０に示すフローがスタートする。Ｓ４０１で、ＣＰＵ１１は、次のフレームの露出設定をオーバー露出設定に設定し、ＤＲＡＭ１５に記憶する。露出設定は後続のフローにおいて露出オーバー画像を撮影するか露出アンダー画像を撮影するかを判定するために使用される。Ｓ４０２で、ＣＰＵ１１は、ＤＲＡＭ１５に記憶されている露出設定がオーバー露出に設定されているかアンダー露出に設定されているかを判定する。露出設定がオーバー露出に設定されていると判定された場合、処理はＳ４０３に進み、露出設定がアンダー露出に設定されていると判定された場合、処理はＳ４０７に進む。Ｓ４０３では、ＣＰＵ１１は、撮像部１７において適正露出より露出オーバーの画像を撮影する。Ｓ４０４で、ＣＰＵ１１は、Ｓ４０３で撮影された露出オーバーの画像に対して画像処理回路１８を用いてＹＵＶデータへの変換処理、動画記録サイズへのリサイズ処理等を行い、露出オーバー動画フレームを生成しＤＲＡＭ１５に記憶する。Ｓ４０５で、ＣＰＵ１１は、Ｓ４０３で撮影された露出オーバーの画像に対して画像処理回路１８を用いてＹＵＶデータへの変換処理等を行い、露出オーバー静止画フレームを生成しＤＲＡＭ１５のバッファに記憶する。Ｓ４０６で、ＣＰＵ１１は、次のフレームの露出設定をアンダー露出設定に設定し、ＤＲＡＭ１５に記憶する。その後、処理はＳ４１１に進む。
Ｓ４０７では、ＣＰＵ１１は、撮像部１７において適正露出より露出アンダーの画像を撮影する。Ｓ４０８で、ＣＰＵ１１は、Ｓ４０７で撮影された露出アンダーの画像に対して画像処理回路１８を用いてＹＵＶデータへの変換処理、動画記録サイズへのリサイズ処理等を行い、露出アンダー動画フレームを生成しＤＲＡＭ１５に記憶する。Ｓ４０９で、ＣＰＵ１１は、Ｓ４０７で撮影された露出アンダーの画像に対して画像処理回路１８を用いてＹＵＶデータへの変換処理等を行い、露出アンダー静止画フレームを生成しＤＲＡＭ１５のバッファに記憶する。Ｓ４１０で、ＣＰＵ１１は、次のフレームの露出設定をオーバー露出設定に設定し、ＤＲＡＭ１５に記憶する。その後、処理はＳ４１１に進む。
Ｓ４１１では、ＣＰＵ１１は、Ｓ４０４、Ｓ４０８において露出オーバー及び露出アンダー動画フレームがＤＲＡＭ１５に記憶され１組の露出オーバー及び露出アンダー動画フレームが揃っているかどうかを判定する。１組の露出オーバー及び露出アンダー動画フレームが揃っていないと判定された場合、処理はＳ４１７に進む。１組の露出オーバー及び露出アンダー動画フレームが揃っていると判定された場合、処理はＳ４１２に進む。Ｓ４１２では、ＣＰＵ１１は、Ｓ４０４、Ｓ４０８においてＤＲＡＭ１５に記憶された１組の露出オーバー及び露出アンダー動画フレームを読み出して、画像処理回路１８を用いて合成処理を行いダイナミックレンジを拡大したＨＤＲ動画フレームを生成する。Ｓ４１３で、ＣＰＵ１１は、動画圧縮回路１９を用いて、Ｓ４１２で生成したＨＤＲ動画フレームをＨ．２６４形式等の動画像データに圧縮符号化する。Ｓ４１４で、ＣＰＵ１１は、ステップＳ４１３で圧縮符号化された動画像データを、記録媒体インタフェース１６を介して記録媒体２０に記録する。Ｓ４１５で、ＣＰＵ１１は、画像処理回路１８を用いて、Ｓ４１２で生成したＨＤＲ動画フレームに対して表示サイズへのリサイズ処理等を行い、電子ファインダー表示用データを生成する。Ｓ４１６で、ＣＰＵ１１は、Ｓ４１７で生成した表示用データを表示部１３に表示させる。すなわち、表示部１３のライブビュー表示画像が更新される。
Ｓ４１７では、ＣＰＵ１１は、操作部１４のレリーズスイッチＳＷ２の操作により、ユーザから静止画撮影指示がなされたかどうかを判定する。静止画撮影指示がなされていないと判定された場合、処理はＳ４２１に進む。静止画撮影指示がなされたと判定された場合、処理はＳ４１８に進む。Ｓ４１８では、ＣＰＵ１１は、Ｓ４０５、Ｓ４０９においてＤＲＡＭ１５のバッファに記憶された露出オーバー及び露出アンダー静止画フレームを読み出し、画像処理回路１８を用いて合成処理を行い高ダイナミックレンジのＨＤＲ静止画フレームを生成する。その際、静止画撮影指示を受けた時に表示部１３に表示しているＨＤＲ合成画像を生成するのに使用したのと同一の１組の露出オーバー／アンダー静止画フレームを使用する。Ｓ４１９で、ＣＰＵ１１は、静止画圧縮回路２１を用いて、Ｓ４１８で生成したＨＤＲ静止画フレームをＪＰＥＧ形式の静止画像データに圧縮符号化する。Ｓ４２０で、ＣＰＵ１１は、Ｓ４１９で圧縮符号化された静止画像データを、記録媒体インタフェース１６を介して記録媒体２０に記録する。
Ｓ４２１では、ＣＰＵ１１は、操作部１４の動画記録ボタンの操作により、動画記録停止指示がなされたかどうかを判定する。動画記録停止指示がなされてないと判定された場合、ＣＰＵ１１は、Ｓ４０２に戻り、次の動画フレームの処理を続ける。動画記録停止指示がなされたと判定された場合、ＣＰＵ１１は、ＨＤＲ動画記録を終了する。
以上のように、本実施形態では、静止画撮影指示を受け付けた時点で表示部に表示されているＨＤＲ動画の基になった複数の動画フレームに対応する複数の静止画フレームをバッファから読み出して合成することでＨＤＲ静止画フレームが生成される。こうして、静止画撮影指示を受けた時に表示部１３に表示しているＨＤＲ合成画像を生成するのに使用したのと同一の１組の露出オーバー／アンダー静止画フレームを合成してＨＤＲ静止画フレームを生成して記録できる。これにより、ＨＤＲ動画記録中に静止画撮影指示を受け付けた場合、ＨＤＲ動画記録を継続しながら、ＨＤＲ静止画を記録でき、処理負荷や消費電力が増加するとともに、必要なバッファ容量も多くなる代わりにその際の撮影タイムラグをなくすことができる。
また、本実施形態では、露出オーバー／アンダー画像をＹＵＶデータへ変換した後で合成してＨＤＲ画像を生成する例で説明したが、撮像部から出力された生データ形式の露出オーバー／アンダー画像を合成してからＹＵＶデータへ変換するようにしてもよい。
また、本実施形態では、露出オーバー／アンダーの２枚の画像を合成してＨＤＲ画像を生成する例で説明したが、露出オーバー／適正／アンダーの３枚の画像を合成して生成するなど合成枚数を増やしてもよい。
前述の実施形態１〜４ではそれぞれ、ＨＤＲ動画の生成に対してＨＤＲ静止画の生成のタイミングが異なる。それぞれ、必要なバッファ容量、演算負荷、ＨＤＲ静止画撮影指示からＨＤＲ静止画が生成されるまでのタイムラグは、トレードオフの関係にあるので、いずれかの実施形態による処理に切り替え可能としてもよい。
（他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (7)

  1. 露出条件の異なる複数の動画フレームを生成し合成することで高ダイナミックレンジのＨＤＲ動画フレームを生成し、ＨＤＲ動画として記録媒体に記録する処理を行う第１の記録制御手段と、
    前記第１の記録制御手段による処理中に静止画撮影指示を受け付ける受付手段と、
    前記受付手段が前記第１の記録制御手段による処理中に前記静止画撮影指示を受け付けたことに応じて、前記第１の記録制御手段による処理中に、露出条件の異なる複数の静止画フレームを合成することで高ダイナミックレンジのＨＤＲ静止画フレームを生成し、ＨＤＲ静止画として記録媒体に記録する第２の記録制御手段と、
    を有することを特徴とする撮像装置。
  2. 前記第１の記録制御手段は、第１の露出条件で撮像されたフレームと、それに続く、第２の露出条件で撮像されたフレームとを含む複数のフレームから、前記複数の動画フレームを生成し、
    前記第２の記録制御手段は、前記静止画撮影指示を受け付けた後、最初に得られる前記第１の露出条件で撮像されたフレームと、それに続く、前記第２の露出条件で撮像されたフレームとを含む複数のフレームから、前記複数の静止画フレームを生成する
    ことを特徴とする請求項１に記載の撮像装置。
  3. 前記第１の記録制御手段は、第１の露出条件で撮像されたフレームと、それに続く、第２の露出条件で撮像されたフレームとを含む複数のフレームから、前記複数の動画フレームを生成し、
    前記第２の記録制御手段は、前記静止画撮影指示を受け付けた直後のフレームとそれに続くフレームとを含む複数のフレームから、前記複数の静止画フレームを生成する
    ことを特徴とする請求項１に記載の撮像装置。
  4. 前記第２の記録制御手段は、前記第１の記録制御手段により複数の動画フレームが生成される都度、対応する複数の静止画フレームを生成し、
    前記生成された複数の静止画フレームを一時的に記憶するバッファ手段を更に有し、
    前記第２の記録制御手段は、前記受付手段が前記第１の記録制御手段による処理中に前記静止画撮影指示を受け付けた場合、現フレームで生成される静止画フレームと、前記バッファ手段から読み出した直前のフレームの静止画フレームとを、前記複数の静止画フレームとする
    ことを特徴とする請求項１に記載の撮像装置。
  5. 前記第１の記録制御手段により生成された前記ＨＤＲ動画を表示する表示手段を更に有し、
    前記第２の記録制御手段は、前記第１の記録制御手段により複数の動画フレームが生成される都度、対応する複数の静止画フレームを生成し、
    前記生成された複数の静止画フレームを一時的に記憶するバッファ手段を更に有し、
    前記第２の記録制御手段は、前記受付手段が前記第１の記録制御手段による処理中に静止画撮影指示を受け付けた時点で前記表示手段に表示されているＨＤＲ動画の基になった複数の動画フレームに対応する複数の静止画フレームを前記バッファ手段から読み出して合成することで前記ＨＤＲ静止画フレームを生成する
    ことを特徴とする請求項１に記載の撮像装置。
  6. 撮像装置の制御方法であって、
    第１の記録制御手段が、露出条件の異なる複数の動画フレームを生成し合成することで高ダイナミックレンジのＨＤＲ動画フレームを生成し、ＨＤＲ動画として記録媒体に記録する処理を行うステップと、
    受付手段が、前記第１の記録制御手段による処理中に静止画撮影指示を受け付けるステップと、
    第２の記録制御手段が、前記第１の記録制御手段による処理中に前記静止画撮影指示が受け付けられたことに応じて、前記第１の記録制御手段による処理中に、露出条件の異なる複数の静止画フレームを合成することで高ダイナミックレンジのＨＤＲ静止画フレームを生成し、ＨＤＲ静止画として記録媒体に記録するステップと、
    を有することを特徴とする撮像装置の制御方法。
  7. コンピュータに、請求項６に記載の撮像装置の制御方法の各ステップを実行させるためのプログラム。
JP2013189847A 2013-09-12 2013-09-12 撮像装置及びその制御方法 Active JP6306845B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2013189847A JP6306845B2 (ja) 2013-09-12 2013-09-12 撮像装置及びその制御方法
US15/021,249 US10082723B2 (en) 2013-09-12 2014-09-10 Image capturing apparatus for generating a high dynamic range video frame from multiple image frames with different characteristics
PCT/JP2014/074609 WO2015037742A1 (en) 2013-09-12 2014-09-10 Image capturing apparatus and method of controlling the same
KR1020167009184A KR101771408B1 (ko) 2013-09-12 2014-09-10 촬상 장치 및 그 제어 방법
RU2016113690A RU2642109C2 (ru) 2013-09-12 2014-09-10 Устройство захвата изображения и способ управления им
BR112016002540A BR112016002540A2 (pt) 2013-09-12 2014-09-10 “aparelho de captura de imagem e método para controlar o mesmo”
CN201480050201.0A CN105531990B (zh) 2013-09-12 2014-09-10 摄像设备及其控制方法
EP14844407.8A EP3044949A4 (en) 2013-09-12 2014-09-10 Image capturing apparatus and method of controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013189847A JP6306845B2 (ja) 2013-09-12 2013-09-12 撮像装置及びその制御方法

Publications (2)

Publication Number Publication Date
JP2015056807A true JP2015056807A (ja) 2015-03-23
JP6306845B2 JP6306845B2 (ja) 2018-04-04

Family

ID=52665836

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013189847A Active JP6306845B2 (ja) 2013-09-12 2013-09-12 撮像装置及びその制御方法

Country Status (8)

Country Link
US (1) US10082723B2 (ja)
EP (1) EP3044949A4 (ja)
JP (1) JP6306845B2 (ja)
KR (1) KR101771408B1 (ja)
CN (1) CN105531990B (ja)
BR (1) BR112016002540A2 (ja)
RU (1) RU2642109C2 (ja)
WO (1) WO2015037742A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106034209A (zh) * 2016-04-08 2016-10-19 奇瑞汽车股份有限公司 获取视频的方法及装置
JP2017112462A (ja) * 2015-12-15 2017-06-22 キヤノン株式会社 撮像装置及びその制御方法、プログラム並びに記憶媒体
WO2018021261A1 (ja) 2016-07-27 2018-02-01 パナソニックＩｐマネジメント株式会社 画像処理装置、再生装置、画像処理方法、および、再生方法
US10440285B2 (en) 2016-09-09 2019-10-08 Olympus Corporation Imaging apparatus and imaging method
US10567675B2 (en) 2016-09-09 2020-02-18 Olympus Corporation Imaging apparatus and imaging method for maintaining continuity between frames of moving image data
US10726315B2 (en) 2016-11-17 2020-07-28 Panasonic Intellectual Property Management Co., Ltd. Image processing device, image processing method, and program
JP2021002739A (ja) * 2019-06-21 2021-01-07 キヤノン株式会社 撮像装置およびその制御方法
US11184596B2 (en) 2016-07-27 2021-11-23 Panasonic Intellectual Property Management Co., Ltd. Image processing device, reproduction device, image processing method, and reproduction method

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107395967A (zh) * 2017-07-20 2017-11-24 深圳市欧唯科技有限公司 基于多曝光融合与回溯算法的图像处理方法及其系统
KR102650217B1 (ko) * 2017-12-07 2024-03-21 삼성전자주식회사 이미지를 제공하기 위한 방법 및 이를 지원하는 전자 장치
JP2019110471A (ja) * 2017-12-19 2019-07-04 キヤノン株式会社 撮像装置
JP2019193198A (ja) * 2018-04-27 2019-10-31 キヤノン株式会社 撮像装置
US11683464B2 (en) * 2018-12-28 2023-06-20 Canon Kabushiki Kaisha Electronic device, control method, and non-transitorycomputer readable medium
CN110012227B (zh) * 2019-04-09 2021-06-29 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN112166618B (zh) * 2019-04-29 2022-07-12 百度时代网络技术（北京）有限公司 自动驾驶系统、自动驾驶系统的传感器单元、用于操作自动驾驶车辆的计算机实现的方法
US11423224B2 (en) 2019-06-14 2022-08-23 Kyocera Document Solutions Inc. Image-to-text recognition for a sequence of images
CN110996016A (zh) * 2019-12-11 2020-04-10 苏州新光维医疗科技有限公司 一种内窥镜图像色彩调整方法
CN111263079B (zh) * 2020-02-18 2021-06-15 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN115776532B (zh) * 2021-09-07 2023-10-20 荣耀终端有限公司 一种录像中抓拍图像的方法及电子设备
US11785266B2 (en) 2022-01-07 2023-10-10 Getac Technology Corporation Incident category selection optimization

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011211620A (ja) * 2010-03-30 2011-10-20 Olympus Imaging Corp 撮像装置、撮像システム、撮像方法
JP2012050073A (ja) * 2010-07-30 2012-03-08 Nikon Corp 撮像装置及び画像合成プログラム
JP2012205244A (ja) * 2011-03-28 2012-10-22 Canon Inc 画像処理装置、及びその制御方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0797841B2 (ja) 1987-06-09 1995-10-18 キヤノン株式会社 撮像装置
JP3992659B2 (ja) 2003-08-08 2007-10-17 三洋電機株式会社 撮像装置
KR100790160B1 (ko) * 2006-10-09 2008-01-02 삼성전자주식회사 동영상 녹화 중에 정지영상 촬영 방법 및 장치
JP5224955B2 (ja) 2008-07-17 2013-07-03 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム及び記録媒体
EP2237221B1 (en) * 2009-03-31 2012-02-29 Sony Corporation Method and unit for generating high dynamic range image and video frame
JP5350928B2 (ja) * 2009-07-30 2013-11-27 オリンパスイメージング株式会社 カメラ及びカメラの制御方法
US8446484B2 (en) * 2010-04-21 2013-05-21 Nokia Corporation Image processing architecture with pre-scaler
US9270875B2 (en) * 2011-07-20 2016-02-23 Broadcom Corporation Dual image capture processing
JP5355664B2 (ja) * 2011-11-14 2013-11-27 キヤノン株式会社 デジタルカメラ及びその制御方法
KR101905621B1 (ko) * 2012-02-16 2018-10-11 삼성전자 주식회사 카메라의 프레임 이미지 전송 장치 및 방법
JP5854984B2 (ja) * 2012-02-20 2016-02-09 キヤノン株式会社 画像処理装置、撮像装置、制御方法、及びプログラム
KR101193414B1 (ko) * 2012-03-23 2012-10-24 뉴비전엔지니어링(주) 지피에스 및 아이엔에스 정보가 적용된 수치지도의 부분 수정 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011211620A (ja) * 2010-03-30 2011-10-20 Olympus Imaging Corp 撮像装置、撮像システム、撮像方法
JP2012050073A (ja) * 2010-07-30 2012-03-08 Nikon Corp 撮像装置及び画像合成プログラム
JP2012205244A (ja) * 2011-03-28 2012-10-22 Canon Inc 画像処理装置、及びその制御方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017112462A (ja) * 2015-12-15 2017-06-22 キヤノン株式会社 撮像装置及びその制御方法、プログラム並びに記憶媒体
CN106034209A (zh) * 2016-04-08 2016-10-19 奇瑞汽车股份有限公司 获取视频的方法及装置
CN106034209B (zh) * 2016-04-08 2019-02-22 奇瑞汽车股份有限公司 获取视频的方法及装置
WO2018021261A1 (ja) 2016-07-27 2018-02-01 パナソニックＩｐマネジメント株式会社 画像処理装置、再生装置、画像処理方法、および、再生方法
US11184596B2 (en) 2016-07-27 2021-11-23 Panasonic Intellectual Property Management Co., Ltd. Image processing device, reproduction device, image processing method, and reproduction method
US10440285B2 (en) 2016-09-09 2019-10-08 Olympus Corporation Imaging apparatus and imaging method
US10567675B2 (en) 2016-09-09 2020-02-18 Olympus Corporation Imaging apparatus and imaging method for maintaining continuity between frames of moving image data
US10726315B2 (en) 2016-11-17 2020-07-28 Panasonic Intellectual Property Management Co., Ltd. Image processing device, image processing method, and program
JP2021002739A (ja) * 2019-06-21 2021-01-07 キヤノン株式会社 撮像装置およびその制御方法
JP7346094B2 (ja) 2019-06-21 2023-09-19 キヤノン株式会社 撮像装置およびその制御方法

Also Published As

Publication number Publication date
WO2015037742A1 (en) 2015-03-19
KR101771408B1 (ko) 2017-08-25
US20160227092A1 (en) 2016-08-04
CN105531990A (zh) 2016-04-27
US10082723B2 (en) 2018-09-25
JP6306845B2 (ja) 2018-04-04
KR20160053987A (ko) 2016-05-13
RU2642109C2 (ru) 2018-01-24
RU2016113690A (ru) 2017-10-17
EP3044949A4 (en) 2017-04-26
CN105531990B (zh) 2018-09-14
EP3044949A1 (en) 2016-07-20
BR112016002540A2 (pt) 2017-08-01

Similar Documents

Publication Publication Date Title
JP6306845B2 (ja) 撮像装置及びその制御方法
US9774799B2 (en) Method and apparatus for image data transfer in digital photographing
JP2007228099A (ja) 撮像装置
JP2003219341A (ja) ムービ・スチル・カメラおよびその動作制御方法
US11622175B2 (en) Electronic apparatus and control method thereof
JP4647518B2 (ja) 撮影装置
CN105530426A (zh) 摄像装置及其控制方法
EP3739864A1 (en) Electronic apparatus, control method of electronic apparatus, program, and computer readable medium
JP7004851B2 (ja) 撮像装置、撮像装置の画像データ処理方法、及びプログラム
JP6341814B2 (ja) 撮像装置、その制御方法、及びプログラム
JP6223173B2 (ja) 画像処理装置、その制御方法およびプログラム
JP2018056652A (ja) 撮像装置及び撮像装置の制御方法
CN110049254B (zh) 图像处理方法、装置、存储介质及电子设备
JP5191941B2 (ja) 撮像装置、画像処理装置、画像処理方法、および、画像処理プログラム
JP2020102660A (ja) 撮像装置
JP2010245686A (ja) 撮像装置、画像処理方法、および、画像処理プログラム
JP2014225815A (ja) 撮像装置
JP2000115605A (ja) ディジタルカメラ
JP4409109B2 (ja) 電子カメラ装置及び画像処理装置
JP2020005106A5 (ja) 画像装置及び方法
JP2011030105A (ja) 撮像装置及びその制御方法
JP2012124624A (ja) 撮像装置
JP2011087338A (ja) 撮像装置及び撮像方法
JP2010147651A (ja) 撮像装置、及び画像再生装置
JP2018133710A (ja) 画像処理装置および撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170922

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180309

R151 Written notification of patent or utility model registration

Ref document number: 6306845

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151