JP2014110618A - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2014110618A JP2014110618A JP2012265682A JP2012265682A JP2014110618A JP 2014110618 A JP2014110618 A JP 2014110618A JP 2012265682 A JP2012265682 A JP 2012265682A JP 2012265682 A JP2012265682 A JP 2012265682A JP 2014110618 A JP2014110618 A JP 2014110618A
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame
- frames
- unit
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 73
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 238000003860 storage Methods 0.000 claims abstract description 25
- 238000003384 imaging method Methods 0.000 claims description 81
- 230000002194 synthesizing effect Effects 0.000 abstract description 7
- 230000015572 biosynthetic process Effects 0.000 abstract description 5
- 238000003786 synthesis reaction Methods 0.000 abstract description 5
- 230000000593 degrading effect Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 21
- 238000000034 method Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 14
- 230000007423 decrease Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 9
- 238000004519 manufacturing process Methods 0.000 description 7
- 230000008929 regeneration Effects 0.000 description 7
- 238000011069 regeneration method Methods 0.000 description 7
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/782—Television signal recording using magnetic recording on tape
- H04N5/783—Adaptations for reproducing at a rate different from the recording rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/915—Television signal processing therefor for field- or frame-skip recording or reproducing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
【課題】フレームレートの低下を招くことなく、動画再生用フレームを生成することが可能な、画像処理装置、画像処理方法及びプログラムを提供すること。
【解決手段】本発明に係る画像処理装置は、連続した複数の画像フレームを記憶する記憶部と、前記記憶部に記憶された前記複数の画像フレームから所定数の画像フレームを取得し、取得した当該所定数の画像フレームを合成することで動画再生用フレームを逐次生成するフレーム生成部と、を備え、前記フレーム生成部は、同一の前記画像フレームを異なる前記動画再生用フレームに使用することを許容して、合成を行う。
【選択図】図2
【解決手段】本発明に係る画像処理装置は、連続した複数の画像フレームを記憶する記憶部と、前記記憶部に記憶された前記複数の画像フレームから所定数の画像フレームを取得し、取得した当該所定数の画像フレームを合成することで動画再生用フレームを逐次生成するフレーム生成部と、を備え、前記フレーム生成部は、同一の前記画像フレームを異なる前記動画再生用フレームに使用することを許容して、合成を行う。
【選択図】図2
Description
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
従来、各種の画像合成は、静止画撮影により行われてきた。
例えば、露出を変えて合成することで、ハイダイナミックレンジ(High Dynamic Range:HDR)画像を生成することは、カメラで行われている。また、フォーカス位置を変えて合成することで被写界深度の拡張画像を生成することは、パーソナルコンピュータで実行可能な各種のアプリケーションで行われてきた。絞り値を変えて画像を合成することで、いわゆるボケの制御を行うことも可能である。
例えば、露出を変えて合成することで、ハイダイナミックレンジ(High Dynamic Range:HDR)画像を生成することは、カメラで行われている。また、フォーカス位置を変えて合成することで被写界深度の拡張画像を生成することは、パーソナルコンピュータで実行可能な各種のアプリケーションで行われてきた。絞り値を変えて画像を合成することで、いわゆるボケの制御を行うことも可能である。
このような画像合成の機能が、近年、動画にも取り入れられるようになってきた。例えば、下記の特許文献1では、撮像した複数フレームから1つの動画再生用フレームを合成する技術が提案されている。
しかしながら、上記特許文献1に記載の方法では、1枚の撮像画像を最大1フレームにしか使わないという条件のもとで撮像した複数フレームを合成し1つの動画再生用フレームを生成するため、全体のフレーム数が減少してしまい、フレームレートの低下が発生してしまう。上記特許文献1では、高速で撮像した上でフレーム伸長を行うことで、再生のためのフレームレートを確保することが提案されているが、撮像フレームレートに対して、再生フレームレートが減少することは避けられないという問題がある。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、フレームレートの低下を招くことなく、動画再生用フレームを生成することが可能な、画像処理装置、画像処理方法及びプログラムを提供することにある。
上記課題を解決するために、本発明のある観点によれば、連続した複数の画像フレームを記憶する記憶部と、前記記憶部に記憶された前記複数の画像フレームから所定数の画像フレームを取得し、取得した当該所定数の画像フレームを合成することで動画再生用フレームを逐次生成するフレーム生成部と、を備え、前記フレーム生成部は、同一の前記画像フレームを異なる前記動画再生用フレームに使用することを許容して、合成を行う画像処理装置が提供される。
かかる構成によれば、記憶部は、連続した複数の画像フレームを記憶し、フレーム生成部は、同一の画像フレームを異なる動画再生用フレームに使用することを許容して、記憶部に記憶された複数の画像フレームから所定数の画像フレームを取得し、取得した画像フレームを合成することで動画再生用フレームを逐次生成する。これにより、フレームレートの低下を防止することが可能となる。
前記フレーム生成部は、露光量、被写界深度又はフォーカス位置の少なくとも何れかの画像特性を変化させた前記画像フレームを用いて、前記動画再生用フレームを合成することが好ましい。これにより、露光量、被写界深度又はフォーカス位置の少なくとも何れかの画像特性を変化させた動画再生用フレームを生成することが可能となる。
被写体を複数回撮像することで前記複数の画像フレームを生成する撮像部と、前記撮像部を制御することで前記画像特性を制御する画像特性制御部と、を更に備え、前記画像特性制御部は、前記動画再生用フレームの前記画像特性が単調に変化するように、前記画像特性を変化させてもよい。これにより、動画再生用フレームにおける画像特性を、再生時に視聴者が違和感を覚えることが無いように変更することが可能となる。
前記画像特性制御部は、前記動画再生用フレームの前記画像特性が連続的に変化するように、前記画像特性を変化させることが好ましい。これにより、動画再生用フレームにおける画像特性を、再生時に視聴者が違和感を覚えることが無いように変更することが可能となる。
前記画像特性制御部は、露光時間、ゲイン特性、絞り値、NDフィルタの少なくとも何れかを変化させて前記画像フレームの露光量を制御することが好ましい。これにより、動画再生用フレームの露光量を制御することが可能となる。
前記画像特性制御部は、絞り値を変化させて前記画像フレームの被写界深度を制御することが好ましい。これにより、動画再生用フレームの被写界深度を制御することが可能となる。
前記画像特性制御部は、前記撮像部に設けられたフォーカスレンズを制御して前記画像フレームのフォーカス位置を制御することが好ましい。これにより、動画再生用フレームのフォーカス位置を制御することが可能となる。
前記画像特性に応じて前記画像フレームに対し当該画像フレームの重要度が関連付けられる場合、前記撮像部は、当該重要度に応じて画像フレームの撮像頻度を変化させてもよい。これにより、画像合成に用いる画像フレームの個数を削減することが可能となる。
前記フレーム生成部は、前記画像フレーム間で画像情報が所定の閾値以上に大きく変化した場合、前記動画再生用フレームの生成を中止することが好ましい。これにより、視聴者に違和感のある動画再生フレームが生成されることを防止することが可能となる。
画像処理装置は、前記動画再生用フレームを再生する再生部を更に備えてもよい。これにより、視聴者は、生成した動画再生用フレームをその場で確認することが可能となる。
また、上記課題を解決するために、本発明の別の観点によれば、連続した複数の画像フレームを記憶する記憶ステップと、前記記憶ステップにて記憶された前記複数の画像フレームから所定数の画像フレームを取得し、取得した当該所定数の画像フレームを合成することで動画再生用フレームを逐次生成するフレーム生成ステップと、を含み、前記フレーム生成ステップでは、同一の前記画像フレームを異なる前記動画再生用フレームに使用することを許容して、合成を行う画像処理方法が提供される。
かかる構成によれば、記憶ステップでは、連続した複数の画像フレームが記憶され、フレーム生成ステップでは、同一の画像フレームを異なる動画再生用フレームに使用することを許容して、記憶ステップにて記憶された複数の画像フレームから所定数の画像フレームが取得され、取得された画像フレームを合成することで動画再生用フレームが逐次生成される。これにより、フレームレートの低下を防止することが可能となる。
また、上記課題を解決するために、本発明の更に別の観点によれば、コンピュータに、連続した複数の画像フレームを記憶する記憶機能と、前記記憶機能により記憶された前記複数の画像フレームから所定数の画像フレームを取得し、取得した当該所定数の画像フレームを合成することで動画再生用フレームを逐次生成するフレーム生成機能と、を実現させ、前記フレーム生成機能は、同一の前記画像フレームを異なる前記動画再生用フレームに使用することを許容して合成を行うプログラムが提供される。
かかる構成によれば、コンピュータを、上記の画像処理装置として機能させることが可能となる。
以上説明したように本発明によれば、画像フレームの重複使用を許容しながら動画再生用フレームの生成を行うため、フレームレートの低下を防止することが可能となる。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
(動画における一般的な画像合成処理について)
本発明の実施形態に係る画像処理装置及び画像処理方法について説明するに先立ち、まず図1を参照しながら、動画における一般的な画像合成処理について説明する。図1は、動画における一般的な画像合成処理について説明するための説明図である。
本発明の実施形態に係る画像処理装置及び画像処理方法について説明するに先立ち、まず図1を参照しながら、動画における一般的な画像合成処理について説明する。図1は、動画における一般的な画像合成処理について説明するための説明図である。
今、露光量を変えながら被写体を撮像してHDR画像を合成する画像合成処理を実施して、動画再生用の画像フレーム(動画再生用フレーム)を生成することを考える。この際、一般的な画像合成処理では、所定の撮像フレーム毎(図1では、3枚の撮像フレーム毎)に画像合成処理が実施されるため、実際に生成される動画再生用フレームのフレームレートは、撮像フレームのフレームレートよりも低下することとなってしまう。
図1に示したようなフレームレートの低下を防止するために、上記特許文献1では、高速で撮像した上でフレーム伸長を行うことで、再生のためのフレームレートを確保することが提案されているが、撮像フレームレートに対して、再生フレームレートが減少することは避けられないという問題がある。
このような問題を解決するべく、フレームレートの低下を招くことなく動画再生用フレームを生成することが可能な画像処理装置に関して本発明者が鋭意検討を行った結果、以下で説明するような画像処理装置に想到した。
(第1の実施形態)
<画像処理装置の構成について>
まず、図2を参照しながら、本発明の第1の実施形態に係る画像処理装置の構成について、詳細に説明する。図2は、本実施形態に係る画像処理装置の構成の一例を示したブロック図である。なお、以下では、本実施形態に係る画像処理装置が、被写体を撮像することが可能な撮像装置として実現されている場合を例に挙げて、説明を行うものとする。
<画像処理装置の構成について>
まず、図2を参照しながら、本発明の第1の実施形態に係る画像処理装置の構成について、詳細に説明する。図2は、本実施形態に係る画像処理装置の構成の一例を示したブロック図である。なお、以下では、本実施形態に係る画像処理装置が、被写体を撮像することが可能な撮像装置として実現されている場合を例に挙げて、説明を行うものとする。
撮像装置として機能する本実施形態に係る画像処理装置10は、図2に示したように、CPU(Central Processing Unit)/DSP(Digital Signal Processor)101、撮像部103、画像入力インタフェース(I/F)105、SDRAM107、圧縮処理回路109、LCDドライバ111、再生装置113、メディアインタフェース(I/F)115、記録装置117、絞り値制御部121、フォーカス位置制御部123、タイミング発生部125、ゲイン制御部127、及び、モータやアクチュエータ等の機構を有する駆動機構を主に備える。CPU/DSP101、画像入力I/F105、SDRAM107、圧縮処理回路109、LCDドライバ111及びメディアI/F115は、内部バスによって互いに接続され、各処理部間で相互に信号を送受信することが可能である。
CPU/DSP101は、演算処理装置および制御装置として機能し、SDRAM107や、未図示のメモリや記憶部等に記録された各種プログラムに従って、画像処理装置10内の動作全般またはその一部を制御する。また、CPU/DSP101は、撮像部103によって撮像された画像(撮像画像)に対して公知の画像処理を実施する画像処理機能も有している。
このCPU/DSP101は、図2に示したように、画像処理部131、オートフォーカス(AF)部133、自動露光(AE)部135、オートホワイトバランス(AWB)部137及びフレーム生成部139を有している。
画像処理部131は、撮像部103により撮像され、画像入力I/F105を介して入力された撮像画像に対して、公知の画像処理を行う処理部である。画像処理部131が実施する各種の画像処理は特に限定されるものではなく、撮像素子から出力された撮像画像に対して実施される公知の画像処理を実施することが可能である。画像処理部131によって画像処理がなされた撮像画像は、記憶部として機能するSDRAM107に格納されることとなる。
AF部131は、撮像素子から出力される撮像画像に関する情報に基づいて被写体までの距離を検出し、フォーカス位置制御部123により撮像部103に設けられたフォーカスレンズを駆動させることで、焦点距離を調節する。このように、AF部133は、後述する撮像部103におけるフォーカスを制御する、フォーカス制御部として機能する。
AE部135は、撮像素子から出力される撮像画像の輝度情報に基づいて、撮像時の露出値及び適正露出値を算出する。ここで、輝度情報とは、被写体(撮像画像)の輝度値に関する情報のことを示す。また、AE部135は、算出した適正露出値等に基づいて、撮像素子で取得される画像信号の露出値が適正露出値に応じた露出値になるように、絞り値制御部121を介して撮像部103の絞りを制御したり、タイミング発生部125を介して撮像部のシャッターや撮像素子を制御したりする。更に、AE部135は、算出された適正露出値に基づいて、画像信号に作用させるゲインを算出し、ゲイン制御部127を介して画像信号の増幅を制御する。このように、AE部135は、撮像部103における露出値に関する各種の物理量を算出し、当該物理量に基づいて撮像部103における露光量を制御する、露光量制御部として機能する。
AWB部は、撮像素子から出力される撮像画像に関する情報に基づいて、適正なホワイトバランスゲインを算出し、ゲイン制御部127を介して撮像部103のホワイトバランスの調整を制御する。
以上説明したような、絞り値制御部121、フォーカス位置制御部123、タイミング発生部125、ゲイン制御部127、AF部133、AE部135及びAWB部137は、撮像部103によって撮像される撮像画像の様々な画像特性を制御する、画像特性制御部として機能するものである。
フレーム生成部139は、画像処理部131により画像処理が施され、記憶部であるSDRAM107に格納されている動画用の撮像画像(撮像フレーム)を利用して、後述する動画再生用フレームを生成する。このフレーム生成処理については、以下で詳述する。
撮像部103は、ズームレンズやフォーカスレンズ等のレンズ群、絞り、シャッター、NDフィルタ、撮像素子等から構成されている。撮像部103は、CPU/DSP101や画像特性制御部等による制御のもとで、被写体からの光を後述する撮像素子の受光面に入射させる。これにより、撮像素子において、受光面に入射した光が電気信号へと変換され、撮像画像が生成されることとなる。なお、本実施形態に係る撮像部103では、レンズ群、絞り、シャッター、NDフィルタ、撮像素子等の種類については特に限定されず、公知のものを利用することが可能である。撮像部103により生成された動画用の撮像画像(撮像フレーム)は、画像入力I/F105を介してCPU/DSP101に入力される。
画像入力I/F105は、撮像部103により撮像された撮像画像の実体データを、撮像部103から画像処理装置10の本体へと入力させる際のインタフェースである。この画像入力I/F105を介して、動画用の撮像画像である撮像フレームが、CPU/DSP101へと入力されることとなる。
SDRAM107は、画像処理装置10に設けられる記憶部の一例である。SDRAM107は、CPU/DSP101によって各種の画像処理が施された画像信号を、画像データとして所定のフォーマットで記憶する。
圧縮処理回路109は、CPU/DSP101により各種の処理が施された画像データや、SDRAM107に格納されている画像データを、所定の圧縮データ形式へと変換する処理回路である。
LCDドライバ111は、再生装置113として機能する表示装置であるLCD(液晶ディスプレイ)を駆動するためのドライバである。また、LCD154は、撮像装置10に搭載される表示装置の一例である。LCDドライバ111は、例えば、SDRAM107や後述する記録装置117に記憶されている画像データを表示画面に表示するように再生装置113を駆動する。これにより、視聴者は、生成した動画再生用フレームをその場で確認することが可能となる。なお、本実施形態においては、画像データを表示する表示装置はLCDに限定されず、各種の公知の表示装置が用いられてよい。
メディアI/F115は、記録装置117として機能する各種の記録メディアを駆動するためのドライバである。また、記録装置117は、外部記憶装置の一例である。メディアI/F115は、各種のデータを記録装置117に書き込むことができる。また、メディアI/F115は、各種のデータを記録装置117から読み出すことができる。例えば、メディアI/F115は、記録装置117に画像データを書き込んだり、記録装置117から画像データを読み出して再生装置113に表示させたりすることができる。なお、本実施形態においては、記録装置117の種類は特に限定されず、各種の公知の外部記憶装置が用いられてよい。
以上、図2を参照しながら、本実施形態に係る画像処理装置10の全体的な構成について、簡単に説明した。
<動画再生用フレームの生成処理について>
続いて、図3〜図9を参照しながら、本実施形態に係るCPU/DSP101のフレーム生成部139で実施される、動画再生用フレームの生成処理について、詳細に説明する。図3〜図9は、本実施形態に係る動画再生用フレーム生成処理の一例を説明するための説明図である。
続いて、図3〜図9を参照しながら、本実施形態に係るCPU/DSP101のフレーム生成部139で実施される、動画再生用フレームの生成処理について、詳細に説明する。図3〜図9は、本実施形態に係る動画再生用フレーム生成処理の一例を説明するための説明図である。
本実施形態に係るフレーム生成部139は、記憶部の一例であるSDRAM107に記憶された複数の画像フレーム(撮像フレーム)から所定数の画像フレームを取得し、取得した所定数の画像フレームを合成することで、動画再生用フレームを逐次生成する。この際、フレーム生成部139は、同一の画像フレームを異なる動画再生用フレームに使用することを許容して、合成を行う。その結果、撮像フレームと同じフレームレートで、動画再生用フレームを生成することが可能となる。
例えば図3に示したように、3枚の撮像フレームを利用して動画再生用フレームを生成する場合を考える。この際、フレーム生成部139は、撮像フレームの重複利用を許容するため、図3に示したように使用する画像をオーバーラップさせながら、動画再生用フレームを逐次生成していく。図3では、2枚の撮像フレームをオーバーラップさせながら重複利用しているため、撮像フレームと同じフレームレートで、動画再生用フレームを生成することが可能となる。
なお、動画再生用フレームを生成するために利用する撮像フレームの枚数は特に限定されるものではなく、動画再生用フレームに求める画像品質等に応じて、適宜決定すればよい。
また、フレーム生成部139は、露光量、被写界深度又はフォーカス位置の少なくとも何れかの画像特性を変化させた画像フレームを用いて、動画再生用フレームを合成することが可能である。これにより、フレーム生成部139は、露光量、被写界深度又はフォーカス位置の少なくとも何れかの画像特性を変化させた動画再生用フレームを生成することが可能となる。このような画像特性を変化させた画像フレーム(撮像画像)は、任意の撮像装置によって別途撮像されたものであってもよいし、図2に例示したような画像処理装置10に設けられた撮像部103によって、複数回撮像されたものであってもよい。
図2に例示したように、画像処理装置10に対して、撮像部103と、各種の画像特性制御部が設けられている場合、フレーム生成部139は、各画像特性制御部及び撮像部103と互いに連携しながら、被写体を複数回撮像する。この際、それぞれの画像特性制御部は、動画再生用フレームの画像特性が単調に変化するように(好ましくは、連続的に変化するように)撮像部103を制御して、得られる撮像フレームの画像特性を変化させる。これにより、動画再生用フレームにおける画像特性を、再生時に視聴者が違和感を覚えることが無いように変更することが可能となる。
例えば、画像特性制御部は、露光時間、ゲイン特性、絞り値、NDフィルタの少なくとも何れかを変化させて、画像フレームの露光量を制御することができる。これにより、動画再生用フレームの露光量を制御することが可能となる。また、画像特性制御部は、絞り値を変化させて画像フレームの被写界深度を制御することも可能である。これにより、動画再生用フレームの被写界深度を制御することが可能となる。また、画像特性制御部は、撮像部103に設けられたフォーカスレンズを制御して撮像フレームのフォーカス位置を制御することも可能である。これにより、動画再生用フレームのフォーカス位置を制御することが可能となる。
以下では、図4〜図7を参照しながら、ユーザからの機能指定、又は、AE機能により、露光量を変化させた動画再生用フレームを生成する場合を例に挙げて、具体的に説明する。
画像特性の一種である露光量を変化させながら動画再生用フレームを生成する場合、フレーム生成部139は、AE部135や絞り値制御部121等と互いに連携しながら、撮像部103により被写体の撮像を行っていく。
図4では、動画再生用フレームの明るさを暗くしていきたい場合、すなわち露光量を減少させたい場合のフレーム生成処理を具体的に示している。
図4において、撮像フレームの左上に記載している数字が、明るさを表す数値であるとし、フレーム生成部139は3枚の撮像フレームから1つの動画再生用フレームを生成するものとする。
図4において、撮像フレームの左上に記載している数字が、明るさを表す数値であるとし、フレーム生成部139は3枚の撮像フレームから1つの動画再生用フレームを生成するものとする。
この場合、フレーム生成部139は、生成する動画再生用フレームの明るさが、単調減少していくように、更に好ましくは、連続的に単調減少していくように、AE部135や絞り値制御部121等と連携しながら被写体の撮像を制御していく。
例えば、生成する動画再生用フレームの明るさが、生成に利用する撮像フレームの明るさの平均となるとすると、フレーム生成部139は、生成される動画再生用フレームの明るさを推定して、画像特性制御部を介して撮像フレームの露光量を制御する。
図4に示した例では、フレーム生成部139による最初の合成処理で、明るさ4、明るさ5、明るさ6の3つの撮像フレームが利用され、その明るさの平均値は5となる。また、2番目の合成処理では、明るさ5、明るさ6、明るさ4の3つの撮像フレームが利用され、その明るさの平均値は5となる。更に、3番目の合成処理では、明るさ6、明るさ4、明るさ5の3つの撮像フレームが利用され、その明るさの平均値は5となる。従って、フレーム生成部139は、4番目の合成処理において、生成される動画再生用フレームの明るさを4とするために、合成に用いる3つ目の撮像フレームの明るさが3となるように、露光量の制御を行う。
このような処理を行うことで、フレーム生成部139は、図4下段に示したように、明るさを表す特性値が単調かつ連続的に変化する動画再生用フレームを生成することができる。
図5は、図4とは逆に、動画再生用フレームの明るさを明るくしていきたい場合、すなわち露光量を増加させたい場合のフレーム生成処理を具体的に示している。この場合においても、図4と同様にして露光量の制御を行うことで、特性値が単調かつ連続的に変化する動画再生用フレームを生成することができる。
また、このような処理は、動画再生用フレームの生成に用いられる撮像フレームの枚数が3枚以外の場合であっても、同様に行うことが可能である。図6及び図7では、2枚の撮像フレームから動画再生用フレームを生成する際に明るさの制御を行う場合を図示したものであるが、図4や図5に示した方法と同様にして、特性値が単調かつ連続的に変化する動画再生用フレームを生成することが可能である。
以上の説明では、露光量を制御しながら動画再生用フレームを生成する場合について説明を行ったが、被写界深度やフォーカス位置を制御する場合であっても、露光量を制御する場合と同様に、生成される動画再生用フレームの被写界深度やフォーカス位置を推定しながら、生成される動画再生用フレームの被写界深度やフォーカス位置が単調かつ連続的に変化するように、撮像処理を制御しつつ動画再生用フレームを生成すればよい。
また、画像特性に応じて画像フレームに対し当該画像フレームの重要度が関連付けられる場合、撮像部103は、CPU/DSP101による制御のもとで、かかる重要度に応じて画像フレームの撮像頻度を変化させてもよい。これにより、画像合成に用いる画像フレームの個数を削減することが可能となる。
合成する画像の重要度が異なる場合の具体例としては、図8に示したように、HDR合成において、中間の明るさの画像を基準画像(重要度の高い画像)とし、暗い画像(重要度が低い画像)と明るい画像(重要度が低い画像)とを補助的に使う場合が挙げられる。この場合、フレーム生成部139は、画像特性制御部及び撮像部103と連携しながら、中間の明るさ(重要度「高」のフレーム)の撮像頻度を増やし、補助的な画像(重要度「低」のフレーム)を複数回使用することで、通常よりフレームレートの低減を抑えることが可能となる。一般的な方法ではフレームレートが1/3になるのに対し、本方式では1/2になる。
また、フレーム生成部139は、画像フレーム間で、画像情報が所定の閾値以上に大きく変化した場合、動画再生用フレームの生成を中止してもよい。ここで、画像情報が変化するとは、画像そのものが変化する場合や、画像特性が変化する場合を含む。
フレーム間で著しく画像が変化する場合の具体例としては、例えば図9に示したように、パンニングが発生した場合を挙げることができる。パンニングが発生すると、時間経過に対して画像が大きく変化するため、動画再生用フレームの生成が困難となる。そのため、フレーム生成部139は、かかる場合には動画再生用フレームの合成を中止し、通常の撮像制御を行う。これにより、視聴者に違和感のある動画再生フレームが生成されることを防止することが可能となる。
以上、本実施形態に係る画像処理装置10の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、CPU等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
なお、上述のような本実施形態に係る画像処理装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
10 画像処理装置(撮像装置)
101 CPU/DSP
103 撮像部
105 画像入力インタフェース
107 SDRAM(記憶部)
109 圧縮処理回路
111 LCDドライバ
113 再生装置
115 メディアインタフェース
117 記録装置
121 絞り値制御部
123 フォーカス位置制御部
125 タイミング発生部
127 ゲイン制御部
131 画像処理部
133 AF部
135 AE部
137 AWB部
139 フレーム生成部
101 CPU/DSP
103 撮像部
105 画像入力インタフェース
107 SDRAM(記憶部)
109 圧縮処理回路
111 LCDドライバ
113 再生装置
115 メディアインタフェース
117 記録装置
121 絞り値制御部
123 フォーカス位置制御部
125 タイミング発生部
127 ゲイン制御部
131 画像処理部
133 AF部
135 AE部
137 AWB部
139 フレーム生成部
Claims (12)
- 連続した複数の画像フレームを記憶する記憶部と、
前記記憶部に記憶された前記複数の画像フレームから所定数の画像フレームを取得し、取得した当該所定数の画像フレームを合成することで動画再生用フレームを逐次生成するフレーム生成部と、
を備え、
前記フレーム生成部は、同一の前記画像フレームを異なる前記動画再生用フレームに使用することを許容して、合成を行う
ことを特徴とする、画像処理装置。 - 前記フレーム生成部は、露光量、被写界深度又はフォーカス位置の少なくとも何れかの画像特性を変化させた前記画像フレームを用いて、前記動画再生用フレームを合成する
ことを特徴とする、請求項1に記載の画像処理装置。 - 被写体を複数回撮像することで前記複数の画像フレームを生成する撮像部と、
前記撮像部を制御することで前記画像特性を制御する画像特性制御部と、
を更に備え、
前記画像特性制御部は、前記動画再生用フレームの前記画像特性が単調に変化するように、前記画像特性を変化させる
ことを特徴とする、請求項2に記載の画像処理装置。 - 前記画像特性制御部は、前記動画再生用フレームの前記画像特性が連続的に変化するように、前記画像特性を変化させる
ことを特徴とする、請求項3に記載の画像処理装置。 - 前記画像特性制御部は、露光時間、ゲイン特性、絞り値、NDフィルタの少なくとも何れかを変化させて前記画像フレームの露光量を制御する
ことを特徴とする、請求項3又は4に記載の画像処理装置。 - 前記画像特性制御部は、絞り値を変化させて前記画像フレームの被写界深度を制御する
ことを特徴とする、請求項3又は4に記載の画像処理装置。 - 前記画像特性制御部は、前記撮像部に設けられたフォーカスレンズを制御して前記画像フレームのフォーカス位置を制御する
ことを特徴とする、請求項3又は4に記載の画像処理装置。 - 前記画像特性に応じて前記画像フレームに対し当該画像フレームの重要度が関連付けられる場合、前記撮像部は、当該重要度に応じて画像フレームの撮像頻度を変化させる
ことを特徴とする、請求項3〜7の何れか1項に記載の画像処理装置。 - 前記フレーム生成部は、前記画像フレーム間で画像情報が所定の閾値以上に大きく変化した場合、前記動画再生用フレームの生成を中止する
ことを特徴とする、請求項1〜8の何れか1項に記載の画像処理装置。 - 前記動画再生用フレームを再生する再生部を更に備える
ことを特徴とする、請求項1〜9の何れか1項に記載の画像処理装置。 - 連続した複数の画像フレームを記憶する記憶ステップと、
前記記憶ステップにて記憶された前記複数の画像フレームから所定数の画像フレームを取得し、取得した当該所定数の画像フレームを合成することで動画再生用フレームを逐次生成するフレーム生成ステップと、
を含み、
前記フレーム生成ステップでは、同一の前記画像フレームを異なる前記動画再生用フレームに使用することを許容して、合成を行う
ことを特徴とする、画像処理方法。 - コンピュータに、
連続した複数の画像フレームを記憶する記憶機能と、
前記記憶機能により記憶された前記複数の画像フレームから所定数の画像フレームを取得し、取得した当該所定数の画像フレームを合成することで動画再生用フレームを逐次生成するフレーム生成機能と、
を実現させ、
前記フレーム生成機能は、同一の前記画像フレームを異なる前記動画再生用フレームに使用することを許容して、合成を行う
ことを特徴とする、プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012265682A JP2014110618A (ja) | 2012-12-04 | 2012-12-04 | 画像処理装置、画像処理方法及びプログラム |
KR1020130066171A KR102089981B1 (ko) | 2012-12-04 | 2013-06-10 | 영상처리장치, 영상처리방법 및 프로그램 |
US14/094,888 US9521355B2 (en) | 2012-12-04 | 2013-12-03 | Image processing apparatus, image processing method and program thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012265682A JP2014110618A (ja) | 2012-12-04 | 2012-12-04 | 画像処理装置、画像処理方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014110618A true JP2014110618A (ja) | 2014-06-12 |
Family
ID=51030986
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012265682A Pending JP2014110618A (ja) | 2012-12-04 | 2012-12-04 | 画像処理装置、画像処理方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2014110618A (ja) |
KR (1) | KR102089981B1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000092378A (ja) * | 1998-09-16 | 2000-03-31 | Olympus Optical Co Ltd | 撮像装置 |
JP2006279940A (ja) * | 2005-03-03 | 2006-10-12 | Fuji Photo Film Co Ltd | 撮像装置、撮像方法、および撮像プログラム、並びに画像記録出力システム、画像記録出力方法 |
JP2012010307A (ja) * | 2010-05-26 | 2012-01-12 | Olympus Imaging Corp | 撮像装置および撮像方法 |
JP2012049600A (ja) * | 2010-08-24 | 2012-03-08 | Seiko Epson Corp | 画像処理装置、画像処理方法及び撮像装置 |
JP2012095247A (ja) * | 2010-10-29 | 2012-05-17 | Pentax Ricoh Imaging Co Ltd | デジタルカメラ、デジタルカメラの撮影方法及びプログラム |
-
2012
- 2012-12-04 JP JP2012265682A patent/JP2014110618A/ja active Pending
-
2013
- 2013-06-10 KR KR1020130066171A patent/KR102089981B1/ko active IP Right Grant
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000092378A (ja) * | 1998-09-16 | 2000-03-31 | Olympus Optical Co Ltd | 撮像装置 |
JP2006279940A (ja) * | 2005-03-03 | 2006-10-12 | Fuji Photo Film Co Ltd | 撮像装置、撮像方法、および撮像プログラム、並びに画像記録出力システム、画像記録出力方法 |
JP2012010307A (ja) * | 2010-05-26 | 2012-01-12 | Olympus Imaging Corp | 撮像装置および撮像方法 |
JP2012049600A (ja) * | 2010-08-24 | 2012-03-08 | Seiko Epson Corp | 画像処理装置、画像処理方法及び撮像装置 |
JP2012095247A (ja) * | 2010-10-29 | 2012-05-17 | Pentax Ricoh Imaging Co Ltd | デジタルカメラ、デジタルカメラの撮影方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
KR20140071865A (ko) | 2014-06-12 |
KR102089981B1 (ko) | 2020-04-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2015122734A (ja) | 撮像装置及び撮像方法 | |
JP2018006827A (ja) | 撮像装置、撮像プログラム、撮像方法 | |
JP4475165B2 (ja) | 撮像装置、露出制御方法及びプログラム | |
JP2012175419A (ja) | 動画撮影装置及びその制御方法、並びにプログラム | |
JP2015139020A (ja) | 電子機器及び制御プログラム | |
KR20120071972A (ko) | 사용자가 원하는 시점의 정지 영상을 획득할 수 있는 디지털 영상 신호 처리 장치 및 이의 제어 방법 | |
JP2010135984A (ja) | 複眼撮像装置及び撮像方法 | |
JP2015061236A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2010081460A (ja) | 撮像装置及び画像生成方法 | |
JP5202277B2 (ja) | 撮像装置 | |
JP6498175B2 (ja) | 撮像装置およびその制御方法 | |
JP2016099598A (ja) | 撮像装置、その制御方法、および制御プログラム | |
KR101960508B1 (ko) | 디스플레이 장치 및 방법 | |
JP2015154447A (ja) | 撮像装置、その制御方法及びプログラム | |
JP2014011780A (ja) | 画像合成装置、その制御方法、および制御プログラム、並びに記録媒体 | |
JP2017011676A (ja) | 画像処理装置及び画像処理方法 | |
JP6075829B2 (ja) | 撮像装置、カメラシステム、撮像装置の制御方法、プログラム、記憶媒体 | |
JP2017219697A (ja) | 撮像装置及び撮像装置の制御方法 | |
JP2014110618A (ja) | 画像処理装置、画像処理方法及びプログラム | |
US9521355B2 (en) | Image processing apparatus, image processing method and program thereof | |
JP2021197613A (ja) | 撮像装置、及び撮像方法 | |
JP2015122731A (ja) | 動画再生装置及び動画再生方法 | |
JP6083959B2 (ja) | 伝送装置、その制御方法、および制御プログラム | |
KR101923185B1 (ko) | 디스플레이 장치 및 방법 | |
US20220321742A1 (en) | Image processing apparatus that carries out noise reduction process when playing video, image processing method, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151202 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161122 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170627 |