JP2015216557A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2015216557A JP2015216557A JP2014099140A JP2014099140A JP2015216557A JP 2015216557 A JP2015216557 A JP 2015216557A JP 2014099140 A JP2014099140 A JP 2014099140A JP 2014099140 A JP2014099140 A JP 2014099140A JP 2015216557 A JP2015216557 A JP 2015216557A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- image data
- moving image
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Studio Devices (AREA)
Abstract
【課題】表示画面の更新周期と動画データのフレームの周期が異なる場合にも、撮影者が撮影画像を視認しやすい画像を表示することができる。
【解決手段】撮像手段と、撮像手段により得られた動画データに対して画素単位のフィルタ処理を行う画像処理手段と、画像処理手段から出力された動画データに係る動画を表示する表示手段と、撮像手段により得られた動画データのフレームの周期と、表示手段の表示画面の更新周期とに基づいて、画像処理手段におけるフィルタ処理を制御する制御手段とを備えることを特徴とする。
【選択図】図1
【解決手段】撮像手段と、撮像手段により得られた動画データに対して画素単位のフィルタ処理を行う画像処理手段と、画像処理手段から出力された動画データに係る動画を表示する表示手段と、撮像手段により得られた動画データのフレームの周期と、表示手段の表示画面の更新周期とに基づいて、画像処理手段におけるフィルタ処理を制御する制御手段とを備えることを特徴とする。
【選択図】図1
Description
本発明は、撮像装置に関し、特に、撮影した画像を表示するための処理に関する。
近年、デジタルカメラなどの撮影装置では、現在撮影中の撮影画像を、搭載されている液晶パネル等の表示デバイスに出力するライブビュー機能が備わっている。
撮影者は、このライブビュー機能によって表示される撮影画像を視認することによって、撮影画像のフレーミングや、主被写体のフォーカス状態を確認し、所望の撮影画像であると認識した場合に、シャッターボタンを押すことで静止画を撮影する。動画像撮影の場合、静止画と同様に撮影画像を視認し、所望の撮影シーンで動画記録ボタンを押すことで動画撮影を開始指示する。表示デバイスには撮影中の画像をリアルタイムに表示されるため、動画像撮影中もフレーミングや、フォーカス状態を確認しながらパンニング、ズーム操作をおこなうことで所望の動画を撮影することが可能になる。
通常ライブビュー機能に加えて、ユーザが着目する主被写体のフォーカス状態を、より視認しやすくする機能として、着目領域を拡大して表示デバイスに表示するフォーカス領域拡大機能や、撮影画像から顔領域検出し、検出した顔領域に対して自動でフォーカスを合わせる顔フォーカス機能を有した装置が普及している。
一方、動画撮影の分野では印象的な動画像を撮影する機能として、通常のTVの表示フレームレート(NTSC規格では59.94 fps)とは異なるフレームレートで撮影するバリアブルフレームレート記録機能が搭載されているものがある。例えば、非常に動きが速いスポーツシーン、動物観察を行うシーンでは高速なフレームレートで撮影するスーパースロー撮影が知られている。一方、映画シーンのような印象的な映像にするために、映写機のフレームレートである24 fps で撮影可能な記録モードや、星空の観察、定点観測に適している撮影間隔を延ばした設定できるインターバル記録モードなどを搭載した装置が普及してきている。
撮影装置に搭載されている液晶パネル等の表示デバイスは、最良の表示が可能なフレームレートで駆動されることを前提として設計されており、多くはNTSC、PAL規格などに準拠した59.94Hz、50Hzでの駆動となっている。表示フレームレートを可変可能な表示デバイスもあるが、フレームレートを変更する場合の再起動や、キャリブレーションが必要となり、一旦表示を停止させる必要がある。この可変フレームレートに対応した表示デバイスは装置のコストアップにもつながり、表示停止期間では撮影画像を視認できず、撮影シーンを逃すことが懸念される。そのため、表示デバイスの駆動フレームは常に固定で動作させ、表示する画像の更新レートを可変させて使用しているのが一般的である。
また、フレキシブルな撮影フレームレートと、さまざまな表示フレームレートが混在することが予想され、記載の撮影ボケを抑制する技術も提案されている(特許文献1参照)。
しかしながら、上述の従来技術は、動画像シーンや、パンニングを行う場面では、表示デバイスの駆動フレームレートと画像の更新レートが異なることで、フリッカ(ちらつき現象)のような映像となり、撮影者が視認しづらい画像となる問題がある。
本発明は、表示画面の更新周期と動画データのフレームの周期が異なる場合にも、撮影者が撮影画像を視認しやすい画像を表示することができるようにすることを目的とする。
撮像装置は、撮像手段と、前記撮像手段により得られた動画データに対して画素単位のフィルタ処理を行う画像処理手段と、前記画像処理手段から出力された動画データに係る動画を表示する表示手段と、前記撮像手段により得られた動画データのフレームの周期と、前記表示手段の表示画面の更新周期とに基づいて、前記画像処理手段における前記フィルタ処理を制御する制御手段とを備える。
本発明によれば、表示画面の更新周期と動画データのフレームの周期が異なる場合にも、撮影者が撮影画像を視認しやすい画像を表示することができる。
以下、本発明の実施の形態について図面を参照しながら説明する。
[実施例1]
図1は、本発明の実施形態に係る撮像装置100のハードウェアブロック図である。200は、画像処理装置から着脱可能なメモリカードなどの記録媒体である。101は、DRAM(Dynamic Random Access Memory)であり、撮像装置100のメインメモリで、画像データや、メモリカード200から読み込んだ画像符号化データ等を一時保持することが可能である。102は、メインデータバスであり、各ブロックへ制御指示やDRAM101へアクセスは、このメインデータバスを経由して行われる。103は、被写体を撮影するためのレンズを含むレンズユニットである。
図1は、本発明の実施形態に係る撮像装置100のハードウェアブロック図である。200は、画像処理装置から着脱可能なメモリカードなどの記録媒体である。101は、DRAM(Dynamic Random Access Memory)であり、撮像装置100のメインメモリで、画像データや、メモリカード200から読み込んだ画像符号化データ等を一時保持することが可能である。102は、メインデータバスであり、各ブロックへ制御指示やDRAM101へアクセスは、このメインデータバスを経由して行われる。103は、被写体を撮影するためのレンズを含むレンズユニットである。
104は、レンズユニット103からの光束を受光し画像信号へ変換する撮像素子を含む、撮像手段である。生成された画像信号はデジタルデータとしてDRAM101へ一時保持される。105は、撮影手段104によって得られた画像信号を現像処理し、フレーム画像を生成するカメラ信号処理手段である。生成された複数のフレーム画像はDRAM101へ一時保持される。106は、前記カメラ信号処理部105によって生成されたフレーム画像から顔領域を検出する機能を有し、主被写体領域を検出する被写体検出手段である。107は、撮影時間のことなる複数のフレーム画像を用いて、画像単位の動き量を検出する動きベクトル検出手段である。108は、被写体検出手段によって検出された主被写体領域をリサイズ処理し、主被写体のフォーカス状態を視認しやすい画像を生成するフォーカス確認画像生成手段である。
109は、撮影されたフレーム画像を用いて、コーデック112が符号化するフレーム画像サイズへリサイズする機能を有する記録画像リサイズ手段である。110は、撮影されたフレーム画像を用いて、パネル114または、外部出力I/F 115へ出力する画像サイズへリサイズする機能を有する表示リサイズ画像生成手段である。111は、前記表示リサイズ画像生成手段110が生成した表示出力フレーム画像に対して、バンドパスフィルタ処理を施し、パネル114、および外部出力I/F 115 に接続される表示デバイスに適したフレーム画像を生成する表示画像フィルタ処理手段である。
112は、記録画像リサイズ手段によって生成されたフレーム画像を符号化し、画像ストリームデーを生成する機能と、記録媒体200に記録されている画像ストリームデータを復号し画像フレームを生成する機能を有する画像コーデック手段である。
113は、DRAM101に一時保持されているフレーム画像と、CPU117によってDRAM101に描画されたメニュー画面等のOSD(On Screen Display)画像とを合成し、パネル114、および外部出力I/F 115 へ表示画像を出力する画像合成手段である。
114は、撮像装置100に搭載されている、LCD(Liquid Crystal Display)、有機EL(Organic Electro-Luminescence)等の技術を用いた表示パネルへ表示するパネル部である。115は、外部のテレビモニタ等へ画像信号を出力可能な、コンポジット映像出力端子や、HDMI(登録商標)(High-Definition Multimedia Interface)端子を含む外部出力I/Fである。116は、撮像装置100に装着されている記録媒体200とのI/Fであり、DRAM101からデータ読み込み記録媒体200へ記録可能なMedia I/Fである。117は、撮像装置100全体の制御をおこなうメインCPUである。118は、CPU 117と、ROM119、RAM120、操作キー121を接続するプログラムバスである。
119は、CPU117のプログラムが格納されているROM (Read Only Memory)、120は、CPU117のワークメモリであるRAM(Random Access Memory)である。121は、ユーザが撮像装置100の動作指示を行うためのボタン、十字キー等の操作キーである。また、ROM119には以下のプログラムが格納されており、CPU117によって実行可能である。
カメラ信号処理手段105の現像処理に対して、撮像フレームレート単位にゲイン設定を変更することで白フェード、黒フェードなどのフェーダー機能や、色差信号を所定値と置き換えるモノトーン画像を生成する特殊効果画像生成プログラム。
撮像手段104、およびカメラ信号処理手段105の撮像フレームレートと、パネル114、および外部出力I/F 115 による表示画像出力のフレームレートを比較する画像更新周期比較プログラム。
パネル114、および外部出力I/F 115 へ出力する画像が、フォーカス確認画像生成手段108で生成されたフォーカス確認画像か、表示画像リサイズ手段110によって生成された画像かを判別する表示画像判別プログラム。
レンズユニット103、撮像手段104に対して、フォーカス位置を固定する動作指示を行うフォーカス位置固定プログラム。
撮像装置100に装着されているレンズユニット103の種別を判別するレンズ種別判別プログラム。
レンズユニット103、撮像手段104に対して、シャッター速度、絞り等の撮像パラメータを設定する撮像パラメータ設定プログラム。
画像コーデック手段112を用いて、画像ストリームデータから再生画像を生成する再生機能において、早送り、巻き戻し、再生ポーズ等の特殊再生を実現する特殊再生プログラム。
再生機能、および特殊再生プログラムによって実行される動画再生フレームレートと、パネル114、および外部出力I/F 115 による表示画像出力のフレームレートを比較する再生画像更新周期比較プログラム。
図2は、本発明の実施形態に係る撮像装置100におけるライブビュー表示撮影動作のデータフローを示すイメージ図である。図中の撮影画像VRAM、OSD VRAM、フォーカス確認画像VRAM、表示画像VRAM、記録画像VRAM、ストリームバッファはDRAM 101 に割り当てられているメモリ領域である。
ライブビュー表示撮影動作は、主に、撮像処理、表示画像生成処理、表示出力処理、画像ストリーム記録処理が実行され、処理タイミングとしては、それぞれ下記の動作タイミングで実行されている。
撮像フレームレート ・・・ 撮像処理、表示画像生成処理
表示デバイスフレームレート ・・・ 表示出力処理
記録媒体書き込みレート ・・・ 画像ストリーム記録処理
それぞれの処理に対するデータフローは以下のようになっている。
表示デバイスフレームレート ・・・ 表示出力処理
記録媒体書き込みレート ・・・ 画像ストリーム記録処理
それぞれの処理に対するデータフローは以下のようになっている。
<撮像処理>
レンズユニット103、撮像手段104、およびカメラ信号処理105を用いて生成された撮影画像は、撮影画像VRAMに格納される。この撮影画像VRAMに格納された撮影画像を用いて、動きベクトル検出107は、撮影画像の動きベクトルを検出、被写体検出手段106は顔領域検出機能を用いて被写体領域を検出する。
レンズユニット103、撮像手段104、およびカメラ信号処理105を用いて生成された撮影画像は、撮影画像VRAMに格納される。この撮影画像VRAMに格納された撮影画像を用いて、動きベクトル検出107は、撮影画像の動きベクトルを検出、被写体検出手段106は顔領域検出機能を用いて被写体領域を検出する。
<表示画像生成処理>
撮影画像を用いて表示リサイズ手段110はパネル114の表示サイズに応じたリサイズ処理を行い、表示画像フィルタ処理手段111はパネル114に適したフィルタ処理を施し、表示画像VRAMへ格納する。
撮影画像を用いて表示リサイズ手段110はパネル114の表示サイズに応じたリサイズ処理を行い、表示画像フィルタ処理手段111はパネル114に適したフィルタ処理を施し、表示画像VRAMへ格納する。
また、このときユーザからフォーカス拡大表示指示がなされている場合は、フォーカス確認画像生成108は、撮影画像と、被写体検出手段106の検出結果を用いてフォーカス確認画像を生成し、フォーカス確認画像VRAMへ格納する。上述した撮影画像を用いた各種処理とは別に、現在の撮像装置100の状態をユーザへ通知するステータス画面を、CPU117はOSD VRAMへ描画処理する。
<表示出力処理>
各種ステータス画面(OSD)、フォーカス確認画像、表示画像を用いて、画像合成113は、現在設定されている表示画面モードに応じた画像合成を処理を行い、パネル114の表示フレームレートに合わせて表示画像を出力する。
各種ステータス画面(OSD)、フォーカス確認画像、表示画像を用いて、画像合成113は、現在設定されている表示画面モードに応じた画像合成を処理を行い、パネル114の表示フレームレートに合わせて表示画像を出力する。
<画像ストリーム記録処理>
記録画像リサイズ手段109は、画像コーデック112が符号化する画像サイズへリサイズ処理をおこない記録画像を生成し、記録画像VRAMへ格納する。生成された記録画像を用いて、画像コーデック112は符号化処理を行い、符号化された画像ストリームデータをストリームバッファへ格納する。格納されたストリームデータは、Media I/F 116を介して、撮像装置110に装着されている記録媒体200へ記録される。
記録画像リサイズ手段109は、画像コーデック112が符号化する画像サイズへリサイズ処理をおこない記録画像を生成し、記録画像VRAMへ格納する。生成された記録画像を用いて、画像コーデック112は符号化処理を行い、符号化された画像ストリームデータをストリームバッファへ格納する。格納されたストリームデータは、Media I/F 116を介して、撮像装置110に装着されている記録媒体200へ記録される。
以上のように、ライブビュー表示撮影動作は、撮像処理、表示画像生成処理、表示出力処理、画像ストリーム記録処理が実行されることで、現在撮影中の画像を液晶パネル114へ表示しながら、画像ストリームを記録媒体200へ記録する動作である。
表示画像生成処理で説明したように、表示画像フィルタ処理手段111は、表示画像VRAMへの出力画像に対して、表示デバイスであるパネル114に適したフィルタ処理を行うが、フォーカス確認画像、およびOSD画像、および記録画像へは適応されないデータパスとなっている。
図3は、図2で説明した、本発明に係る撮像装置100におけるライブビュー表示撮影動作時の表示画像フィルタ処理手段111の動作フローチャートである。図3に示す動作フローチャートは、表示画像フィルタ処理手段111が処理する画像ピクセル単位に実行される動作フローである。
まず、CPU117で実行可能な前記画像更新周期比較プログラムによって算出された結果、下記の<条件式1>が成り立っているか判断する(S301)。
<条件式1> 撮影フレームレート ≦ パネル表示レート
S301でNoならば、ユーザによる操作指示で静止画シャッターボタンがによる半押し、全押し指示が来ているかを判断する(S302)。S302でNoならば、前記動きベクトル検出107によって検出された動き量を取得し、現在処理するピクセルの動き量が閾値以上かを判別する(S303)。S303でNoならば、現在処理するピクセルが、前記被写体検出手段106によって検出された被写体領域であるかを判断する(S304)。
<条件式1> 撮影フレームレート ≦ パネル表示レート
S301でNoならば、ユーザによる操作指示で静止画シャッターボタンがによる半押し、全押し指示が来ているかを判断する(S302)。S302でNoならば、前記動きベクトル検出107によって検出された動き量を取得し、現在処理するピクセルの動き量が閾値以上かを判別する(S303)。S303でNoならば、現在処理するピクセルが、前記被写体検出手段106によって検出された被写体領域であるかを判断する(S304)。
S304でNoならば、フィルタ処理強度を強くし、対象ピクセル値を生成する(S305)。ここで述べるフィルタとは、対象ピクセルを算出するのに周辺の数ピクセルを用いて所定周波数帯域を通過させるローパスフィルタ画像処理を示し、強度はローパスフィルタの通過周波数帯域であり、強くするほど高周波成分が通過しなくなる処理となる。
S304でYesならば、前記フィルタ強度を弱く(強にくらべて通過帯域を高くする)した画像フィルタ処理を施し、対象ピクセルを生成する(S306)。S301、S302、S303でYesならば、フィルタ処理を施さず、表示画像リサイズ手段110が生成したピクセル値そのままを出力する(S307)。
図3で説明したS301で説明した<条件式1>に関して、本実施の形態では撮影フレームレートがパネル表示レート以下であった場合に、比較結果をNoとしたが、表示パネルの応答性能を加味した所定のフレームレート範囲の場合にNoと判断してもよい。
例えば、所定のフレームレートの範囲を15Hz 〜 30Hz (この範囲の場合にはチラツキが発生)とした場合、
撮影フレームレートが50Hz
パネル表示フレームレートが59.94Hz
の条件下では、S301でYesと判断されフィルタ処理はOFFとなり、
撮影フレームレートが30Hz
パネル表示フレームレートが59.94Hz
の条件下では、S301でNoと判断され、S302へ移行する。
撮影フレームレートが50Hz
パネル表示フレームレートが59.94Hz
の条件下では、S301でYesと判断されフィルタ処理はOFFとなり、
撮影フレームレートが30Hz
パネル表示フレームレートが59.94Hz
の条件下では、S301でNoと判断され、S302へ移行する。
また、
撮影フレームレートが10Hz
パネル表示フレームレートが59.94Hz
の条件下では、S301でYesと判断されフィルタ処理はOFFとなる。
撮影フレームレートが10Hz
パネル表示フレームレートが59.94Hz
の条件下では、S301でYesと判断されフィルタ処理はOFFとなる。
図4は、本発明に係る撮像装置100におけるライブビュー表示撮影動作におけるフォーカス拡大表示画像、およびOSD表示画像のイメージ図である。図4において、画像(1)は、前記表示画像リサイズ手段110によって生成された画像でパンニング等で画像全体が大きく動いている最中の画像であり、撮影フレームレート ≦ パネル表示レート の条件下のため、画面全体にフリッカによるチラツキが発生する画像とする。
画像(2)は、画像(1)と同様の条件下において、下層レイヤに配置した全体表示画像部分には、フリッカ抑制のためのローパスフィルタをかけ、ローパスフィルタをかけていないフォーカス確認画像とを合成表示した画像である。このようにフリッカによるチラツキが発生する場合、全体表示部分にはローパスフィルタを適応することでチラツキを軽減し、フォーカス状態を確認したい領域には、チラツキは発生しているものの、フォーカス状態の視認性を保った表示を行う。
また、画像(3)は、表示リサイズ手段110が生成した画像に対して、表示画像フィルタ処理手段111によるフィルタ処理を行わず、OSD表示部分以外には画像(1)と同様にフリッカによるチラツキが発生しているものとする。
画像(4)は、画像(3)と同条件の画像に対して、表示画像フィルタ処理手段111によるフィルタ処理を適応した画像である。このように撮影画像に対してはチラツキを軽減するフィルタ処理を施すが、OSD等の撮影条件をユーザに通知するOSD表示部分には、フィルタ処理を適応しないで表示する。
図5は、図3で説明した本発明に係る撮像装置100におけるライブビュー表示撮影動作時の被写体検出を用いた表示画像のイメージ図である。
図5における画像(1)は、図4で説明した画像(1)と同様に、前記表示画像リサイズ手段110によって生成された画像でパンニング等で画像全体が大きく動いている最中の画像であり、撮影フレームレート ≦ パネル表示レート の条件下のため、画面全体にフリッカによるチラツキが発生する画像とする。
画像(5)は、被写体領域の検出を行わず、すべての画素がS305で説明した”フィルタ処理:強” を適応した場合の表示画像である。このように画像全体にローパスフィルタが施されるため、フリッカによるチラツキは画面全体で抑圧された画面となる。
画像(6)は、被写体領域の検出を行った場合であり、被写体領域部分には、S306で説明した”フィルタ処理:弱“を行い、それ以外の領域は”フィルタ処理:強” を適応した場合の表示画像である。このように主被写体領域は、チラツキはのこるもののフォーカス状態を比較的確認しやすい画像となり、被写体領域外は、チラツキを抑圧した画像となる。
図6は、図3で説明した本発明に係る撮像装置100におけるライブビュー表示撮影動作時の動き検出量を用いた表示画像、およびシャッターボタン操作時の表示画像のイメージ図である。
図6における画像(7)は、撮影フレームレート ≦ パネル表示レート の条件下において、被写体B以外に動きはなく、静止している画像である。この場合、被写体Bの領域にはフリッカによるチラツキが発生している。
画像(8)は、画像(7)と同様の条件下において、図3で説明した表示画像フィルタ処理手段111の処理を適応した場合の表示画像である。被写体Bの領域外は動き量が閾値以下のため、フィルタ処理は適応されない。被写体Bの領域に対しては、動き量が閾値以上のため“フィルタ処理:弱”が適応され、チラツキが軽減されている。
画像(6)は、図5で説明した画像(6)と同一処理中の画面であり、被写体領域部分には、S306で説明した”フィルタ処理:弱“を行い、それ以外の領域は”フィルタ処理:強” を適応した場合の表示画像である。
この状態から、ユーザによってシャッターボタンが半押しされた場合、表示画像フィルタ処理手段111のフィルタ処理をすべてOFFし、画像(9)に示すようにチラツキは発生するが、画面全体のフォーカス状態を視認しやすい表示画面に切り替える。
以上述べたように、撮影フレームレートとパネル表示レートの比較結果に応じて、パネル表示画像に対して、チラツキ軽減のためのローパスフィルタを施すことで視認しやすい表示画像を得ることができる。
また、表示画像フィルタ処理111は、被写体領域、動き量、ユーザの操作状態に応じて、画素単位にフィルタ強度を変更することで、さらに視認しやすい表示画像を生成することが可能となる。
また、本実施の形態では、カメラ信号処理105は通常の現像処理での動作について説明したが、前述した特殊効果画像生成プログラムによるエフェクト撮影時には、エフェクト動作状態に応じて、表示画像フィルタ処理111のフィルタ処理強度を制御してもよい。
また、本実施の形態では、レンズ種別について言及しなかったが、レンズユニットが脱着可能な一眼レフカメラ等の製品では、装着されたレンズユニットの種別に応じて、表示画像フィルタ処理111のフィルタ処理強度を変更してもよい。
また、本実施の形態では、シャッター速度、絞り等のユーザによる撮像パラメータに関して言及しなかったが、撮像パラメータの値に応じて表示画像フィルタ処理111のフィルタ処理強度を変更してもよい。
また、本実施の形態では、撮像装置100に搭載されたパネル114の表示レートと撮影フレームレートを比較したが、外部出力I/F 115に表示デバイスが接続されている場合には、外部出力のフレームレートと撮影フレームレートを比較した結果に応じて、同様の処理をおこなってもよい。
また、本実施の形態では、撮像装置100に搭載されたパネル114のみの表示動作状態について説明したが、パネル114と外部出力I/F 115に接続されている表示デバイスの両方に撮影画像を表示出力を行う場合、パネル114への表示画像には表示画像フィルタ処理111のフィルタ処理を施すが、外部表示デバイスへの出力画像には表示画像フィルタ処理111のフィルタ処理を適応させずに画像出力をおこなってもよい。
[実施例2]
次に、第二実施形態について説明する。なお、以下で説明する第二実施形態おける装置構成については、第一実施形態と同様であるため、その説明を省略する。図7は、本発明の実施形態に係る撮像装置100における動画再生動作のデータフローを示すイメージ図である。
次に、第二実施形態について説明する。なお、以下で説明する第二実施形態おける装置構成については、第一実施形態と同様であるため、その説明を省略する。図7は、本発明の実施形態に係る撮像装置100における動画再生動作のデータフローを示すイメージ図である。
図中の再生画像VRAM、OSD VRAM、表示画像VRAM、ストリームバッファはDRAM 101 に割り当てられているメモリ領域である。
動画再生動作は、主に、デコード処理、表示画像生成処理、表示出力処理が実行され、処理タイミングとしては、それぞれ下記の動作タイミングで実行されている。
動画再生フレームレート ・・・ デコード処理、表示画像生成処理
表示デバイスフレームレート ・・・ 表示出力処理
それぞれの処理に対するデータフローは以下のようになっている。
表示デバイスフレームレート ・・・ 表示出力処理
それぞれの処理に対するデータフローは以下のようになっている。
<デコード処理>
Media I/F 116を介して、記録媒体200に記録されている動画ストリームをストリームバッファへ読み込む。読み込まれた動画ストリームは画像コーデック112によって復号処理され、復号された再生画像は再生画像VRAMへ出力される。
Media I/F 116を介して、記録媒体200に記録されている動画ストリームをストリームバッファへ読み込む。読み込まれた動画ストリームは画像コーデック112によって復号処理され、復号された再生画像は再生画像VRAMへ出力される。
<表示画像生成処理>
再生画像を用いて表示リサイズ手段110はパネル114の表示サイズに応じたリサイズ処理を行い、表示画像フィルタ処理手段111はパネル114に適したフィルタ処理を施し、表示画像VRAMへ格納する。上述した表示画像とは別に、現在の撮像装置100の状態をユーザへ通知するステータス画面を、CPU117はOSD VRAMへ描画処理する。
再生画像を用いて表示リサイズ手段110はパネル114の表示サイズに応じたリサイズ処理を行い、表示画像フィルタ処理手段111はパネル114に適したフィルタ処理を施し、表示画像VRAMへ格納する。上述した表示画像とは別に、現在の撮像装置100の状態をユーザへ通知するステータス画面を、CPU117はOSD VRAMへ描画処理する。
<表示出力処理>
各種ステータス画面(OSD)、表示画像を用いて、画像合成113は、現在設定されてる表示画面モードに応じた画像合成を処理を行い、パネル114の表示フレームレートに合わせて表示画像を出力する。
各種ステータス画面(OSD)、表示画像を用いて、画像合成113は、現在設定されてる表示画面モードに応じた画像合成を処理を行い、パネル114の表示フレームレートに合わせて表示画像を出力する。
以上のように、動画再生動作は、デコード処理、表示画像生成処理、表示出力処理が実行されることで、記録媒体200に記録されている動画ストリームをデコードし、再生画像を液晶パネル114へ表示する動作である。
表示画像生成処理で説明したように、表示画像フィルタ処理手段111は、再生画像VRAMの画像に対して、表示デバイスであるパネル114に適したフィルタ処理を行うが、OSD画像へは適応されないデータパスとなっている。
図8は、図7で説明した、本発明に係る撮像装置100における動画再生動作時の表示画像フィルタ処理手段111の動作フローチャートである。図8に示す動作フローチャートは、表示画像フィルタ処理手段111が処理する画像ピクセル単位に実行される動作フローである。
まず、CPU117で実行可能な再生画像更新周期比較プログラムによって算出された結果、下記の<条件式2>が成り立っているか判断する(S801)。
<条件式2> 再生フレームレート ≦ パネル表示レート
このとき、再生フレームレートとは以下のように算出される値である。
動画ストリームに記録されている付加情報に記載されているフレームレートを〈ストリームフレームレート〉、前記特殊再生プログラムによって決定される再生速度を〈再生倍速〉とすると、再生フレームレートは以下の式によって算出される。
<条件式2> 再生フレームレート ≦ パネル表示レート
このとき、再生フレームレートとは以下のように算出される値である。
動画ストリームに記録されている付加情報に記載されているフレームレートを〈ストリームフレームレート〉、前記特殊再生プログラムによって決定される再生速度を〈再生倍速〉とすると、再生フレームレートは以下の式によって算出される。
再生フレームレート = 〈ストリームフレームレート〉 x 〈再生倍速〉
例えば、ストリームフレームレートが59.94Hz、再生倍速が1/4スロー再生の場合、
再生フレームレート = 59.94 x 1/4 = 14.985 Hz
となる。
例えば、ストリームフレームレートが59.94Hz、再生倍速が1/4スロー再生の場合、
再生フレームレート = 59.94 x 1/4 = 14.985 Hz
となる。
S801でNoならば、ユーザによる操作指示で再生ポーズ指示が来ているかを判断する(S802)。S802でNoならば、フィルタ処理強度を強くし、対象ピクセル値を生成する(S803)。ここで述べるフィルタとは、対象ピクセルを算出するのに周辺の数ピクセルを用いて所定周波数帯域を通過させるローパスフィルタ画像処理を示し、強度はローパスフィルタの通過周波数帯域であり、強くするほど高周波成分が通過しなくなる処理となる。S801、S802でYesならば、フィルタ処理を施さず、表示画像リサイズ手段110が生成したピクセル値そのままを出力する(S804)。
以上述べたように、動画再生動作において、上述の再生フレームレートとパネル表示レートを比較した結果に応じて、表示画像フィルタ処理手段111のフィルタ処理を適宜変更することで、パネル114へ表示する再生画像に対してもチラツキを抑えた表示が可能になる。
以上述べたように、装置に搭載されているパネルや、外部に接続されている表示デバイスの表示出力レートと、表示する動画像の更新フレームレートを比較し、比較結果に応じてチラツキが発生すると判断された場合に、表示画像に対してフィルタ処理を適応することで、チラツキを軽減することが可能となる。
また、フォーカス状態を確認する場面や、装置の動作状態を通知するOSD領域に対しては、チラツキを軽減するフィルタ処理を適応しないようにすることで、ユーザが視認しやすい表示画像となる。
100 撮像装置、200 記録媒体、101 DRAM、102 メインデータバス、
103 レンズユニット
103 レンズユニット
Claims (8)
- 撮像手段と、
前記撮像手段により得られた動画データに対して画素単位のフィルタ処理を行う画像処理手段と、
前記画像処理手段から出力された動画データに係る動画を表示する表示手段と、
前記撮像手段により得られた動画データのフレームの周期と、前記表示手段の表示画面の更新周期とに基づいて、前記画像処理手段における前記フィルタ処理を制御する制御手段とを備えることを特徴とする撮像装置。 - 前記制御手段は、前記動画データのフレームの周期が前記表示画面の更新周期よりも低い場合に、前記フィルタ処理の強度を強くすることを特徴とする請求項1に記載の撮像装置。
- 前記撮像手段により得られた動画データの一部の領域を拡大して前記表示手段に表示する場合に、前記制御手段は、前記拡大される領域以外の領域に対して、前記拡大される領域よりも前記フィルタ処理の強度を強くすることを特徴とする請求項1に記載の撮像装置。
- 前記画像データにおける所定の被写体に対応した領域以外の領域に対して、前記所定の被写体に対応した領域よりも前記フィルタ処理の強度を強くすることを特徴とする請求項1に記載の撮像装置。
- 前記動画データのフレーム間の動き量を検出する検出手段を備え、前記制御手段は、前記検出手段により検出された動き量が大きいほど、前記フィルタ処理の強度を強くすることを特徴とする請求項1に記載の撮像装置。
- 前記画像処理手段は、前記撮像手段からの動画データに対して、他の画像データを合成する処理を行い、
前記制御手段は、前記撮像手段からの動画データと、前記他の画像データとに対して、独立に前記フィルタ処理の強度を制御することを特徴とする請求項1に記載の撮像装置。 - 前記画像処理手段からの動画データを、外部の表示装置に出力する出力手段を有し、
前記制御手段は、前記表示手段へ出力する動画データと、前記外部の表示装置に出力される動画データに対し、前記フィルタ処理の強度が異なるように制御することを特徴とする請求項1に記載の撮像装置。 - 記録媒体から動画データを再生する再生手段と、
前記再生手段により再生された動画データに対して画素単位のフィルタ処理を行う画像処理手段と、
前記画像処理手段から出力された動画データに係る動画を表示する表示手段と、
前記再生された動画データのフレームの周期と、前記表示手段の表示画面の更新周期とに基づいて、前記画像処理手段における前記フィルタ処理を制御する制御手段とを備えることを特徴とする再生装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014099140A JP2015216557A (ja) | 2014-05-13 | 2014-05-13 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014099140A JP2015216557A (ja) | 2014-05-13 | 2014-05-13 | 撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015216557A true JP2015216557A (ja) | 2015-12-03 |
Family
ID=54753048
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014099140A Pending JP2015216557A (ja) | 2014-05-13 | 2014-05-13 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015216557A (ja) |
-
2014
- 2014-05-13 JP JP2014099140A patent/JP2015216557A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11750918B2 (en) | Assist for orienting a camera at different zoom levels | |
KR101864059B1 (ko) | 이동 단말 및 그 촬영 방법 | |
KR101305622B1 (ko) | 디스플레이 및 디지털 프로젝터를 위한 정확한 움직임 묘사 | |
CN108184165B (zh) | 视频播放方法、电子装置和计算机可读存储介质 | |
US9185294B2 (en) | Image apparatus, image display apparatus and image display method | |
JP6214421B2 (ja) | 撮像装置、撮像方法 | |
JP6721084B2 (ja) | ズーム制御装置、ズーム制御方法およびプログラム | |
JP2007180641A (ja) | 撮像装置及び撮像装置の表示方法 | |
JP2016167710A (ja) | 画像再生装置及び画像再生方法 | |
JP2010004113A (ja) | 撮像装置、撮像方法、画像処理装置、および画像処理方法 | |
US20100271545A1 (en) | Display apparatus and control method thereof | |
WO2017150238A1 (ja) | 表示制御装置、表示制御方法、及び、プログラム | |
US9661217B2 (en) | Image capturing apparatus and control method therefor | |
JP2015216557A (ja) | 撮像装置 | |
JP7110985B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2010021893A (ja) | 動画像処理装置および動画像処理方法 | |
JP2013146110A (ja) | 撮像装置及び方法、並びにプログラム | |
JP2017011676A (ja) | 画像処理装置及び画像処理方法 | |
JP2002185867A (ja) | 撮像装置、撮像装置の制御装置及び光量制御方法 | |
JP2009276592A (ja) | プロジェクタ、および、プロジェクタの制御方法 | |
JP2008170845A (ja) | 表示制御装置、画像表示装置、表示制御装置の制御方法および制御プログラム | |
JP6708495B2 (ja) | 映像処理装置、撮像装置および映像処理プログラム | |
US20130038693A1 (en) | Method and apparatus for reducing frame repetition in stereoscopic 3d imaging | |
KR102089981B1 (ko) | 영상처리장치, 영상처리방법 및 프로그램 | |
JP2013219658A (ja) | 画像処理装置、画像処理方法、画像処理プログラム |