JP2014232916A - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

画像処理装置、および画像処理方法、並びにプログラム Download PDF

Info

Publication number
JP2014232916A
JP2014232916A JP2013111689A JP2013111689A JP2014232916A JP 2014232916 A JP2014232916 A JP 2014232916A JP 2013111689 A JP2013111689 A JP 2013111689A JP 2013111689 A JP2013111689 A JP 2013111689A JP 2014232916 A JP2014232916 A JP 2014232916A
Authority
JP
Japan
Prior art keywords
image
pixels
update
group
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013111689A
Other languages
English (en)
Inventor
雄太郎 本田
Yutaro Honda
雄太郎 本田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2013111689A priority Critical patent/JP2014232916A/ja
Priority to US14/261,631 priority patent/US9219868B2/en
Publication of JP2014232916A publication Critical patent/JP2014232916A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/745Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】画像のフリッカ低減を実現する装置、方法を提供する。【解決手段】動画像コンテンツを構成する画像フレームの明暗縞パターンのフレーム周期である巡回周期に応じて画像フレームの構成画素を複数グループに分割する。さらに、各画像フレームから、特定グループの画素を更新画素として設定した更新画素情報を生成し、生成した更新画素情報に従って、画像フレームの各々から特定グループに属する更新画素を選択出力して表示画像の画素をグループ単位で更新する。これらの処理により、表示画像をグループ単位で複数画像を合成した画像として明暗縞等のフリッカの低減を実現する。【選択図】図3

Description

本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、画像に発生する明暗縞等のフリッカを低減する画像処理装置、および画像処理方法、並びにプログラムに関する。
時間の経過とともに明るさが高速に明暗変化する光源の下で撮像素子(イメージセンサ)の画素位置によって露光タイミングが異なる撮像素子を利用して画像撮影を行うと、明暗の縞状ノイズが画像に記録される。連続画像フレームからなる動画を撮影した場合には、各画像フレームの異なる位置に明暗縞が発生し、撮影動画をディスプレイに表示すると上下方向に流れる横縞が観察される。
明暗変化する光源の例としては交流電源で点灯する蛍光灯が挙げられる。東日本では商用電源が50Hz、西日本では60Hzであり、蛍光灯はこの電源電圧の変化に応じて明滅を繰り返している。
このような蛍光灯の照明下で、例えばCMOS(Complementary Metal Oxides Semiconductor)撮像素子などXYアドレス走査型の撮像素子を備えたカメラで画像を撮影すると、画像信号に縞状の輝度ムラや色ムラが発生する。
なお、XYアドレス走査型の撮像素子とは、画像フレームの上位行から下位行、あるいは下位行から上位行に向けて順次、露光処理を行なう素子である。このような撮像素子を用いた画像撮影を行うと、1つの画像フレームにおいて上位行〜下位行の各行で露光タイミングが異なるため、各露光タイミングにおける照明からの入射光量に応じた明暗縞が出現する。
所定の周波数で明滅する照明環境下で映像(動画像)を撮影し、撮影した映像を表示装置に表示すると、輝度の高い部分と低い部分の縞パターンが画面上を流れる現象が確認される。これは動画を構成する各画像フレーム間で照明からの入射光量に応じた明暗縞の出現位置がずれるためである。
このように、画像撮影時の照明の光量変化に基づいて発生する画像の明暗縞はいわゆる「フリッカ」と呼ばれる。
なお、「フリッカ」は、画像をディスプレイに表示した際に発生する画面のちらつき全般を意味する。上述した画像に表れる明暗縞はフリッカの一態様である。撮影画像に出現する明暗縞は、画像撮影時における照明環境と、撮影画像の撮影フレームレートとの対応関係によって、様々なパターンで発生する。
すなわち、フリッカは、商用電源(交流)に接続された蛍光灯が基本的に電源周波数の2倍の周期で点滅を繰り返していることと撮像素子の動作原理に起因して発生する。
このようなフリッカを防止または減少させる処理について開示した従来技術として、例えば以下の文献がある。
特許文献1(特開平5−130551号公報)は、動画中に発生するフリッカの明暗の周期性を利用し、明暗成分を打ち消すように複数の連続フレームの画素値を加算平均して記録することでフリッカを軽減する方法を開示している。
しかし、この処理を実行するためには、複数の画像フレームの対応位置にある複数の画素値を加算平均する演算を行うことが必要であり、この演算処理のための信号処理回路を追加することが必要となる。なお、その他の補正処理、例えば、複数の画像フレームを適用することなく、1つの画像フレームに発生している明暗縞を検出して、検出結果に基づいて画素値補正を行い、フリッカを取り除く方法も可能であるが、この処理を行なう場合にも、やはり画素値補正を行う信号処理回路が必要となる。
また、表示装置の表示に利用する光源の明滅、視認環境で表示装置自身がさらされる光源の明滅、表示装置の書き換え駆動処理などから生じるフリッカの低減処理について開示した従来技術として以下の文献がある。
特許文献2(特開2003−280606号公報)、特許文献3(特開2003−302947号公報)、特許文献4(特開平3−138616号公報)、特許文献5(特開2009−216900号公報)、特許文献6(特開平7−306397号公報)などである。
これらの文献に記載された処理は、いずれも表示装置に対する画像表示処理の実行タイミングにおける照明環境等に起因するフリッカ低減について開示したものである。これらの文献は、表示コンテンツ自体に含まれるフリッカ成分、すなわち、画像撮影時の照明環境に起因してコンテンツ自身に含まれる明暗縞を低減させる処理については開示していない。
特開平5−130551号公報 特開2003−280606号公報 特開2003−302947号公報 特開平3−138616号公報 特開2009−216900号公報 特開平7−306397号公報
本開示は、例えば上記の問題に鑑みてなされたものであり、画像撮影時の照明環境等に基づいて撮影画像自身に含まれる明暗成分に起因して発生するフリッカの低減を行う画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
本開示の第1の側面は、
動画像コンテンツを構成する画像フレームの明暗縞パターンのフレーム周期である巡回周期に応じて前記画像フレームの構成画素のグループ分割態様を決定し、決定したグループ分割態様に従って画像フレームの構成画素を複数グループに分割する処理を実行し、
各画像フレームから、特定グループの画素を更新画素として設定した更新画素情報を生成する更新画素選択部と、
前記更新画素情報に従って、前記画像フレームの各々から特定グループに属する更新画素を選択出力して表示画像の画素をグループ単位で更新させる出力制御信号を生成する出力制御信号生成部を有する画像処理装置にある。
さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記動画像コンテンツの巡回周期を判断して判断結果としての巡回周期情報を生成する巡回周期判断部を有し、前記更新画像選択部は、前記巡回周期情報を適用して、前記グループ分割態様を決定する。
さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記出力制御信号生成部から前記出力制御信号を入力し、入力した出力制御信号に従って表示画像の構成画素をグループ単位で更新する表示部を有する。
さらに、本開示の画像処理装置の一実施態様において、前記更新画素選択部は、画像フレームの構成画素のグループ分割処理において、前記巡回周期の整数倍のグループ数に設定したグループ分割処理を実行する。
さらに、本開示の画像処理装置の一実施態様において、前記更新画素選択部は、メモリに格納したグループ分割情報を適用して画像フレームの構成画素のグループ分割処理を実行する。
さらに、本開示の画像処理装置の一実施態様において、前記更新画素選択部は、設定グループ数=nの場合、前記画像フレームの構成行を一行単位でグループ1〜nまで繰り返して設定するグループ分割処理を実行し、各画像フレームから行単位で分割された特定グループ画素を更新画素として設定した更新画素情報を生成し、前記出力制御信号生成部は、画像フレームの各々から特定グループに属する行グループ単位の更新画素を選択出力して表示画像の画素を行グループ単位で更新させる出力制御信号を生成する。
さらに、本開示の画像処理装置の一実施態様において、前記更新画素選択部は、前記画像フレームの構成画素をランダムパターンに従って複数グループに分割するグループ分割処理を実行し、各画像フレームから前記ランダムパターンに従って分割された特定グループ画素を更新画素として設定した更新画素情報を生成し、前記出力制御信号生成部は、画像フレームの各々から特定グループに属する更新画素を選択出力して表示画像の画素を前記ランダムパターンに従って更新させる出力制御信号を生成する。
さらに、本開示の画像処理装置の一実施態様において、前記更新画素選択部は、メモリにグループ分割態様を規定した複数のグループ分割情報を格納し、前記メモリから前記巡回周期の整数倍のグループ数に設定したグループ分割情報を取得し、取得したグループ分割情報に従ってグループ分割処理を実行する。
さらに、本開示の第2の側面は、
動画像コンテンツを撮影する撮像部と、
前記撮像部から撮影された動画像コンテンツを入力し、入力した動画像コンテンツを構成する画像フレームの明暗縞パターンのフレーム周期である巡回周期に応じて前記画像フレームの構成画素のグループ分割態様を決定し、決定したグループ分割態様に従って画像フレームの構成画素を複数グループに分割する処理を実行し、
各画像フレームから、特定グループの画素を更新画素として設定した更新画素情報を生成する更新画素選択部と、
前記更新画素情報に従って、前記画像フレームの各々から特定グループに属する更新画素を選択出力して表示画像の画素をグループ単位で更新させる出力制御信号を生成する出力制御信号生成部を有する撮像装置にある。
さらに、本開示の撮像装置の一実施態様において、前記撮像装置は、さらに、前記動画像コンテンツの巡回周期を判断して判断結果としての巡回周期情報を生成する巡回周期判断部を有し、前記更新画像選択部は、前記巡回周期情報を適用して、前記グループ分割態様を決定する。
さらに、本開示の撮像装置の一実施態様において、前記撮像装置は、さらに、前記出力制御信号生成部から前記出力制御信号を入力し、入力した出力制御信号に従って表示画像の構成画素をグループ単位で更新する表示部を有する。
さらに、本開示の第3の側面は、
画像処理装置において実行する画像処理方法であり、
更新画素選択部が、動画像コンテンツを構成する画像フレームの明暗縞パターンのフレーム周期である巡回周期に応じて前記画像フレームの構成画素のグループ分割態様を決定し、決定したグループ分割態様に従って画像フレームの構成画素を複数グループに分割し、各画像フレームから、特定グループの画素を更新画素として設定した更新画素情報を生成し、
出力制御信号生成部が、前記更新画素情報に従って、前記画像フレームの各々から特定グループに属する更新画素を選択出力して表示画像の画素をグループ単位で更新させる出力制御信号を生成する画像処理方法にある。
さらに、本開示の第4の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
更新画素選択部に、動画像コンテンツを構成する画像フレームの明暗縞パターンのフレーム周期である巡回周期に応じて前記画像フレームの構成画素のグループ分割態様を決定し、決定したグループ分割態様に従って画像フレームの構成画素を複数グループに分割する処理と、
各画像フレームから、特定グループの画素を更新画素として設定した更新画素情報を生成する処理を実行させ、
出力制御信号生成部に、前記更新画素情報に従って、前記画像フレームの各々から特定グループに属する更新画素を選択出力して表示画像の画素をグループ単位で更新させる出力制御信号を生成させるプログラムにある。
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して例えば記憶媒体によって提供されるプログラムである。このようなプログラムを情報処理装置やコンピュータ・システム上のプログラム実行部で実行することでプログラムに応じた処理が実現される。
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本開示の一実施例の構成によれば、画像のフリッカ低減を実現する装置、方法が実現される。
具体的には、動画像コンテンツを構成する画像フレームの明暗縞パターンのフレーム周期である巡回周期に応じて画像フレームの構成画素を複数グループに分割する。さらに、各画像フレームから、特定グループの画素を更新画素として設定した更新画素情報を生成し、生成した更新画素情報に従って、画像フレームの各々から特定グループに属する更新画素を選択出力して表示画像の画素をグループ単位で更新する。
これらの処理により、表示画像をグループ単位で複数画像を合成した画像に設定可能となり、画素値の加算平均処理等を実行する演算回路や演算処理を行なうことなく、明暗縞等のフリッカを低減した画像を表示することが可能となる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
撮影画像に発生するフリッカについて説明する図である。 画像撮影時の光源輝度変化と、撮影画像に発生する明暗縞について説明する図である。 本開示の画像処理装置の構成例について説明する図である。 出力制御信号生成部の実行する処理例について説明する図である。 出力制御信号生成部の実行する処理例について説明する図である。 出力制御信号生成部の実行する処理と、表示部に対する出力画像の構成例について説明する図である。 本開示の生成する表示画像の一例について説明する図である。 グループ設定をランダムパターンとしたグループ設定例について説明する図である。 ランダムパターンとしたグループ設定に従って出力制御信号生成部が生成した出力制御信号に基づいて表示部に表示される画像例について説明する図である。 グループ数を5としたグループ設定に従って出力制御信号生成部が生成した出力制御信号に基づいて表示負に表示される画像例について説明する図である。
以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は、以下の項目に従って行う。
1.フリッカの発生原理について
2.本開示の画像処理装置の構成と処理について
3.表示画像のグループ分割に基づく画素更新処理の具体例について
4.グループ分割および出力画像更新処理の具体的(第1実施例)
5.その他の実施例について
5−1.グループ設定をランダムパターンとした例(第2実施例)
5−2.フリッカの巡回周期に応じてグループ数を変化させる例(第3実施例)
6.本開示の構成のまとめ
[1.フリッカの発生原理について]
先に説明したように、時間の経過とともに明るさが高速に明暗変化する光源の下で、撮像素子の位置によって露光タイミングが異なる撮像素子を利用して画像を撮影すると、明暗の縞状のノイズが画像に記録される。
明暗変化する光源の例としては交流電源で点灯する蛍光灯が挙げられる。東日本では商用電源が50Hz、西日本では60Hzであり、この電源電圧の変化に応じて明滅を繰り返している。
また位置によって露光タイミングが異なる撮像素子の例としてはCMOSイメージセンサが挙げられる。CMOSイメージセンサを利用した撮影装置で画像を撮影すると、センサの上から下、もしくは下から上に向かって順次露光が繰り返される。そのため、画面の上部、中央部、下部など、画素の位置によって露光のタイミングが異なる。これによってフォーカルプレーン現象として知られる高速移動被写体のゆがみが発生したり、明滅光源下で画面水平方向に明暗の縞状ノイズが撮影されたりする。本開示の装置はフリッカ現象として画像に表れる明暗縞を軽減する。
図1を参照して、フリッカ現象の発生原理について説明する。
図1は、フレームレート=60fps、すなわち1秒間に60フレームの画像を撮影する動画像撮影処理におけるフリッカ現象の発生例について説明する図である。
図1には、以下の(a)〜(d)の各図を示している。
(a)動画像の撮影フレームレートに相当する60Hzの周波数信号
(b)蛍光灯の輝度変化(電源周波数50Hz)
(c)60fpsの動画像を撮影する撮像素子における各画素ラインの露光タイミング
これらを左から右に進む時間軸(Time)に従って示している。
さらに、撮影される動画像の各フレーム画像の結果を、
(d)撮影画像の各フレーム
として示している。
(d)撮影画像の各フレームに示すように、各画像フレームには明暗の横縞模様、いわゆるフリッカパターンが発生する。
この明暗の縞模様は画像フレームを構成する水平画素ラインごとに露光タイミングがずれることに起因する。すなわち、各画素ラインの露光タイミングのずれに対応して光源からの受光量が異なるために明暗縞が発生する。
図1(c)に示す[(c)60fpsの動画像を撮影する撮像素子における各画素ラインの露光タイミング]は、各画像フレームの各画素ラインの露光タイミングを示した図である。
図1(c)中に示す点線矩形枠は、図1(d)に示すフレーム4(f4)を構成する画素ラインの最上位画素ライン(L−top)から最下位画素ライン(L−bottom)までの露光タイミングを示している。
図に示す例は、上位行から下位行に向かって、順次、露光処理が行われる例である。
フレーム4(f4)の最上位画素ライン(L−top)の露光期間は時間t1〜t2である。また、最下位画素ライン(L−bottom)の露光期間は時間t2〜t3である。
このように、フレーム4(f4)を構成する画素ラインの最上位画素ライン(L−top)から最下位画素ライン(L−bottom)までの各画素ラインの露光タイミングは、上位ラインから下位ラインに向かって時間t1〜t2から、時間t2〜t3までの間、順次、ずれることになる。
このt1〜t3までの期間、光源の輝度変化は、図1(b)に示すように変化し、明るい瞬間と暗い瞬間が交互に周期的に繰り返されている。
従って、フレーム4(f4)を構成する画素ラインの最上位画素ライン(L−top)から最下位画素ライン(L−bottom)までの各画素ラインの露光タイミングにおける受光量は各画素ラインで異なることになる。結果として、図1(d)のフレームf4に示すような横縞状の明暗パターンが発生する。
これは、フレームf4以外のフレームについても同様である。
さらに、各フレーム(f1,f2,f3,f4,f5,・・・)間においても、各画像フレームの同一位置のラインの露光タイミングは異なる。これによって、各画像フレームにおける明暗パターンは画像の垂直(縦)方向に移動し、表示装置に動画像を表示した場合、明暗の縞模様が垂直方向に流れるように観察される。
このフリッカ現象としての明暗縞は画像撮影時の光源の明滅周波数と撮影動画のフレームレートの関係によって特徴が異なる。
具体例について、図2を参照して説明する。
図2には、以下の各図を示している。
(a1)動画像の撮影フレームレート(60fps)に相当する60Hzの周波数信号
(a2)光源(蛍光灯)の輝度変化(電源周波数50Hz)
(a3)撮影画像フレームの明暗パターン(50Hz光源)
(b1)動画像の撮影フレームレート(60fps)に相当する60Hzの周波数信号
(b2)光源(蛍光灯)の輝度変化(電源周波数60Hz)
(b3)撮影画像フレームの明暗パターン(60Hz光源)
図2に示す(a1),(a2),(a3)は、撮影フレームレートが60fps、電源周波数が50Hzの場合の例である。
この場合、フレームごとの撮像周期は1/60[sec]である。蛍光灯の明るさは電圧のみに比例し電圧の正負には影響されないため、明滅周波数は電源周波数の倍になり周期は1/100[sec]となる。
すなわち、図2に示す(a1),(a2),(a3)は、以下の撮影条件に対応するデータである。
(1)光源の明滅の周期=1/100[sec]
(2)撮影画像のフレーム周期=1/60[sec]
これら(1),(2)の2つの周期は一致しないため、撮影された画像フレームには、各フレームで異なる位置に明暗ラインが設定された縞模様が発生する。
上記(1),(2)の2つの周期の最小公倍数は1/20[sec]であるため、1/20÷1/60=3フレームごとに同じ位置に明暗縞が発生する。
例えば、図2(a3)に示すフレームf11と、その3フレーム後のフレームf14に設定される明暗縞は各画像において垂直方向のほぼ同一位置に設定される。
同様に、図2(a3)に示すフレームf12と、その3フレーム後のフレームf15に設定される明暗縞も各画像において垂直方向のほぼ同一位置に設定される。
同様に、図2(a3)に示すフレームf13と、その3フレーム後のフレームf16に設定される明暗縞も各画像において垂直方向のほぼ同一位置に設定される。
画像フレーム単位で見たときに、明暗縞がほぼ同じ位置に撮影される画像フレームの周期を、フリッカの巡回周期と呼ぶこととする。
図2(a3)に示す画像の巡回周期は3(フレーム)となる。
一方、図2に示す(b1),(b2),(b3)は、撮影フレームレートが60fps、電源周波数が60Hzの場合の例である。
この場合、フレームごとの撮像周期は1/60[sec]である。蛍光灯の明滅周波数は電源周波数の倍になり周期は1/120[sec]となる。
すなわち、図2に示す(b1),(b2),(b3)は、以下の撮影条件に対応するデータである。
(1)光源の明滅の周期=1/120[sec]
(2)撮影画像のフレーム周期=1/60[sec]
これら(1),(2)の2つの周期は倍数の関係にあり、周期的には一致する関係となる。従って、撮影された画像フレームには、各フレームでほぼ同じ位置に明暗ラインが設定された縞模様が発生する。
図2(b3)に示すフレームf21〜f26に設定される明暗縞は各画像において垂直方向のほぼ同一位置に設定される。
この場合、巡回周期=1である。
[2.本開示の画像処理装置の構成と処理について]
次に、図3以下を参照して本開示の画像処理装置の構成と処理について説明する。
本開示の画像処理装置は、周期的な輝度変化が発生する照明環境下において、例えば60fps等、所定のフレームレートで撮影された画像に発生する明暗縞、すなわちフリッカを軽減させるための処理を実行する。
具体的には、撮影された動画像を構成する各画像フレームの画素を、所定ルールに従ってグループに分割し、動画像を構成する各画像フレームからグループ画素単位で表示部に対する出力画素(更新画素)を選択して表示装置に出力する。この処理によって動画コンテンツに含まれる動画撮影環境の明滅光源に起因するフリッカとしての明暗縞を軽減させる。
本開示の画像処理装置の一構成例を図3に示す。
図3に示すように、本開示の画像処理装置100は、
巡回周期判断部101、更新画素選択部102、コンテンツデータ供給部103、出力制御信号生成部104、表示部105を有する。
なお、画像処理装置100には、具体的には、例えば動画撮影可能な撮像装置や、撮像装置によって撮影された動画コンテンツを記憶部から読み出して表示処理を実行するPC等の情報処理装置などである。
以下、図3に示す画像処理装置100の各構成部の処理について、順次、説明する。
巡回周期判断部101は、コンテンツデータ供給部103から供給される表示対象のコンンテンツデータ121の巡回周期を取得し、取得した巡回周期情報122を更新画素選択部102に出力する。
巡回周期判断部101は、図2を参照して説明した巡回周期、すなわち、動画像を構成する各画像フレームに発生する明暗縞の一がほぼ同一位置となる画像フレームの周期である巡回周期を判断する。巡回周期判断部101は、判断結果の巡回周期を巡回周期情報122として更新画素選択部102に供給する。
例えば、コンテンツデータ供給部103から供給される表示対象のコンンテンツデータ121が録画された動画データであれば、動画構成フレームの明暗パターンの周期を検証することで、巡回周期を判定することができる。すなわち同一パターンの明暗縞の出現する画像フレームを検出して、このフレーム周期を巡回周期と判断する。
また、画像処理装置100がカメラであり、コンテンツデータ供給部103から供給される表示対象のコンンテンツデータ121がカメラによって撮影中の画像である場合は、撮影環境下の光源の明滅状態を直接観測して、光源の輝度変化周波数と、撮影画像のフレーム周期に基づいて、巡回周期を判定する処理を行なってもよい。
すなわち、図2(a1)〜(a3)を参照して説明したように、例えば以下の情報に基づいて巡回周期を判定する。
(1)光源の明滅周波数の周期=1/100[sec]
(2)撮影画像のフレーム周期=1/60[sec]
この設定の場合、上記2つの周期の最小公倍数は1/20[sec]である。
最小公倍数(1/20)をフレーム周期(1/60)で除算した値が巡回周期となる。すなわち、
(1/20)÷(1/60)=3
であり、巡回周期=3フレームとなる。
また、図2(b1)〜(b3)に対応する設定では以下の情報に基づいて巡回周期の算出処理を行なう。
(1)光源の明滅周波数の周期=1/120[sec]
(2)撮影画像のフレーム周期=1/60[sec]
この設定の場合、上記2つの周期の最小公倍数は1/60[sec]である。
最小公倍数(1/60)をフレーム周期(1/60)で除算した値が巡回周期となる。すなわち、
(1/60)÷(1/60)=1
であり、巡回周期=1フレームとなる。
なお、巡回周期判断部101が、撮影環境下の光源の明滅状態を直接観測して光源の輝度変化周波数と、撮影画像のフレーム周期に基づいて巡回周期を判定する構成である場合、巡回周期判断部101は、撮影環境下の光源の明滅状態を観測する測光センサを備えた構成、または測光センサからのセンサ検出情報を入力する構成とする。
なお、巡回周期判断部101がコンテンツの撮影時点の位置情報を取得可能な構成、例えば、GPS情報、あるいは撮影画像の属性情報等から取得可能な構成として、この位置情報から巡回周期を判定する構成としてもよい。
すなわち、巡回周期判断部101は、コンテンツデータである動画像撮影時点の位置情報に基づいて、撮影が行われた地点が、電源周波数が50Hzの地域であるか60Hzの地域であるかを判定し、判定した電源周波数情報と、撮影画像のフレームレートに基づいて巡回周期を判定する。この構成とする場合は、測光センサは不要である。
また、予め、撮影画像の属性情報として巡回周期を記録したコンテンツを作成可能な場合は、その属性情報から直接、巡回周期を取得する構成としてもよい。
このように、巡回周期判断部101におけるコンテンツの巡回周期取得方法は、様々な手法が適用可能であり、本開示の画像処理装置は特定の巡回周期検出器を用いるものには限定されない。
なお、例えば画像処理装置100が、巡回周期に依存しない処理を行なう場合、すなわち後述する画素更新を固定した処理として行なう構成である場合、あるいは巡回周期が一定のコンテンツのみを扱う装置である場合等、コンテンツごとに巡回周期を検査し処理を変更する必要がない場合は、巡回周期判断部101を省略した構成としてもよい。
更新画素選択部102は、巡回周期判断部101からコンテンツデータ121の巡回周期情報122を入力する。
更新画素選択部102は、入力した巡回周期情報122に基づいて、更新画素情報123を生成して出力制御信号生成部104に出力する。
更新画素選択部102は、画素のグループ分割情報をメモリに保持している。
グループ分割情報とは、コンテンツデータ121である動画像を構成する画像フレームの構成画素を、複数のグループに分割するための分割態様を示す情報である。
例えば、画像フレームの上位行から下位行までを複数のグループ(グループ0,1,2・・・)に分割する例や、構成画素をランダムに複数のグループに分割する例などがある。
なお、設定するグループ数nは、巡回周期の整数倍として、画像フレームの全画素をn等分した数ずつ各グループの画素が画面全体にほぼ均等に散らばるようなパターンで各グループを設定するのが好ましい。
なお、例えば、更新画素選択部102がアクセス可能なメモリには、巡回周期に応じたグループ分割情報を複数格納する構成とする。
具体的には、以下のようなグループ分割情報である。
(A)巡回周期=3のコンテンツに対して利用可能な3または3の倍数のグループからなるグループ分割情報、
(B)巡回周期=5のコンテンツに対して利用可能な5または5の倍数のグループからなるグループ分割情報、
例えば、このようなグループ分割情報である。
このように、更新画素選択部102がアクセス可能なメモリには、様々な巡回周期nに応じた巡回周期の整数倍の分割グループ数を有する複数のグループ分割情報を格納する構成とすることが好ましい。
更新画素選択部102は、巡回周期判断部101から入力する巡回周期情報122に従って、コンテンツデータ121の巡回周期を取得して、取得した巡回周期に応じて、巡回周期に等しい、または整数倍のグループ分割数を持つグループ分割情報を取得する。
更新画素選択部102は、例えば、巡回周期数=3の場合、グループ分割数=3を持つグループ分割情報をメモリから取得して、画像フレームの構成画素を3つのグループに分割する。
グループ分割の1つの具体例について説明する。
例えば、各画像フレームの上位行から下位行までを3つのグループ(グループ0,1,2)に分割する場合、以下のような設定が可能である。
第1,4,7・・・行=第0グループ
第2,5,8・・・行=第1グループ
第3,6,9・・・行=第2グループ
更新画素選択部102は、例えば、上記の設定のグループ分割を行う。
なお、グループ分割態様は、行単位の設定や、ランダムパターンの設定など、様々な設定が可能である。具体的なグループ設定例については後述する。
更新画素選択部102は、メモリに保持したグループ分割情報を1つ選択し、選択したグループ分割情報に従ってコンテンツデータ121を構成する画像フレーム各々について、更新画素として表示部105に出力する特定の選択グループに対応する画素位置情報を生成して出力制御信号生成部104に出力する。すなわち、更新画素選択部102は、図3に示すように更新画素情報123を生成して出力制御信号生成部104に出力する。
例えば、コンテンツデータ121を構成する動画像フレーム(フレームf0,f1,f2,f3,f4,f5・・・)各々の構成画素が、上記のように3つのグループに分割されているとする。すなわち、以下のグループ設定である。
第1,4,7・・・行=第0グループ
第2,5,8・・・行=第1グループ
第3,6,9・・・行=第2グループ
このような設定において、更新画素選択部102は、更新画素情報123を例えば以下のように設定して出力する。
フレーム0(f0):更新画素=グループ0の画素、
フレーム1(f1):更新画素=グループ1の画素、
フレーム2(f2):更新画素=グループ2の画素、
フレーム3(f3):更新画素=グループ0の画素、
フレーム4(f4):更新画素=グループ1の画素、
フレーム5(f5):更新画素=グループ2の画素、
: : :
上記の更新画素設定例は、1つの画像フレームの構成画素を3つのグループ(グループ0,1,2)に分割して、連続画像フレームの各々について、順にグループ0,1,2の各画素を更新画素として繰り返して設定した例である。グループ設定や更新画素設定は様々な設定が可能である。具体的な処理例については後述する。
出力制御信号生成部104は、更新画素選択部102から更新画素情報123を入力し、コンテンツデータ供給部103からコンテンツデータ121を入力する。
出力制御信号生成部104は、コンテンツデータ供給部103から入力するコンテンツデータ121を構成する動画像の画像フレーム各々について、更新画素選択部102から入力する更新画素情報123に従って更新画素を選択して表示部105に出力する。
すなわち、例えば上記した例の場合は、各画像フレームについて、以下のような選択グループの画素のみを更新画素とした出力制御信号124を生成して表示部105に出力する。
フレーム0(f0)についてはグループ0の画素を更新画素とした出力制御信号を出力する。
フレーム1(f1)についてはグループ1の画素を更新画素とした出力制御信号を出力する。
フレーム2(f2)についてはグループ2の画素を更新画素とした出力制御信号を出力する。
フレーム3(f3)についてはグループ0の画素を更新画素とした出力制御信号を出力する。
フレーム4(f4)についてはグループ1の画素を更新画素とした出力制御信号を出力する。
フレーム5(f5)についてはグループ2の画素を更新画素とした出力制御信号を出力する。
: : :
以下、3フレーム単位で上記処理を繰り返す。
このように、出力制御信号生成部104は、コンテンツデータ121である動画像コンテンツを構成する連続する画像フレームの構成画素から一部の画素のみを選択して、順次、表示部105に表示(更新)させる出力制御信号104を生成して出力する。
このように、本開示の画像処理装置100は、以下のような手順に従った動画像の表示処理を実行する。
(S1)巡回周期判断部101が、コンテンツデータ121の巡回周期を判定する。
(S2)更新画素選択部102が、コンテンツデータ121を構成する各画像フレームの構成画素を巡回周期情報122とグループ分割情報に従ってグループ分割する。
(S3)更新画素選択部102が、コンテンツデータ121を構成する各画像フレーム各々について、更新画素とするグループを決定して、決定した特定グループに対応する画素位置情報を更新画素情報123として出力制御信号生成部104に出力する。
(S4)出力制御信号生成部104が、更新画素情報102に従って、各画像フレームから更新すべき画素位置情報を含む出力制御信号124を生成して表示部105に出力する。
(S5)表示部105が、出力制御信号124に従って表示画像を出力、更新する。
なお、上記(S5)において実行される表示画像の出力、更新処理は、表示部105に対する表示画像の構成画素をグルーブ単位で順次更新する処理として実行されることになる。更新グループに含まれる画素以外のその他のグループに含まれる画素は更新されず、表示部105に表示された画素値がそのまま維持されることになる。
どの画像フレームから、どのグループの画素を選択するかを示す情報は更新画素情報123に含まれる。なお、この処理については、後段で詳細に説明する。
コンテンツデータ供給部103は、表示部105において表示対象となるコンテンツデータ121、すなわち動画像を構成する各画像フレームデータを供給する。
コンテンツデータ供給部103は、例えば画像処理装置100が、デジタルカメラシステムのような撮像装置であれば撮像部であるイメージセンサによって構成される。また、画像処理装置100が、録画コンテンツの再生機器であればコンテンツデータを格納した記憶手段、例えばハードディスク、DVD、BD、フラッシュメモリ等のストレージなどによって構成される。
このように、図3に示す本開示の画像処理装置100は、コンテンツデータ121である動画コンテンツを構成する画像フレーム各々の構成画素中、一部のグループに含まれる画素領域のみの画素を更新すべき画素として順次、表示部105に出力する処理を行なう。各画像フレーム各々について、どのグループの画素を更新画素として選択するかを示す情報が更新画素情報123に含まれる。出力制御信号生成部104は、コンテンツデータ供給部103から入力するコンテンツデータ121を構成する各画像フレームから、更新画素情報123に従って特定のグループに属する更新画素を選択して、特定のグループの更新画素値を含む出力制御信号124を生成して表示部105に出力する。更新画素以外のグループに属する画素は、更新することなく、表示部105の出力画素を変更せずそのまま維持することになる。
表示部105は、出力制御信号生成部104の生成する出力制御信号124に従って画像表示を実行する。
すなわち、出力制御信号124に従って、表示部105に表示された特定のグループに属する画素のみを更新する処理を実行する。
[3.表示画像のグループ分割に基づく画素更新処理の具体例について]
図3を参照して説明したように、本開示の画像処理装置100は、出力制御信号生成部104が、更新画素選択部102から入力する更新画素情報123に従って表示部105に表示する画像の構成画素の更新処理をグループ単位で実行する。
すなわち、コンテンツデータ121である動画像コンテンツを構成する連続する画像フレームの構成画素中、一部のグループに含まれる画素領域のみの画素値を順次選択して表示部105に出力する処理を行なう。
この出力制御信号生成部104の処理の1つの具体例について図4を参照して説明する。
図4は、出力制御信号生成部104の実行する処理の一例について説明する図である。
図4には、コンテンツデータ供給部103が出力するコンテンツデータである動画像の連続画像フレームとして、第kフレーム201、第k+1フレーム202、第k+2フレーム203の3つの連続フレームを示している。
さらに、出力制御信号生成部104の生成する出力制御信号124に従って表示部105に表示される画像である表示部出力画像210を示している。
コンテンツデータ供給部103から入力するコンテンツデータである動画像の画像フレームは、画素位置に応じたグループに分割される。
図4に示す例では、
第0グループ、
第1グループ、
第2グループ、
これらの3つのグループに分割された例を示している。
図4に示すグループ設定は、各画像フレームの垂直方向に1〜数ラインずつの幅を有する画素行を1つのグループとして、第0グループから第2グループを画像フレームの垂直方向に繰り返し設定した例である。
なお、このグループ分割処理は、更新画素選択部102が、巡回周期判断部101から入力する巡回周期情報122に従って、メモリに格納されたグループ分割情報から所定のグループ分割情報を選択して実行する。この図4に示す例は、巡回周期=3フレームの場合の例であり、設定グループ数=3のグループ設定情報を利用したグループ設定例である。
更新画素選択部102は、コンテンツデータ121を構成する各画像フレームの構成画素を巡回周期情報122とグループ分割情報に従ってグループ分割を行う。
さらに、更新画素選択部102は、コンテンツデータ121を構成する各画像フレーム各々について、更新画素とするグループを決定して、決定した特定グループに対応する画素位置情報を更新画素情報123として出力制御信号生成部104に出力する。
出力制御信号生成部104は、コンテンツデータ121である動画像データを構成する連続する画像フレームについて、更新画素情報102に従って更新すべき画素位置情報と画素値を含む出力制御信号124を生成して表示部105に出力する。
さらに、表示部105が、出力制御信号124に従って表示画像中の特定グループに属する画素の画素値を更新する。
図4に示す表示部出力画像210は、上記処理に従って表示される画像の構成例であり、以下のような設定の更新画素(出力画素)によって構成された画像である。
第kフレーム201の第1グループの画素。
第k+1フレーム202の第2グループの画素。
第k+2フレーム203の第0グループの画素。
これらの更新画素によって構成される画像が表示部105に対する出力画像、すなわち、図4に示す表示部出力画像210となる。
なお、その後、コンテンツデータ121として入力する第k+3フレーム以降の画像フレームに対しても、第k〜第k+2フレームと同様、各画像フレームから特定のグループの画素のみが選択されて更新画素として選択出力する処理を繰り返す。
すなわち、以下のような処理を順次、実行する。
コンテンツデータ供給部103から入力する第k+3フレームの画像から第1グループの画素を取得して表示部105に出力して表示部105に表示中の画像中の第1グループの画素を更新する。
次に、コンテンツデータ供給部103から入力する第k+4フレームの画像から第2グループの画素を取得して表示部105に出力して表示部105に表示中の画像中の第2グループの画素を更新する。
さらに、コンテンツデータ供給部103から入力する第k+5フレームの画像から第0グループの画素を取得して表示部105に出力して表示部105に表示中の画像中の第0グループの画素を更新する。
以下、第k+6フレーム以降の入力に対しても、上記処理と同様の処理を実行する。
このように、出力制御信号生成部104は、コンテンツデータ121を構成する連続する3つの画像フレームから、それぞれ、異なる画素位置のグループ画素、すなわち、第0グループ画素〜第2グループ画素を更新画素として設定した出力制御信号124を生成して表示部105に出力する。表示部105は、各グループの構成画素を順次更新する処理を行なう。
この結果、表示部105の画像は、第0グループ〜第2グループの画素がグループ単位で順次、更新されることになる。
なお、図4を参照して説明したグループ設定や画像出力処理は一例であり、この他、様々なグループ設定および画像出力処理が可能である。
すなわち、グループ分割する場合のグループ設定数や、1つのグループの画素数、グループ分けのパターン、各画像フレームのグループ単位の更新処理態様は、様々な設定が可能である。なお、これらの処理は、更新画素選択部102の生成する更新画素情報等に従って決定される。
なお、グループの設定態様によってフリッカ低減効果にも差異が発生するため、グループ設定態様は、より高いフリッカ低減効果が得られる設定とすることが好ましい。また、グループ設定態様は、画像の構成等に応じて、画像の表示途中で変化させる設定としてもよい。
設定グループ数nは、巡回周期の整数倍として、画像フレームの全画素をn等分した画素数ずつ、各グループが画面全体に均等に配置されるようなパターンのグループ設定を行うのが好ましい。このようなグループ設定とすることで表示部に対する出力画像における明暗成分が平滑化されやすくなり、フリッカ低減効果を高めることが可能となるからである。
しかしながら設定グループ数nを大きくするほど全画素の書き換えにかかるフレーム数が多くなって表示コンテンツの残像が多くなるため、巡回周期が大きい場合は明滅を軽減する効果とのバランスを取る処理を行なうことが好ましい。
[4.グループ分割および出力画像更新処理の具体的(第1実施例)]
まず、第1実施例として、以下の設定での撮影されたコンテンツ(動画)に対する処理例について説明する。
(1)コンテンツ(動画)の撮影フレームレート=60fps
(2)コンテンツ撮影時の照明環境=50Hz電源に接続された蛍光灯(明滅周波数=100Hz)
この設定は、先に図2を(a)参照して説明した設定、すなわち、図2上段に示す(a1)〜(a3)の設定例に対応する。
この設定で、撮影画像に表れる明暗縞は3フレーム周期で、ほぼ同一位置に発生する。すなわち、巡回周期=3である。
本実施例1において、設定グループ数nは、巡回周期と同じ3とする。すなわち、
グループ数n=3
である。
各画像フレームにおける画素のグループ分けは、各画像フレームの水平画素ラインである上位行ラインから下位行ラインまでを1行ごとに第0グループ、第1グループ、第2グループと繰り返し設定する。
図5に示すように、最上位行を第0ライン、最下位行を第Lmaxラインとしたとき、各ライン(第0ライン〜第Lmaxライン)を以下のようにグループに分割する。
第0グループ:ライン0,3,6,9,12・・・、
第1グループ:ライン1,4,7,10,13・・・、
第2グループ:ライン2,5,8,11,14・・・、
最上位行(第0ライン)〜最下位行(Lmaxライン)のグループ分けを、最上位行からのライン番号(0〜)を用いた数式で表現すると、以下のように記述することができる。ただし、m=0以上の整数である。
第3×mライン=第0グループ、
第3×m+1ライン=第1グループ、
第3×m+2ライン=第2グループ、
このようなグループ分割を行う。
更新画素選択部102は、上記のグループ設定に従って、コンテンツデータである動画像を構成する各画像フレームについて更新画素とするグループを決定し、決定したグループに対応する更新画素の画素位置情報を有する更新画素情報を生成して出力制御信号生成部104に出力する。なお、更新画素情報は、各画像フレーム対応の情報として生成される。
出力画像生成部104は、コンテンツデータ供給部103から供給されるコンテンツデータ121を構成する各画像フレームについて、更新画素情報123に従って選択される更新画素位置の画素値を含む出力制御信号124を生成して表示部124に出力する。
出力制御信号124は、コンテンツデータ供給部103から出力されるコンテンツデータ121を構成する各画像フレーム単位で生成され、表示部105に出力される。
出力制御信号124は、各画像フレームから選択された特定のグループに含まれる更新画素位置の画素値を含み、表示部105に表示された画像中、これらの更新画素位置の画素を新たな更新画素値におきかえ、その他の領域の画素値は、表示中の画素値をそのまま維持させる処理を実行させるための制御信号である。
出力制御信号生成部104の実行する具体的な処理について説明する。
まず、コンテンツデータ供給部103から出力されるコンテンツデータ121として動画データの第0フレームを入力すると、出力制御信号生成部104は、第0フレームの第0グループの画素値を更新画素として選択して表示部105に出力する。既に表示部105に表示されている画像がある場合は、その表示画像中の第0グループの画素のみが更新されることになる。
表示部105に表示されている画像がない場合は、初期画像として第0グループの画素のみからなる画像が表示されることになる。
次に、コンテンツデータ供給部103からコンテンツデータ121として動画データの第1フレームを入力すると、出力制御信号生成部104は、第1フレームの第1グループの画素値を更新画素として選択して表示部105に出力する。既に表示部105に表示されている画像がある場合は、その表示画像中の第1グループの画素のみが更新されることになる。初期画像として第0フレームの第0グループの画素の画像が表示されている場合は、その画像に第1フレームの第1グループの画素が追加表示されることになる。
さらに、コンテンツデータ供給部103からコンテンツデータ121として動画データの第2フレームを入力すると、出力制御信号生成部104は、第2フレームの第2グループの画素値を更新画素として選択して表示部105に出力する。既に表示部105に表示されている画像がある場合は、その表示画像中の第2グループの画素のみが更新されることになる。初期画像として第0フレームの第0グループの画素、次に、第1フレームの第1グループの画素が追加表示されている場合は、さらに、第2フレームの第2グループの画素が追加表示されることになる。
このように、出力制御信号生成部104は、コンテンツデータ供給部103から供給されるコンテンツデータ121である動画データの3つの連続するフレームの各々から、特定のグループの画素データのみを順次、選択し、選択したグループデータを出力制御信号124として表示部105に出力する。
この処理によって、表示部105は、3つの連続する画像フレームから個別に選択された3つのグループの画素を順次更新して表示することになる。
コンテンツデータ供給部103から供給されるコンテンツデータ121が、例えば1秒間に60フレームの60fpsの動画像である場合、表示部105の表示画像は(1/60)秒ごとに1つのグループに対応する画素位置の画素値のみが更新される。すなわち、本例では、グループ数3であるので、(1/60)秒ごとに表示画像の1/3の領域の画素が更新される。画像全体は、3×(1/60)=(1/20)秒単位で更新されることになる。
本実施例では、表示部105に表示される画像は、画像全体の1/3の領域単位で順次更新されるが、この更新処理は高速で実行されるため、人の目にはフレーム単位で更新される通常の動画表示との違いは認識されず、一般的な動画像の表示と同様の画像として観察可能である。
この処理によって表示部105に表示される画像は、フリッカ成分としての明暗縞が減少した画像となる。
図6は、上述した処理によって表示部105に表示される画像と、元のフリッカ成分を含む動画像の3つの連続フレーム、すなわち第0フレーム、第1フレーム、第2フレームの画像例を示している。
第0〜第2フレームの画像は巡回周期3のフリッカ成分(明暗縞)を含んだ動画像のモデル的な図である。なお、明滅光源下で一様な白紙などを撮影すると図6に示すフリッカ成分のみからなる画像と類似の画像が撮影される。
図6に示す第0フレーム、第1フレーム、第2フレームの各画像は、コンテンツデータ供給部103から出力制御信号生成部104に供給されるコンテンツデータ121である動画像を構成する3枚の連続する画像フレームである。
出力制御信号生成部104は、これらの3枚の連続画像の各画像から、上述したように個別に異なる画素位置のグループ画素を選択出力して、表示部105に出力する。この結果として、図6に示す表示画像230が表示部105に出力される。
図6に示す表示画像230は、
第0フレームの第nライン、
第1フレームの第n+1ライン、
第2フレームの第n+2ライン、
第0フレームの第n+3ライン、
第1フレームの第n+4ライン、
第2フレームの第n+5ライン、

上記のように、3つの連続する画像フレームの上位行から、順次1ラインずつ選択して組み合わせた画像となる。
なお、コンテンツデータ供給部103から次の第3フレームが入力されると、図6に示す表示画像230の第0フレームに対応する画素値が、第3フレームの同一グループの画素値に更新されることになる。
以下、第4フレームの入力時には、図6に示す第1フレームの画素値が第4フレームの画素によって更新され、第5フレームの入力時には、図6に示す第2フレームの画素値が第5フレームの画素値によって更新される。
このように表示部105に出力される画像は、コンテンツデータ121である動画像コンテンツの3つの連続する画像フレームの構成画素を混在させた画像となり、順次、各グループの画素の更新が実行されることになる。
図7に表示画像230の例を示す。図7に示す表示画像230は、元の画像、すなわち図6に示す第0〜2フレームの各画像と比較して、明暗縞は大幅に知覚されにくい画像となる。
従来のフリッカ低減処理として、例えば連続撮影フレームの同一位置の画素の画素値を加算平均して出力画素値とする処理が知られている。
本開示の構成は、このような従来型の処理とは異なる処理であり、単に連続撮影フレームの異なる位置の画素を組み合わせて出力する構成である。従って画素値の加算平均処理といった演算処理は不要となる。
仮に、従来型のフリッカ低減処理と同様、図6に示す処理と同様、3つの連続撮影フレームの同一位置の画素値を加算平均して出力画素値を算出するものとする。
図6に示すオリジナルの撮影コンテンツである動画像を構成する第0〜2フレームに発生する明暗成分をsinカーブで近似すると、動画像中のある画素の明暗成分は次の(式1)のように表される。
sin(θ+L×θ) ・・・(式1)
θ:画面上端の位相
:表示動画の該当画素の画面上端からのライン数
θ:1ライン当たりに進む位相
100Hzで明滅する光源下で60fpsの動画を撮影した場合、画面上端のsinカーブの位相はフレームごとに240度(=(4/3)π)進むので、各ラインの加算後の明るさは下記の(式2)で表され、各ラインの明るさは等しくなって明暗成分は無くなる。
sin(θ+L×θ)+sin(θ+L×θ+(4/3)π)+sin(θ+L×θ+(2/3)π) ・・・(式2)
このように、従来型の処理では、同一位置の画素値を複数フレームに渡って抽出して上記の算出式に従って、画素値加算平均を実行してフリッカ低減を行っていた。
本開示の処理は、複数の連続画像フレームの同一位置の画素値加算平均ではなく、複数の連続画像フレームの画素値をそのまま空間方向に混在させるものである。
すなわち、複数の連続撮影画像の異なる位置の画素を組み合わせて1つの出力画像を生成する。連続撮影画像の各画素を空間方向に混在させることで、上記(式2)に類似する効果を発生させてフリッカ成分である明暗縞を低減させる。なお、本開示の処理を適用した構成では、表示装置のライン数が多いほど明暗成分は視認されにくくなる。
[5.その他の実施例について]
上述した実施例では、グループ数n=3として、各グループ、すなわちグループ0〜2の各々を画像の上位行から1ラインずつ順次、繰り返すように設定し、3枚の連続撮影画像からそれぞれ異なるグループに属する画素を出力画素として選択した処理例を説明した。
以下、上記実施例と異なる実施例について説明する。
[5−1.グループ設定をランダムパターンとした例(第2実施例)]
第2実施例として、上記実施例と同様、グループ数n=3とし、グループの設定位置をランダムパターンとした例について説明する。
上述した第1実施例では、グループは、画像フレームの上位行から1行単位で、
グループ0、
グループ1、
グループ2、
これらの異なるグループを順次、設定し、このグループ0〜2の行単位の繰り返しを下位行まで設定して、グループ設定を行っていた。
以下に説明する第2実施例も上記実施例と同様、グループ数n=3としている。ただし、グループは1行単位の繰り返し設定ではなく、例えば図8に示すようなランダムな設定とする。
図8は、第2実施例に従ったグループ設定の一例を示す図である。
図8には、動画像であるコンテンツデータ121を構成する1枚の画像フレーム240の一部を示している。
本実施例では、画像フレーム240の構成画素は、例えば画素単位で規則的なパターンではなくランダムに第0グループ〜第2グループのいずれかに設定する。
なお、毎画像フレームごとにランダムパターンを選び直す設定としてもよいが、コストがかかるため、1つのランダムパターンを予め規定し、この1つの規定ランダムパターンを利用して、各画像フレームに適用する設定とすればよい。
例えば、具体的には、図3に示す更新画素選択部102が、図8に示すような設定の1つのランダムパターンをグループ分割情報の1つとしてメモリに保持する。
更新画素選択部102は、メモリから取得したランダムパターンに従って、各画像フレームに対応して設定される更新画素位置を示す更新画素情報123を生成して出力制御信号生成部104に出力する。
出力制御信号生成部104は、更新画素選択部102から提供される更新画素情報123に従って、コンテンツ103から供給されるコンテンツデータ121の各画像フレームから、更新画素位置の画素を選択して、選択した画素の画素値のみを更新させるための出力制御信号124を生成して表示部105に出力する。
出力制御信号生成部104の実行する具体的な処理について説明する。
まず、コンテンツデータ供給部103から出力されるコンテンツデータ121として動画データの第0フレームを入力する。
出力制御信号生成部104は、第0フレームの第0グループに対応する画素を更新画素として選択し、表示部105の出力画像中、第0グループに対応する画素領域の画素値のみを、第0フレームの第0グループの画素値で更新する処理を実行させる出力制御信号124を生成して表示部105に出力する。
表示部105は、出力制御信号生成部104から入力する出力制御信号124に従って表示部105の表示画像中の一部の画素のみを更新する。すなわち、第0フレームの第0グループに対応する画素の画素値によって、表示画像の一部画素の画素値更新を行う。
次に、出力制御信号生成部104は、コンテンツデータ供給部103からコンテンツデータ121として動画データの第1フレームを入力する。
出力制御信号生成部104は、第1フレームの第1グループに対応する画素を更新画素として選択し、表示部105の出力画像中、第1グループに対応する画素領域の画素値のみを、第1フレームの第1グループの画素値で更新する処理を実行させる出力制御信号124を生成して表示部105に出力する。
表示部105は、出力制御信号生成部104から入力する出力制御信号124に従って表示部105の表示画像中の一部の画素のみを更新する。すなわち、第1フレームの第1グループに対応する画素の画素値によって、表示画像の一部画素の画素値更新を行う。
次に、出力制御信号生成部104は、コンテンツデータ供給部103からコンテンツデータ121として動画データの第2フレームを入力する。
出力制御信号生成部104は、第2フレームの第2グループに対応する画素を更新画素として選択し、表示部105の出力画像中、第2グループに対応する画素領域の画素値のみを、第2フレームの第2グループの画素値で更新する処理を実行させる出力制御信号124を生成して表示部105に出力する。
表示部105は、出力制御信号生成部104から入力する出力制御信号124に従って表示部105の表示画像中の一部の画素のみを更新する。すなわち、第2フレームの第1グループに対応する画素の画素値によって、表示画像の一部画素の画素値更新を行う。
このように、出力制御信号生成部104は、コンテンツデータ供給部103から供給されるコンテンツデータ121である動画データの3つの連続するフレームの各々から、特定のグループの画素データのみを順次、選択し、選択したグループの画素値を更新させる出力制御信号124を表示部105に出力する。
この処理によって、表示部105の表示画像は、3つのグループの画素が順次更新されて表示されることになる。なお、コンテンツデータ供給部103から供給されるコンテンツデータ121が、例えば1秒間に60フレームの60fpsの動画像である場合、表示部105に表示された画像は(1/60)秒ごとに1つのグループの画素が更新される。すなわち、本例では、(1/60)秒ごとに表示画像の1/3の領域の画素が更新される、画像全体は、3×(1/60)=(1/20)秒単位で更新されることになる。
本実施例でも、先に説明した第1実施例と同様、表示部105に表示される画像は、画像全体の1/3の領域単位で順次更新される。この更新処理は高速で実行されるため、人の目にはフレーム単位で更新される通常の動画表示との違いは認識されず、一般的な動画像の表示と同様の画像として観察可能である。
この処理によって表示部105に表示される画像は、フリッカ成分としての明暗縞が減少した画像となる。
図9は、上述した処理によって表示部105に表示される画像260を示している。
表示部105に表示される画像260は、3つの連続する画像フレームの構成画素を混在させた画像となる。
図9に示す画像260は、元の画像、すなわち図3に示すコンテンツデータ供給部103から供給されるコンテンツデータ121を構成する各画像フレーム、すなわち、先の実施例1において説明した図6に示す第0〜2フレームの各画像と比較して、明暗縞は大幅に知覚されにくい画像となる。
この実施例2も、先の実施例1と同様、連続撮影フレームの異なる位置の画素を組み合わせて出力する構成である。従って画素値の加算平均処理といった演算処理は不要となる。
また、この実施例2の処理は、実施例1のように行単位の画素更新ではなく、更新位置にランダム性があるため、図9に示す画像260は、実施例1の表示画像、すなわち図7に示す画像230において視認できた規則的な明暗縞が無くなり、フリッカによる明暗縞の低減効果はさらに向上する。
なお、図9に示す画像260は、動画を構成する1枚の出力画像であるため、ランダムパターンの中に明暗成分がわずかに確認できるが、動画像の表示を行った場合、ランダム位置の画素更新が連続的に実行されるため、動画像からは図9に示す画像260に見られる明暗縞はより視認されにくいものとなる。
[5−2.フリッカの巡回周期に応じてグループ数を変化させる例(第3実施例)]
次に、第3実施例として、フリッカの巡回周期に応じてグループ数を変化させる構成を持つ実施例について説明する。
画像撮影は、以下の条件で行ったものとする。
撮影画像のフレームレート=50fps、
撮影環境の電源周波数=60Hz、
上記条件において、フレームごとの撮像周期は1/50[sec]、蛍光灯の明滅周波数は1/120[sec]である。
この2つの周期の最小公倍数は1/10[sec]であるため、巡回周期は1/10÷1/50=5フレームとなる。
本実施例では、巡回周期に一致する数にグループ数nを設定する。
上記条件に従って算出される巡回周期=5フレームに等しいグループ数、すなわち、グループ数=5として、5グループに全画素を分ける設定とする。
グループ分割の形態は、先に説明した第1実施例のように行単位とする設定や、第2実施例のようにランダムな設定とする設定等、様々な設定が可能であるが、ここでは、先に説明した第1実施例のように行単位のグループ設定を行った場合の例について説明する。
図3に示す画像処理装置100の巡回周期判断部101は、コンテンツデータ供給部103から供給されるコンテンツデータ121に基づいて巡回周期を判定する。
ここで判定された巡回周期は5となる。
巡回周期判断部は、巡回周期=5の情報を含む巡回周期情報122を更新画素選択部102に出力する。
更新画素選択部102は、巡回周期=5の情報を含む巡回周期情報122に従って、メモリに格納されたグループ分割情報から、グループ数=5のグループ分割情報を選択する。
このグループ分割情報は、例えば、画像フレームの最上位行である第0ラインから、最下位行である第Lmaxラインを行単位で、第0グループ〜第4グループの5つのグループに分類するためのグループ分割情報である。
すなわち、各画像フレームについて、最上位行(第0ライン)〜最下位行(Lmaxライン)を以下のようにグループ分割する。ただし、m=0以上の整数である。
第5×mライン=第0グループ、
第5×m+1ライン=第1グループ、
第5×m+2ライン=第2グループ、
第5×m+3ライン=第3グループ、
第5×m+4ライン=第4グループ、
更新画素選択部102は、メモリに格納されたグループ数=5のグループ分割情報に従って、このようなグループ分割を行う。
なお、どのような態様でグループを設定するかを示すグループ分割情報は、更新画素選択部102のアクセス可能なメモリに格納されている。更新画素選択部102は、巡回周期判断部101の生成する巡回周期情報122に従って、メモリからコンテンツデータ121の巡回周期の整数倍のグループ数を持つグループ分割情報を選択し、選択したグループ分割情報に従って各画像のグループ設定を決定する。
本実施例では、メモリから選択取得したグループ分割情報に従って、行単位で5つのグループを設定したものとする。
出力制御信号生成部104は、コンテンツデータ供給部103から入力するコンテンツデータ121を構成する各画像フレームについて、更新画素選択部102の生成する更新画素情報に従って表示部105の表示画像の画素更新のための出力制御信号124を生成して表示部105に出力する。
例えば、上述したように行単位のグループ設定に従い、コンテンツデータ供給部103から供給されるコンテンツデータ121を構成する各画像フレームから特定のグループの画素を更新画素として選択して表示部105の表示画素の更新をグループ単位で実行させる。
出力制御信号生成部104の実行する具体的な処理について説明する。
まず、コンテンツデータ供給部103から出力されるコンテンツデータ121として動画データの第0フレームを入力する。出力制御信号生成部104は、第0フレームの第0グループに対応する画素を更新画素として選択し、表示部105の出力画像中、第0グループに対応する画素領域の画素値のみを、第0フレームの第0グループの画素値で更新する処理を実行させる出力制御信号124を生成して表示部105に出力する。
表示部105は、出力制御信号生成部104から入力する出力制御信号124に従って表示部105の表示画像中の一部の画素のみを更新する。すなわち、第0フレームの第0グループに対応する画素の画素値によって、表示画像の一部画素の画素値更新を行う。
次に、出力制御信号生成部104は、コンテンツデータ供給部103からコンテンツデータ121として動画データの第1フレームを入力する。
出力制御信号生成部104は、第1フレームの第1グループに対応する画素を更新画素として選択し、表示部105の出力画像中、第1グループに対応する画素領域の画素値のみを、第1フレームの第1グループの画素値で更新する処理を実行させる出力制御信号124を生成して表示部105に出力する。
表示部105は、出力制御信号生成部104から入力する出力制御信号124に従って表示部105の表示画像中の一部の画素のみを更新する。すなわち、第1フレームの第1グループに対応する画素の画素値によって、表示画像の一部画素の画素値更新を行う。
次に、出力制御信号生成部104は、コンテンツデータ供給部103からコンテンツデータ121として動画データの第2フレームを入力する。
出力制御信号生成部104は、第2フレームの第2グループに対応する画素を更新画素として選択し、表示部105の出力画像中、第2グループに対応する画素領域の画素値のみを、第2フレームの第2グループの画素値で更新する処理を実行させる出力制御信号124を生成して表示部105に出力する。
表示部105は、出力制御信号生成部104から入力する出力制御信号124に従って表示部105の表示画像中の一部の画素のみを更新する。すなわち、第2フレームの第2グループに対応する画素の画素値によって、表示画像の一部画素の画素値更新を行う。
次に、出力制御信号生成部104は、コンテンツデータ供給部103からコンテンツデータ121として動画データの第3フレームを入力する。
出力制御信号生成部104は、第3フレームの第3グループに対応する画素を更新画素として選択し、表示部105の出力画像中、第3グループに対応する画素領域の画素値のみを、第3フレームの第3グループの画素値で更新する処理を実行させる出力制御信号124を生成して表示部105に出力する。
表示部105は、出力制御信号生成部104から入力する出力制御信号124に従って表示部105の表示画像中の一部の画素のみを更新する。すなわち、第3フレームの第3グループに対応する画素の画素値によって、表示画像の一部画素の画素値更新を行う。
次に、出力制御信号生成部104は、コンテンツデータ供給部103からコンテンツデータ121として動画データの第4フレームを入力する。
出力制御信号生成部104は、第4フレームの第4グループに対応する画素を更新画素として選択し、表示部105の出力画像中、第4グループに対応する画素領域の画素値のみを、第4フレームの第4グループの画素値で更新する処理を実行させる出力制御信号124を生成して表示部105に出力する。
表示部105は、出力制御信号生成部104から入力する出力制御信号124に従って表示部105の表示画像中の一部の画素のみを更新する。すなわち、第4フレームの第4グループに対応する画素の画素値によって、表示画像の一部画素の画素値更新を行う。
このように、出力制御信号生成部104は、コンテンツデータ供給部103から供給されるコンテンツデータ121である動画データの5つの連続するフレームの各々から、特定のグループの画素データのみを順次、選択し、選択したグループデータを出力制御信号124として表示部105に出力する。
この処理によって、表示部105の表示画像は、5つのグループの画素が順次更新されて表示されることになる。なお、コンテンツデータ供給部103から供給されるコンテンツデータ121が、例えば1秒間に50フレームの50fpsの動画像である場合、表示部105に表示された画像は(1/50)秒ごとに1つのグループの画素が更新される。すなわち、本例では、(1/50)秒ごとに表示画像の1/5領域の画素が更新される、画像全体は、5×(1/50)=(1/10)秒単位で更新されることになる。
本開示の構成では、表示部105に表示される画像は、画像全体の1/5の領域単位で順次更新されるが、この更新処理は高速で実行されるため、人の目にはフレーム単位で更新される通常の動画表示との違いは認識されず、一般的な動画像の表示と同様の画像として観察可能である。
この処理によって表示部105に表示される画像は、フリッカ成分としての明暗縞が減少した画像となる。
図10は、上述した処理によって表示部105に表示される画像280の例を示している。
表示部105に出力される画像は、5つの連続する画像フレームの構成画素を混在させた画像となる。
図10に示す画像280は、元の画像、例えば図3に示すコンテンツデータ供給部103から供給されるコンテンツデータ121を構成する各画像フレーム、すなわち、先の実施例1において説明した図6に示す第0〜2フレームの各画像と比較して、明暗縞は大幅に知覚されにくい画像となる。
この実施例3も先の実施例1、2と同様、連続撮影フレームの異なる位置の画素を組み合わせて出力する構成である。従って画素値の加算平均処理といった演算処理は不要となる。
上述したように、本開示の処理では動画像を構成する各画像フレーム単位で、一部のグループの画素を選択して選択画素を、順次更新する処理のみによって表示コンテンツに含まれるフリッカとしての明暗縞を軽減することができる。すなわち、本開示の処理では、従来のフリッカ低減処理として実行されていた画素値の加算平均などを行う必要がなく、この演算のための画像信号処理を行う回路が不要となる。
なお、上述した本開示の処理と、従来型の画像信号処理によるフリッカ軽減処理とを組み合わせて実行してもよい。従来型の画像信号処理によって明暗縞成分を取り除く処理を実行し、さらに、その後、本開示の処理を実行する。
このような複数処理の組み合わせを実行することで、例えば、従来型の信号処理によってフリッカ成分が完全に取り除けなかった場合でも、本開示の手法を適用することでさらにそれを軽減させることが可能となる。
[6.本開示の構成のまとめ]
以上、特定の実施例を参照しながら、本開示の構成について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
なお、本明細書において開示した技術は、以下のような構成をとることができる。
(1) 動画像コンテンツを構成する画像フレームの明暗縞パターンのフレーム周期である巡回周期に応じて前記画像フレームの構成画素のグループ分割態様を決定し、決定したグループ分割態様に従って画像フレームの構成画素を複数グループに分割する処理を実行し、
各画像フレームから、特定グループの画素を更新画素として設定した更新画素情報を生成する更新画素選択部と、
前記更新画素情報に従って、前記画像フレームの各々から特定グループに属する更新画素を選択出力して表示画像の画素をグループ単位で更新させる出力制御信号を生成する出力制御信号生成部を有する画像処理装置。
(2)前記画像処理装置は、さらに、前記動画像コンテンツの巡回周期を判断して判断結果としての巡回周期情報を生成する巡回周期判断部を有し、前記更新画像選択部は、前記巡回周期情報を適用して、前記グループ分割態様を決定する前記(1)に記載の画像処理装置。
(3)前記画像処理装置は、さらに、前記出力制御信号生成部から前記出力制御信号を入力し、入力した出力制御信号に従って表示画像の構成画素をグループ単位で更新する表示部を有する前記(1)または(2)に記載の画像処理装置。
(4)前記更新画素選択部は、画像フレームの構成画素のグループ分割処理において、前記巡回周期の整数倍のグループ数に設定したグループ分割処理を実行する前記(1)〜(3)いずれかに記載の画像処理装置。
(5)前記更新画素選択部は、メモリに格納したグループ分割情報を適用して画像フレームの構成画素のグループ分割処理を実行する前記(1)〜(4)いずれかに記載の画像処理装置。
(6)前記更新画素選択部は、設定グループ数=nの場合、前記画像フレームの構成行を一行単位でグループ1〜nまで繰り返して設定するグループ分割処理を実行し、各画像フレームから行単位で分割された特定グループ画素を更新画素として設定した更新画素情報を生成し、前記出力制御信号生成部は、画像フレームの各々から特定グループに属する行グループ単位の更新画素を選択出力して表示画像の画素を行グループ単位で更新させる出力制御信号を生成する前記(1)〜(5)いずれかに記載の画像処理装置。
(7)前記更新画素選択部は、前記画像フレームの構成画素をランダムパターンに従って複数グループに分割するグループ分割処理を実行し、各画像フレームから前記ランダムパターンに従って分割された特定グループ画素を更新画素として設定した更新画素情報を生成し、前記出力制御信号生成部は、画像フレームの各々から特定グループに属する更新画素を選択出力して表示画像の画素を前記ランダムパターンに従って更新させる出力制御信号を生成する前記(1)〜(5)いずれかに記載の画像処理装置。
(8)前記更新画素選択部は、メモリにグループ分割態様を規定した複数のグループ分割情報を格納し、前記メモリから前記巡回周期の整数倍のグループ数に設定したグループ分割情報を取得し、取得したグループ分割情報に従ってグループ分割処理を実行する前記(1)〜(7)いずれかに記載の画像処理装置。
(9)動画像コンテンツを撮影する撮像部と、
前記撮像部から撮影された動画像コンテンツを入力し、入力した動画像コンテンツを構成する画像フレームの明暗縞パターンのフレーム周期である巡回周期に応じて前記画像フレームの構成画素のグループ分割態様を決定し、決定したグループ分割態様に従って画像フレームの構成画素を複数グループに分割する処理を実行し、
各画像フレームから、特定グループの画素を更新画素として設定した更新画素情報を生成する更新画素選択部と、
前記更新画素情報に従って、前記画像フレームの各々から特定グループに属する更新画素を選択出力して表示画像の画素をグループ単位で更新させる出力制御信号を生成する出力制御信号生成部を有する撮像装置。
(10)前記撮像装置は、さらに、前記動画像コンテンツの巡回周期を判断して判断結果としての巡回周期情報を生成する巡回周期判断部を有し、前記更新画像選択部は、前記巡回周期情報を適用して、前記グループ分割態様を決定する前記(9)に記載の撮像装置。
(11)前記撮像装置は、さらに、前記出力制御信号生成部から前記出力制御信号を入力し、入力した出力制御信号に従って表示画像の構成画素をグループ単位で更新する表示部を有する前記(9)または(10)に記載の撮像装置。
(12)画像処理装置において実行する画像処理方法であり、
更新画素選択部が、動画像コンテンツを構成する画像フレームの明暗縞パターンのフレーム周期である巡回周期に応じて前記画像フレームの構成画素のグループ分割態様を決定し、決定したグループ分割態様に従って画像フレームの構成画素を複数グループに分割し、各画像フレームから、特定グループの画素を更新画素として設定した更新画素情報を生成し、
出力制御信号生成部が、前記更新画素情報に従って、前記画像フレームの各々から特定グループに属する更新画素を選択出力して表示画像の画素をグループ単位で更新させる出力制御信号を生成する画像処理方法。
(13)画像処理装置において画像処理を実行させるプログラムであり、
更新画素選択部に、動画像コンテンツを構成する画像フレームの明暗縞パターンのフレーム周期である巡回周期に応じて前記画像フレームの構成画素のグループ分割態様を決定し、決定したグループ分割態様に従って画像フレームの構成画素を複数グループに分割する処理と、
各画像フレームから、特定グループの画素を更新画素として設定した更新画素情報を生成する処理を実行させ、
出力制御信号生成部に、前記更新画素情報に従って、前記画像フレームの各々から特定グループに属する更新画素を選択出力して表示画像の画素をグループ単位で更新させる出力制御信号を生成させるプログラム。
なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本開示の一実施例の構成によれば、画像のフリッカ低減を実現する装置、方法が実現される。
具体的には、動画像コンテンツを構成する画像フレームの明暗縞パターンのフレーム周期である巡回周期に応じて画像フレームの構成画素を複数グループに分割する。さらに、各画像フレームから、特定グループの画素を更新画素として設定した更新画素情報を生成し、生成した更新画素情報に従って、画像フレームの各々から特定グループに属する更新画素を選択出力して表示画像の画素をグループ単位で更新する。
これらの処理により、表示画像をグループ単位で複数画像を合成した画像に設定可能となり、画素値の加算平均処理等を実行する演算回路や演算処理を行なうことなく、明暗縞等のフリッカを低減した画像を表示することが可能となる。
100 画像処理装置
101 巡回周期判断部
102 更新画素選択部
103 コンテンツデータ供給部
104 出力制御信号生成部
105 表示部
121 コンテンツデータ
122 周波数情報
123 更新画素情報
124 出力制御信号

Claims (13)

  1. 動画像コンテンツを構成する画像フレームの明暗縞パターンのフレーム周期である巡回周期に応じて前記画像フレームの構成画素のグループ分割態様を決定し、決定したグループ分割態様に従って画像フレームの構成画素を複数グループに分割する処理を実行し、
    各画像フレームから、特定グループの画素を更新画素として設定した更新画素情報を生成する更新画素選択部と、
    前記更新画素情報に従って、前記画像フレームの各々から特定グループに属する更新画素を選択出力して表示画像の画素をグループ単位で更新させる出力制御信号を生成する出力制御信号生成部を有する画像処理装置。
  2. 前記画像処理装置は、さらに、
    前記動画像コンテンツの巡回周期を判断して判断結果としての巡回周期情報を生成する巡回周期判断部を有し、
    前記更新画像選択部は、前記巡回周期情報を適用して、前記グループ分割態様を決定する請求項1に記載の画像処理装置。
  3. 前記画像処理装置は、さらに、
    前記出力制御信号生成部から前記出力制御信号を入力し、入力した出力制御信号に従って表示画像の構成画素をグループ単位で更新する表示部を有する請求項1に記載の画像処理装置。
  4. 前記更新画素選択部は、
    画像フレームの構成画素のグループ分割処理において、前記巡回周期の整数倍のグループ数に設定したグループ分割処理を実行する請求項1に記載の画像処理装置。
  5. 前記更新画素選択部は、
    メモリに格納したグループ分割情報を適用して画像フレームの構成画素のグループ分割処理を実行する請求項1に記載の画像処理装置。
  6. 前記更新画素選択部は、
    設定グループ数=nの場合、前記画像フレームの構成行を一行単位でグループ1〜nまで繰り返して設定するグループ分割処理を実行し、各画像フレームから行単位で分割された特定グループ画素を更新画素として設定した更新画素情報を生成し、
    前記出力制御信号生成部は、画像フレームの各々から特定グループに属する行グループ単位の更新画素を選択出力して表示画像の画素を行グループ単位で更新させる出力制御信号を生成する請求項1に記載の画像処理装置。
  7. 前記更新画素選択部は、
    前記画像フレームの構成画素をランダムパターンに従って複数グループに分割するグループ分割処理を実行し、各画像フレームから前記ランダムパターンに従って分割された特定グループ画素を更新画素として設定した更新画素情報を生成し、
    前記出力制御信号生成部は、画像フレームの各々から特定グループに属する更新画素を選択出力して表示画像の画素を前記ランダムパターンに従って更新させる出力制御信号を生成する請求項1に記載の画像処理装置。
  8. 前記更新画素選択部は、
    メモリにグループ分割態様を規定した複数のグループ分割情報を格納し、前記メモリから前記巡回周期の整数倍のグループ数に設定したグループ分割情報を取得し、取得したグループ分割情報に従ってグループ分割処理を実行する請求項1に記載の画像処理装置。
  9. 動画像コンテンツを撮影する撮像部と、
    前記撮像部から撮影された動画像コンテンツを入力し、入力した動画像コンテンツを構成する画像フレームの明暗縞パターンのフレーム周期である巡回周期に応じて前記画像フレームの構成画素のグループ分割態様を決定し、決定したグループ分割態様に従って画像フレームの構成画素を複数グループに分割する処理を実行し、
    各画像フレームから、特定グループの画素を更新画素として設定した更新画素情報を生成する更新画素選択部と、
    前記更新画素情報に従って、前記画像フレームの各々から特定グループに属する更新画素を選択出力して表示画像の画素をグループ単位で更新させる出力制御信号を生成する出力制御信号生成部を有する撮像装置。
  10. 前記撮像装置は、さらに、
    前記動画像コンテンツの巡回周期を判断して判断結果としての巡回周期情報を生成する巡回周期判断部を有し、
    前記更新画像選択部は、前記巡回周期情報を適用して、前記グループ分割態様を決定する請求項9に記載の撮像装置。
  11. 前記撮像装置は、さらに、
    前記出力制御信号生成部から前記出力制御信号を入力し、入力した出力制御信号に従って表示画像の構成画素をグループ単位で更新する表示部を有する請求項9に記載の撮像装置。
  12. 画像処理装置において実行する画像処理方法であり、
    更新画素選択部が、動画像コンテンツを構成する画像フレームの明暗縞パターンのフレーム周期である巡回周期に応じて前記画像フレームの構成画素のグループ分割態様を決定し、決定したグループ分割態様に従って画像フレームの構成画素を複数グループに分割し、各画像フレームから、特定グループの画素を更新画素として設定した更新画素情報を生成し、
    出力制御信号生成部が、前記更新画素情報に従って、前記画像フレームの各々から特定グループに属する更新画素を選択出力して表示画像の画素をグループ単位で更新させる出力制御信号を生成する画像処理方法。
  13. 画像処理装置において画像処理を実行させるプログラムであり、
    更新画素選択部に、動画像コンテンツを構成する画像フレームの明暗縞パターンのフレーム周期である巡回周期に応じて前記画像フレームの構成画素のグループ分割態様を決定し、決定したグループ分割態様に従って画像フレームの構成画素を複数グループに分割する処理と、
    各画像フレームから、特定グループの画素を更新画素として設定した更新画素情報を生成する処理を実行させ、
    出力制御信号生成部に、前記更新画素情報に従って、前記画像フレームの各々から特定グループに属する更新画素を選択出力して表示画像の画素をグループ単位で更新させる出力制御信号を生成させるプログラム。
JP2013111689A 2013-05-28 2013-05-28 画像処理装置、および画像処理方法、並びにプログラム Pending JP2014232916A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013111689A JP2014232916A (ja) 2013-05-28 2013-05-28 画像処理装置、および画像処理方法、並びにプログラム
US14/261,631 US9219868B2 (en) 2013-05-28 2014-04-25 Image processing device, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013111689A JP2014232916A (ja) 2013-05-28 2013-05-28 画像処理装置、および画像処理方法、並びにプログラム

Publications (1)

Publication Number Publication Date
JP2014232916A true JP2014232916A (ja) 2014-12-11

Family

ID=51984697

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013111689A Pending JP2014232916A (ja) 2013-05-28 2013-05-28 画像処理装置、および画像処理方法、並びにプログラム

Country Status (2)

Country Link
US (1) US9219868B2 (ja)
JP (1) JP2014232916A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017203973A (ja) * 2016-05-09 2017-11-16 中華映管股▲ふん▼有限公司 液晶表示装置およびその駆動方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015115922A (ja) * 2013-12-16 2015-06-22 オリンパス株式会社 撮像装置および撮像方法
EP3474544B1 (en) * 2016-06-15 2023-06-28 Sony Group Corporation Image processing device, image processing method, and program

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03138616A (ja) 1989-10-25 1991-06-13 Pfu Ltd 液晶表示装置の制御方法
JPH05130551A (ja) 1991-11-05 1993-05-25 Canon Inc 記録装置
JPH07306397A (ja) 1994-03-16 1995-11-21 Toshiba Corp 表示装置および液晶表示装置
JP4103073B2 (ja) * 2001-01-09 2008-06-18 ミクロナス ミュニッヒ ゲーエムベーハー ビデオ信号を変換する方法および装置
JP3991737B2 (ja) 2002-03-25 2007-10-17 セイコーエプソン株式会社 電気光学素子の駆動方法、駆動装置及び電子機器
JP2003302947A (ja) 2002-04-10 2003-10-24 Seiko Epson Corp 電気光学装置及びその駆動方法
JP2009216900A (ja) 2008-03-10 2009-09-24 Sharp Corp 携帯端末及び携帯端末のフレームレート設定方法
US7911505B2 (en) * 2008-08-20 2011-03-22 Eastman Kodak Company Detecting illuminant flicker
JP5541016B2 (ja) * 2010-09-08 2014-07-09 リコーイメージング株式会社 撮像システムおよび画素信号読出し方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017203973A (ja) * 2016-05-09 2017-11-16 中華映管股▲ふん▼有限公司 液晶表示装置およびその駆動方法

Also Published As

Publication number Publication date
US9219868B2 (en) 2015-12-22
US20140354883A1 (en) 2014-12-04

Similar Documents

Publication Publication Date Title
KR100843087B1 (ko) 영상 생성 장치 및 방법
US8089524B2 (en) Flicker correction apparatus, flicker correction method, and image sensing apparatus
WO2017090300A1 (ja) 画像処理装置、および画像処理方法、ならびにプログラム
JP5625371B2 (ja) 画像処理装置、および信号処理方法、並びにプログラム
KR102636439B1 (ko) 플리커 감소 방법
WO2015163145A1 (ja) 画像処理装置、画像処理方法、電子機器、並びにプログラム
WO2013084605A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP6576028B2 (ja) 画像処理装置及び画像処理方法
WO2016182681A1 (en) Light emitting diode display with ageing compensation
JP2012165213A (ja) 画像処理装置
US10721415B2 (en) Image processing system with LED flicker mitigation
JP2015528716A5 (ja)
JP6415638B2 (ja) フリッカーを除去する画像処理方法とその画像処理装置
JP5331766B2 (ja) 撮像装置
JP2014232916A (ja) 画像処理装置、および画像処理方法、並びにプログラム
US9786216B2 (en) Display apparatus, light-emitting device, and control method of display apparatus
JP4030336B2 (ja) 動画像表示装置
JP2020109924A (ja) 画像処理装置および画像処理方法
JP5581968B2 (ja) 撮像装置
JP2009135792A (ja) 撮像装置および画像信号処理方法
US20140043502A1 (en) Flicker noise detection apparatus, flicker noise detection method, and computer-readable storage device storing flicker noise detection program
JP2006287743A (ja) 情報処理装置及びその制御方法、プログラム、記憶媒体
JP7490397B2 (ja) 画像処理装置、判定方法およびプログラム
JP2011259390A (ja) フリッカ検出装置
JP6170475B2 (ja) フリッカーを除去する画像処理方法とその画像処理装置