JP2016189521A - 画像信号処理装置、画像信号処理方法、およびプログラム - Google Patents
画像信号処理装置、画像信号処理方法、およびプログラム Download PDFInfo
- Publication number
- JP2016189521A JP2016189521A JP2015068151A JP2015068151A JP2016189521A JP 2016189521 A JP2016189521 A JP 2016189521A JP 2015068151 A JP2015068151 A JP 2015068151A JP 2015068151 A JP2015068151 A JP 2015068151A JP 2016189521 A JP2016189521 A JP 2016189521A
- Authority
- JP
- Japan
- Prior art keywords
- flicker
- signal processing
- frame
- image signal
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】 より短時間で、より周波数が高いフリッカを検出する。【解決手段】 本記事の一側面である画像信号処理装置は、フレーム周期が共通であって露光開始のタイミングが異なる複数の動画像を取得する取得部と、前記複数の動画像の各フレームの画素信号に基づき、前記動画像上に出現しているフリッカを検出する検出部とを備える。本開示は、例えばフリッカ光源下で使用されるビデオカメラに適用することができる。【選択図】 図5
Description
本開示は、画像信号処理装置、画像信号処理方法、およびプログラムに関し、特に、撮像された動画像上に発生しているフリッカを検出する場合に用いて好適な画像信号処理装置、画像信号処理方法、およびプログラムに関する。
例えば、各画素信号のダイナミックレンジが広い画像を得るために、極めて短い露光時間で連続的に撮像を行い、その結果得られる複数の画像を合成する手法が知られている。このように、極短時間露光により撮像して得られる画像に、LEDや蛍光灯など電源電力の交流周波数に起因する揺らぎ(以下、フリッカと称する)を生じ得る光源(またはその照射範囲)が写っている場合、その影響が画像上に現れてしまう。
例えば、LED電球を用いた交通信号が画像に写っている場合、実際には常にいずれかの色のLED電球が点灯している交通信号が、その撮影の露光タイミングによっては全てのLED電球が消灯している状態で写ってしまうことが起こり得る。このような事態が、例えば車載されるドライブレコーダなどのカメラの撮像結果に生じると、該撮像結果が交通事故などの証拠としての効力を果たさなくなってしまう可能性がある。
そこで従来、動画像上に発生しているフリッカ(の周波数)を検出し、その検出結果に基づいて動画像を補正する技術が多数提案されている(例えば、特許文献1参照)。
図1は、特許文献1などで提案されている、動画像上に発生しているフリッカの周波数を検出する従来手法の一例を説明するための図である。
従来手法においては、所定のフレーム周期で連続的に撮像された各フレームにおいて水平方向の行毎に画素信号(輝度信号など)を積算し、連続する2フレーム間F1とF2、F2とF3などで各行の画素値の積算値の差分値(フレーム間差分)を算出する。そして、このフレーム間差分に基づいてフリッカ周期が算出される。
上述したように、従来手法では、2フレーム間のフレーム間差分を算出するので、フリッカ周波数検出を開始するまでに、最低でも2フレーム周期に相当する時間が必要となる。また、従来手法では、画像上に垂直方向に現れる低周波のフリッカについては検知できるが、LED電球のように高い周波数で明滅する光源のフリッカは検出することができない。
本開示はこのような状況に鑑みてなされたものであり、より短時間で、より周波数が高いフリッカを検出できるようにするものである。
本開示の一側面である画像信号処理装置は、フレーム周期が共通であって露光開始のタイミングが異なる複数の動画像を取得する取得部と、前記複数の動画像の各フレームの画素信号に基づき、前記動画像上に出現しているフリッカを検出する検出部とを備える。
前記検出部は、前記複数の前記動画像のうち、第1の動画像のフレームの行毎の画素信号の積算値と、第2の動画像のフレームの行毎の画素信号の積算値との差分値に基づいて、前記動画像上に出現しているフリッカの周波数を演算することができる。
前記検出部は、前記複数の動画像の画角が重複する領域をフリッカ検出領域として特定し、前記複数の動画像の各フレームの前記フリッカ検出領域の画素信号に基づき、前記動画像上に出現しているフリッカを検出するようにすることができる。
前記第1の動画像の露光開始のタイミングと、前記第2の動画像の露光開始のタイミングとの時間位相差は、次式を満たすことができる。
時間位相差>検出対象とするフリッカの周期/2
時間位相差>検出対象とするフリッカの周期/2
本開示の一側面である画像信号処理装置は、前記動画像を撮像する複数の撮像部と、前記複数の撮像部を制御して、前記動画像の前記フレーム周期が共通であって、異なる露光開始のタイミングで前記動画像を撮像させる撮像制御部とをさらに備えることができる。
前記撮像制御部は、前記複数の撮像部を制御し、次式
時間位相差>検出対象とするフリッカの周期/2
を満たす時間位相差ずつずらした露光開始のタイミングで前記動画像を撮像させることができる。
時間位相差>検出対象とするフリッカの周期/2
を満たす時間位相差ずつずらした露光開始のタイミングで前記動画像を撮像させることができる。
本開示の一側面である画像信号処理方法は、画像信号処理装置による、フレーム周期が共通であって露光開始のタイミングが異なる複数の動画像を取得する取得ステップと、前記複数の動画像の各フレームの画素信号に基づき、前記動画像上に出現しているフリッカを検出する検出ステップとを含む。
本開示の一側面であるプログラムは、コンピュータを、フレーム周期が共通であって露光開始のタイミングが異なる複数の動画像を取得する取得部と、前記複数の動画像の各フレームの画素信号に基づき、前記動画像上に出現しているフリッカを検出する検出部として機能させる。
本開示の一側面においては、フレーム周期が共通であって露光開始のタイミングが異なる複数の動画像が取得され、前記複数の動画像の各フレームの画素信号に基づき、前記動画像上に出現しているフリッカが検出される。
本開示の一側面によれば、より短時間で、より周波数が高いフリッカを検出することができる。
以下、本開示を実施するための最良の形態(以下、実施の形態と称する)について、図面を参照しながら詳細に説明する。
<本開示による動画像上に発生しているフリッカの周波数を検出する方法の概要>
本開示による動画像上に発生しているフリッカの周波数を検出する方法の概要について、図2乃至図4を参照して説明する。
本開示による動画像上に発生しているフリッカの周波数を検出する方法の概要について、図2乃至図4を参照して説明する。
図2乃至図4は、本開示による動画像上に発生しているフリッカの周波数を検出する方法の概要を説明するための図である。
本開示の検出方法では、撮像範囲(画角)が重複するように配置された複数のカメラ(図2の場合、第1撮像部および第2撮像部)が用いられ、これらによって撮像される動画像からフリッカ周波数が検出される。該複数のカメラは、露光時間は共通だが、露光タイミングが所定の時間位相差だけずれるように制御されている。
以下、複数のカメラを第1撮像部および第2撮像部として説明を継続する。第1撮像部によって撮像された動画像のフレームをF11,F12,F13・・・と称し、フレームF11,F12,F13を個々に区別する必要が無い場合、フレームF1と称する。同様に、第2撮像部によって撮像された動画像のフレームをF21,F22,F23・・・と称し、フレームF21,F22,F23を個々に区別する必要が無い場合、フレームF2と称する。
はじめに、第1撮像部によって撮像された動画像のフレームF1の画角と、第2撮像部によって撮像された動画像のフレームF2の画角の共通する領域がフリッカ検出範囲として抽出される。次に、各フレームにおいてフリッカ抽出範囲の水平方向の行毎に画素信号(輝度信号など)が積算される。
行毎の画素の積算値は、従来手法では連続する2フレーム間(図2の場合、例えばフレームF11とF12)で対応する行の差分値(フレーム間差分)が算出されていたが、本開示の検出方法では、第1撮像部によって撮像された動画像のフレームF11と、第2撮像部によって撮像された動画像のフレームF21の間で対応する行の差分値(フレーム間差分)が算出される。そして、このフレーム間差分に基づいてフリッカの周波数が演算される。
具体的に説明する。第1撮像部および第2撮像部に搭載されている撮像素子がローリングシャッタ方式である場合、撮像される各フレームF1,F2には、図3に示される垂直方向に変動するフリッカが出現し得る。したがって、各フレームにおいて水平方向の行毎に画素信号(輝度信号など)を積算し、その値を図4に示されるようにプロットすると、フレームF1からは曲線f1が得られ、フレームF2からは曲線f2が得られる。そして、曲線f1とf2の差分を示す曲線fsubが算出される。この曲線fsubに対してFFT(高速フーリエ変換)などの周波数解析処理を行うことにより、フリッカ周波数が演算される。
このように、従来手法ではフリッカ周波数検出を開始するまでに、最低でも2フレーム周期に相当する時間が必要であったが、本開示の検出方法では、第1撮像部と第2撮像部の露光タイミングの差である時間位相差に相当する時間があれば、フリッカ周波数検出を開始することができる。
なお、図2におけるフレームF21は、第1撮像部によって撮像された動画像のフレームF12との間でも対応する行の差分値(フレーム間差分)が算出されてフリッカ周波数演算に利用される。このように、本開示の検出方法では、従来手法と比較して、同じ時間(2フレーム周期に相当する時間)で得られるフレーム間差分のサンプリングを増やすことができるのでフリッカ周波数の検出精度を高めることができる。
<本開示を適用した画像信号処理装置の構成例>
次に、図5は、本開示を適用した画像信号処理装置の構成例を示している。
次に、図5は、本開示を適用した画像信号処理装置の構成例を示している。
この画像信号処理装置10は、図2を参照して説明した、撮像範囲(画角)が重複するように配置された2台のカメラを用いる本開示の検出方法を拡張し、4台のカメラ(第1撮像部11−1乃至第4撮像部11−4)を用いるようにしたものである。
すなわち、画像信号処理装置10は、第1撮像部11−1乃至第4撮像部11−4、フレーム処理部12−1乃至12−4、画像信号処理部13−1乃至13−4、露光タイミング制御部14、データ保持部15、およびフリッカ演算部16から構成される。
第1撮像部11−1乃至第4撮像部11−4は、撮像範囲(画角)が重複するように配置されている。図6は、被写体側から見た第1撮像部11−1乃至第4撮像部11−4の配置例を示している。図7は、図6の配置例に従って第1撮像部11−1乃至第4撮像部11−4を配置した場合のそれぞれの撮像範囲と、それらが重複する範囲、すなわち、フリッカ検出範囲を示している。
図8は、第1撮像部11−1乃至第4撮像部11−4の露光タイミングを表している。第1撮像部11−1乃至第4撮像部11−4は、撮像する動画像の各フレームの露光時間(フレーム周期)は共通だが、露光タイミングが露光タイミング制御部14からの制御に従って所定の時間位相差だけずれるように制御される。すなわち、第1撮像部11−1による動画像の撮像はタイミングt1に開始される。第2撮像部11−2による動画像の撮像はタイミングt1以降のタイミングt2に開始される。第3撮像部11−3による動画像の撮像はタイミングt2以降のタイミングt3に開始される。第4撮像部11−4による動画像の撮像はタイミングt3以降のタイミングt4に開始される。
なお、タイミングt1とタイミングt4の時間位相差は、共通のフレーム周期未満とする。また、タイミングt1とt2の時間位相差、タイミングt2とt3の時間位相差、およびタイミングt3とt4の時間位相差は、必ずしも一致させる必要はなく任意である。
図5に戻る。第1撮像部11−1は、露光タイミング制御部14からの制御に従い、タイミングt1から動画像の撮像を開始して、得られる動画像を構成するフレームF1をフレーム処理部12−1に出力する。
フレーム処理部12−1は、前段から順次入力されるフレームF1のフリッカ検出範囲を特定し、各フレームのフリッカ検出範囲において水平方向の行毎に画素信号(輝度信号など)を積算し、その積算結果ΣF1をデータ保持部15に出力する。ここで、積算結果ΣF1は、フリッカ検出範囲の行毎の画素信号の積算値の集合を意味するものとする。
また、フレーム処理部12−1は、前段から入力されたフレームF1を画像信号処理部13に出力する。画像信号処理部13は、前段から入力されたフレームF1に対して所定の画像信号処理(例えば、欠陥画素補間処理、ホワイトバランス処理等)を行い、処理済のフレームF1を後段に出力する。
なお、第2撮像部11−2乃至第4撮像部11−3については、第1撮像部11−1と同様であるので、その説明は省略する。フレーム処理部12−2乃至12−4、画像信号処理部13−2乃至13−4についても同様とする。
露光タイミング制御部14は、第1撮像部11−1乃至第4撮像部11−4の動画像撮像時の露光タイミングを制御する。データ保持部15には、フレーム処理部12−1からの積算結果ΣF1、フレーム処理部12−2からの積算結果ΣF2、フレーム処理部12−3からの積算結果ΣF3、およびフレーム処理部12−4からの積算結果ΣF4が保持される。
フリッカ演算部16は、データ保持部15に保持されている積算結果のうち、次式(1)を満たすような検出対象とするフリッカの周期に応じた時間位相差を有する積算結果のペア(例えば、第1撮像部11−1の出力に基づく積算結果ΣF1と、第3撮像部11−3の出力に基づく積算結果ΣF3のペアなど)を読み出す。
時間位相差>検出対象とするフリッカの周期/2 ・・・(1)
時間位相差>検出対象とするフリッカの周期/2 ・・・(1)
そして読み出した積算結果のペアの対応する行の差分値(フレーム間差分)を算出し、さらに、そのフレーム間差分からフリッカ周波数を演算する。
ここで、検出対象とするフリッカの周期とは、フリッカ検出範囲に写り込んでいたり、フリッカ検出範囲を照射したりしている可能性が有るフリッカ光源の周期を指す。
例えば、日本国内では商用交流電源の周波数が50Hzまたは60Hzであるので、これを駆動電力として使用する蛍光灯のフリッカの周波数は50Hzまたは60Hzである。よってその周期はC/50またはC/60となる。また、LED電球では、商用交流電源を整流して使用しているのでフリッカの周波数は例えば100Hzまたは120Hzなどである。よってその周期はC/100またはC/120となる。ここで、Cは光速を意味する。
<本開示の実施の形態である画像信号処理装置10の動作>
次に、画像信号処理装置10の動作について説明する。図9は、画像信号処理装置10によるフリッカ周波数検出処理を説明するフローチャートである。
次に、画像信号処理装置10の動作について説明する。図9は、画像信号処理装置10によるフリッカ周波数検出処理を説明するフローチャートである。
ステップS1において、第1撮像部11−1乃至第4撮像部11−4は、露光タイミング制御部14からの制御に従って動画像の撮像を開始し、その結果順次得られるフレームをフレーム処理部12−1乃至12−4に出力する。
前段の第1撮像部11−1乃至第4撮像部11−4から動画像のフレームが入力されたフレーム処理部12−1乃至12−4は、ステップS2において、入力されたフレームのフリッカ検出範囲を特定し、フリッカ検出範囲において水平方向の行毎に画素信号(輝度信号など)を積算し、その積算結果をデータ保持部15に出力する。これにより、データ保持部15には、フレーム処理部12−1からの積算結果ΣF1、フレーム処理部12−2からの積算結果ΣF2、フレーム処理部12−3からの積算結果ΣF3、およびフレーム処理部12−4からの積算結果ΣF4が保持される。
ステップS3において、フリッカ演算部16は、データ保持部15に保持されている積算結果のうち、式(1)を満たす時間位相差を有する積算結果のペアを読み出し、それらの対応する行の差分値(フレーム間差分)を算出し、さらに、そのフレーム間差分からフリッカ周波数を演算する。演算されたフリッカ周波数は後段に出力されて、動画像のフリッカ補正処理に利用される。
なお、上述した説明では、第1撮像部11−1乃至第4撮像部11−4の全てに撮像させるようにしたが、第1撮像部11−1乃至第4撮像部11−4のうち、式(1)を満たす時間位相差を有する2台のみに動画像を撮像させ、その結果を用いてフリッカ周波数を演算するようにしてもよい。以上で、フリッカ周波数検出処理の説明を終了する。
<変形例1>
上述した説明では、フリッカ検出範囲の行毎の画素信号の積算結果の差分に基づいてフリッカ周波数を演算するようにした。変形例1では、フリッカ検出範囲でブロックマッチングを行い、その結果に基づいてフリッカ周波数を演算するようにする。この場合、フレームに占めるフリッカ電源のサイズがより小さくても対応することが可能となる。
上述した説明では、フリッカ検出範囲の行毎の画素信号の積算結果の差分に基づいてフリッカ周波数を演算するようにした。変形例1では、フリッカ検出範囲でブロックマッチングを行い、その結果に基づいてフリッカ周波数を演算するようにする。この場合、フレームに占めるフリッカ電源のサイズがより小さくても対応することが可能となる。
<変形例2>
上述した説明では、露光タイミングt1とt2の時間位相差、露光タイミングt2とt3の時間位相差、および露光タイミングt3とt4の時間位相差は一致させる必要はなく任意とした。変形例2では、これらの時間位相差を、検出対象とするフリッカの周期から式(1)により導出される時間位相差で統一し、図10に示されるように、この時間位相差でフレーム周期を分割するようにする。この場合、サンプリング数を増やすことができるので、広帯域のフリッカ周波数を検出することが可能となる。
上述した説明では、露光タイミングt1とt2の時間位相差、露光タイミングt2とt3の時間位相差、および露光タイミングt3とt4の時間位相差は一致させる必要はなく任意とした。変形例2では、これらの時間位相差を、検出対象とするフリッカの周期から式(1)により導出される時間位相差で統一し、図10に示されるように、この時間位相差でフレーム周期を分割するようにする。この場合、サンプリング数を増やすことができるので、広帯域のフリッカ周波数を検出することが可能となる。
<画像信号処理装置10の使用例>
上述した画像信号処理装置10は、フリッカ光源下で使用される、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
上述した画像信号処理装置10は、フリッカ光源下で使用される、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図11は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
このコンピュータ100において、CPU(Central Processing Unit)101,ROM(Read Only Memory)102,RAM(Random Access Memory)103は、バス104により相互に接続されている。
バス104には、さらに、入出力インタフェース105が接続されている。入出力インタフェース105には、入力部106、出力部107、記憶部108、通信部109、およびドライブ110が接続されている。
入力部106は、キーボード、マウス、マイクロフォンなどよりなる。出力部107は、ディスプレイ、スピーカなどよりなる。記憶部108は、ハードディスクや不揮発性のメモリなどよりなる。通信部109は、ネットワークインタフェースなどよりなる。ドライブ110は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア111を駆動する。
以上のように構成されるコンピュータ100では、CPU101が、例えば、記憶部108に記憶されているプログラムを、入出力インタフェース105およびバス104を介して、RAM103にロードして実行することにより、上述した一連の処理が行われる。
なお、コンピュータ100が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
本開示は以下のような構成も取ることができる。
(1)
フレーム周期が共通であって露光開始のタイミングが異なる複数の動画像を取得する取得部と、
前記複数の動画像の各フレームの画素信号に基づき、前記動画像上に出現しているフリッカを検出する検出部と
を備える画像信号処理装置。
(2)
前記検出部は、前記複数の前記動画像のうち、第1の動画像のフレームの行毎の画素信号の積算値と、第2の動画像のフレームの行毎の画素信号の積算値との差分値に基づいて、前記動画像上に出現しているフリッカの周波数を演算する
前記(1)に記載の画像信号処理装置。
(3)
前記検出部は、前記複数の動画像の画角が重複する領域をフリッカ検出領域として特定し、前記複数の動画像の各フレームの前記フリッカ検出領域の画素信号に基づき、前記動画像上に出現しているフリッカを検出する
前記(1)または(2)に記載の画像信号処理装置。
(4)
前記第1の動画像の露光開始のタイミングと、前記第2の動画像の露光開始のタイミングとの時間位相差は、次式を満たす
時間位相差>検出対象とするフリッカの周期/2
前記(2)に記載の画像信号処理装置。
(5)
前記動画像を撮像する複数の撮像部と、
前記複数の撮像部を制御して、前記動画像の前記フレーム周期が共通であって、異なる露光開始のタイミングで前記動画像を撮像させる撮像制御部と
をさらに備える前記(1)から(4)のいずれかに記載の画像信号処理装置。
(6)
前記撮像制御部は、前記複数の撮像部を制御し、次式
時間位相差>検出対象とするフリッカの周期/2
を満たす時間位相差ずつずらした露光開始のタイミングで前記動画像を撮像させる
前記(5)に記載の画像信号処理装置。
(7)
画像信号処理装置の画像信号処理方法において、
前記画像信号処理装置による、
フレーム周期が共通であって露光開始のタイミングが異なる複数の動画像を取得する取得ステップと、
前記複数の動画像の各フレームの画素信号に基づき、前記動画像上に出現しているフリッカを検出する検出ステップと
を含む画像信号処理方法。
(8)
コンピュータを、
フレーム周期が共通であって露光開始のタイミングが異なる複数の動画像を取得する取得部と、
前記複数の動画像の各フレームの画素信号に基づき、前記動画像上に出現しているフリッカを検出する検出部と
して機能させるプログラム。
(1)
フレーム周期が共通であって露光開始のタイミングが異なる複数の動画像を取得する取得部と、
前記複数の動画像の各フレームの画素信号に基づき、前記動画像上に出現しているフリッカを検出する検出部と
を備える画像信号処理装置。
(2)
前記検出部は、前記複数の前記動画像のうち、第1の動画像のフレームの行毎の画素信号の積算値と、第2の動画像のフレームの行毎の画素信号の積算値との差分値に基づいて、前記動画像上に出現しているフリッカの周波数を演算する
前記(1)に記載の画像信号処理装置。
(3)
前記検出部は、前記複数の動画像の画角が重複する領域をフリッカ検出領域として特定し、前記複数の動画像の各フレームの前記フリッカ検出領域の画素信号に基づき、前記動画像上に出現しているフリッカを検出する
前記(1)または(2)に記載の画像信号処理装置。
(4)
前記第1の動画像の露光開始のタイミングと、前記第2の動画像の露光開始のタイミングとの時間位相差は、次式を満たす
時間位相差>検出対象とするフリッカの周期/2
前記(2)に記載の画像信号処理装置。
(5)
前記動画像を撮像する複数の撮像部と、
前記複数の撮像部を制御して、前記動画像の前記フレーム周期が共通であって、異なる露光開始のタイミングで前記動画像を撮像させる撮像制御部と
をさらに備える前記(1)から(4)のいずれかに記載の画像信号処理装置。
(6)
前記撮像制御部は、前記複数の撮像部を制御し、次式
時間位相差>検出対象とするフリッカの周期/2
を満たす時間位相差ずつずらした露光開始のタイミングで前記動画像を撮像させる
前記(5)に記載の画像信号処理装置。
(7)
画像信号処理装置の画像信号処理方法において、
前記画像信号処理装置による、
フレーム周期が共通であって露光開始のタイミングが異なる複数の動画像を取得する取得ステップと、
前記複数の動画像の各フレームの画素信号に基づき、前記動画像上に出現しているフリッカを検出する検出ステップと
を含む画像信号処理方法。
(8)
コンピュータを、
フレーム周期が共通であって露光開始のタイミングが異なる複数の動画像を取得する取得部と、
前記複数の動画像の各フレームの画素信号に基づき、前記動画像上に出現しているフリッカを検出する検出部と
して機能させるプログラム。
10 画像信号処理装置, 11 第1乃至第4撮像部, 12 フレーム処理部, 13 画像信号処理部, 14 露光タイミング制御部, 15 データ保持部, 16 フリッカ演算部, 100 コンピュータ, 101 CPU
Claims (8)
- フレーム周期が共通であって露光開始のタイミングが異なる複数の動画像を取得する取得部と、
前記複数の動画像の各フレームの画素信号に基づき、前記動画像上に出現しているフリッカを検出する検出部と
を備える画像信号処理装置。 - 前記検出部は、前記複数の前記動画像のうち、第1の動画像のフレームの行毎の画素信号の積算値と、第2の動画像のフレームの行毎の画素信号の積算値との差分値に基づいて、前記動画像上に出現しているフリッカの周波数を演算する
請求項1に記載の画像信号処理装置。 - 前記検出部は、前記複数の動画像の画角が重複する領域をフリッカ検出領域として特定し、前記複数の動画像の各フレームの前記フリッカ検出領域の画素信号に基づき、前記動画像上に出現しているフリッカを検出する
請求項2に記載の画像信号処理装置。 - 前記第1の動画像の露光開始のタイミングと、前記第2の動画像の露光開始のタイミングとの時間位相差は、次式を満たす
時間位相差>検出対象とするフリッカの周期/2
請求項2に記載の画像信号処理装置。 - 前記動画像を撮像する複数の撮像部と、
前記複数の撮像部を制御して、前記動画像の前記フレーム周期が共通であって、異なる露光開始のタイミングで前記動画像を撮像させる撮像制御部と
をさらに備える請求項2に記載の画像信号処理装置。 - 前記撮像制御部は、前記複数の撮像部を制御し、次式
時間位相差>検出対象とするフリッカの周期/2
を満たす時間位相差ずつずらした露光開始のタイミングで前記動画像を撮像させる
請求項2に記載の画像信号処理装置。 - 画像信号処理装置の画像信号処理方法において、
前記画像信号処理装置による、
フレーム周期が共通であって露光開始のタイミングが異なる複数の動画像を取得する取得ステップと、
前記複数の動画像の各フレームの画素信号に基づき、前記動画像上に出現しているフリッカを検出する検出ステップと
を含む画像信号処理方法。 - コンピュータを、
フレーム周期が共通であって露光開始のタイミングが異なる複数の動画像を取得する取得部と、
前記複数の動画像の各フレームの画素信号に基づき、前記動画像上に出現しているフリッカを検出する検出部と
して機能させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015068151A JP2016189521A (ja) | 2015-03-30 | 2015-03-30 | 画像信号処理装置、画像信号処理方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015068151A JP2016189521A (ja) | 2015-03-30 | 2015-03-30 | 画像信号処理装置、画像信号処理方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016189521A true JP2016189521A (ja) | 2016-11-04 |
Family
ID=57240504
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015068151A Pending JP2016189521A (ja) | 2015-03-30 | 2015-03-30 | 画像信号処理装置、画像信号処理方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016189521A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019170407A (ja) * | 2018-03-26 | 2019-10-10 | 国立大学法人東北大学 | 信号制御装置、信号制御プログラム、及び信号制御方法 |
JP7418617B2 (ja) | 2020-06-10 | 2024-01-19 | コーニンクレッカ フィリップス エヌ ヴェ | ピクセル情報の決定 |
WO2024055290A1 (en) * | 2022-09-16 | 2024-03-21 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method of detecting flicker area in captured image, electronic device and computer-readable storage medium |
-
2015
- 2015-03-30 JP JP2015068151A patent/JP2016189521A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019170407A (ja) * | 2018-03-26 | 2019-10-10 | 国立大学法人東北大学 | 信号制御装置、信号制御プログラム、及び信号制御方法 |
JP7418617B2 (ja) | 2020-06-10 | 2024-01-19 | コーニンクレッカ フィリップス エヌ ヴェ | ピクセル情報の決定 |
WO2024055290A1 (en) * | 2022-09-16 | 2024-03-21 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method of detecting flicker area in captured image, electronic device and computer-readable storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9088727B2 (en) | Spatially-varying flicker detection | |
KR101950396B1 (ko) | 촬상장치 및 촬상방법 | |
US10863155B2 (en) | Reduction of banding artifacts in image processing | |
CN105453133B (zh) | 图像处理装置和方法、眼底图像处理装置、图像拍摄方法、及眼底图像拍摄装置和方法 | |
US10701281B2 (en) | Image processing apparatus, solid-state imaging device, and electronic apparatus | |
US9569688B2 (en) | Apparatus and method of detecting motion mask | |
US8736711B2 (en) | Camera with anti-flicker capability and image capturing method with anti-flicker capability | |
JP2014155121A5 (ja) | ||
JP4689518B2 (ja) | 火災検出装置 | |
JP5909147B2 (ja) | 撮像装置、撮像装置の制御方法、およびプログラム | |
JP6191517B2 (ja) | 検出装置、検出プログラム、及び検出方法 | |
WO2017086155A1 (ja) | 撮像装置、撮像方法、およびプログラム | |
WO2016167137A1 (ja) | 撮影装置、撮影方法、信号処理装置、信号処理方法、及び、プログラム | |
JP2016189521A (ja) | 画像信号処理装置、画像信号処理方法、およびプログラム | |
JP2017076969A (ja) | フリッカ検出装置及び方法 | |
JP2020036128A5 (ja) | ||
WO2016011871A1 (zh) | 拍摄方法、拍摄装置和计算机存储介质 | |
JP2008046967A (ja) | 火災検出装置 | |
JP2019009694A5 (ja) | ||
JP7418617B2 (ja) | ピクセル情報の決定 | |
JP2018207455A5 (ja) | ||
JP2012134677A (ja) | 撮像装置および撮像方法 | |
JP5772251B2 (ja) | カメラシステムおよび画像生成方法 | |
US20230209210A1 (en) | System and method for image banding detection | |
EP4243402A1 (en) | Information processing device, image capturing device, program, storage medium, and method |