JP2011028683A - 動き検出装置及び動き検出方法 - Google Patents

動き検出装置及び動き検出方法 Download PDF

Info

Publication number
JP2011028683A
JP2011028683A JP2009176478A JP2009176478A JP2011028683A JP 2011028683 A JP2011028683 A JP 2011028683A JP 2009176478 A JP2009176478 A JP 2009176478A JP 2009176478 A JP2009176478 A JP 2009176478A JP 2011028683 A JP2011028683 A JP 2011028683A
Authority
JP
Japan
Prior art keywords
average value
motion detection
block
value
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009176478A
Other languages
English (en)
Other versions
JP2011028683A5 (ja
JP5274403B2 (ja
Inventor
Hideo Fujita
偉雄 藤田
Narihiro Matoba
成浩 的場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2009176478A priority Critical patent/JP5274403B2/ja
Publication of JP2011028683A publication Critical patent/JP2011028683A/ja
Publication of JP2011028683A5 publication Critical patent/JP2011028683A5/ja
Application granted granted Critical
Publication of JP5274403B2 publication Critical patent/JP5274403B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

【課題】画面内の輝度の差違の影響を受けることなく、画面全体に亘って高精度に動きを検出することができるようにする。
【解決手段】ブロック分割部1により分割されたブロック毎に、補正係数算出部4により算出された補正係数Yc(x,y)を用いて、動き検出閾値Th(x,y)を補正する動き検出閾値補正部5を設け、動き検出部7がブロック分割部1により分割されたブロック毎に、動き検出閾値補正部5により補正された動き検出閾値Thc(x,y)とフレーム間差分値算出部6により算出された差分値Idif(x,y)を比較して、当該ブロック[x,y]内の動きを検出する。
【選択図】図1

Description

この発明は、例えば、カメラにより撮像された画像に映っている物体の動きを検出する動き検出装置及び動き検出方法に関するものである。
例えば、以下の特許文献1には、カメラにより撮像された画像に映っている物体の動きを検出する動き検出装置が開示されている。
この動き検出装置では、カメラにより撮像された画像内に複数の小ブロックを設定し、複数の小ブロックの内部において、2つの画像(カメラにより時間的に先に撮像された画像と、カメラにより時間的に後に撮像された画像)間の画素の平均値の変化を計算している。
そして、この動き検出装置では、小ブロック毎に、画素の平均値の変化量の頻度分布を算出し、その頻度分布を用いて、カメラの振動等による影響を排除して、動きがある物体にのみ起因する変化量を求めている。
なお、この動き検出装置では、画像内に動きがない場合の基準画像と、カメラにより撮像された現在の画像との比較を行うことで、小さな動きに対しても精度の高い検出を可能にしている。
特開平7−93556号公報(段落番号[0006]、図1)
従来の動き検出装置は以上のように構成されているので、画像内に動きがない場合の基準画像と、カメラにより撮像された現在の画像との比較を行うことで、小さな動きに対しても精度の高い検出を可能にしているが、判定基準となる閾値が固定されているため、画像の明部と暗部の間で、動きの検出精度に差違が発生する課題があった。
また、照明条件の変動、カメラの自動撮像制御機能による画面輝度の変化や、蛍光灯照明下でのフリッカの発生などが考慮されていないため、照明条件の変動や画面輝度の変化やフリッカの発生などを要因とする動きの誤検出が発生して、十分な検出精度を得られない課題があった。
この発明は上記のような課題を解決するためになされたもので、画面内の輝度の差違の影響を受けることなく、画面全体に亘って高精度に動きを検出することができる動き検出装置及び動き検出方法を得ることを目的とする。
また、この発明は、照明条件の変動や画面輝度の変化やフリッカの発生などを要因とする動きの誤検出の発生を防止することができる動き検出装置及び動き検出方法を得ることを目的とする。
この発明に係る動き検出装置は、ブロック分割手段により分割されたブロック毎に、画素平均値記録手段により記録されている画素の平均値から動き検出閾値の補正係数を算出する補正係数算出手段と、ブロック分割手段により分割されたブロック毎に、補正係数算出手段により算出された補正係数を用いて、動き検出閾値を補正する動き検出閾値補正手段と、ブロック分割手段により分割されたブロック毎に、画素平均値記録手段により記録されている画素の平均値の複数のフレーム間での差分値を算出するフレーム間差分値算出手段とを設け、動き検出手段がブロック分割手段により分割されたブロック毎に、動き検出閾値補正手段により補正された動き検出閾値とフレーム間差分値算出手段により算出された差分値を比較して、当該ブロック内の動きを検出するようにしたものである。
この発明によれば、ブロック分割手段により分割されたブロック毎に、画素平均値記録手段により記録されている画素の平均値から動き検出閾値の補正係数を算出する補正係数算出手段と、ブロック分割手段により分割されたブロック毎に、補正係数算出手段により算出された補正係数を用いて、動き検出閾値を補正する動き検出閾値補正手段と、ブロック分割手段により分割されたブロック毎に、画素平均値記録手段により記録されている画素の平均値の複数のフレーム間での差分値を算出するフレーム間差分値算出手段とを設け、動き検出手段がブロック分割手段により分割されたブロック毎に、動き検出閾値補正手段により補正された動き検出閾値とフレーム間差分値算出手段により算出された差分値を比較して、当該ブロック内の動きを検出するように構成したので、画面内の輝度の差違の影響を受けることなく、画面全体に亘って高精度に動きを検出することができる効果がある。
この発明の実施の形態1による動き検出装置を示す構成図である。 この発明の実施の形態1による動き検出方法を示すフローチャートである。 画素の平均値I(x,y)に対応する補正係数Yc(x,y)の設定例を示す説明図である。 この発明の実施の形態2による動き検出装置を示す構成図である。 フレーム間変動差分値Dfに対応する補正係数Dcの一例を示す説明図である。 この発明の実施の形態3による動き検出装置を示す構成図である。 この発明の実施の形態4による動き検出装置を示す構成図である。 この発明の実施の形態5による動き検出装置を示す構成図である。 この発明の実施の形態6による動き検出装置を示す構成図である。
実施の形態1.
図1はこの発明の実施の形態1による動き検出装置を示す構成図である。
図1において、ブロック分割部1はセンサから出力された動き検出対象の画像(例えば、カメラにより撮像された画像)を示す画像データを入力すると、動き検出対象の画像を複数のブロック[x,y]に分割して、各ブロック[x,y]の画像を示すブロックデータを画素平均値算出部2に出力する処理を実施する。
ただし、ブロック[x,y]は、ブロック分割部1により分割された複数のブロックのうち、左上のブロックを[0,0]として、水平方向にx番目、垂直方向にy番目のブロックを示している。
なお、ブロック分割部1はブロック分割手段を構成している。
画素平均値算出部2はブロック分割部1により分割されたブロック毎に、当該ブロック[x,y]内の画素の平均値I(x,y)を算出して、ブロック[x,y]内の画素の平均値I(x,y)を画素平均値記録部3に出力する処理を実施する。なお、画素平均値算出部2は画素平均値算出手段を構成している。
画素平均値記録部3は画素平均値算出部2により算出されたブロック[x,y]内の画素の平均値I(x,y)を複数フレーム分記録するメモリなどの記録媒体である。なお、画素平均値記録部3は画素平均値記録手段を構成している。
補正係数算出部4はブロック分割部1により分割されたブロック毎に、画素平均値記録部3により記録されているブロック[x,y]内の画素の平均値I(x,y)から動き検出閾値Th(x,y)の補正係数Yc(x,y)を算出する処理を実施する。なお、補正係数算出部4は補正係数算出手段を構成している。
動き検出閾値補正部5はブロック分割部1により分割されたブロック毎に、補正係数算出部4により算出された補正係数Yc(x,y)を用いて、動き検出閾値Th(x,y)を補正して、補正後の動き検出閾値Thc(x,y)を動き検出部7に出力する処理を実施する。なお、動き検出閾値補正部5は動き検出閾値補正手段を構成している。
フレーム間差分値算出部6はブロック分割部1により分割されたブロック毎に、画素平均値記録部3により記録されているブロック[x,y]内の画素の平均値I(x,y)の複数のフレーム間での差分値Idif(x,y)を算出する処理を実施する。なお、フレーム間差分値算出部6はフレーム間差分値算出手段を構成している。
動き検出部7はブロック分割部1により分割されたブロック毎に、動き検出閾値補正部5により補正された動き検出閾値Thc(x,y)とフレーム間差分値算出部6により算出された差分値Idif(x,y)を比較して、当該ブロック[x,y]内の動きを検出し、その動きの検出結果を示す検出結果データを出力する処理を実施する。なお、動き検出部7は動き検出手段を構成している。
図1では、動き検出装置の構成要素であるブロック分割部1、画素平均値算出部2、画素平均値記録部3、補正係数算出部4、動き検出閾値補正部5、フレーム間差分値算出部6及び動き検出部7のそれぞれが専用のハードウェア(例えば、CPUを実装している半導体集積回路)で構成されているものを想定しているが、動き検出装置がコンピュータで構成されている場合、ブロック分割部1、画素平均値算出部2、画素平均値記録部3、補正係数算出部4、動き検出閾値補正部5、フレーム間差分値算出部6及び動き検出部7の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにしてもよい。
図2はこの発明の実施の形態1による動き検出方法を示すフローチャートである。
次に動作について説明する。
まず、ブロック分割部1は、カメラにより撮像された動き検出対象の画像を示す画像データを入力すると、動き検出対象の画像を複数のブロック[x,y]に分割して、各ブロック[x,y]の画像を示すブロックデータを画素平均値算出部2に出力する(ステップST1)。
ここでは、説明の便宜上、例えば、動き検出対象の画像を水平方向に16分割するとともに、動き検出対象の画像を垂直方向に16分割することで、動き検出対象の画像を合計256個(=16×16個)のブロックに分割するものとする。
画素平均値算出部2は、ブロック分割部1からブロックデータを受けると、ブロック分割部1により分割されたブロック毎に、当該ブロック[x,y]内の画素の平均値I(x,y)を算出する(ステップST2)。
即ち、画素平均値算出部2は、以下の式(1)に示すように、ブロック[x,y]内の画素の各画素値(R,G,Bの画素値)に対して加重平均を行うことで、ブロック[x,y]内の画素の平均値I(x,y)を算出する。
I(x,y)=Σ(α・R+β・G+γ・B)/N (1)
α=0.299
β=0.587
γ=0.114
ただし、Σはブロック[x,y]に含まれている画素の画素値を積算する数学記号であり、Nはブロック[x,y]に含まれている画素の個数を示している。
画素平均値算出部2により算出されたブロック[x,y]内の画素の平均値I(x,y)は、画素平均値記録部3により記録される(ステップST3)。
なお、画素平均値記録部3には、後述の処理で必要となるフレーム数分だけ、ブロック[x,y]内の画素の平均値I(x,y)が記録される。
この実施の形態1では、現フレームに係る平均値I(x,y)と、前フレーム(現フレームの1つ前のフレーム)に係る平均値I(x,y)とを用いて、後述の処理を実施する例を示すので、2フレーム分だけ、ブロック[x,y]内の画素の平均値I(x,y)を記録するものとする。
補正係数算出部4は、画素平均値記録部3からブロック[x,y]内の画素の平均値I(x,y)を読み出し、そのブロック[x,y]内の画素の平均値I(x,y)から動き検出閾値Th(x,y)の補正係数Yc(x,y)をブロック毎に算出する(ステップST4)。
例えば、ブロック分割部1により分割されたブロック毎に、画素の平均値I(x,y)に対応する補正係数Yc(x,y)を記録しているルックアップテーブルが用意されている場合、そのルックアップテーブルを参照して、画素平均値記録部3から読み出した画素の平均値I(x,y)に対応する補正係数Yc(x,y)を動き検出閾値補正部5に出力する。
あるいは、代表的な画素の平均値(以下、「代表平均値」と称する)に対応する補正係数だけが複数個設定されている場合には、画素平均値記録部3から読み出した画素の平均値I(x,y)に近い2つの代表平均値を特定し、2つの代表平均値と、2つの代表平均値に対応する補正係数との対応から線形補間によって、画素の平均値I(x,y)に対応する補正係数Yc(x,y)を求めるようにしてもよい。
このように、代表平均値に対応する補正係数のみを用意する場合、ルックアップテーブルを用意する場合よりも、データ量を削減することが可能である。
ここで、図3は画素の平均値I(x,y)に対応する補正係数Yc(x,y)の設定例を示す説明図である。
図3の例では、画像の画素値が8bit(0〜255)で表されており、補正係数Yc(x,y)が平均値I(x,y)に比例して大きくなるように設定されている。
このように設定されている理由は、画素値が大きいエリアでは、一定の割合で画素値が変化しても、差分の大きさが画素値に比例して増大するためである。
また、画面内の低輝度部分についても同様の考え方で、画素値に比例して補正係数が減少するような設定が行われているが、センサ(例えば、カメラ)の暗電流ノイズ等によって、低輝度部分では信号のS/N比が悪化するため、誤検出を防止する観点から、一定の画素値で補正係数に下限を設け、一定の画素値以下の場合には、補正係数が下限以下にならないように設定することが望ましい。
動き検出閾値補正部5は、補正係数算出部4がブロック[x,y]毎に補正係数Yc(x,y)を算出すると、その補正係数Yc(x,y)を用いて、ブロック[x,y]毎に動き検出閾値Th(x,y)を補正して、補正後の動き検出閾値Thc(x,y)を動き検出部7に出力する(ステップST5)。
即ち、動き検出閾値補正部5は、以下の式(2)に示すように、補正係数算出部4により算出された補正係数Yc(x,y)を用いて、ブロック[x,y]毎に動き検出閾値Th(x,y)を補正する。
Thc(x,y)=Th(x,y)×Yc(x,y) (2)
フレーム間差分値算出部6は、ブロック分割部1により分割されたブロック毎に、画素平均値記録部3から現フレームに係る平均値I(x,y)と、前フレームに係る平均値I(x,y)とを取得する。
以下、現フレームに係る平均値I(x,y)をIb(0,x,y)で表し、前フレームに係る平均値I(x,y)をIb(1,x,y)で表すようにする。
次に、フレーム間差分値算出部6は、ブロック分割部1により分割されたブロック毎に、以下の式(3)に示すように、現フレームに係る平均値Ib(0,x,y)と、前フレームに係る平均値Ib(1,x,y)との差分値Idif(x,y)を算出する(ステップST6)。
Idif(x,y)=ABS{Ib(1,x,y)−Ib(0,x,y)}
(3)
ただし、ABSは{}内の絶対値を求める演算式である。
動き検出部7は、動き検出閾値補正部5が動き検出閾値Th(x,y)を補正し、フレーム間差分値算出部6が平均値I(x,y)のフレーム間での差分値Idif(x,y)を算出すると、ブロック分割部1により分割されたブロック毎に、動き検出閾値補正部5により補正された動き検出閾値Thc(x,y)と、フレーム間差分値算出部6により算出された差分値Idif(x,y)を比較する(ステップST7)。
動き検出部7は、以下の式(4)に示すように、差分値Idif(x,y)が補正後の動き検出閾値Thc(x,y)より大きい場合、ブロック[x,y]内に動きが有るものと判定し、その動きの検出結果を示す検出結果データR(x,y)として、差分値Idif(x,y)と動き検出閾値Thc(x,y)の差分を出力する(ステップST8)。
Idif(x,y)>Thc(x,y)
R(x,y)=Idif(x,y)−Thc(x,y) (4)
一方、以下の式(5)に示すように、差分値Idif(x,y)が補正後の動き検出閾値Thc(x,y)以下である場合、ブロック[x,y]内に動きが無いものと判定し、その動きの検出結果を示す検出結果データR(x,y)として、“0”を出力する(ステップST9)。
Idif(x,y)≦Thc(x,y)
R(x,y)=0 (5)
以上で明らかなように、この実施の形態1によれば、ブロック分割部1により分割されたブロック毎に、画素平均値記録部3により記録されている画素の平均値I(x,y)から補正係数Yc(x,y)を算出する補正係数算出部4と、ブロック分割部1により分割されたブロック毎に、補正係数算出部4により算出された補正係数Yc(x,y)を用いて、動き検出閾値Th(x,y)を補正する動き検出閾値補正部5と、ブロック分割部1により分割されたブロック毎に、画素平均値記録部3により記録されている現フレームにおける画素の平均値Ib[0,x,y]と前フレームにおける画素の平均値Ib[1,x,y]の差分値Idif(x,y)を算出するフレーム間差分値算出部6とを設け、動き検出部7がブロック分割部1により分割されたブロック毎に、動き検出閾値補正部5により補正された動き検出閾値Thc(x,y)とフレーム間差分値算出部6により算出された差分値Idif(x,y)を比較して、当該ブロック[x,y]内の動きを検出するように構成したので、画面内の輝度の差違の影響を受けることなく、画面全体に亘って高精度に動きを検出することができる効果を奏する。
即ち、この実施の形態1によれば、ブロック分割部1により分割されたブロック毎に、動き検出閾値Th(x,y)を補正して、補正後の動き検出閾値Thc(x,y)と、フレーム間での平均値の差分値Idif(x,y)とを比較することで、当該ブロック[x,y]内の動きを検出するようにしているので、被写体の輝度に依らず、一定の割合での画素値変動を検出することが可能となり、検出精度を均一化することができる。
また、低輝度画像領域に対して、画素値の補正係数を一定値に設定することにより、ノイズの影響を抑えた誤検出が少ない処理を実現することができる。
実施の形態2.
図4はこの発明の実施の形態2による動き検出装置を示す構成図であり、図において、図1と同一符号は同一又は相当部分を示すので説明を省略する。
画素平均値算出部11は図1の画素平均値算出部2と同様に、ブロック分割部1により分割されたブロック毎に、当該ブロック[x,y]内の画素の平均値I(x,y)を算出して、ブロック[x,y]内の画素の平均値I(x,y)を画素平均値記録部12に出力する処理を実施する。
また、動き検出対象の画像における一画面内の画素(1フレームの画像に含まれている全てのブロック内の画素)の平均値Iallを算出して、一画面内の画素の平均値Iallを画素平均値記録部12に出力する処理を実施する。
なお、画素平均値算出部11は画素平均値算出手段を構成している。
画素平均値記録部12は画素平均値算出部11により算出されたブロック[x,y]内の画素の平均値I(x,y)を複数フレーム分記録するとともに、一画面内の画素の平均値Iallを複数フレーム分記録するメモリなどの記録媒体である。なお、画素平均値記録部12は画素平均値記録手段を構成している。
画素値補正係数算出部13は図1の補正係数算出部4と同様に、ブロック分割部1により分割されたブロック毎に、画素平均値記録部12により記録されているブロック[x,y]内の画素の平均値I(x,y)から動き検出閾値Th(x,y)の補正係数Yc(x,y)(第1の補正係数)を算出する処理を実施する。
変動補正係数算出部14は画素平均値記録部12により記録されている画面単位の画素の平均値Iallの中の最大値と最小値から動き検出閾値Th(x,y)の補正係数Dc(第2の補正係数)を算出する処理を実施する。
なお、画素値補正係数算出部13及び変動補正係数算出部14から補正係数算出手段が構成されている。
動き検出閾値補正部15はブロック分割部1により分割されたブロック毎に、画素値補正係数算出部13により算出された補正係数Yc(x,y)と変動補正係数算出部14により算出された補正係数Dcを用いて、動き検出閾値Th(x,y)を補正して、補正後の動き検出閾値Thc(x,y)を動き検出部7に出力する処理を実施する。なお、動き検出閾値補正部15は動き検出閾値補正手段を構成している。
次に動作について説明する。
まず、ブロック分割部1は、カメラにより撮像された動き検出対象の画像を示す画像データを入力すると、上記実施の形態1と同様に、動き検出対象の画像を複数のブロック[x,y]に分割して、各ブロック[x,y]の画像を示すブロックデータを画素平均値算出部2に出力する。
ここでは、説明の便宜上、例えば、動き検出対象の画像を水平方向に16分割するとともに、動き検出対象の画像を垂直方向に16分割することで、動き検出対象の画像を合計256個(=16×16個)のブロックに分割するものとする。
画素平均値算出部11は、ブロック分割部1からブロックデータを受けると、図1の画素平均値算出部2と同様に、ブロック分割部1により分割されたブロック毎に、当該ブロック[x,y]内の画素の平均値I(x,y)を算出する。
また、画素平均値算出部11は、以下の式(6)に示すように、動き検出対象の画像における一画面内の画素(1フレームの画像に含まれている全てのブロック内の画素)の平均値Iallを算出する。
Iall=ΣI(x,y)/W (6)
ただし、Σは1フレームの画像に含まれる全てのブロック内の画素の画素値を積算する数学記号であり、Wは1フレームの画像に含まれるブロックの個数を示している。
画素平均値算出部11により算出されたブロック[x,y]内の画素の平均値I(x,y)と一画面内の画素の平均値Iallは、画素平均値記録部12により記録される。
なお、画素平均値記録部12には、後述の処理で必要となるフレーム数分だけ、ブロック[x,y]内の画素の平均値I(x,y)と一画面内の画素の平均値Iallが記録される。
この実施の形態2では、上記実施の形態1と同様に、2フレーム分だけ、ブロック[x,y]内の画素の平均値I(x,y)と一画面内の画素の平均値Iallを記録するものとする。
画素値補正係数算出部13は、図1の補正係数算出部4と同様に、画素平均値記録部12からブロック[x,y]内の画素の平均値I(x,y)を読み出し、そのブロック[x,y]内の画素の平均値I(x,y)から動き検出閾値Th(x,y)の補正係数Yc(x,y)をブロック毎に算出する。
変動補正係数算出部14は、画素平均値記録部12により記録されている画面単位の画素の平均値Iallの中の最大値と最小値を読み出し、その最大値と最小値から動き検出閾値Th(x,y)の補正係数Dcを算出する。
即ち、変動補正係数算出部14は、以下の式(7)に示すように、最大値と最小値の差分値(フレーム間変動差分値)Dfを算出して、そのフレーム間変動差分値Dfに対応する補正係数Dcを算出する。
Df=(MAX(Iba(fn))−MIN(Iba(fn))) (7)
0≦fn≦1
ただし、Iba(fn)は画素平均値記録部12により記録されている画面単位の画素の平均値Iallであり、fは動き検出対象の画像のフレーム番号(平均値Iba(fn)が算出されている画面のフレーム番号)である。この実施の形態2では、画素平均値記録部12により2フレーム分記録されているので、fn=0が現フレーム、fn=1が前フレームである。
MAX()は画素平均値記録部12により記録されている画面単位の画素の平均値Iba(fn)の中で、最大値の平均値Iba(fn)を選択する旨を示す数学記号である。
MIN()は画素平均値記録部12により記録されている画面単位の画素の平均値Iba(fn)の中で、最小値の平均値Iba(fn)を選択する旨を示す数学記号である。
この実施の形態2では、画素平均値記録部12が2フレーム分だけ画面単位の画素の平均値Iba(fn)を記録しているので、フレーム間変動差分値Dfが平均値Iba(0)と平均値Iba(1)の差分絶対値と等しくなるが、画素平均値記録部12が3フレーム分以上の平均値Iba(fn)を記録する場合を考慮して、Iba(fn)のように表記している。
ここで、図5はフレーム間変動差分値Dfに対応する補正係数Dcの一例を示す説明図である。
フレーム間変動差分値Dfが一定の値よりも大きい場合には、動き検出に適さない条件(例えば、撮像条件の変化、カメラの自動露光機能の動作による画像輝度の変動、カメラの揺れなど)が発生していると考えられるため、図5に示すように、大きな補正係数Dcを用いることで、動き検出閾値Th(x,y)を引き上げれば、誤検出の発生を抑えることができる。
動き検出閾値補正部15は、画素値補正係数算出部13がブロック[x,y]毎に補正係数Yc(x,y)を算出し、変動補正係数算出部14が補正係数Dcを算出すると、その補正係数Yc(x,y),補正係数Dcを用いて、ブロック[x,y]毎に動き検出閾値Th(x,y)を補正して、補正後の動き検出閾値Thc(x,y)を動き検出部7に出力する。
即ち、動き検出閾値補正部15は、以下の式(8)に示すように、画素値補正係数算出部13により算出された補正係数Yc(x,y)と変動補正係数算出部14により算出された補正係数Dcを用いて、ブロック[x,y]毎に動き検出閾値Th(x,y)を補正する。
Thc(x,y)
=Th(x,y)×Yc(x,y)×Dc (8)
フレーム間差分値算出部6は、上記実施の形態1と同様に、ブロック分割部1により分割されたブロック毎に、画素平均値記録部12から現フレームに係る平均値Ib(0,x,y)と、前フレームに係る平均値Ib(1,x,y)とを取得して、現フレームに係る平均値Ib(0,x,y)と、前フレームに係る平均値Ib(1,x,y)との差分値Idif(x,y)を算出する。
動き検出部7は、動き検出閾値補正部15が動き検出閾値Th(x,y)を補正し、フレーム間差分値算出部6がフレーム間での差分値Idif(x,y)を算出すると、上記実施の形態1と同様に、ブロック分割部1により分割されたブロック毎に、動き検出閾値補正部15により補正された動き検出閾値Thc(x,y)と、フレーム間差分値算出部6により算出された差分値Idif(x,y)を比較することで、ブロック[x,y]内の動きの有無を判定して、その動きの検出結果(動きの有無)を示す検出結果データR(x,y)を出力する。
以上で明らかなように、この実施の形態2によれば、ブロック分割部1により分割されたブロック毎に、画素平均値記録部12により記録されている画素の平均値I(x,y)から補正係数Yc(x,y)を算出する画素値補正係数算出部13と、画素平均値記録部12により記録されている画面単位の画素の平均値Iallの中の最大値と最小値から動き検出閾値Th(x,y)の補正係数Dcを算出する変動補正係数算出部14と、ブロック分割部1により分割されたブロック毎に、画素値補正係数算出部13により算出された補正係数Yc(x,y)と変動補正係数算出部14により算出された補正係数Dcを用いて、動き検出閾値Th(x,y)を補正する動き検出閾値補正部15と、ブロック分割部1により分割されたブロック毎に、画素平均値記録部12により記録されている現フレームにおける画素の平均値Ib[0,x,y]と前フレームにおける画素の平均値Ib[1,x,y]の差分値Idif(x,y)を算出するフレーム間差分値算出部6とを設け、動き検出部7がブロック分割部1により分割されたブロック毎に、動き検出閾値補正部15により補正された動き検出閾値Thc(x,y)とフレーム間差分値算出部6により算出された差分値Idif(x,y)を比較して、当該ブロック[x,y]内の動きを検出するように構成したので、画面内の輝度の差違の影響を受けることなく、画面全体に亘って高精度に動きを検出することができる効果を奏する。
即ち、この実施の形態2によれば、変動補正係数算出部14が画面単位の画素の平均値Iallの中の最大値と最小値から補正係数Dcを算出し、動き検出閾値補正部15が画素値補正係数算出部13により算出された補正係数Yc(x,y)だけでなく、変動補正係数算出部14により算出された補正係数Dcを考慮して、動き検出閾値Th(x,y)を補正するようにしたので、動き検出に適さない条件(例えば、撮像条件の変化、カメラの自動露光機能の動作による画像輝度の変動、カメラの揺れなど)が発生していても誤検出の発生を抑えて、高精度に動きを検出することができる効果を奏する。
実施の形態3.
図6はこの発明の実施の形態3による動き検出装置を示す構成図であり、図において、図4と同一符号は同一又は相当部分を示すので説明を省略する。
画素平均値補正部21はブロック分割部1により分割されたブロック[x,y]のうち、同一の水平ラインに並んでいる複数のブロック毎に、複数のブロック内の画素の平均値IL(y)を算出し、その平均値IL(y)を用いて、画素平均値算出部11により算出されたブロック[x,y]内の画素の平均値I(x,y)を正規化し、正規化後の平均値I(x,y)を画素平均値記録部12に出力する処理を実施する。なお、画素平均値補正部21は画素平均値補正手段を構成している。
次に動作について説明する。
画素平均値補正部21は、CMOSセンサと蛍光灯照明の組み合わせによって発生する水平縞状の画像の明暗変動(フリッカ)が動き検出に与える影響を抑えるために、画素平均値算出部11により算出されたブロック[x,y]内の画素の平均値I(x,y)の補正処理を実施する。
以下、画素平均値補正部21による補正処理を具体的に説明する。
まず、画素平均値補正部21は、ブロック分割部1により分割されたブロック[x,y]のうち、同一の水平ラインに並んでいる複数のブロック毎に、複数のブロック内の画素の平均値IL(y)を算出する。
即ち、画素平均値補正部21は、以下の式(9)に示すように、同一の水平ラインに並んでいる複数のブロック内の画素の平均値IL(y)を算出する。
IL(y)=ΣI(x,y)/L (9)
ただし、Σは同一の水平ラインに並んでいる複数のブロック内の画素の画素値を積算する数学記号であり、Lは同一の水平ラインに並んでいるブロックの個数を示している。
例えば、動き検出対象の画像が水平方向に16分割され、動き検出対象の画像が垂直方向に16分割されて、動き検出対象の画像が合計256個のブロックに分割されている場合、同一の水平ラインに並んでいる16個のブロック毎に、16個のブロックに含まれている画素の平均値IL(y)を算出する。
この場合、垂直方向に0番目の水平ラインに並んでいる16個のブロックに係る平均値IL(0)、垂直方向に1番目の水平ラインに並んでいる16個のブロックに係る平均値IL(1)、・・・、垂直方向に15番目の水平ラインに並んでいる16個のブロックに係る平均値IL(15)を順次算出することになる。
画素平均値補正部21は、同一の水平ラインに並んでいる複数のブロック内の画素の平均値IL(y)を算出すると、その平均値IL(y)と画素平均値算出部11により算出された動き検出対象の画像における一画面内の画素の平均値Iallを用いて、画素平均値算出部11により算出されたブロック[x,y]内の画素の平均値I(x,y)を正規化する。
即ち、画素平均値補正部21は、以下の式(10)に示すように、画素平均値算出部11により算出されたブロック[x,y]内の画素の平均値I(x,y)を正規化する。
I’(x,y)
=I(x,y)×Iall/IL(y) (10)
ただし、I’(x,y)はブロック[x,y]内の画素の正規化後の平均値である。
画素平均値補正部21は、画素平均値算出部11により算出されたブロック[x,y]内の画素の平均値I(x,y)の代わりに、正規化後の平均値I’(x,y)を画素平均値記録部12に出力し、また、画素平均値算出部11により算出された一画面内の画素の平均値Iallを画素平均値記録部12に出力する。
画素値補正係数算出部13は、画素平均値記録部12からブロック[x,y]内の画素の正規化後の平均値I’(x,y)を読み出し、その正規化後の平均値I’(x,y)から動き検出閾値Th(x,y)の補正係数Yc(x,y)をブロック毎に算出する。
ただし、ブロック[x,y]内の画素の平均値I(x,y)の代わりに、正規化後の平均値I’(x,y)を用いて、補正係数Yc(x,y)を算出する以外は、図1の補正係数算出部4と同様であるため説明を省略する。
変動補正係数算出部14、動き検出閾値補正部15、フレーム間差分値算出部6及び動き検出部7の処理内容は、上記実施の形態2と同様であるため説明を省略する。
以上で明らかなように、この実施の形態3によれば、同一の水平ラインに並んでいる複数のブロック内の画素の平均値IL(y)を算出し、その平均値IL(y)を用いて、画素平均値算出部11により算出されたブロック単位の画素の平均値I(x,y)を正規化する画素平均値補正部21を設け、画素平均値記録部12が画素平均値補正部21により正規化された画素の平均値I’(x,y)を複数フレーム分記録するように構成したので、水平方向の画素値変動の影響のみを抑えることができるようになり、その結果、フリッカが発生している状況下でも、誤検出の発生を低減して、検出精度を高めることができる効果を奏する。
実施の形態4.
図7はこの発明の実施の形態4による動き検出装置を示す構成図であり、図において、図4と同一符号は同一又は相当部分を示すので説明を省略する。
画素平均値補正部22は動き検出対象の画像における一画面内の画素の複数フレーム分の平均値を算出し、複数フレーム分の平均値を解析して、照明の明滅に起因する特定周波数の周期的な画素の平均値の変動の有無を判定し、特定周波数の周期的な画素の平均値の変動が有る場合、その平均値の変動周期の位相及び振幅に対応する補正係数を用いて、画素平均値算出部11により算出されたブロック単位の画素の平均値I(x,y)を正規化する処理を実施する。なお、画素平均値補正部22は画素平均値補正手段を構成している。
この実施の形態4では、上記実施の形態1,2と同様に、処理で必要となるフレーム数分だけ、過去のフレームの画像データをバッファリングしておく必要があるが、この実施の形態4では、CCDで発生するフリッカの検出を行うため、6以上で3の倍数となるフレーム数の画像データが必要となる。
ここでは、説明の便宜上、バッファリングするフレーム数が12フレームであるとして説明する。
また、ブロック単位の画素の平均値I(x,y)と一画面内の画素の平均値Iallのそれぞれについて、画素平均値補正部22による補正処理前の値と補正処理後の値の双方を保持できるものとする。
次に動作について説明する。
画素平均値補正部22は、CMOSセンサと蛍光灯照明の組み合わせによって発生するフレーム毎の明暗変動(フリッカ)が動き検出に与える影響を抑えるために、画素平均値算出部11により算出されたブロック[x,y]内の画素の平均値I(x,y)を正規化する補正処理を実施する。
CCDセンサにおけるフリッカは、例えば、画像のフレームレートが30fpsである場合、60Hzの電源環境では発生せず、50Hzの電源環境では3フレーム周期での明暗変動となる。
そのため、この実施の形態4では、3フレーム周期の明暗変動を検出して、ブロック[x,y]内の画素の平均値I(x,y)を正規化する補正処理について説明する。
なお、フレームレートの差違により、発生する明暗変動の周期が異なる場合には、対応する周期の変動を検出するように、演算式を変更する必要がある。
以下、画素平均値補正部22による補正処理を具体的に説明する。
まず、画素平均値補正部22は、画素平均値算出部11により算出されたブロック[x,y]内の画素の平均値I(x,y)と、一画面内の画素の平均値Iallとを補正処理前の値として、画素平均値記録部12にバッファリングする。
次に、画素平均値補正部22は、以下の式(11)〜式(13)に示すように、3フレーム周期で、画像データをグルーピングして、各グループに属するフレーム内に含まれている画素の平均値Ifk(0),Ifk(1),Ifk(2)を算出する。
なお、各グループに属するフレーム内に含まれている画素の平均値Ifk(0),Ifk(1),Ifk(2)は、後述するように、特定周波数の周期的な画素の平均値の変動周期の位相及び振幅に対応する補正係数として取り扱う。
Ifk(0)
=(Iba(0)+Iba(3)+Iba(6)+Iba(9))/4
(11)
Ifk(1)
=(Iba(1)+Iba(4)+Iba(7)+Iba(10))/4
(12)
Ifk(2)
=(Iba(2)+Iba(5)+Iba(8)+Iba(11))/4
(13)
ただし、Iba(f)は画素平均値記録部12に記録されている一画面内の画素の補正処理前の平均値Iallであり、fは動き検出対象の画像のフレーム番号(平均値Iba(f)が算出されている画面のフレーム番号)である。f=0が現フレーム、fの値が大きいほど、古いフレームを示している。
画素平均値補正部22は、上記のようにして、平均値Ifk(0),Ifk(1),Ifk(2)を算出すると、平均値Ifk(0),Ifk(1),Ifk(2)における最大値と、平均値Ifk(0),Ifk(1),Ifk(2)における最小値との差分を算出する。
例えば、平均値Ifk(0),Ifk(1),Ifk(2)における最大値がIfk(0)、平均値Ifk(0),Ifk(1),Ifk(2)における最小値がIfk(2)であれば、Ifk(0)とIfk(2)の差分を算出する。
画素平均値補正部22は、最大値と最小値の差分が予め設定された閾値より大きい場合、照明の明滅に起因する特定周波数の周期的な画素の平均値の変動が有るものと判定し、以下の式(14)〜式(20)に示すように、補正係数である平均値Ifk(0),Ifk(1),Ifk(2)を用いて、画素平均値算出部11により算出されたブロック[x,y]内の画素の平均値I(x,y)と、一画面内の画素の平均値Iallとを正規化する補正処理を行う。
Ifk_all=(Ifk(0)+Ifk(1)+Ifk(2))/3
(14)
(1)f=3n(n:整数)の場合
Ib’(f,x,y)
=Ib(f,x,y)×Ifk_all/Ifk(0) (15)
Iba’(f)
=Ib(f)×Ifk_all/Ifk(0) (16)
(2)f=3n+1(n:整数)の場合
Ib’(f,x,y)
=Ib(f,x,y)×Ifk_all/Ifk(1) (17)
Iba’(f)
=Ib(f)×Ifk_all/Ifk(1) (18)
(3)f=3n+2(n:整数)の場合
Ib’(f,x,y)
=Ib(f,x,y)×Ifk_all/Ifk(2) (19)
Iba’(f)
=Ib(f)×Ifk_all/Ifk(2) (20)
ただし、Ifk_allは全てのフレーム内の画素の平均値であり、Iba’(f)は一画面内の画素の補正後の平均値Iallである。
また、Ib(f,x,y)はブロック[x,y]内の画素の補正前の平均値I(x,y)であり、Ib’(f,x,y)はブロック[x,y]内の画素の補正後の平均値I(x,y)である。
補正後の平均値Ib’(f,x,y)と平均値Iba’(f)は、画素平均値記録部12に記録される。
画素平均値補正部22は、最大値と最小値の差分が予め設定された閾値以下である場合、照明の明滅に起因する特定周波数の周期的な画素の平均値の変動が無いものと判定する。
この場合、画素平均値補正部22は、画素平均値算出部11により算出されたブロック[x,y]内の画素の平均値I(x,y)と、一画面内の画素の平均値Iallとを正規化する補正処理を行わずに、補正後(正規化後)の平均値Ib’(f,x,y)として、補正前の平均値I(x,y)を画素平均値記録部12に記録し、補正後(正規化後)の平均値Iba’(f)として、補正前の平均値Iallを画素平均値記録部12に記録する。
画素値補正係数算出部13、変動補正係数算出部14、動き検出閾値補正部15、フレーム間差分値算出部6及び動き検出部7の処理内容は、上記実施の形態3と同様であるため説明を省略する。
以上で明らかなように、この実施の形態4によれば、動き検出対象の画像における一画面内の画素の複数フレーム分の平均値を算出し、複数フレーム分の平均値を解析して、照明の明滅に起因する特定周波数の周期的な画素の平均値の変動の有無を判定し、特定周波数の周期的な画素の平均値の変動が有る場合、その平均値の変動周期の位相及び振幅に対応する補正係数を用いて、画素平均値算出部11により算出されたブロック単位の画素の平均値I(x,y)を正規化する画素平均値補正部22を設け、画素平均値記録部12が画素平均値補正部22により正規化された画素の平均値Ib’(f,x,y)を複数フレーム分記録するように構成したので、フリッカが発生している状況下でも、誤検出の発生を低減して、検出精度を高めることができる効果を奏する。
即ち、フレーム間での周期的な画素の平均値の変動を検出し、変動周期に合致しているグルーピングで平均化した全画面画素の平均値で正規化を行うことにより、CCDセンサでの撮影時に発生するフレーム間のフリッカの影響のみを抑えることができるため、フリッカの発生状況下でも、誤検出の発生を低減して、検出精度を高めることができる。
実施の形態5.
図8はこの発明の実施の形態5による動き検出装置を示す構成図であり、図において、図4と同一符号は同一又は相当部分を示すので説明を省略する。
画素平均値記録部31は図4の画素平均値記録部12と同様に、画素平均値算出部11により算出されたブロック[x,y]内の画素の平均値I(x,y)を複数フレーム分記録するとともに、一画面内の画素の平均値Iallを複数フレーム分記録するメモリなどの記録媒体である。
また、画素平均値記録部31は図4の画素平均値記録部12と同様に、後述の処理で必要となるフレーム数分だけ、過去のフレームに係る平均値を記録しておく必要があるが、この実施の形態5では、現フレームに係る平均値を含めて、合計4フレームに係る平均値を記録しておくものとする。
なお、画素平均値記録部31は画素平均値記録手段を構成している。
フレーム間差分値算出部32はブロック分割部1により分割されたブロック毎に、画素平均値記録部31により記録されている現フレーム(第1のフレーム)の画素の平均値Ib(0,x,y)と前フレーム(第2のフレーム)の画素の平均値Ib(1,x,y)との平均値Ib0−1aveを算出するとともに、現フレームより2フレーム前のフレーム(第3のフレーム)の画素の平均値Ib(2,x,y)と現フレームより3フレーム前のフレーム(第4のフレーム)の画素の平均値Ib(3,x,y)との平均値Ib2−3aveを算出して、2つの平均値Ib0−1ave,Ib2−3aveの差分値Idif(x,y)を算出する処理を実施する。なお、フレーム間差分値算出部32はフレーム間差分値算出手段を構成している。
次に動作について説明する。
画素平均値算出部11は、ブロック分割部1からブロックデータを受けると、上記実施の形態2と同様に、ブロック分割部1により分割されたブロック毎に、当該ブロック[x,y]内の画素の平均値I(x,y)を算出する。
また、画素平均値算出部11は、上記実施の形態2と同様に、動き検出対象の画像における一画面内の画素(1フレームの画像に含まれている全てのブロック内の画素)の平均値Iallを算出する。
画素平均値算出部11により算出されたブロック[x,y]内の画素の平均値I(x,y)と一画面内の画素の平均値Iallは、画素平均値記録部31により記録される。
なお、画素平均値記録部31には、後述の処理で必要となるフレーム数分だけ、ブロック[x,y]内の画素の平均値I(x,y)と一画面内の画素の平均値Iallが記録される。
この実施の形態5では、ブロック[x,y]内の画素の平均値I(x,y)と、一画面内の画素の平均値Iallとを4フレーム分だけ記録するものとする。
画素値補正係数算出部13は、上記実施の形態2と同様に、ブロック分割部1により分割されたブロック毎に、動き検出閾値Th(x,y)の補正係数Yc(x,y)を算出する。
ただし、この実施の形態5では、補正係数Yc(x,y)を算出する際、単一フレームの画素の平均値I(x,y)を用いる代わりに、複数のフレームでの画素の平均値I(x,y)を用いるものとする。
例えば、現フレームから2フレーム前及び3フレーム前のフレームの平均化した値から、動き検出閾値Th(x,y)の補正係数Yc(x,y)を算出するようにする。
変動補正係数算出部14は、上記実施の形態2と同様に、画面単位の画素の平均値Iallの中の最大値と最小値から動き検出閾値Th(x,y)の補正係数Dcを算出する。
ただし、補正係数Dcを算出する際に参照するフレーム範囲は、フレーム間差分値算出部32により参照されるフレーム範囲と一致させることが望ましいので、現フレームを含めて、4フレーム分参照するものとする。
即ち、変動補正係数算出部14は、以下の式(21)に示すように、最大値と最小値の差分値(フレーム間変動差分値)Dfを算出して、そのフレーム間変動差分値Dfに対応する補正係数Dcを算出する。
Df=(MAX(Iba(fn))−MIN(Iba(fn))) (21)
0≦fn≦3
動き検出閾値補正部15は、画素値補正係数算出部13がブロック[x,y]毎に補正係数Yc(x,y)を算出し、変動補正係数算出部14が補正係数Dcを算出すると、上記実施の形態2と同様に、その補正係数Yc(x,y),補正係数Dcを用いて、ブロック[x,y]毎に動き検出閾値Th(x,y)を補正して、補正後の動き検出閾値Thc(x,y)を動き検出部7に出力する。
フレーム間差分値算出部32は、ブロック分割部1により分割されたブロック毎に、画素平均値記録部31から現フレームに係る平均値I(x,y)と、前フレームに係る平均値I(x,y)と、現フレームより2フレーム前のフレームに係る平均値I(x,y)と、現フレームより3フレーム前のフレームに係る平均値I(x,y)とを取得する。
以下、現フレームに係る平均値I(x,y)をIb(0,x,y)で表し、前フレームに係る平均値I(x,y)をIb(1,x,y)で表し、現フレームより2フレーム前のフレームに係る平均値I(x,y)をIb(2,x,y)で表し、現フレームより3フレーム前のフレームに係る平均値I(x,y)をIb(3,x,y)で表すようにする。
次に、フレーム間差分値算出部32は、ブロック分割部1により分割されたブロック毎に、以下の式(22)に示すように、現フレームに係る平均値Ib(0,x,y)と、前フレームに係る平均値Ib(1,x,y)との平均値Ib0−1aveを算出するとともに、現フレームより2フレーム前のフレームに係る平均値Ib(2,x,y)と、現フレームより3フレーム前のフレームに係る平均値Ib(3,x,y)との平均値Ib2−3aveを算出する。
Ib0−1ave=(Ib(0,x,y)+Ib(1,x,y))/2
Ib2−3ave=(Ib(2,x,y)+Ib(3,x,y))/2
(22)
フレーム間差分値算出部32は、平均値Ib0−1aveと平均値Ib2−3aveを算出すると、以下の式(23)に示すように、その平均値Ib0−1aveと平均値Ib2−3aveの差分値Idif(x,y)を算出する。
Idif(x,y)=ABS{Ib2−3ave−Ib0−1ave
(23)
ただし、ABSは{}内の絶対値を求める演算式である。
動き検出部7は、動き検出閾値補正部15が動き検出閾値Th(x,y)を補正し、フレーム間差分値算出部32が差分値Idif(x,y)を算出すると、上記実施の形態2と同様に、ブロック分割部1により分割されたブロック毎に、動き検出閾値補正部15により補正された動き検出閾値Thc(x,y)と、フレーム間差分値算出部15により算出された差分値Idif(x,y)を比較することで、ブロック[x,y]内の動きの有無を判定して、その動きの検出結果(動きの有無)を示す検出結果データR(x,y)を出力する。
以上で明らかなように、この実施の形態5によれば、ブロック分割部1により分割されたブロック毎に、フレーム間差分値算出部32が画素平均値記録部31により記録されている現フレームの画素の平均値Ib(0,x,y)と前フレームの画素の平均値Ib(1,x,y)との平均値Ib0−1aveを算出するとともに、現フレームより2フレーム前のフレームの画素の平均値Ib(2,x,y)と現フレームより3フレーム前のフレームの画素の平均値Ib(3,x,y)との平均値Ib2−3aveを算出して、2つの平均値Ib0−1ave,Ib2−3aveの差分値Idif(x,y)を算出するように構成したので、動きの誤検出の発生を防止することができる効果を奏する。
即ち、この実施の形態5によれば、フレーム間差分値算出部32が複数のフレーム間で各ブロックにおける画素平均値を更に平均化するようにしているので、単一フレームの突発的な被写体の変化や、動きとして検出する必要が無い被写体の細かい動きや、センサのノイズによる誤検出の発生を抑えることが可能となる。
実施の形態6.
図9はこの発明の実施の形態6による動き検出装置を示す構成図であり、図において、図4及び図8と同一符号は同一又は相当部分を示すので説明を省略する。
画素値補正係数算出部13aは上記実施の形態2における画素値補正係数算出部13に相当する処理部であり、ブロック分割部1により分割されたブロック毎に、画素平均値記録部31により記録されているブロック[x,y]内の画素の平均値I(x,y)から動き検出閾値Th1(x,y)の補正係数Yc(x,y)を算出する処理を実施する。
画素値補正係数算出部13bは上記実施の形態5における画素値補正係数算出部13に相当する処理部であり、ブロック分割部1により分割されたブロック毎に、画素平均値記録部31により記録されている複数のフレーム間での画素の平均値I(x,y)から動き検出閾値Th2(x,y)の補正係数Yc(x,y)を算出する処理を実施する。
変動補正係数算出部14aは上記実施の形態2における変動補正係数算出部14に相当する処理部であり、画素平均値記録部31により記録されている画面単位の画素の平均値Iallの中の最大値と最小値(現フレームを含めて、過去2フレーム分の画素の平均値の中の最大値と最小値)から動き検出閾値Th1(x,y)の補正係数Dcを算出する処理を実施する。
変動補正係数算出部14bは上記実施の形態5における変動補正係数算出部14に相当する処理部であり、画素平均値記録部31により記録されている画面単位の画素の平均値Iallの中の最大値と最小値(現フレームを含めて、過去4フレーム分の画素の平均値の中の最大値と最小値)から動き検出閾値Th2(x,y)の補正係数Dcを算出する処理を実施する。
なお、画素値補正係数算出部13a,13b及び変動補正係数算出部14a,14bから補正係数算出手段が構成されている。
動き検出閾値補正部15aは上記実施の形態2における動き検出閾値補正部15に相当する処理部であり、ブロック分割部1により分割されたブロック毎に、画素値補正係数算出部13aにより算出された補正係数Yc(x,y)と変動補正係数算出部14aにより算出された補正係数Dcを用いて、動き検出閾値Th1(x,y)を補正して、補正後の動き検出閾値Thc1(x,y)を動き検出部7aに出力する処理を実施する。
動き検出閾値補正部15bは上記実施の形態5における動き検出閾値補正部15に相当する処理部であり、ブロック分割部1により分割されたブロック毎に、画素値補正係数算出部13bにより算出された補正係数Yc(x,y)と変動補正係数算出部14bにより算出された補正係数Dcを用いて、動き検出閾値Th2(x,y)を補正して、補正後の動き検出閾値Thc2(x,y)を動き検出部7bに出力する処理を実施する。
なお、動き検出閾値補正部15a,15bは動き検出閾値補正手段を構成している。
動き検出部7aは上記実施の形態2における動き検出部7に相当する処理部であり、ブロック分割部1により分割されたブロック毎に、動き検出閾値補正部15aにより補正された動き検出閾値Thc1(x,y)とフレーム間差分値算出部6により算出された差分値Idif(x,y)を比較して、当該ブロック[x,y]内の動きを検出し、その動きの検出結果を示す検出結果データR(x,y)を動き検出結果統合部40に出力する処理を実施する。
動き検出部7bは上記実施の形態5における動き検出部7に相当する処理部であり、ブロック分割部1により分割されたブロック毎に、動き検出閾値補正部15bにより補正された動き検出閾値Thc2(x,y)とフレーム間差分値算出部32により算出された差分値Idif(x,y)を比較して、当該ブロック[x,y]内の動きを検出し、その動きの検出結果を示す検出結果データR(x,y)を動き検出結果統合部40に出力する処理を実施する。
なお、動き検出部7a,7bは動き検出手段を構成している。
動き検出結果統合部40は動き検出部7aから出力された検出結果データR(x,y)と動き検出部7bから出力された検出結果データR(x,y)を統合し、統合後の検出結果データR(x,y)を出力する処理を実施する。なお、動き検出結果統合部40は動き検出結果統合手段を構成している。
次に動作について説明する。
この実施の形態6の動き検出装置は、参照するフレーム数が相互に異なる処理部を2系統備えている。
即ち、一つ目の系統が、画素値補正係数算出部13a、変動補正係数算出部14a、動き検出閾値補正部15a、フレーム間差分値算出部6及び動き検出部7aであり、一つ目の系統では、上記実施の形態2と同様に、現フレームと前フレームを参照するようにしている。
一方、二つ目の系統が、画素値補正係数算出部13b、変動補正係数算出部14b、動き検出閾値補正部15bフレーム間差分値算出部32及び動き検出部7bであり、二つ目の系統では、上記実施の形態5と同様に、現フレーム〜3フレーム前のフレームを参照するようにしている。
一つ目の系統が上記実施の形態2と同様に処理を実施し、二つ目の系統が上記実施の形態5と同様に処理を実施すると、動き検出結果統合部40が、動き検出部7aから出力された検出結果データR(x,y)と、動き検出部7bから出力された検出結果データR(x,y)とを統合し、統合後の検出結果データR(x,y)を出力する。
即ち、動き検出結果統合部40は、ブロック分割部1により分割されたブロック毎に、動き検出部7aから出力された検出結果データR(x,y)と、動き検出部7bから出力された検出結果データR(x,y)とを比較して、大きな動きの検出結果を示す検出結果データR(x,y)を選択する。
そして、動き検出結果統合部40は、その選択した検出結果データR(x,y)が示す動きの検出結果を最終的な動きの検出結果に決定する。
これにより、動き検出結果統合部40から出力される検出結果データR(x,y)が“0”の場合、動き検出が無し、“0”より大きい場合、動き検出が有りを意味するため、いずれか一方の系統で動きが検出されれば、該当ブロックについては、動きを検出したという最終結果が得られることになる。
以上で明らかなように、この実施の形態6によれば、動き検出結果統合部40が、一つ目の系統の動き検出部7aから出力された検出結果データR(x,y)と、二つ目の系統の動き検出部7bから出力された検出結果データR(x,y)を統合し、統合後の検出結果データR(x,y)を出力するように構成したので、動きの遅い物体に対する検出精度の向上と、動きに対する反応速度の維持を両立させることができる効果を奏する。
即ち、動き検出処理を独立して複数系統持ち、それぞれの検出結果からブロック毎に最大値を求めて出力することにより、フレームの算出範囲が異なる複数の特性で、動きの検出処理を行うことができる。
このとき、単独フレームでの比較は動きに対する反応が早いが、ゆっくりとした動きの被写体に対して検出が行われにくい問題がある。一方、複数のフレームで平均化した値の比較は動きの遅い物体に対しても安定した検出が行えるが、逆に動きに対する反応が遅くなる。
この実施の形態6では、二つの検出方式を組み合わせているので、動きの遅い物体に対する検出精度の向上と、動きに対する反応速度の維持を両立させることが可能となる。
実施の形態7.
上記実施の形態1〜6では、動き検出閾値Th(x,y)、補正係数算出部4及び画素値補正係数算出部13における補正係数Yc(x,y)の算出方法及び参照するフレーム範囲、変動補正係数算出部14における補正係数Dcの算出方法及び参照するフレーム範囲、フレーム間差分値算出部6,32により算出される差分値Idif(x,y)のフレーム範囲が、それぞれ固定であるものについて示したが、動き検出対象の画像を撮像するカメラの信号増幅率に応じてそれぞれ設定されているようにしてもよい。
具体的には、以下の通りである。
画像の取得を行うカメラ部分では、一般的に被写体の明るさに応じて露光条件を変動させる自動露光処理が行われている。
露光条件の変動によって、ゲインによる信号増幅倍率が高くなると、カメラから出力される信号のS/N比が低下するため、ノイズによる誤検出が発生し易くなる。
そこで、この実施の形態7では、外部のパラメータ切替え手段(図示せず)によって、動き検出対象の画像を撮像しているカメラの撮像条件、即ち、露光時間及び信号のゲイン倍率の情報をモニタする。
そして、外部のパラメータ切替え手段は、信号のゲイン倍率に対応する複数のパラメータを予め準備しておき、モニタした情報にしたがってフレーム毎にパラメータの書き換えを行うようにする。
ここでのパラメータは、補正係数算出部4及び画素値補正係数算出部13における参照フレーム範囲及び参照フレーム画素の平均値に対する画素値補正係数の参照テーブルと、画素値補正係数算出部13における参照フレーム範囲及びフレーム間変動差分に対する変動補正係数の参照テーブルと、動き検出閾値Th(x,y)と、フレーム間差分値算出部6,32における参照フレーム範囲とが該当する。
このように、カメラの撮像条件に応じて、動き検出処理のパラメータを動的に切り替えることで、信号ゲイン倍率の変動による画像のノイズ特定の変化や、S/N比の変化による検出精度の変動を抑えて、安定した動き検出処理を実現することができる効果を奏する。
実施の形態8.
上記実施の形態1〜7では、ブロック分割部1により分割されたブロック毎に、動き検出部7が、補正後の動き検出閾値Thc(x,y)と差分値Idif(x,y)を比較して、当該ブロック[x,y]内の動きを検出するものについて示したが、着目するブロック[x,y]内の動き検出結果と、そのブロック[x,y]に隣接している複数のブロックの動き検出結果とを比較して、最小値の動き検出結果を特定し、着目するブロック[x,y]の動き検出結果として、最小値の動き検出結果を出力するようにしてもよい。
具体的には、以下の通りである。
動き検出部7は、ブロック分割部1により分割されたブロック毎に、当該ブロック[x,y]内の動きを検出する際、着目するブロック[x,y]内の動き検出結果と、着目するブロック[x,y]に隣接している複数のブロック(例えば、着目するブロック[x,y]の上下左右方向のブロック、着目するブロック[x,y]の斜め方向のブロック:合計8個のブロック)の動き検出結果とを比較する。
即ち、動き検出部7は、着目するブロック[x,y]を中心とする3ブロック×3ブロック(合計9個のブロック)の動き検出結果を相互に比較する。
着目するブロック[x,y]に隣接している複数のブロックについての動き検出結果については、着目するブロック[x,y]と同様に、隣接しているブロックに係る補正後の動き検出閾値Thcと差分値Idifを比較することで検出する。
動き検出部7は、合計9個のブロックの動き検出結果の中で、最小値の動き検出結果を特定し、着目するブロック[x,y]の動き検出結果として、最小値の動き検出結果を出力する。
このように、着目するブロック[x,y]の周辺ブロックについての動き検出結果を求め、最小値を検出結果とすることにより、一定以上の大きなブロック範囲で同時に動きが検出された場合に限り、動きが有りの検出結果が出力され、一定未満の小さなブロック範囲での動き検出は、最終的な動き検出と見なさないようになる。
これにより、細かい動きの検出を排除して、一定以上の大きさの動きのみを検出することが可能となる。
1 ブロック分割部(ブロック分割手段)、2 画素平均値算出部(画素平均値算出手段)、3 画素平均値記録部(画素平均値記録手段)、4 補正係数算出部(補正係数算出手段)、5 動き検出閾値補正部(動き検出閾値補正手段)、6 フレーム間差分値算出部(フレーム間差分値算出手段)、7,7a,7b 動き検出部(動き検出手段)、11 画素平均値算出部(画素平均値算出手段)、12 画素平均値記録部(画素平均値記録手段)、13,13a,13b 画素値補正係数算出部(補正係数算出手段)、14,14a,14b 変動補正係数算出部(補正係数算出手段)、15,15a,15b 動き検出閾値補正部(動き検出閾値補正手段)、21,22 画素平均値補正部(画素平均値補正手段)、31 画素平均値記録部(画素平均値記録手段)、32 フレーム間差分値算出部(フレーム間差分値算出手段)、40 動き検出結果統合部(動き検出結果統合手段)。

Claims (10)

  1. 動き検出対象の画像を複数のブロックに分割するブロック分割手段と、上記ブロック分割手段により分割されたブロック毎に、当該ブロック内の画素の平均値を算出する画素平均値算出手段と、上記画素平均値算出手段により算出された画素の平均値を複数フレーム分記録する画素平均値記録手段と、上記ブロック分割手段により分割されたブロック毎に、上記画素平均値記録手段により記録されている画素の平均値から動き検出閾値の補正係数を算出する補正係数算出手段と、上記ブロック分割手段により分割されたブロック毎に、上記補正係数算出手段により算出された補正係数を用いて、上記動き検出閾値を補正する動き検出閾値補正手段と、上記ブロック分割手段により分割されたブロック毎に、上記画素平均値記録手段により記録されている画素の平均値の複数のフレーム間での差分値を算出するフレーム間差分値算出手段と、上記ブロック分割手段により分割されたブロック毎に、上記動き検出閾値補正手段により補正された動き検出閾値と上記フレーム間差分値算出手段により算出された差分値を比較して、当該ブロック内の動きを検出する動き検出手段とを備えた動き検出装置。
  2. 動き検出対象の画像を複数のブロックに分割するブロック分割手段と、上記ブロック分割手段により分割されたブロック毎に、当該ブロック内の画素の平均値を算出するとともに、動き検出対象の画像における一画面内の画素の平均値を算出する画素平均値算出手段と、上記画素平均値算出手段により算出されたブロック単位の画素の平均値及び画面単位の画素の平均値を複数フレーム分記録する画素平均値記録手段と、上記ブロック分割手段により分割されたブロック毎に、上記画素平均値記録手段により記録されているブロック単位の画素の平均値から動き検出閾値の第1の補正係数を算出するとともに、上記画素平均値記録手段により記録されている画面単位の画素の平均値の中の最大値と最小値から動き検出閾値の第2の補正係数を算出する補正係数算出手段と、上記補正係数算出手段により算出された第1及び第2の補正係数を用いて、上記動き検出閾値を補正する動き検出閾値補正手段と、上記ブロック分割手段により分割されたブロック毎に、上記画素平均値記録手段により記録されているブロック単位の画素の平均値の複数のフレーム間での差分値を算出するフレーム間差分値算出手段と、上記ブロック分割手段により分割されたブロック毎に、上記動き検出閾値補正手段により補正された動き検出閾値と上記フレーム間差分値算出手段により算出された差分値を比較して、当該ブロック内の動きを検出する動き検出手段とを備えた動き検出装置。
  3. ブロック分割手段により分割されたブロックのうち、同一の水平ラインに並んでいる複数のブロック毎に、上記複数のブロック内の画素の平均値を算出し、上記平均値を用いて、画素平均値算出手段により算出されたブロック単位の画素の平均値を正規化する画素平均値補正手段を設け、画素平均値記録手段が上記画素平均値補正手段により正規化された画素の平均値を複数フレーム分記録することを特徴とする請求項1または請求項2記載の動き検出装置。
  4. 動き検出対象の画像における一画面内の画素の複数フレーム分の平均値を算出し、上記複数フレーム分の平均値を解析して、照明の明滅に起因する特定周波数の周期的な画素の平均値の変動の有無を判定し、特定周波数の周期的な画素の平均値の変動が有る場合、上記平均値の変動周期の位相及び振幅に対応する補正係数を用いて、画素平均値算出手段により算出されたブロック単位の画素の平均値を正規化する画素平均値補正手段を設け、上記画素平均値補正手段により画素の平均値が正規化された場合、画素平均値記録手段が上記画素平均値補正手段により正規化された画素の平均値を複数フレーム分記録することを特徴とする請求項1または請求項2記載の動き検出装置。
  5. フレーム間差分値算出手段は、ブロック分割手段により分割されたブロック毎に、画素平均値記録手段により記録されている第1のフレームの画素の平均値と第2のフレームの画素の平均値との平均値を算出するとともに、第3のフレームの画素の平均値と第4のフレームの画素の平均値との平均値を算出して、その算出した2つの平均値の差分値を算出し、
    動き検出手段は、動き検出閾値補正手段により補正された動き検出閾値と上記フレーム間差分値算出手段により算出された差分値を比較して、ブロック内の動きを検出することを特徴とする請求項1から請求項4のうちのいずれか1項記載の動き検出装置。
  6. 補正係数算出手段、動き検出閾値補正手段、フレーム間差分値算出手段及び動き検出手段を複数組備えて、上記複数の動き検出手段によるブロック毎の動き検出結果を統合する動き検出結果統合手段を設けたことを特徴とする請求項1から請求項5のうちのいずれか1項記載の動き検出装置。
  7. 動き検出閾値と、補正係数算出手段における補正係数の算出方法及び参照するフレーム範囲と、フレーム間差分値算出手段により算出される差分値のフレーム範囲とが、動き検出対象の画像を撮像するカメラの信号増幅率に応じて設定されていることを特徴とする請求項1から請求項6のうちのいずれか1項記載の動き検出装置。
  8. 動き検出手段は、着目するブロックの動き検出結果と、上記ブロックに隣接している複数のブロックの動き検出結果とを比較して、最小値の動き検出結果を特定し、着目するブロックの動き検出結果として、最小値の動き検出結果を出力することを特徴とする請求項1から請求項7のうちのいずれか1項記載の動き検出装置。
  9. ブロック分割手段が動き検出対象の画像を複数のブロックに分割するブロック分割処理ステップと、画素平均値算出手段が上記ブロック分割処理ステップで分割されたブロック毎に、当該ブロック内の画素の平均値を算出する画素平均値算出処理ステップと、画素平均値記録手段が上記画素平均値算出処理ステップで算出された画素の平均値を複数フレーム分記録する画素平均値記録処理ステップと、補正係数算出手段が上記ブロック分割処理ステップで分割されたブロック毎に、上記画素平均値記録処理ステップで記録されている画素の平均値から動き検出閾値の補正係数を算出する補正係数算出処理ステップと、動き検出閾値補正手段が上記ブロック分割処理ステップで分割されたブロック毎に、上記補正係数算出処理ステップで算出された補正係数を用いて、上記動き検出閾値を補正する動き検出閾値補正処理ステップと、フレーム間差分値算出手段が上記ブロック分割処理ステップで分割されたブロック毎に、上記画素平均値記録処理ステップで記録されている画素の平均値の複数のフレーム間での差分値を算出するフレーム間差分値算出処理ステップと、動き検出手段が上記ブロック分割処理ステップで分割されたブロック毎に、上記動き検出閾値補正処理ステップで補正された動き検出閾値と上記フレーム間差分値算出処理ステップで算出された差分値を比較して、当該ブロック内の動きを検出する動き検出処理ステップとを備えた動き検出方法。
  10. ブロック分割手段が動き検出対象の画像を複数のブロックに分割するブロック分割処理ステップと、画素平均値算出手段が上記ブロック分割処理ステップで分割されたブロック毎に、当該ブロック内の画素の平均値を算出するとともに、動き検出対象の画像における一画面内の画素の平均値を算出する画素平均値算出処理ステップと、画素平均値記録手段が上記画素平均値算出処理ステップで算出されたブロック単位の画素の平均値及び画面単位の画素の平均値を複数フレーム分記録する画素平均値記録処理ステップと、補正係数算出手段が上記ブロック分割処理ステップで分割されたブロック毎に、上記画素平均値記録処理ステップで記録されているブロック単位の画素の平均値から動き検出閾値の第1の補正係数を算出するとともに、上記画素平均値記録処理ステップで記録されている画面単位の画素の平均値の中の最大値と最小値から動き検出閾値の第2の補正係数を算出する補正係数算出処理ステップと、動き検出閾値補正手段が上記補正係数算出処理ステップで算出された第1及び第2の補正係数を用いて、上記動き検出閾値を補正する動き検出閾値補正処理ステップと、フレーム間差分値算出手段が上記ブロック分割処理ステップで分割されたブロック毎に、上記画素平均値記録処理ステップで記録されているブロック単位の画素の平均値の複数のフレーム間での差分値を算出するフレーム間差分値算出処理ステップと、動き検出手段が上記ブロック分割処理ステップで分割されたブロック毎に、上記動き検出閾値補正処理ステップで補正された動き検出閾値と上記フレーム間差分値算出処理ステップで算出された差分値を比較して、当該ブロック内の動きを検出する動き検出処理ステップとを備えた動き検出方法。
JP2009176478A 2009-07-29 2009-07-29 動き検出装置及び動き検出方法 Active JP5274403B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009176478A JP5274403B2 (ja) 2009-07-29 2009-07-29 動き検出装置及び動き検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009176478A JP5274403B2 (ja) 2009-07-29 2009-07-29 動き検出装置及び動き検出方法

Publications (3)

Publication Number Publication Date
JP2011028683A true JP2011028683A (ja) 2011-02-10
JP2011028683A5 JP2011028683A5 (ja) 2012-08-30
JP5274403B2 JP5274403B2 (ja) 2013-08-28

Family

ID=43637315

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009176478A Active JP5274403B2 (ja) 2009-07-29 2009-07-29 動き検出装置及び動き検出方法

Country Status (1)

Country Link
JP (1) JP5274403B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112446903A (zh) * 2019-08-27 2021-03-05 原相科技股份有限公司 监视器以及动作侦测方法
CN112527634A (zh) * 2020-11-25 2021-03-19 中国联合网络通信集团有限公司 程序划分方法及装置、软件测试方法及平台
CN113011218A (zh) * 2019-12-19 2021-06-22 合肥君正科技有限公司 一种车内监控检测中应对人员上下车自动更新背景的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001283225A (ja) * 2000-03-28 2001-10-12 Sanyo Electric Co Ltd 空間内異常検出装置及び空間内異常検出方法
JP2003199099A (ja) * 2001-12-27 2003-07-11 Canon Inc 画像処理装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
JP2005056406A (ja) * 2003-07-24 2005-03-03 Victor Co Of Japan Ltd 画像の動き検出装置及びコンピュータプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001283225A (ja) * 2000-03-28 2001-10-12 Sanyo Electric Co Ltd 空間内異常検出装置及び空間内異常検出方法
JP2003199099A (ja) * 2001-12-27 2003-07-11 Canon Inc 画像処理装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
JP2005056406A (ja) * 2003-07-24 2005-03-03 Victor Co Of Japan Ltd 画像の動き検出装置及びコンピュータプログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112446903A (zh) * 2019-08-27 2021-03-05 原相科技股份有限公司 监视器以及动作侦测方法
CN112446903B (zh) * 2019-08-27 2024-05-07 原相科技股份有限公司 监视器以及动作侦测方法
CN113011218A (zh) * 2019-12-19 2021-06-22 合肥君正科技有限公司 一种车内监控检测中应对人员上下车自动更新背景的方法
CN113011218B (zh) * 2019-12-19 2024-03-01 合肥君正科技有限公司 一种车内监控检测中应对人员上下车自动更新背景的方法
CN112527634A (zh) * 2020-11-25 2021-03-19 中国联合网络通信集团有限公司 程序划分方法及装置、软件测试方法及平台
CN112527634B (zh) * 2020-11-25 2023-06-02 中国联合网络通信集团有限公司 程序划分方法及装置、软件测试方法及平台

Also Published As

Publication number Publication date
JP5274403B2 (ja) 2013-08-28

Similar Documents

Publication Publication Date Title
JP4106554B2 (ja) 撮影環境判定方法および撮像装置
KR101950396B1 (ko) 촬상장치 및 촬상방법
JP4539449B2 (ja) 画像処理装置および撮像装置
JP3892172B2 (ja) 固体撮像装置
US9131172B2 (en) Image processing apparatus and method for detecting motion using long exposures images and then performing infinite impulse response filtering on short exposure image
JP2007074555A (ja) フリッカ低減方法、フリッカ低減回路及び撮像装置
US9344640B2 (en) Imaging device, integrated circuit, and flicker reduction method
JP2005347939A (ja) 撮像装置および信号処理方法
JP2012156634A (ja) フラッシュバンド処理回路、フラッシュバンド処理方法、撮像装置及び撮像処理方法
US8502893B2 (en) Imaging apparatus, flash determination method, and recording medium
WO2016129405A1 (ja) 画像処理装置および画像処理方法、並びにプログラム
KR20030097687A (ko) 화상 처리 장치, 카메라 장치, 및 그 자동 노광 제어 방법
US9589339B2 (en) Image processing apparatus and control method therefor
JP4539432B2 (ja) 画像処理装置および撮像装置
JP2010004266A (ja) 動き適応型ノイズ低減装置、画像信号処理装置、画像入力処理装置、および、動き適応ノイズ低減方法
JP6045894B2 (ja) 画像処理装置および画像処理方法
JP2019530322A (ja) イメージセンサのピクセルアレイの明度補正
JP5274403B2 (ja) 動き検出装置及び動き検出方法
JP2010226646A (ja) 映像処理装置
JP2007158964A (ja) 画像処理装置および撮像装置
JP2006311367A (ja) 撮像装置及び撮像方法
JP2004118424A (ja) 動き検出装置,動き検出方法,動き検出システム,およびプログラム
JP2012119997A (ja) 画像処理方法及び画像処理装置
US11012630B1 (en) Image processor and image processing method
JP2006135838A (ja) 動き検出装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120718

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120718

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130408

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130514

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5274403

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250