JP2004150814A - Method and apparatus for adjusting imaging position - Google Patents

Method and apparatus for adjusting imaging position Download PDF

Info

Publication number
JP2004150814A
JP2004150814A JP2002313105A JP2002313105A JP2004150814A JP 2004150814 A JP2004150814 A JP 2004150814A JP 2002313105 A JP2002313105 A JP 2002313105A JP 2002313105 A JP2002313105 A JP 2002313105A JP 2004150814 A JP2004150814 A JP 2004150814A
Authority
JP
Japan
Prior art keywords
image
imaging
recognition target
imaging position
specific position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002313105A
Other languages
Japanese (ja)
Inventor
Akio Fukamachi
映夫 深町
Junichi Mori
純一 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2002313105A priority Critical patent/JP2004150814A/en
Publication of JP2004150814A publication Critical patent/JP2004150814A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a method for adjusting an imaging position capable of stably determining the imaging position even in the case of the presence of variations in a region in an image and in the degree of detection. <P>SOLUTION: A digital image is inputted, an object to be recognized is extracted, and flags are placed on pixels at which the object to be recognized exists in the image. Coordinates values of the pixels at which the flags are placed are added. The added values are divided by the pixel number of the pixels at which the flags are placed. The position of the center of gravity of the object to be recognized is determined according to this result. The position of moment of a camera is computed on the basis of the center of gravity. <P>COPYRIGHT: (C)2004,JPO

Description

【0001】
【発明の属する技術分野】
本発明は撮像方法および撮像装置に関する。
【0002】
【従来の技術】
撮像手段で撮像された画像から顔などに対して適切に注目を行う技術として、特開2000−147792号公報に開示されたものがある。この技術では、顔画像から人の眼(瞼)の上瞼の特徴を有するエッジを抽出し、このエッジに基づいて顔画像から眼を検出するというものである。
【0003】
【特許文献1】
特開2000−137792号公報(3頁〜4頁、図4)
【0004】
【発明が解決しようとする課題】
ところで、上記従来技術のように、画像から所定の特徴に基づいて対象物を抽出する際、画像中に複数の対象物がある場合には、その注目点をどこにおくかが問題となる。複数の対象物がある場合には、領域の大きな物体、もしくは検出度の高い物体にカメラを向けるようにする。そのために、画像中で対象物が占める領域や対象物の検出度を重み係数とし、検出された画像上の位置に重みを積算することで、複数対象物の中で注目する点を算出するようにしていた。あるいは、画像中における複数の対象物それぞれの重心に注目し、これらの重心を統合することによって注目点を決定していた。
【0005】
しかし、複数の対象物それぞれが占める領域の広さや検出度に応じた重み付けを行う方法の場合には、対象物が移動して対象物同士が画像中で融合した場合の領域変動やノイズなどによる検出度変動があった場合に、注目点を正確に算出することができないことがあるという問題があった。また、複数の対象物の重心に注目する方法では、領域変動や検出度変動に対して安定はしやすいものの、各物体の重心計算やそれらを統合する際に複雑な計算を必要とし、処理時間がかかってしまうという問題があった。
【0006】
そこで、本発明の課題は、画像中における領域変動や検出度変動があった場合にも安定して撮像位置を決定することができるとともに、複雑な演算処理を必要としない撮像位置調整方法および撮像位置調整装置を提供することにある。
【0007】
【課題を解決するための手段】
上記課題を解決した本発明に係る撮像位置調整方法は、撮像手段で撮像された画像中の認識対象物を抽出し、認識対象物が画像中に存在するように撮像手段の撮像位置を調整する撮像位置調整方法であって、画像中における認識対象物の面積に応じた重み付けを行うことにより画像における特定位置を求め、特定位置を基準として、撮像手段の撮像位置を決定するものである。
【0008】
本発明に係る撮像位置調整方法においては、認識対象物が複数ある場合に、それらの対象物を個別に扱うのではなく、画像中における認識対象物の面積に応じた重み付けを行って、画像における特定位置を求めている。このため、画像における領域変動や検出度変動があった場合でも、その影響を小さくすることができるので、撮像位置を安定させることができる。
【0009】
ここで、重み付けを行う際に、画像中における認識対象物の存在時間を加味して重み付けを行って、特定位置を求める態様とするのが好適である。
【0010】
本発明に係る撮像位置調整方法では、特定位置を求めるための重み付けを行う際に、認識対象物の存在時間を加味した重み付けを行っている。このため、時間変化に伴う認識対象物の移動などがあった場合でも、その影響を小さくすることができるので、撮像位置をより安定させることができる。
【0011】
また、上記課題を解決した本発明に係る撮像位置調整方法は、撮像手段で撮像された画像中の認識対象物を抽出し、認識対象物が画像中に存在するように撮像手段の撮像位置を調整する撮像位置調整方法であって、画像中における認識対象物が存在する領域の座標値を加算し、座標値を加算して得られた値を、認識対象物が存在する領域の数で割った値に対応する位置を画像中の特定位置として求め、特定位置を基準として、撮像手段の撮像位置を決定するものである。
【0012】
本発明に係る撮像位置調整方法では、画像中における認識対象物が存在する領域、たとえば画素の座標値を加算して、その加算値を、認識対象物が存在する画素の数で割って特定位置を求めている。このように、画像中の全面における認識対象物の存在位置の重心を特定位置として求めているので、画像中の領域変動や検出度変動があった場合でも、安定して撮像位置を決定することができる。また、重心を求める際の演算では、すべての画素の座標値を加算した後、除算を行っている。このように、処理に時間のかかる除算を1回のみで済ませることができるので、複雑な演算処理が不要であり、その結果、演算時間を短いものとすることができる。
【0013】
このとき、座標値の加算を、所定時間の間、複数回数繰り返して行い、画像中の特定位置を求める際に、所定時間の間、座標値を加算して得られた値を、所定時間中に認識対象物が存在する領域を加算した回数で割った値に対応する位置を画像中の特定位置として求めるのが好適である。
【0014】
このように、座標値を加算するにあたり、時間変化を加味して所定時間の間,座標値の加算を複数回繰り返して行うことにより、時間変化に伴う認識対象物の移動などがあった場合でもその影響を小さくすることができ、もって撮像位置のいっそうの安定を図ることができる。
【0015】
さらに、上記課題を解決した本発明に係る撮像位置調整方法は、撮像手段で撮像された画像中の認識対象物を抽出し、認識対象物が画像中に存在するように撮像手段の撮像位置を調整する撮像位置調整方法であって、予め定められた所定の条件を満たす領域の座標値に対して重み付けを行い、重み付けされた所定の条件を満たす領域の座標値を加算し、座標値を加算して得られた値を、所定の条件を満たす領域の数で割った値に対応する位置を画像中の特定位置として求め、特定位置を基準として撮像手段の撮像位置を決定するものである。
【0016】
本発明に係る撮像位置調整方法では、予め定められた所定の条件、たとえば顔を検出する場合であれば肌色という条件を満たす領域の座標値に対して重み付けを行い、重み付けされた所定の条件を満たす領域の座標値を加算している。この所定の条件を満たす位置が、認識対象物が存在する位置であると考えることができる。ここで得られた所定の条件を満たす領域の座標の加算値をその領域の数で割って重心を算出し、特定位置としてこの重心を求めている。このように、画像中の全面における認識対象物の存在位置の重心を特定位置としているので、画像中の領域変動や検出度変動があった場合でも、安定して撮像位置を決定することができる。また、重心を求める際の演算では、すべての画素の座標値を加算した後、除算を行っている。このように、処理に時間のかかる除算を1回のみで済ませることができるので、複雑な演算処理が不要であり、その結果演算時間を短いものとすることができる。
【0017】
ここで、座標値に対する重み付けを、所定時間の間、複数回繰り返して行い、画像中の特定位置を求める際に、座標値を加算して得られた値を、所定時間中に所定条件を満たす領域を加算した回数で割った値に対応する位置を画像中の特定位置として求めるのが好適である。
【0018】
このように、座標値を加算するにあたり、時間変化を加味して所定時間の間座標値を加算することにより、時間変化に伴う認識対象物の移動などがあった場合でもその影響を小さくすることができ、もって撮像位置のいっそうの安定を図ることができる。
【0019】
また、上記課題を解決した本発明に係る撮像位置調整装置は、撮像手段で撮像された画像中の認識対象物を抽出する画像処理手段と、認識対象物が画像中に存在するように撮像手段の撮像位置を調整する制御を行う撮像位置制御手段と、を備え、画像処理手段は、画像中における認識対象物が存在する領域の座標値を加算する座標値加算手段と、座標値手段で得られた値を、認識対象物が存在する領域の数で割った値に対する位置を画像中の特定位置として求める特定位置算出手段と、特定位置を基準として、撮像手段の撮像位置を決定する撮像位置決定手段と、を有するものである。
【0020】
ここで、座標値加算手段は、座標値を加算する際に、所定時間の間、認識対象物が存在する領域の座標値を算出し、特定位置算出手段は、画像中の特定位置を求める際に、所定時間の間、座標値加算手段で得られた値を、所定時間中の認識対象物が存在する領域を加算した回数で割った値に対応する位置を画像中の特定位置として求めるのが好適である。
【0021】
さらに、上記課題を解決した本発明に係る撮像位置調整装置は、撮像手段で撮像された画像中の認識対象物を抽出する画像処理手段と、認識対象物が画像中に存在するように撮像手段の撮像位置を調整する制御を行う撮像位置制御手段と、を備え、画像処理手段は、予め定められた所定の条件を満たす領域の座標値に対して重み付けを行う重み付け手段と、重み付けされた所定の条件を満たす領域の座標値を加算する座標値加算手段と、座標値加算手段で得られた値を、所定の条件を満たす領域の数で割った値に値王する位置を画像中の特定位置として求める特定位置算出手段と、特定位置を基準として、撮像手段の撮像位置を決定する撮像位置決定手段と、を有するものである。
【0022】
このとき、重み付け手段は、重み付けを行う際に、所定時間の間、予め定められた所定条件を満たす領域の座標値に重み付けを行い、特定位置算出手段は、画像中の特定位置を求める際に、座標値を加算して得られた値を、所定時間中に所定条件を満たす領域を加算した回数で割った値に対応する位置を画像中の特定位置として求めるのが好適である。
【0023】
【発明の実施の形態】
以下、図面を参照して、本発明の好適な実施形態について詳細に説明する。
【0024】
図1は、本発明の実施形態に係る撮像位置調整装置を備える撮像装置のブロック構成図である。
【0025】
図1に示すように、本実施形態に係る撮像装置Mは、撮像手段であるカメラ1と、カメラ1を移動させてカメラ1の撮像位置を調整する撮像手段駆動手段となる駆動装置2とを備えている。駆動装置2は、基台11とステージ12とを備えている。基台11はたとえば地上などに固定されるものであり、ステージ12は基台11に対して鉛直軸回りおよび水平軸回りに回動可能に取り付けられている。カメラ1は、駆動装置2におけるステージ12の上に取り付けられており、ステージ12を駆動させることにより、カメラ1に撮像位置を自在に調整することができる。
【0026】
また、撮像装置Mは、本発明に係る撮像位置調整装置である認識制御装置3を備えており、カメラ1および駆動装置2は、いずれも認識制御装置3に接続されている。認識制御装置3は、A/D変換部21、画像処理手段である画像処理部22、および撮像位置制御手段である駆動制御部23を備えている。認識制御装置3の外部に設けられるカメラ1は、A/D変換部21に接続されており、駆動装置2は、駆動制御部23に接続されている。
【0027】
カメラ1からは、A/D変換部21に対してカメラ1で撮像されたアナログ画像の画像信号が出力される。また、A/D変換部21では、カメラ1から出力されたアナログ画像信号をA/D変換してデジタル画像に変換する。A/D変換部21は、このデジタル画像の画像信号を画像処理部22に対して出力する。
【0028】
画像処理部22では、A/D変換部21から出力されたデジタル信号から画像中の認識対象物、たとえば人の顔を抽出し、に所定の画像処理を施すことによってカメラ1による撮像位置を算出する。この撮像位置に基づいて、カメラ1の移動量、すなわち駆動装置2におけるステージ12の移動量を算出する。
【0029】
画像処理部22は、図示しないメモリを備えており、画像中における各画素にフラグが立っているか否かを記憶することができる。また、図示しない演算部をも備えており、画像中における各画素の座標値を加算する加算処理および、この座標値を加算して得られた値を、その画素の数で割る除算処理を行うことができる。そして、除算処理によって得られる特定位置を基準として、カメラ1の撮像位置を決定する処理を行うことができる。この演算部が、本発明の座標加算手段、特定位置算出手段、および撮像位置決定手段を構成する。なお、画像処理部22で行われる画像処理の詳細については後述する。
【0030】
画像処理部22で算出されたステージ12の移動量は、駆動制御部23に出力される。駆動制御部23では、画像処理部22から出力された撮像位置調整信号に基づいて、駆動装置2のステージ12を制御する制御信号を生成し、この制御信号を駆動装置2に出力する。駆動装置2では、認識制御装置3の駆動制御部23から出力された制御信号に基づいてステージ12を駆動させて、カメラ1の撮像位置を調整する。
【0031】
次に、本実施形態に係る撮像位置調整の手順について説明する。
【0032】
撮像位置の調整は、カメラ1で撮像された画像に基づいて行われる。カメラ1で撮像され、カメラ1から認識制御装置3のA/D変換部21に出力されたアナログ画像は、デジタル画像に変換されて、画像処理部22に出力される。そして、画像処理部22において、図2に示すフローに沿って、デジタル画像を処理してカメラの撮像位置を調整する。図2は本発明に係る撮像位置調整方法の手順を示すフローチャートである。
【0033】
まず、A/D変換部21から出力されたデジタル画像を入力する(S1)。このとき、各画素のうち、前回の処理によってフラグが立てられた画素には投票メモリが残っているので、今回の処理を行うために投票メモリを0クリアする(S2)。投票メモリを0クリアしたら、続いて認識対象物の抽出処理を行う(S3)。認識対象物の抽出を行う際には、認識対象物における予め定められた所定の条件を満たす特徴を利用する。ここで利用することができる特徴としては、色、輝度、明度などを挙げることができる。たとえば認識対象物が人の顔であった場合には、肌色または肌色に近い色を特徴として、この特徴を有する画素を検出対象とすることができる。
【0034】
具体的には、図3(a)に示すように、画像30中に人の顔F1,F2,F3が存在したとする。この場合、図3(b)に示すように、画像30中における人の顔は、領域E1,E2,E3にそれぞれあると考えられる。このとき、人の顔であるか否かの判断は、たとえば色が肌色または肌色に近い色であるか否かを基準として行うことができる。そして、人の顔がある領域E1〜E3を画定したら図3(c)に示すように、画像30の画像を画素P,P…単位で捕らえ、各画素に人の顔と判断される領域が含まれているか否かを判断する。これらの画素の位置は、X−Y座標上の点として示される。
【0035】
こうして、対象物の抽出処理として、人の顔であるか否かの判断を行ったら、人の顔と判断される領域(以下、「顔領域」という)を含む画素にフラグを立てる(S4)。このように、顔領域を含む画素にフラグを立てることにより、顔領域を含む画素であるか否かを判別することができるようになる。それから、フラグが立っている画素に投票を行い、その座標値を加算する(S5)。そして、座標値を加算した結果を、投票が行われた画素の総数で除算する(S6)。このような処理をすることにより、画像中における顔領域の特定位置となる重心を求めることができる(S7)。特定位置を重心とすることにより、認識対象物の面積に応じた重み付けを行って得られた結果を特定位置とすることができる。
【0036】
こうして画像中における顔領域の重心を求めるにあたって、上記ステップS4〜ステップS6の過程は、画像の一次モーメント計算を行う過程と同意である。したがって、下記(1)式、(2)式によって顔領域の重心を求めることができる。
【0037】
Mx=∫x・f(x,y)dx・・・(1)
My=∫y・f(x,y)dy・・・(2)
【0038】
こうして、顔領域の重心を求めたら、この顔領域の重心に基づいてカメラ1の移動位置を算出する(S8)。カメラ1を移動させるにあたって、顔領域の重心が画像の中心(X軸方向およびY軸方向におけるそれぞれの中央線の交点)に位置するように、カメラ1を移動させることができる。
【0039】
カメラ1の移動位置を算出したら、現在のカメラ1の位置と、算出されたカメラ1の位置とから、カメラ1の移動量、すなわち駆動装置2におけるステージ12の移動量を算出する。ステージ12の移動量が算出されたら、ステージ12を移動させるための移動制御信号を駆動制御部23に出力する。駆動制御部23では、画像処理部22から出力された移動制御信号に基づいて、ステージ12を移動させる。こうして、カメラ1による撮像位置を調整することができる。
【0040】
このように、本実施形態に係る撮像位置調整方法では、画像中における顔領域が存在する画素の座標値を加算して、その加算値を、顔領域が存在する画素の数で割って特定位置を求めている。このように、画像中の全面における顔領域の存在位置の重心を求めているので、画像中の領域変動や検出度変動があった場合でも、安定して撮像位置を決定することができる。
【0041】
ここで、安定して撮像位置を決定することができる点について補足的に説明する。図4は、撮像位置を決定する際の画像を示しており、(a)は従来例を示す図、(b)は本実施形態例を示す図である。
【0042】
従来の手法では、顔領域が2つ以上ある場合には、面積の一番大きな顔領域を中心に据えるようにして撮像位置を調整している。ここで、たとえば、図4(a−1)に示すように、画像30中に2つの顔領域を示す領域E1,E2があったとする。この場合、領域E1,E2の大きさがほぼ同じであると、カメラの向きが頻繁に変わってしまう。たとえば、図4(a−1)に示す領域E1,E2のうち、領域E1がわずかに大きくなると、図4(a−2)に示すように、実線で示す領域E1が画像30の中心にくるようにカメラの向きが調整される。逆に領域E2がわずかに大きくなると、図4(a−3)に示すように、実線で示す領域E2が画像30の中心にくるようにカメラの向きが調整される。このため、カメラの向きが頻繁に大きく変わってしまい、その結果として撮像位置が安定しなくなってしまう。
【0043】
これに対して、本実施形態に係る手法では図4(b−1)に示すように、画像30中に2つの顔領域を示す領域E1,E2があったとする。この場合、領域E1,E2の大きさがほぼ同じであって、領域E1,E2の大きさが変わったとしても、図4(b−2)に示すように、カメラの向きをほとんど変えないで済ませることができる。本手法では、複数の領域の重心位置にカメラを向けていることから、個々の領域の大きさが変わったとしても、その影響を小さくすることができる。その結果、カメラによる撮像位置を安定させることができる。
【0044】
また、本実施形態に係る撮像位置調整方法では、処理に時間のかかる除算処理を1回のみしか行わないことになるので、処理時間を短縮させることができる。
【0045】
次に、本発明の第2の実施形態について説明する。
【0046】
本実施形態に用いられる撮像装置は、上記第1の実施形態において用いたものとほぼ同一であり、画像処理部22の構成およびその画像処理の手順のみが異なる。以下、その異なる部分について中心に説明する。
【0047】
図5は、本実施形態に係る撮像位置調整方法の手順を示すフローチャートの一部である。本実施形態に係る撮像位置調整方法では、まず、図2に示すフローのステップS1〜ステップS4の手順を経て、画像30における顔画像が存在する画素にフラグを立てる。他方、画像処理部22には、画像30と同サイズ同画素数の重心メモリが形成されている。そして、この重心メモリにおけるフラグが立てられた画素に対応する位置にそれぞれ投票を行う。この処理を終了したら、続いて同様の手順を経て投票を行い、この処理を所定時間の間繰り返す。
【0048】
この点について、図6を用いてさらに説明する。図6は、微小時間をおいて撮像された複数の画像30A,30B,…を示す図である。このうちの画像30Aには、図3(c)に示す場合と同様の位置に領域E1,E2,E3が示されている。この画像から、顔領域が存在する画素を抽出し、重心メモリにおけるその画素に対応する重心座標値にそれぞれ投票を行う。画像30Bは画像30Aを撮像してから微小時間経過した後に撮像された画面が示されており、画像30Aとはわずかに異なる画像が示されている。この画像30Bにおいても、画像30Aと同様、顔領域が存在する画素を抽出し、重心メモリにおけるその画素に対応する重心座標値にそれぞれ投票を行う。さらに、画像30Cは、画像30Bを撮像してから微小時間経過した後に撮像された画像が示されており、画像30Bとはわずかに異なる画像が表示されている。この画像30Cにおいても同様にして、重心メモリの重心座標値に対する投票を行う。
【0049】
このように、各画像30A,30B,…の顔領域の画素を、重心メモリの重心座標に投票する(S11)。各画像30A,30B,…における顔画像が存在する領域を重心メモリに投票すると、各画像を撮影する時間間隔は非常の微小であることから、重心メモリは、たとえば図7に示すようになる。図7では、重心メモリにおける投票が行われている重心座標のうち、多くの投票が行われた部分を濃く描いているが、投票が多く行われた重心座標が一部に集中し、投票が少ない重心座標となりその他は投票が行われない部分となる。このように時間変化に対応して変化する複数の画像から重心メモリに投票を行うことにより、重心メモリの1重心座標が、得られた画像分の数を持つ。ここで、重心メモリには、多数の投票が行われることになるが、それらはすべて整数値で処理することができる。このため、重心メモリにおける計算処理は短時間で行うことができる。そして、各画像での投票を複数画像分足すことで、動きのある認識対象物の動きの中心を計算することができる。しかも、複数の画像を足すことから、ノイズが生じている場合でも、そのノイズの除去効果を発揮することができる。
【0050】
こうして、重心座標値に対する投票が行われたら、投票が行われる以前に行われた投票分を重心メモリから削除する(S12)。続いて、重心メモリに投票された重心座標値の平均値を算出する(S13)。重心座標値の平均値は、投票が行われている重心座標値を、投票が行われている重心座標の数で除算することによって求めることができる。このように重心座標値を、重心座標の数で除算することにより、所定時間の間撮像した複数の画像における顔座標が存在したすべての画素における重心の平均値を算出することができる。この重心に対応する位置を、画像中の特定位置とし、この重心に基づいてカメラ1の移動位置を算出する(S14)。具体的には、たとえば重心が画像の中央(X軸方向およびY軸方向におけるそれぞれの中央線の交点)に位置するように、カメラ1を移動させる。その後は、上記第1の実施形態と同様にして、カメラ1の移動量、すなわち駆動装置2におけるステージ12の移動量を算出し、ステージ12を移動させるための移動制御信号を駆動制御部23に出力する。そして、駆動制御部23によってステージ12を移動させてカメラ1の撮像位置を調整する。
【0051】
このように、本実施形態に係る撮像位置調整方法では、時間変化に伴う複数の画像の変化を考慮して、画像の特定位置となる重心を求めている。このため、撮像位置が頻繁に移動させることが少なくなり、安定した画像を得ることができる。ここで、時間変化を考慮した場合と考慮しない場合の撮像位置(重心)の変化について、図8にその一例を挙げて説明する図8に示すように、時間変化を考慮せずに重心を求めて撮像位置を調整した場合には、比較的大きく撮像位置が変化していた。これに対して、本実施形態のような時間変化を考慮して撮像位置の調整を行った場合には、撮像位置の変化は小さなものとなった。このように、時間変化を考慮することにより、撮像位置の変化を小さくすることができる。
【0052】
また、多くの画像の重心を求める際に、すべての画素に対応する座標を加算してから除算を行っているので、時間がかかる処理である除算処理を1回で済ませることができる。このため、演算処理にかかる時間を短くすることができる。
【0053】
また、上記各実施形態では、画素に顔画像があるか否かを基準として重心の算出やカメラ1の移動位置を決定しているが、たとえばこれらの画素における所定の条件に重み付けをした態様とすることもできる。重み付けをした態様について説明すると、上記各実施形態において、顔画像があるか否かの判断を行う際に、肌色または肌色に近い色があるか否かを基準として、この色があれば顔画像があり、無ければ顔画像は無いと判断している。このとき、単に顔画像の有無のみによらず基準となるたとえば色に重み付けを行い、肌色には大きな重みを付け、肌色に近いが肌色ではない色に対する重み付けを少しずつ小さくしていく重み付けを行うことができる。
【0054】
このような重み付けを行うことにより、認識対象となる顔画像をより正確に注視することができるので、画像中における顔画像の変動や検出度変動があった場合でも、安定して撮像位置を決定することができる。ここで、重み付けを行う条件には、色のほか、輝度、明度を利用することができ、さらにはこれらを組み合わせた条件を利用して重み付けを行う態様とすることもできる。
【0055】
以上、本発明の好適な実施形態について説明したが、本発明は上記各実施形態に限定されるものではない。画像処理を行う領域として画素を利用しているが、所定数、たとえば2個や4個の画素を1の領域として画像処理を行う態様とすることもできる。また、上記第2の実施形態では、顔領域に対応する位置を足してから重心を求めたが、各画像で求められた重心の時間変化を利用し、それらの平均値を特定位置とすることもできる。
【0056】
【発明の効果】
以上のとおり、本発明によれば、画像中における領域変動や検出度変動があった場合にも安定して撮像位置を決定することができるとともに、複雑な演算処理を必要としない撮像位置調整方法および撮像位置調整装置を提供することができる。
【図面の簡単な説明】
【図1】本発明に係る撮像位置調整装置を備える撮像装置のブロック構成図である。
【図2】本発明に係る撮像位置調整方法の手順を示すフローチャートである。
【図3】(a)は顔画像が映し出された画像を示す図、(b)は(a)の画像の顔領域を示す図、(c)は顔領域を画素単位で捕らえた状態を示す図である。
【図4】撮像位置を決定する際の画像を示しており、(a)は従来例を示す図、(b)は本実施形態例を示す図である。
【図5】第2の実施形態に係る撮像位置調整方法の手順を示すフローチャートの一部である。
【図6】微小時間をおいて撮像された複数の画像を示す図である。
【図7】微小時間をおいて撮像された複数の画像から顔画像が存在する位置が投票された重心メモリを示す図である。
【図8】時間変化を考慮した場合としない場合の撮像位置の時間変化を示すグラフである。
【符号の説明】
1…カメラ、2…駆動装置、3…認識制御装置、11…基台、12…ステージ、21…A/D変換部、22…画像処理部、23…駆動制御部、30(30A,30B,30C)…画像、E1〜E3…領域、F1〜F3…顔、M…撮像装置、P…画素。
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an imaging method and an imaging device.
[0002]
[Prior art]
Japanese Patent Application Laid-Open No. 2000-147792 discloses a technique for appropriately paying attention to a face or the like from an image captured by an imaging unit. In this technique, an edge having the characteristics of the upper eyelid of a human eye (eyelid) is extracted from a face image, and eyes are detected from the face image based on the edge.
[0003]
[Patent Document 1]
JP-A-2000-137792 (pages 3 to 4, FIG. 4)
[0004]
[Problems to be solved by the invention]
By the way, when an object is extracted from an image based on a predetermined feature as in the above-described related art, when there are a plurality of objects in the image, there is a problem as to where to place the point of interest. When there are a plurality of objects, the camera is directed to an object having a large area or an object having a high degree of detection. For this purpose, a point of interest in a plurality of objects is calculated by calculating the area occupied by the object in the image or the degree of detection of the object as a weighting factor and multiplying the weight on the detected position on the image. I was Alternatively, attention is paid to the center of gravity of each of a plurality of objects in an image, and the point of interest is determined by integrating these centers of gravity.
[0005]
However, in the case of a method of performing weighting in accordance with the size and detection degree of the area occupied by each of a plurality of objects, due to area fluctuation or noise when the objects move and the objects are merged in an image. When the detection degree fluctuates, there is a problem that the attention point cannot be accurately calculated in some cases. In addition, the method that focuses on the center of gravity of a plurality of objects is easy to stabilize with respect to the variation in the area and the degree of detection, but requires a complicated calculation when calculating the center of gravity of each object and integrating them. There was a problem that it would take.
[0006]
Therefore, an object of the present invention is to provide an imaging position adjustment method and an imaging position adjustment method that can stably determine an imaging position even when there is an area variation or detection degree variation in an image, and does not require complicated arithmetic processing. It is to provide a position adjusting device.
[0007]
[Means for Solving the Problems]
An imaging position adjusting method according to the present invention that solves the above problem extracts a recognition target in an image captured by an imaging unit, and adjusts an imaging position of the imaging unit so that the recognition target exists in the image. This is a method of adjusting an imaging position, in which a specific position in an image is obtained by performing weighting according to the area of a recognition target in an image, and an imaging position of an imaging unit is determined based on the specific position.
[0008]
In the imaging position adjustment method according to the present invention, when there are a plurality of recognition targets, instead of treating those targets individually, weighting is performed according to the area of the recognition target in the image, and Seeking a specific location. For this reason, even if there is a region variation or a detection degree variation in the image, the influence can be reduced, and the imaging position can be stabilized.
[0009]
Here, when performing the weighting, it is preferable that the specific position is obtained by performing the weighting in consideration of the existence time of the recognition target in the image.
[0010]
In the imaging position adjustment method according to the present invention, when performing weighting for obtaining a specific position, weighting is performed in consideration of the existence time of the recognition target object. For this reason, even if the recognition target moves due to a change over time, the influence can be reduced, and the imaging position can be further stabilized.
[0011]
In addition, the imaging position adjusting method according to the present invention that has solved the above-described problem extracts a recognition target in an image captured by the imaging unit, and adjusts an imaging position of the imaging unit so that the recognition target exists in the image. An imaging position adjustment method for adjusting, wherein a coordinate value of an area where an object to be recognized is present in an image is added, and a value obtained by adding the coordinate values is divided by the number of areas where the object to be recognized is present. The position corresponding to the value is determined as a specific position in the image, and the imaging position of the imaging unit is determined based on the specific position.
[0012]
In the imaging position adjustment method according to the present invention, the area where the recognition target exists in the image, for example, the coordinate values of the pixels are added, and the added value is divided by the number of pixels where the recognition target exists, and the specific position is determined. Seeking. As described above, since the center of gravity of the position of the recognition target on the entire surface of the image is determined as the specific position, it is possible to stably determine the imaging position even when there is a region variation or a detection degree variation in the image. Can be. In addition, in the calculation for obtaining the center of gravity, the division is performed after adding the coordinate values of all the pixels. As described above, since the division requiring a long time for the processing can be performed only once, complicated arithmetic processing is unnecessary, and as a result, the arithmetic time can be shortened.
[0013]
At this time, the addition of the coordinate values is repeatedly performed a plurality of times during a predetermined time, and when a specific position in the image is obtained, the value obtained by adding the coordinate values during the predetermined time is determined during the predetermined time. It is preferable to obtain a position corresponding to a value obtained by dividing the area where the recognition target object exists by the number of times of addition as the specific position in the image.
[0014]
As described above, by adding the coordinate values a plurality of times repeatedly for a predetermined time in consideration of the time change in the addition of the coordinate values, even if the recognition target moves due to the time change, etc. The influence can be reduced, and the imaging position can be further stabilized.
[0015]
Further, the imaging position adjusting method according to the present invention that has solved the above-described problem extracts a recognition target in an image captured by the imaging unit, and adjusts an imaging position of the imaging unit so that the recognition target exists in the image. An imaging position adjustment method for adjusting, wherein weighting is performed on a coordinate value of an area that satisfies a predetermined condition, a coordinate value of an area that satisfies the weighted predetermined condition is added, and the coordinate value is added. A position corresponding to a value obtained by dividing the obtained value by the number of regions satisfying a predetermined condition is determined as a specific position in the image, and the imaging position of the imaging unit is determined based on the specific position.
[0016]
In the imaging position adjustment method according to the present invention, weighting is performed on coordinate values of an area that satisfies a predetermined condition, such as a skin color when a face is detected, and the weighted predetermined condition is determined. The coordinate values of the area to be filled are added. A position that satisfies the predetermined condition can be considered as a position where the recognition target object exists. The center of gravity is calculated by dividing the obtained sum of the coordinates of the region satisfying the predetermined condition by the number of the regions, and the center of gravity is determined as the specific position. As described above, since the center of gravity of the position of the recognition target on the entire surface of the image is set as the specific position, the imaging position can be determined stably even when there is a region variation or a detection degree variation in the image. . In addition, in the calculation for obtaining the center of gravity, the division is performed after adding the coordinate values of all the pixels. As described above, since a division requiring a long processing time can be performed only once, complicated calculation processing is not required, and as a result, the calculation time can be shortened.
[0017]
Here, the weighting of the coordinate values is repeatedly performed a plurality of times during a predetermined time, and when a specific position in an image is obtained, a value obtained by adding the coordinate values satisfies a predetermined condition during a predetermined time. It is preferable to obtain a position corresponding to a value obtained by dividing the number of times of adding the area as a specific position in the image.
[0018]
In this way, when adding the coordinate values, by adding the coordinate values for a predetermined time in consideration of the time change, even if the recognition target moves due to the time change, the influence thereof is reduced. Therefore, the imaging position can be further stabilized.
[0019]
In addition, an imaging position adjusting apparatus according to the present invention that solves the above-described problems includes an image processing unit that extracts a recognition target in an image captured by the imaging unit, and an imaging unit that detects the recognition target in the image. Imaging position control means for performing control for adjusting the imaging position of the image, wherein the image processing means includes a coordinate value adding means for adding a coordinate value of a region where the recognition target exists in the image, and a coordinate value means. Specific position calculating means for obtaining a position corresponding to a value obtained by dividing the obtained value by the number of regions where the recognition target object is present as a specific position in the image; and an imaging position for determining an imaging position of the imaging means based on the specific position. Determination means.
[0020]
Here, the coordinate value adding means calculates the coordinate value of the area where the recognition target object exists for a predetermined time when adding the coordinate values, and the specific position calculating means calculates the specific position in the image. A position corresponding to a value obtained by dividing the value obtained by the coordinate value adding means during the predetermined time by the number of times of adding the area where the recognition target object exists during the predetermined time is obtained as a specific position in the image. Is preferred.
[0021]
Further, the imaging position adjusting apparatus according to the present invention, which has solved the above-mentioned problems, comprises: an image processing means for extracting a recognition target in an image picked up by the imaging means; and an imaging means so that the recognition target exists in the image. Imaging position control means for performing control to adjust the imaging position of the image processing apparatus, wherein the image processing means weights coordinate values of an area satisfying a predetermined condition, and a weighted predetermined value. A coordinate value adding means for adding the coordinate values of the area satisfying the condition, and a position in the image in which the value obtained by dividing the value obtained by the coordinate value adding means by the number of areas satisfying the predetermined condition is specified. It has a specific position calculating means for obtaining a position, and an imaging position determining means for determining an imaging position of the imaging means based on the specific position.
[0022]
At this time, the weighting means weights the coordinate values of an area satisfying a predetermined condition for a predetermined time when performing the weighting, and the specific position calculating means determines when the specific position in the image is obtained. Preferably, a position corresponding to a value obtained by dividing the value obtained by adding the coordinate values by the number of times of adding the region satisfying the predetermined condition during the predetermined time is obtained as the specific position in the image.
[0023]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings.
[0024]
FIG. 1 is a block diagram of an imaging device including an imaging position adjustment device according to an embodiment of the present invention.
[0025]
As shown in FIG. 1, an imaging apparatus M according to the present embodiment includes a camera 1 as an imaging unit and a driving device 2 as an imaging unit driving unit that moves the camera 1 to adjust an imaging position of the camera 1. Have. The driving device 2 includes a base 11 and a stage 12. The base 11 is fixed on the ground, for example, and the stage 12 is attached to the base 11 so as to be rotatable around a vertical axis and a horizontal axis. The camera 1 is mounted on the stage 12 of the driving device 2, and the imaging position of the camera 1 can be freely adjusted by driving the stage 12.
[0026]
Further, the imaging device M includes a recognition control device 3 which is an imaging position adjustment device according to the present invention, and both the camera 1 and the driving device 2 are connected to the recognition control device 3. The recognition control device 3 includes an A / D conversion unit 21, an image processing unit 22 as an image processing unit, and a drive control unit 23 as an imaging position control unit. The camera 1 provided outside the recognition control device 3 is connected to the A / D conversion unit 21, and the drive device 2 is connected to the drive control unit 23.
[0027]
From the camera 1, an image signal of an analog image captured by the camera 1 is output to the A / D converter 21. The A / D converter 21 converts the analog image signal output from the camera 1 into a digital image by A / D conversion. The A / D converter 21 outputs the image signal of the digital image to the image processor 22.
[0028]
The image processing unit 22 calculates an image pickup position of the camera 1 by extracting a recognition target in the image, for example, a human face, from the digital signal output from the A / D conversion unit 21 and performing predetermined image processing on the object. I do. Based on the imaging position, the movement amount of the camera 1, that is, the movement amount of the stage 12 in the driving device 2 is calculated.
[0029]
The image processing unit 22 includes a memory (not shown), and can store whether or not a flag is set for each pixel in the image. The image processing apparatus also includes a calculation unit (not shown), and performs an addition process of adding the coordinate values of each pixel in the image and a division process of dividing a value obtained by adding the coordinate values by the number of pixels. be able to. Then, it is possible to perform a process of determining the imaging position of the camera 1 based on the specific position obtained by the division process. This calculation unit constitutes a coordinate adding unit, a specific position calculating unit, and an imaging position determining unit of the present invention. The details of the image processing performed by the image processing unit 22 will be described later.
[0030]
The movement amount of the stage 12 calculated by the image processing unit 22 is output to the drive control unit 23. The drive control unit 23 generates a control signal for controlling the stage 12 of the driving device 2 based on the imaging position adjustment signal output from the image processing unit 22, and outputs the control signal to the driving device 2. The drive device 2 drives the stage 12 based on the control signal output from the drive control unit 23 of the recognition control device 3 to adjust the imaging position of the camera 1.
[0031]
Next, the procedure for adjusting the imaging position according to the present embodiment will be described.
[0032]
The adjustment of the imaging position is performed based on the image captured by the camera 1. An analog image captured by the camera 1 and output from the camera 1 to the A / D conversion unit 21 of the recognition control device 3 is converted into a digital image and output to the image processing unit 22. Then, the image processing unit 22 processes the digital image and adjusts the imaging position of the camera according to the flow shown in FIG. FIG. 2 is a flowchart showing the procedure of the imaging position adjustment method according to the present invention.
[0033]
First, a digital image output from the A / D converter 21 is input (S1). At this time, among the pixels, the voting memory remains at the pixel for which the flag has been set by the previous processing, so that the voting memory is cleared to 0 in order to perform the current processing (S2). After the voting memory is cleared to 0, the process of extracting the recognition target is performed (S3). When the recognition target is extracted, a feature of the recognition target that satisfies a predetermined condition is used. Features that can be used here include color, brightness, brightness, and the like. For example, when the object to be recognized is a human face, the feature is a skin color or a color close to the skin color, and a pixel having this feature can be a detection target.
[0034]
Specifically, it is assumed that human faces F1, F2, and F3 exist in the image 30, as shown in FIG. In this case, as shown in FIG. 3B, the human face in the image 30 is considered to be in the regions E1, E2, and E3, respectively. At this time, whether or not the face is a human face can be determined based on, for example, whether or not the color is a skin color or a color close to the skin color. Then, after defining the regions E1 to E3 where the human face is located, as shown in FIG. 3C, the image of the image 30 is captured in units of pixels P, P... It is determined whether or not it is included. The positions of these pixels are shown as points on the XY coordinates.
[0035]
In this way, as a process of extracting a target object, if it is determined whether or not the image is a human face, a flag is set for a pixel including an area determined as a human face (hereinafter, referred to as a “face area”) (S4). . Thus, by setting a flag on a pixel including a face area, it is possible to determine whether or not the pixel includes a face area. Then, voting is performed for the pixel on which the flag is set, and the coordinate value is added (S5). Then, the result of adding the coordinate values is divided by the total number of pixels for which voting has been performed (S6). By performing such processing, it is possible to obtain the center of gravity that is the specific position of the face area in the image (S7). By setting the specific position as the center of gravity, a result obtained by performing weighting according to the area of the recognition target object can be set as the specific position.
[0036]
In obtaining the center of gravity of the face region in the image in this manner, the processes of steps S4 to S6 are the same as the processes of calculating the first moment of the image. Therefore, the center of gravity of the face area can be obtained by the following equations (1) and (2).
[0037]
Mx = ∫x · f (x, y) dx (1)
My = ∫y · f (x, y) dy (2)
[0038]
After the center of gravity of the face area is obtained in this way, the movement position of the camera 1 is calculated based on the center of gravity of the face area (S8). When the camera 1 is moved, the camera 1 can be moved so that the center of gravity of the face area is located at the center of the image (the intersection of the respective center lines in the X-axis direction and the Y-axis direction).
[0039]
After calculating the movement position of the camera 1, the movement amount of the camera 1, that is, the movement amount of the stage 12 in the driving device 2 is calculated from the current position of the camera 1 and the calculated position of the camera 1. When the movement amount of the stage 12 is calculated, a movement control signal for moving the stage 12 is output to the drive control unit 23. The drive controller 23 moves the stage 12 based on the movement control signal output from the image processor 22. In this way, the imaging position of the camera 1 can be adjusted.
[0040]
As described above, in the imaging position adjustment method according to the present embodiment, the coordinate value of the pixel where the face region exists in the image is added, and the added value is divided by the number of pixels where the face region exists, and the specific position is calculated. Seeking. As described above, since the center of gravity of the position of the face region on the entire surface in the image is obtained, the imaging position can be determined stably even when there is a region change or a detection degree change in the image.
[0041]
Here, a supplementary description will be given of the fact that the imaging position can be determined stably. 4A and 4B show images at the time of determining the imaging position, wherein FIG. 4A is a diagram showing a conventional example, and FIG. 4B is a diagram showing an example of the present embodiment.
[0042]
In the conventional method, when there are two or more face areas, the imaging position is adjusted so that the face area having the largest area is set at the center. Here, for example, as shown in FIG. 4A-1, it is assumed that there are areas E1 and E2 indicating two face areas in the image 30. In this case, if the sizes of the areas E1 and E2 are substantially the same, the direction of the camera frequently changes. For example, when the area E1 of the areas E1 and E2 shown in FIG. 4A is slightly larger, the area E1 indicated by a solid line is located at the center of the image 30 as shown in FIG. Camera orientation is adjusted as follows. Conversely, when the area E2 becomes slightly larger, the camera direction is adjusted so that the area E2 indicated by the solid line is at the center of the image 30, as shown in FIG. For this reason, the direction of the camera frequently changes greatly, and as a result, the imaging position becomes unstable.
[0043]
On the other hand, in the method according to the present embodiment, it is assumed that there are areas E1 and E2 indicating two face areas in the image 30, as shown in FIG. In this case, even if the sizes of the regions E1 and E2 are almost the same and the sizes of the regions E1 and E2 are changed, the direction of the camera is hardly changed as shown in FIG. Can be done. In the present method, since the camera is pointed at the position of the center of gravity of a plurality of regions, even if the size of each region changes, the effect can be reduced. As a result, the imaging position of the camera can be stabilized.
[0044]
In addition, in the imaging position adjustment method according to the present embodiment, the time-consuming division processing is performed only once, so that the processing time can be reduced.
[0045]
Next, a second embodiment of the present invention will be described.
[0046]
The imaging device used in the present embodiment is almost the same as that used in the first embodiment, except for the configuration of the image processing unit 22 and the procedure of the image processing. Hereinafter, the different parts will be mainly described.
[0047]
FIG. 5 is a part of a flowchart illustrating a procedure of the imaging position adjustment method according to the present embodiment. In the imaging position adjustment method according to the present embodiment, first, a flag is set for a pixel in the image 30 where the face image exists in the image 30 through the procedure of steps S1 to S4 of the flow illustrated in FIG. On the other hand, in the image processing unit 22, a centroid memory having the same size and the same number of pixels as the image 30 is formed. Then, voting is performed at a position corresponding to the flagged pixel in the centroid memory. After this process is completed, a vote is performed through the same procedure, and this process is repeated for a predetermined time.
[0048]
This point will be further described with reference to FIG. FIG. 6 is a diagram showing a plurality of images 30A, 30B,. In the image 30A, the regions E1, E2, and E3 are shown at the same positions as in the case shown in FIG. From this image, the pixel in which the face region exists is extracted, and a voting is performed for the barycentric coordinate value corresponding to the pixel in the barycentric memory. The image 30B shows a screen captured after a lapse of a short time after capturing the image 30A, and shows an image slightly different from the image 30A. In this image 30B, as in the case of the image 30A, the pixel in which the face region exists is extracted, and a vote is performed on the barycentric coordinate value corresponding to the pixel in the barycentric memory. Further, the image 30C shows an image captured after a lapse of a short time after capturing the image 30B, and an image slightly different from the image 30B is displayed. In the image 30C, voting for the barycentric coordinate value of the barycentric memory is performed in the same manner.
[0049]
In this way, the pixels in the face area of each of the images 30A, 30B,... Are voted for the barycentric coordinates of the barycentric memory (S11). When the region where the face image exists in each of the images 30A, 30B,... Is voted for in the centroid memory, the time interval for photographing each image is very small, so that the centroid memory is as shown in FIG. 7, for example. In FIG. 7, among the barycentric coordinates in which the voting is performed in the barycentric memory, a portion where many votings are performed is drawn dark, but the barycentric coordinates where the voting is performed are concentrated in a part and the voting is performed. The coordinates of the center of gravity are small, and the others are portions where no voting is performed. By voting from a plurality of images that change in response to time changes to the centroid memory, one centroid coordinate of the centroid memory has the number of obtained images. Here, a large number of votes will be performed in the centroid memory, all of which can be processed with integer values. Therefore, the calculation processing in the center-of-gravity memory can be performed in a short time. Then, by adding the voting in each image for a plurality of images, it is possible to calculate the center of movement of the moving recognition target. In addition, since a plurality of images are added, even when noise occurs, the effect of removing the noise can be exerted.
[0050]
In this manner, when the voting for the barycentric coordinate value is performed, the voting portion performed before the voting is performed is deleted from the centroid memory (S12). Subsequently, the average value of the barycentric coordinate values voted in the barycenter memory is calculated (S13). The average value of the barycentric coordinate values can be obtained by dividing the barycentric coordinate value at which voting is performed by the number of barycentric coordinates at which voting is performed. As described above, by dividing the barycentric coordinate value by the number of barycentric coordinates, it is possible to calculate the average value of the barycenters of all the pixels where the face coordinates existed in a plurality of images captured for a predetermined time. The position corresponding to the center of gravity is set as a specific position in the image, and the movement position of the camera 1 is calculated based on the center of gravity (S14). Specifically, the camera 1 is moved so that, for example, the center of gravity is located at the center of the image (the intersection of the respective center lines in the X-axis direction and the Y-axis direction). Thereafter, in the same manner as in the first embodiment, the movement amount of the camera 1, that is, the movement amount of the stage 12 in the driving device 2 is calculated, and a movement control signal for moving the stage 12 is transmitted to the drive control unit 23. Output. Then, the drive controller 23 moves the stage 12 to adjust the imaging position of the camera 1.
[0051]
As described above, in the imaging position adjustment method according to the present embodiment, the center of gravity, which is a specific position of an image, is obtained in consideration of changes in a plurality of images with time. Therefore, the imaging position is less frequently moved, and a stable image can be obtained. Here, the change of the imaging position (center of gravity) in the case where the time change is considered and the case where the time change is not taken into consideration will be described with reference to FIG. When the imaging position was adjusted by the operator, the imaging position changed relatively largely. On the other hand, when the imaging position is adjusted in consideration of the time change as in the present embodiment, the change in the imaging position is small. As described above, by considering the time change, the change in the imaging position can be reduced.
[0052]
In addition, when the centroids of many images are obtained, the division is performed after adding the coordinates corresponding to all the pixels, so that the division process, which is a time-consuming process, can be completed only once. Therefore, the time required for the arithmetic processing can be reduced.
[0053]
In each of the above embodiments, the calculation of the center of gravity and the movement position of the camera 1 are determined based on whether or not a pixel has a face image. For example, a predetermined condition in these pixels is weighted. You can also. The weighted aspect will be described. In each of the above embodiments, when determining whether or not there is a face image, the face image is determined based on whether or not there is a skin color or a color close to the skin color. If no, there is no face image. At this time, for example, the reference color is weighted irrespective of the presence or absence of the face image, the skin color is weighted heavily, and the weighting is gradually reduced for colors close to but not skin color. be able to.
[0054]
By performing such weighting, the face image to be recognized can be more accurately watched, so that even when there is a change in the face image or a change in the detection degree in the image, the imaging position is determined stably. can do. Here, as the condition for performing the weighting, in addition to the color, luminance and lightness can be used, and further, a mode can be adopted in which the weighting is performed using a condition in which these are combined.
[0055]
The preferred embodiments of the present invention have been described above, but the present invention is not limited to the above embodiments. Although a pixel is used as a region where image processing is performed, a mode in which image processing is performed with a predetermined number, for example, two or four pixels, as one region may be adopted. In the second embodiment, the center of gravity is obtained after adding the position corresponding to the face area. However, the time change of the center of gravity obtained in each image is used, and the average value thereof is set as the specific position. You can also.
[0056]
【The invention's effect】
As described above, according to the present invention, an imaging position adjustment method that can stably determine an imaging position even when there is an area variation or a detection degree variation in an image and does not require complicated arithmetic processing And an imaging position adjustment device can be provided.
[Brief description of the drawings]
FIG. 1 is a block diagram of an imaging apparatus including an imaging position adjustment apparatus according to the present invention.
FIG. 2 is a flowchart illustrating a procedure of an imaging position adjustment method according to the present invention.
3A is a diagram illustrating an image in which a face image is projected, FIG. 3B is a diagram illustrating a face region of the image in FIG. 3A, and FIG. 3C is a diagram illustrating a state in which the face region is captured in pixel units; FIG.
4A and 4B show images at the time of determining an imaging position, wherein FIG. 4A is a diagram showing a conventional example, and FIG. 4B is a diagram showing an example of the present embodiment.
FIG. 5 is a part of a flowchart showing a procedure of an imaging position adjustment method according to a second embodiment.
FIG. 6 is a diagram showing a plurality of images captured at short intervals.
FIG. 7 is a diagram illustrating a center-of-gravity memory in which positions where face images are present are voted from a plurality of images captured at short time intervals.
FIG. 8 is a graph showing a time change of an imaging position when a time change is not taken into consideration;
[Explanation of symbols]
REFERENCE SIGNS LIST 1 camera, 2 drive device, 3 recognition control device, 11 base, 12 stage, 21 A / D conversion unit, 22 image processing unit, 23 drive control unit, 30 (30A, 30B, 30C) ... image, E1 to E3 ... area, F1 to F3 ... face, M ... imaging device, P ... pixel.

Claims (10)

撮像手段で撮像された画像中の認識対象物を抽出し、前記認識対象物が画像中に存在するように前記撮像手段の撮像位置を調整する撮像位置調整方法であって、
前記画像中における認識対象物の面積に応じた重み付けを行うことにより前記画像における特定位置を求め、
前記特定位置を基準として、前記撮像手段の撮像位置を決定することを特徴とする撮像位置調整方法。
An imaging position adjustment method of extracting a recognition target in an image captured by an imaging unit and adjusting an imaging position of the imaging unit so that the recognition target is present in the image,
Determine a specific position in the image by performing weighting according to the area of the recognition target in the image,
An imaging position adjustment method, wherein an imaging position of the imaging unit is determined based on the specific position.
前記重み付けを行う際に、前記画像中における前記認識対象物の存在時間を加味した重み付けを行って、前記特定位置を求める請求項1に記載の撮像位置調整方法。The imaging position adjustment method according to claim 1, wherein, when performing the weighting, the specific position is obtained by performing weighting in consideration of the existence time of the recognition target object in the image. 撮像手段で撮像された画像中の認識対象物を抽出し、前記認識対象物が画像中に存在するように前記撮像手段の撮像位置を調整する撮像位置調整方法であって、
前記画像中における前記認識対象物が存在する領域の座標値を加算し、
前記座標値を加算して得られた値を、前記認識対象物が存在する領域の数で割った値に対応する位置を前記画像中の特定位置として求め、
前記特定位置を基準として、前記撮像手段の撮像位置を決定することを特徴とする撮像位置調整方法。
An imaging position adjustment method of extracting a recognition target in an image captured by an imaging unit and adjusting an imaging position of the imaging unit so that the recognition target is present in the image,
Add the coordinate values of the area where the recognition target exists in the image,
The value obtained by adding the coordinate values, the position corresponding to the value obtained by dividing the number of areas where the recognition target exists is determined as a specific position in the image,
An imaging position adjustment method, wherein an imaging position of the imaging unit is determined based on the specific position.
前記座標値の加算を、所定時間の間、複数回数繰り返して行い、
前記画像中の特定位置を求める際に、前記所定時間の間、前記座標値を加算して得られた値を、前記所定時間中に前記認識対象物が存在する領域を加算した回数で割った値に対応する位置を前記画像中の特定位置として求める請求項3に記載の撮像位置調整方法。
The addition of the coordinate values is repeatedly performed a plurality of times for a predetermined time,
When determining the specific position in the image, the value obtained by adding the coordinate values during the predetermined time is divided by the number of times that the area where the recognition target object is present during the predetermined time is added. The method according to claim 3, wherein a position corresponding to the value is determined as a specific position in the image.
撮像手段で撮像された画像中の認識対象物を抽出し、前記認識対象物が画像中に存在するように前記撮像手段の撮像位置を調整する撮像位置調整方法であって、
予め定められた所定の条件を満たす領域の座標値に対して重み付けを行い、
重み付けされた前記所定の条件を満たす領域の座標値を加算し、
前記座標値を加算して得られた値を、前記所定の条件を満たす領域の数で割った値に対応する位置を前記画像中の特定位置として求め、
前記特定位置を基準として前記撮像手段の撮像位置を決定することを特徴とする撮像位置調整方法。
An imaging position adjustment method of extracting a recognition target in an image captured by an imaging unit and adjusting an imaging position of the imaging unit so that the recognition target is present in the image,
Weighting the coordinate values of the area that satisfies the predetermined condition,
Add the weighted coordinate values of the area satisfying the predetermined condition,
A value obtained by adding the coordinate values is obtained as a specific position in the image, the position corresponding to a value obtained by dividing the value obtained by dividing the number of regions satisfying the predetermined condition,
An imaging position adjustment method, wherein an imaging position of the imaging unit is determined based on the specific position.
前記座標値に対する重み付けを、所定時間の間、複数回繰り返して行い、
前記画像中の特定位置を求める際に、前記座標値を加算して得られた値を、前記所定時間中に前記所定条件を満たす領域を加算した回数で割った値に対応する位置を前記画像中の特定位置として求める請求項5に記載の撮像位置調整方法。
The weighting of the coordinate values is repeatedly performed a plurality of times during a predetermined time,
When obtaining a specific position in the image, a position corresponding to a value obtained by dividing the value obtained by adding the coordinate values by the number of times of adding the area satisfying the predetermined condition during the predetermined time is defined as the image. The imaging position adjustment method according to claim 5, wherein the imaging position is determined as a specific position in the image.
撮像手段で撮像された画像中の認識対象物を抽出する画像処理手段と、前記認識対象物が画像中に存在するように前記撮像手段の撮像位置を調整する制御を行う撮像位置制御手段と、を備え、
前記画像処理手段は、前記画像中における前記認識対象物が存在する領域の座標値を加算する座標値加算手段と、
前記座標値手段で得られた値を、前記認識対象物が存在する領域の数で割った値に対する位置を前記画像中の特定位置として求める特定位置算出手段と、
前記特定位置を基準として、前記撮像手段の撮像位置を決定する撮像位置決定手段と、
を有することを特徴とする撮像位置調整装置。
Image processing means for extracting a recognition target in an image picked up by an imaging means, and imaging position control means for performing control for adjusting an imaging position of the imaging means so that the recognition target is present in the image; With
The image processing unit is a coordinate value adding unit that adds a coordinate value of an area where the recognition target exists in the image,
A specific position calculating unit that obtains, as a specific position in the image, a position corresponding to a value obtained by dividing the value obtained by the coordinate value unit by the number of regions where the recognition target exists,
An imaging position determining unit that determines an imaging position of the imaging unit based on the specific position;
An imaging position adjusting device comprising:
前記座標値加算手段は、前記座標値を加算する際に、所定時間の間、前記認識対象物が存在する領域の座標値を算出し、
前記特定位置算出手段は、前記画像中の特定位置を求める際に、前記所定時間の間、前記座標値加算手段で得られた値を、前記所定時間中の前記認識対象物が存在する領域を加算した回数で割った値に対応する位置を前記画像中の特定位置として求める請求項7に記載の撮像位置調整装置。
The coordinate value adding means, when adding the coordinate value, for a predetermined time, calculates the coordinate value of the area where the recognition target is present,
The specific position calculating means, when obtaining a specific position in the image, the value obtained by the coordinate value adding means during the predetermined time, the area where the recognition target object is present during the predetermined time The imaging position adjustment device according to claim 7, wherein a position corresponding to a value obtained by dividing by the number of times of addition is obtained as a specific position in the image.
撮像手段で撮像された画像中の認識対象物を抽出する画像処理手段と、前記認識対象物が画像中に存在するように前記撮像手段の撮像位置を調整する制御を行う撮像位置制御手段と、を備え、
前記画像処理手段は、予め定められた所定の条件を満たす領域の座標値に対して重み付けを行う重み付け手段と、
重み付けされた前記所定の条件を満たす領域の座標値を加算する座標値加算手段と、
前記座標値加算手段で得られた値を、前記所定の条件を満たす領域の数で割った値に値王する位置を前記画像中の特定位置として求める特定位置算出手段と、前記特定位置を基準として、前記撮像手段の撮像位置を決定する撮像位置決定手段と、
を有することを特徴とする撮像位置調整装置。
Image processing means for extracting a recognition target in an image picked up by an imaging means, and imaging position control means for performing control for adjusting an imaging position of the imaging means so that the recognition target is present in the image; With
Weighting means for weighting coordinate values of an area satisfying a predetermined condition,
Coordinate value adding means for adding the weighted coordinate values of the area satisfying the predetermined condition,
A specific position calculation unit that obtains, as a specific position in the image, a position where a value obtained by dividing the value obtained by the coordinate value adding unit by the number of regions that satisfy the predetermined condition is used as a specific position; As an imaging position determining means for determining an imaging position of the imaging means,
An imaging position adjusting device comprising:
前記重み付け手段は、前記重み付けを行う際に、所定時間の間、予め定められた所定条件を満たす領域の座標値に重み付けを行い、
前記特定位置算出手段は、前記画像中の特定位置を求める際に、前記座標値を加算して得られた値を、前記所定時間中に前記所定条件を満たす領域を加算した回数で割った値に対応する位置を前記画像中の特定位置として求める請求項9に記載の撮像位置調整装置。
The weighting means, when performing the weighting, for a predetermined time, weights the coordinate value of an area that satisfies a predetermined condition,
The specific position calculation means calculates a value obtained by dividing the value obtained by adding the coordinate values by the number of times of adding the area satisfying the predetermined condition during the predetermined time when obtaining the specific position in the image. The imaging position adjustment device according to claim 9, wherein a position corresponding to the position is determined as a specific position in the image.
JP2002313105A 2002-10-28 2002-10-28 Method and apparatus for adjusting imaging position Pending JP2004150814A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002313105A JP2004150814A (en) 2002-10-28 2002-10-28 Method and apparatus for adjusting imaging position

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002313105A JP2004150814A (en) 2002-10-28 2002-10-28 Method and apparatus for adjusting imaging position

Publications (1)

Publication Number Publication Date
JP2004150814A true JP2004150814A (en) 2004-05-27

Family

ID=32457813

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002313105A Pending JP2004150814A (en) 2002-10-28 2002-10-28 Method and apparatus for adjusting imaging position

Country Status (1)

Country Link
JP (1) JP2004150814A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008005438A (en) * 2006-06-26 2008-01-10 Canon Inc Imaging apparatus and imaging method
JP2009296521A (en) * 2008-06-09 2009-12-17 Hitachi Ltd Television receiver
JP2019049467A (en) * 2017-09-11 2019-03-28 ファナック株式会社 Distance measurement system and distance measurement method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008005438A (en) * 2006-06-26 2008-01-10 Canon Inc Imaging apparatus and imaging method
JP2009296521A (en) * 2008-06-09 2009-12-17 Hitachi Ltd Television receiver
JP2019049467A (en) * 2017-09-11 2019-03-28 ファナック株式会社 Distance measurement system and distance measurement method

Similar Documents

Publication Publication Date Title
JP5374220B2 (en) Motion vector detection device, control method therefor, and imaging device
US7356254B2 (en) Image processing method, apparatus, and program
TWI395483B (en) Motion object detection method using adaptive background model and computer program product thereof
JP4755490B2 (en) Blur correction method and imaging apparatus
US7834907B2 (en) Image-taking apparatus and image processing method
US7599568B2 (en) Image processing method, apparatus, and program
WO2014083721A1 (en) Information processing device and information processing method
JP2003219324A (en) Image correction data calculation method, image correction data calculation apparatus, and multi- projection system
JP2010086336A (en) Image control apparatus, image control program, and image control method
JP2013197918A5 (en)
EP2824909B1 (en) Image processing device, method and program
US9218681B2 (en) Image processing apparatus and image processing method
JP2013036846A5 (en)
JP2014017802A (en) Rear camera image distortion correction device and method
JP2015194901A (en) Track device and tracking system
JP2010114752A (en) Device and method of imaging and program
JPWO2016203692A1 (en) Display control apparatus, display control method, and display control program
JP6729572B2 (en) Image processing device, image processing method, and program
JP2004150814A (en) Method and apparatus for adjusting imaging position
JP6467865B2 (en) Image processing apparatus, camera system, image processing method, and program
JP2667885B2 (en) Automatic tracking device for moving objects
JP2021029035A (en) System, control device, imaging apparatus, operation method thereof, and program
JP2011150401A (en) Dynamic range compression device and program
CN110008918A (en) A kind of motorcycle simulator driver gestures recognition methods
WO2020259603A1 (en) Image processing apparatus and method