JP2021114111A - 撮像支援装置、撮像支援方法、及びプログラム - Google Patents

撮像支援装置、撮像支援方法、及びプログラム Download PDF

Info

Publication number
JP2021114111A
JP2021114111A JP2020006287A JP2020006287A JP2021114111A JP 2021114111 A JP2021114111 A JP 2021114111A JP 2020006287 A JP2020006287 A JP 2020006287A JP 2020006287 A JP2020006287 A JP 2020006287A JP 2021114111 A JP2021114111 A JP 2021114111A
Authority
JP
Japan
Prior art keywords
face
face image
image
detected
insufficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020006287A
Other languages
English (en)
Inventor
英毅 入澤
Hideki Irisawa
英毅 入澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Solution Innovators Ltd
Original Assignee
NEC Solution Innovators Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Solution Innovators Ltd filed Critical NEC Solution Innovators Ltd
Priority to JP2020006287A priority Critical patent/JP2021114111A/ja
Priority to US17/147,862 priority patent/US11763596B2/en
Publication of JP2021114111A publication Critical patent/JP2021114111A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993Evaluation of the quality of the acquired pattern
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Abstract

【課題】顔が動いている場合でも、顔画像を鮮明に補正できる撮像支援装置、撮像支援方法、及びプログラムを提供する。【解決手段】撮像支援装置1は、撮像した複数の画像それぞれから、顔に対応する顔領域を有する顔画像を検出する、検出部2と、検出した顔画像を用いて、検出した顔画像に光量が不足しているか否かを判定する、判定部3と、光量が不足している場合、顔画像それぞれの大きさを調整し、調整した顔画像の顔領域それぞれを重ね合わせる、重ね合わせ部4とを有する。【選択図】図1

Description

本発明は、撮像を支援する撮像支援装置、撮像支援方法、及びプログラムに関する。
顔認証において、光量が不足している場合、撮像装置に設けられたセンサの性能が不足していると、ダイナミックレンジ、ノイズなどの影響により、顔を鮮明に撮像することができない。そこで、顔を鮮明に撮像するために、露光時間を長くして、必要な光量を得る方法が知られている。
ところが、露光時間を長くした場合、被写体が動いていると、撮像された被写体にぶれが生じ、鮮明な画像を得ることができない。そこで、露光時間を短くして撮像した複数の画像を重ね合わせて鮮明な顔画像を得る技術が知られている。
関連する技術として特許文献1には、被写体ぶれを補正する撮影装置について開示されている。特許文献1に開示の撮影装置によれば、画像それぞれから顔を検出し、検出した顔それぞれの位置に基づいて、画像を重ね合せ、ぶれを補正する。また、特許文献1に開示の撮影装置は、画像から顔が検出されない場合、角速度センサのぶれ検出状態に応じて画像を重ね合せ、手ぶれを補正する。
特開2008−236645号公報
しかしながら、特許文献1に開示された撮影装置は、静止している被写体を撮影したときに、撮影装置側の影響(手振れなどの影響)で被写体がぶれた場合に、被写体ぶれを補正する装置である。そのため、被写体が動いている場合、例えば人が歩行しているような場合には、特許文献1に開示された撮影装置を用いても、撮影された被写体のぶれを補正ができないため、鮮明な顔画像(顔に対応する顔領域を有する画像)を得ることが困難である。
本発明の目的の一例は、顔が動いている場合でも、顔画像を鮮明に補正できる撮像支援装置、撮像支援方法、及びプログラムを提供することにある。
上記目的を達成するため、本発明の一側面における撮像支援装置は、
撮像した複数の画像それぞれから、顔に対応する顔領域を有する顔画像を検出する、検出部と、
検出した前記顔画像を用いて、検出した前記顔画像に光量が不足しているか否かを判定する、判定部と、
光量が不足している場合、前記顔画像それぞれの大きさを調整し、調整した前記顔画像の顔領域それぞれを重ね合わせる、重ね合わせ部と、
を有することを特徴とする。
また、上記目的を達成するため、本発明の一側面における撮像支援方法は、
撮像した複数の画像それぞれから、顔に対応する顔領域を有する顔画像を検出する、検出ステップと、
検出した前記顔画像を用いて、検出した前記顔画像に光量が不足しているか否かを判定する、判定ステップと、
光量が不足している場合、前記顔画像それぞれの大きさを調整し、調整した前記顔画像の顔領域それぞれを重ね合わせる、重ね合わせステップと、
ことを特徴とする。
更に、上記目的を達成するため、本発明の一側面におけるプログラムは、
コンピュータに、
撮像した複数の画像それぞれから、顔に対応する顔領域を有する顔画像を検出する、検出ステップと、
検出した前記顔画像を用いて、検出した前記顔画像に光量が不足しているか否かを判定する、判定ステップと、
光量が不足している場合、前記顔画像それぞれの大きさを調整し、調整した前記顔画像の顔領域それぞれを重ね合わせる、重ね合わせステップと、
を実行させることを特徴とする。
以上のように本発明によれば、顔が動いている場合でも、顔画像を鮮明に補正できる。
図1は、撮像支援装置の一例を説明するための図である。 図2は、撮像支援装置を有するシステムの一例を説明するための図である。 図3は、ウォークスルー顔認証の説明をするための図である。 図4は、被写体を撮像した複数の画像を説明するための図である。 図5は、重ね合わせを説明するための図である。 図6は、撮像支援装置の動作の一例を説明するための図である。 図7は、撮像支援装置を実現するコンピュータの一例を説明するための図である。
(実施の形態)
以下、本発明の実施の形態について、図1から図7を参照しながら説明する。
[装置構成]
最初に、図1を用いて本実施の形態における撮像支援装置1の構成について説明する。図1は、撮像支援装置の一例を説明するための図である。
図1に示す撮像支援装置は、顔が動いている場合でも、顔に対応する顔領域を有する画像を、鮮明な画像に補正できる装置である。また、図1に示すように、撮像支援装置1は、検出部2と、判定部3と、重ね合わせ部4とを有する。
このうち、検出部2は、撮像した複数の画像それぞれから、顔に対応する顔領域を有する顔画像を検出する。判定部3は、検出した顔画像を用いて、検出した顔画像に光量が不足しているか否かを判定する。重ね合わせ部4は、光量が不足している場合、顔画像それぞれの大きさを調整し、調整した顔画像の顔領域それぞれを重ね合わせる。
このように、本実施の形態においては、光量が不足した複数の顔画像の大きさを調整し、調整した顔領域を重ね合わせることで、鮮明な顔画像を得ることができる。そのため、顔認証における顔照合の精度を向上させることができる。
また、顔認証における顔検出を簡易な方法で実現できるので、顔検出を行うハードウェアを小型化して、カメラなどの撮像装置に実装することができる。
さらに、顔検出した鮮明な顔画像だけを、顔照合を行う情報処理装置に送信するので、従来よりも情報処理装置に送信する情報量を低減できる。
[システム構成]
続いて、図2、図3を用いて、本実施の形態における撮像支援装置1の構成をより具体的に説明する。図2は、撮像支援装置を有するシステムの一例を説明するための図である。図3は、ウォークスルー顔認証の説明をするための図である。
図2に示すように、本実施の形態におけるシステムは、撮像支援装置1に加えて、撮像装置20、照合装置21、通行許可装置22を有する。また、図2において撮像支援装置1は、検出部2、判定部3、重ね合わせ部4に加えて、通信部5を有する。
システムについて説明する。
図2、図3に示すウォークスルー顔認証システムは、通行許可装置22内部又は通行許可装置22の周辺に設置された撮像装置20により撮像された人物30の顔画像を用いて顔認証を行うシステムである。その後、顔認証に成功した場合、通行許可装置22の人物30の通過を許可する。
撮像装置20は、撮像した画像を撮像支援装置に送信する。具体的には、撮像装置20は、あらかじめ設定されたタイミングごとに、被写体を複数回撮像する。図3の例は、あらかじめ設定された間隔T1ごとに、露光時間を短くして(高速で連写して)人物30を三回撮像(時刻t1、t2、t3)している。
間隔T1、撮像間隔(時刻t1から時刻t2までの時間、時刻t2から時刻t3までの時間)は、例えば、実験、シミュレーションなどにより決定する。撮像回数は、三回に限定されるものではない。
撮像装置20は、例えば、カメラなどが考えられる。また、撮像装置20は、内部に撮像支援装置1を設けるようにしてもよい。
照合装置21は、顔照合をするための装置である。具体的には、まず、照合装置21は、人物30の鮮明な顔画像を取得して、取得した顔の特徴点を抽出する。照合装置21は、例えば、目、鼻、口端などの顔の特徴点の位置を算出する。続いて、照合装置21は、算出した顔の特徴点の位置と、あらかじめデータベースなどの記憶装置に登録されている複数の人物の顔の特徴点とを照合する。
続いて、照合装置21は、照合に成功した場合、ネットワークを介して、通行許可装置22に対して通行許可を表す通行情報を送信する。なお、照合装置21は、照合に失敗した場合、通行許可装置22に対して通行許可をしないことを表す通行情報を送信する。
なお、照合装置21は、例えば、サーバコンピュータ、パーソナルコンピューターなどの情報処理装置である。
通行許可装置22は、通行を許可する装置である。具体的には、まず、通行許可装置22は、照合装置21から通行情報を受信すると、通行情報の内容に基づいて人物30を通行させるか否かを決定する。続いて、通行許可装置22は、人物30に通行を許可する場合に、通行許可装置22がゲート装置であるとすると、ゲート装置に設けられた扉などを開く。
なお、通行許可装置22は、スピーカ、モニタなどが接続されている場合、音声、画像などを用いて、人物30に対して通行を許可する旨を通知してもよい。また、通行許可装置22は、照合装置21の内部に設けてもよい。
撮像支援装置について説明をする。
検出部2は、撮像したそれぞれから顔画像を含む領域を検出する。具体的には、検出部2は、まず、撮像装置20に設けられているカメラなどから、人物30を撮像した複数の画像を取得する。
図4は、被写体を撮像した複数の画像を説明するための図である。図4のAに示す画像は、図3における時刻t0に対応する時刻t1において撮像された画像である。図4のBに示す画像は、図3における時刻t0後の時刻t2において撮像された画像である。図4のCに示す画像は、図3における時刻t0後の時刻t3において撮像された画像である。
したがって、図4のAで撮像された顔画像は、図4のB、Cで撮像された顔画像より小さく撮像され、図4のBで撮像された顔画像は、図4のCで撮像された顔画像より小さく撮像される。
続いて、検出部2は、撮像した複数の画像それぞれから、顔に対応する顔領域を有する顔画像を検出する。例えば、画像から肌の色に対応する領域を検出し、顔に対応する領域を有する顔画像とする。又は、画像の上部何割かの領域(例えば三割)を、顔に対応する領域を有する顔画像としてもよい。また、背景と人物との差分検出により頭部を抽出する方法を用いても良い。
判定部3は、検出した顔画像を用いて、検出した顔画像に光量が不足しているか否かを判定する。具体的には、判定部3は、まず、検出部2が検出した領域を用いて、領域ごとにヒストグラムを生成する。続いて、判定部3は、生成したヒストグラムに基づいて、領域に光量が不足しているか否かを判定する。
例えば、判定部3は、検出した顔画像それぞれについて、輝度ごとの画素数を表すヒストグラムを生成する。そして、判定部3は、検出した顔画像それぞれについて、輝度ごとの画素数と、輝度ごとにあらかじめ設定された閾値とを比較して光量が不足しているか否か判定する。
また、ヒストグラムを比較する際に、顔を検出できる場合は、顔画像の顔付近に対応する領域のヒストグラムを用いることで、画像全体のヒストグラムを判定するよりも顔付近に対応する領域の光量が不足していることを判定し易い。顔の付近とは、例えば、顔画像において、顔に対応する領域から、あらかじめ設定された距離にある領域である。
判定部3は、光量が不足していない場合、すなわち、検出した顔画像のいずれかに、光量が不足していない顔画像がある場合、最も光量が多い顔画像を選択して、鮮明な画像とする。ただし、判定部3は、あらかじめ閾値を設定し、閾値以上の光量の顔画像を選択してもよい。なお、閾値は、例えば、実験、シミュレーションなどにより決定する。
重ね合わせ部4は、光量が不足している場合、画像それぞれで検出した顔画像の大きさを調整し、調整した顔画像それぞれを重ね合わせる。具体的には、重ね合わせ部4は、まず、顔画像の動いた方向を検出する。なお、方向を検出は、例えば、撮影した二枚の顔画像について、それぞれ画像の中心座標を求め、それらの差分により顔が動いた方向を特定する。
続いて、重ね合わせ部4は、領域それぞれの大きさを拡大又は縮小して調整した後、検出した方向に基づいて、調整した領域の顔に対応する顔領域を重ね合わせる。図5は、重ね合わせを説明するための図である。図5の例では、時刻t1、t2、t3に対応する領域は、領域の大きさが異なるので、時刻t1の領域を、時刻t2、t3の領域に合わせて縮小している。
理由は、時刻t2、t3の顔画像を時刻t1の顔画像に合わせて縮小すると、縮小により、顔画像がシャープな画像になるためである。逆に、時刻t1、t2の顔画像を、時刻t3の顔画像に合わせて拡大すると、顔画像がぼやけてしまうので、鮮明な画像を得られなくなる。ただし、顔画像の調整は、上述した縮小、拡大を考慮したうえで、どの時刻の領域に合わせこんでもよい。
拡大・縮小は、検出した顔(又は頭部)の大きさを基準として行う。なお、顔の解像度によっては、間引きによる情報量減少を抑える観点から、拡大するほうが良いと判断する場合もある。
また、重ね合わせ部4は、顔画像の調整が終わると、顔画像の動いた方向(顔が動いた方向)などに基づいて、顔画像の顔に対応する領域を重ね合わせる。そうすることで、顔画像のダイナミックレンジが向上し、顔領域のノイズが低減する。すなわち、高速で連続して撮像した画像は光量が不足しがちであるが、重ね合わせることで鮮明な画像を得ることができる。
ここで、ノイズとは、センサのアナログ特性に起因する電気的ノイズを指す。このノイズはランダム性が高いため、同じ画素で異なる時間を足し合わせると、ノイズ分は相殺されて低減し、信号分(各色に対する輝度)は増幅される。この特性により、異なる時間の画像を重ね合わせることでノイズ分を低減できる。
通信部5は、鮮明な顔画像を照合装置21へ送信する。具体的には、通信部5は、光量が不足していない場合、判定部3が選択した最も光量が多い顔画像を取得して、ネットワークを介して照合装置21へ送信する。また、通信部5は、光量が不足している場合、重ね合わせ部4から、重ね合わせた顔画像を取得し、ネットワークを介して照合装置21へ送信する。なお、通信部5は、例えば、有線又は無線通信を用いることが考えられる。
[装置動作]
次に、本発明の実施の形態における撮像支援装置の動作について図6を用いて説明する。図6は、撮像支援装置の動作の一例を説明するための図である。以下の説明においては、適宜図2から図5を参照する。また、本実施の形態では、撮像支援装置を動作させることによって、撮像支援方法が実施される。よって、本実施の形態における撮像支援方法の説明は、以下の撮像支援装置の動作説明に代える。
図6に示すように、最初に、検出部2は、撮像したそれぞれから顔画像を含む領域を検出する(ステップA1)。具体的には、ステップA1において、検出部2は、まず、撮像装置20に設けられているカメラなどから、人物30を撮像した複数の画像を取得する。
続いて、ステップA1において、検出部2は、撮像した複数の画像それぞれから、顔に対応する顔領域を有する顔画像を検出する。例えば、画像から肌の色に対応する領域を検出し、顔に対応する領域を有する顔画像とする。又は、画像の上三分の一の領域を、顔に対応する領域を有する顔画像としてもよい。
次に、判定部3は、検出した顔画像を用いて、検出した顔画像に光量が不足しているか否かを判定する(ステップA2)。具体的には、ステップA2において、判定部3は、まず、検出部2が検出した領域を用いて、領域ごとにヒストグラムを生成する。続いて、ステップA2において、判定部3は、生成したヒストグラムに基づいて、領域に光量が不足しているか否かを判定する。
次に、判定部3は、光量が不足していない場合(ステップA3:No)、すなわち、検出した顔画像のいずれかに、光量が不足していない顔画像がある場合、最も光量が多い顔画像を選択して、鮮明な画像とする(ステップA4)。ただし、判定部3は、あらかじめ閾値を設定し、閾値以上の光量の顔画像を選択してもよい。なお、閾値は、例えば、実験、シミュレーションなどにより決定する。
次に、重ね合わせ部4は、光量が不足している場合(ステップA3:Yes)、画像それぞれで検出した領域の大きさを調整し、調整した領域それぞれを重ね合わせる(ステップA5)。
具体的には、ステップA5において、重ね合わせ部4は、まず、領域の動いた方向を検出する。続いて、ステップA5において、重ね合わせ部4は、領域それぞれの大きさを拡大又は縮小して調整した後、検出した方向に基づいて、調整した領域の顔に対応する顔領域を重ね合わせる。
続いて、ステップA5において、重ね合わせ部4は、領域の調整が終わると、検出した領域の動いた方向(顔が動いた方向)などに基づいて、領域の顔領域を重ね合わせる。そうすることで、領域のダイナミックレンジが向上し、顔領域以外の領域のノイズが低減する。すなわち、高速で連続して撮像した画像は光量が不足しがちであるが、重ね合わせることで鮮明な画像を得ることができる。
通信部5は、鮮明な顔画像を照合装置21へ送信する(ステップA6)。具体的には、ステップA6において、通信部5は、光量が不足していない場合、判定部3が選択した最も光量が多い顔画像を取得して、ネットワークを介して照合装置21へ送信する。また、ステップA6において、通信部5は、光量が不足している場合、重ね合わせ部4から、重ね合わせた顔画像を取得し、ネットワークを介して照合装置21へ送信する。
[本実施の形態の効果]
以上のように本実施の形態によれば、光量が不足した複数の顔画像の大きさを調整し、調整した顔領域を重ね合わせることで、鮮明な顔画像を得ることができる。そのため、顔認証における顔照合の精度を向上させることができる。
また、顔認証における顔検出を簡易な方法で実現できるので、顔検出を行うハードウェアを小型化して、カメラなどの撮像装置に実装することができる。
さらに、顔検出した鮮明な顔画像だけを、顔照合を行う情報処理装置に送信するので、従来よりも情報処理装置に送信する情報量を低減できる。
[プログラム]
本発明の実施の形態におけるプログラムは、コンピュータに、図6に示すステップA1からA6を実行させるプログラムであればよい。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における撮像支援装置と撮像支援方法とを実現することができる。この場合、コンピュータのプロセッサは、検出部2、判定部3、重ね合わせ部4として機能し、処理を行なう。
また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されてもよい。この場合は、例えば、各コンピュータが、それぞれ、検出部2、判定部3、重ね合わせ部4のいずれかとして機能してもよい。
[物理構成]
ここで、実施の形態におけるプログラムを実行することによって、撮像支援装置を実現するコンピュータについて図7を用いて説明する。図7は、本発明の実施の形態における撮像支援装置を実現するコンピュータの一例を示す図である。
図7に示すように、コンピュータ110は、CPU(Central Processing Unit)111と、メインメモリ112と、記憶装置113と、入力インターフェイス114と、表示コントローラ115と、データリーダ/ライタ116と、通信インターフェイス117とを備える。これらの各部は、バス121を介して、互いにデータ通信可能に接続される。なお、コンピュータ110は、CPU111に加えて、又はCPU111に代えて、GPU(Graphics Processing Unit)、又はFPGA(Field-Programmable Gate Array)を備えていてもよい。
CPU111は、記憶装置113に格納された、本実施の形態におけるプログラム(コード)をメインメモリ112に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ112は、典型的には、DRAM(Dynamic Random Access Memory)等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体120に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス117を介して接続されたインターネット上で流通するものであってもよい。
また、記憶装置113の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置があげられる。入力インターフェイス114は、CPU111と、キーボード及びマウスといった入力機器118との間のデータ伝送を仲介する。表示コントローラ115は、ディスプレイ装置119と接続され、ディスプレイ装置119での表示を制御する。
データリーダ/ライタ116は、CPU111と記録媒体120との間のデータ伝送を仲介し、記録媒体120からのプログラムの読み出し、及びコンピュータ110における処理結果の記録媒体120への書き込みを実行する。通信インターフェイス117は、CPU111と、他のコンピュータとの間のデータ伝送を仲介する。
また、記録媒体120の具体例としては、CF(Compact Flash(登録商標))及びSD(Secure Digital)等の汎用的な半導体記憶デバイス、フレキシブルディスク(Flexible Disk)等の磁気記録媒体、又はCD−ROM(Compact Disk Read Only Memory)などの光学記録媒体があげられる。
[付記]
以上の実施の形態に関し、更に以下の付記を開示する。上述した実施の形態の一部又は全部は、以下に記載する(付記1)から(付記9)により表現することができるが、以下の記載に限定されるものではない。
(付記1)
撮像した複数の画像それぞれから、顔に対応する顔領域を有する顔画像を検出する、検出部と、
検出した前記顔画像を用いて、検出した前記顔画像に光量が不足しているか否かを判定する、判定部と、
光量が不足している場合、前記顔画像それぞれの大きさを調整し、調整した前記顔画像の顔領域それぞれを重ね合わせる、重ね合わせ部と、
を有することを特徴とする撮像支援装置。
(付記2)
付記1に記載の撮像支援装置であって、
前記判定部は、前記顔画像を用いて、輝度ごとの画素数を表すヒストグラムを生成し、生成した前記ヒストグラムに基づいて、光量が不足しているか否かを判定する
ことを特徴とする撮像支援装置。
(付記3)
付記1又は2に記載の撮像支援装置であって、
前記重ね合わせ部は、前記顔画像の動いた方向を検出し、前記顔画像のそれぞれの大きさを拡大又は縮小して調整した後、検出した前記方向に基づいて、調整した前記顔画像を重ね合わせる
ことを特徴とする撮像支援装置。
(付記4)
撮像した複数の画像それぞれから、顔に対応する顔領域を有する顔画像を検出する、検出ステップと、
検出した前記顔画像を用いて、検出した前記顔画像に光量が不足しているか否かを判定する、判定ステップと、
光量が不足している場合、前記顔画像それぞれの大きさを調整し、調整した前記顔画像の顔領域それぞれを重ね合わせる、重ね合わせステップと、
ことを特徴とする撮像支援方法。
(付記5)
付記4に記載の撮像支援方法であって、
前記判定ステップにおいて、前記顔画像を用いて、輝度ごとの画素数を表すヒストグラムを生成し、生成した前記ヒストグラムに基づいて、光量が不足しているか否かを判定する
ことを特徴とする撮像支援方法。
(付記6)
付記4又は5に記載の撮像支援方法であって、
前記重ね合わせステップにおいて、前記顔画像の動いた方向を検出し、前記顔画像のそれぞれの大きさを拡大又は縮小して調整した後、検出した前記方向に基づいて、調整した前記顔画像を重ね合わせる
ことを特徴とする撮像支援方法。
(付記7)
コンピュータに、
撮像した複数の画像それぞれから、顔に対応する顔領域を有する顔画像を検出する、検出ステップと、
検出した前記顔画像を用いて、検出した前記顔画像に光量が不足しているか否かを判定する、判定ステップと、
光量が不足している場合、前記顔画像それぞれの大きさを調整し、調整した前記顔画像の顔領域それぞれを重ね合わせる、重ね合わせステップと、
を実行させるプログラム。
(付記8)
付記7に記載のプログラムであって、
前記判定ステップにおいて、前記顔画像を用いて、輝度ごとの画素数を表すヒストグラムを生成し、生成した前記ヒストグラムに基づいて、光量が不足しているか否かを判定する
ことを特徴とするプログラム。
(付記9)
付記7又は8に記載のプログラムであって、
前記重ね合わせステップにおいて、前記顔画像の動いた方向を検出し、前記顔画像のそれぞれの大きさを拡大又は縮小して調整した後、検出した前記方向に基づいて、調整した前記顔画像を重ね合わせる
ことを特徴とするプログラム。
以上のように本発明によれば、顔が動いている場合でも、顔画像を鮮明に補正できる。本発明は、ウォークスルー顔認証になどの分野において有用である。
1 撮像支援装置
2 検出部
3 判定部
4 重ね合わせ部
5 通信部
20 撮像装置
21 照合装置
22 通行許可装置
30 人物
110 コンピュータ
111 CPU
112 メインメモリ
113 記憶装置
114 入力インターフェイス
115 表示コントローラ
116 データリーダ/ライタ
117 通信インターフェイス
118 入力機器
119 ディスプレイ装置
120 記録媒体
121 バス

Claims (9)

  1. 撮像した複数の画像それぞれから、顔に対応する顔領域を有する顔画像を検出する、検出手段と、
    検出した前記顔画像を用いて、検出した前記顔画像に光量が不足しているか否かを判定する、判定手段と、
    光量が不足している場合、前記顔画像それぞれの大きさを調整し、調整した前記顔画像の顔領域それぞれを重ね合わせる、重ね合わせ手段と、
    を有することを特徴とする撮像支援装置。
  2. 請求項1に記載の撮像支援装置であって、
    前記判定手段は、前記顔画像を用いて、輝度ごとの画素数を表すヒストグラムを生成し、生成した前記ヒストグラムに基づいて、光量が不足しているか否かを判定する
    ことを特徴とする撮像支援装置。
  3. 請求項1又は2に記載の撮像支援装置であって、
    前記重ね合わせ手段は、前記顔画像の動いた方向を検出し、前記顔画像のそれぞれの大きさを拡大又は縮小して調整した後、検出した前記方向に基づいて、調整した前記顔画像を重ね合わせる
    ことを特徴とする撮像支援装置。
  4. 撮像した複数の画像それぞれから、顔に対応する顔領域を有する顔画像を検出する、検出ステップと、
    検出した前記顔画像を用いて、検出した前記顔画像に光量が不足しているか否かを判定する、判定ステップと、
    光量が不足している場合、前記顔画像それぞれの大きさを調整し、調整した前記顔画像の顔領域それぞれを重ね合わせる、重ね合わせステップと
    を有することを特徴とする撮像支援方法。
  5. 請求項4に記載の撮像支援方法であって、
    前記判定ステップにおいて、前記顔画像を用いて、輝度ごとの画素数を表すヒストグラムを生成し、生成した前記ヒストグラムに基づいて、光量が不足しているか否かを判定する
    ことを特徴とする撮像支援方法。
  6. 請求項4又は5に記載の撮像支援方法であって、
    前記重ね合わせステップにおいて、前記顔画像の動いた方向を検出し、前記顔画像のそれぞれの大きさを拡大又は縮小して調整した後、検出した前記方向に基づいて、調整した前記顔画像を重ね合わせる
    ことを特徴とする撮像支援方法。
  7. コンピュータに、
    撮像した複数の画像それぞれから、顔に対応する顔領域を有する顔画像を検出する、検出ステップと、
    検出した前記顔画像を用いて、検出した前記顔画像に光量が不足しているか否かを判定する、判定ステップと、
    光量が不足している場合、前記顔画像それぞれの大きさを調整し、調整した前記顔画像の顔領域それぞれを重ね合わせる、重ね合わせステップと
    を実行させるプログラム。
  8. 請求項7に記載のプログラムであって、
    前記判定ステップにおいて、前記顔画像を用いて、輝度ごとの画素数を表すヒストグラムを生成し、生成した前記ヒストグラムに基づいて、光量が不足しているか否かを判定する
    ことを特徴とするプログラム。
  9. 請求項7又は8に記載のプログラムであって、
    前記重ね合わせステップにおいて、前記顔画像の動いた方向を検出し、前記顔画像のそれぞれの大きさを拡大又は縮小して調整した後、検出した前記方向に基づいて、調整した前記顔画像を重ね合わせる
    ことを特徴とするプログラム。
JP2020006287A 2020-01-17 2020-01-17 撮像支援装置、撮像支援方法、及びプログラム Pending JP2021114111A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020006287A JP2021114111A (ja) 2020-01-17 2020-01-17 撮像支援装置、撮像支援方法、及びプログラム
US17/147,862 US11763596B2 (en) 2020-01-17 2021-01-13 Image capturing support apparatus, image capturing support method, and computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020006287A JP2021114111A (ja) 2020-01-17 2020-01-17 撮像支援装置、撮像支援方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2021114111A true JP2021114111A (ja) 2021-08-05

Family

ID=76857401

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020006287A Pending JP2021114111A (ja) 2020-01-17 2020-01-17 撮像支援装置、撮像支援方法、及びプログラム

Country Status (2)

Country Link
US (1) US11763596B2 (ja)
JP (1) JP2021114111A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021114111A (ja) * 2020-01-17 2021-08-05 Necソリューションイノベータ株式会社 撮像支援装置、撮像支援方法、及びプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4180027B2 (ja) * 2004-08-27 2008-11-12 株式会社豊田中央研究所 顔部品位置検出装置及び方法並びにプログラム
JP4130820B2 (ja) * 2004-08-27 2008-08-06 株式会社豊田中央研究所 顔中心位置検出装置及び方法並びにプログラム
KR100693412B1 (ko) * 2005-05-16 2007-03-09 주식회사 아이디테크 영상에서 감시대상의 눈을 검출하는 방법
JP4867365B2 (ja) * 2006-01-30 2012-02-01 ソニー株式会社 撮像制御装置、撮像装置および撮像制御方法
JP4665780B2 (ja) * 2006-01-30 2011-04-06 ソニー株式会社 顔重要度判定装置、方法、および撮像装置
JP4845698B2 (ja) * 2006-12-06 2011-12-28 アイシン精機株式会社 眼部検出装置、眼部検出方法及びプログラム
JP2008236645A (ja) 2007-03-23 2008-10-02 Fujifilm Corp 撮影装置
JP4780088B2 (ja) * 2007-11-09 2011-09-28 アイシン精機株式会社 顔画像撮像装置、顔画像撮像方法、及びそのプログラム
JP5479068B2 (ja) * 2009-12-16 2014-04-23 キヤノン株式会社 画像処理装置及び画像処理方法
WO2011158463A1 (ja) * 2010-06-17 2011-12-22 パナソニック株式会社 外光映り込み判定装置、視線検出装置及び外光映り込み判定方法
US8792679B2 (en) * 2011-09-09 2014-07-29 Imprivata, Inc. Low-light face detection
KR101381439B1 (ko) * 2011-09-15 2014-04-04 가부시끼가이샤 도시바 얼굴 인식 장치 및 얼굴 인식 방법
JP5913940B2 (ja) * 2011-12-01 2016-05-11 キヤノン株式会社 画像認識装置、画像認識装置の制御方法、およびプログラム
JP7039183B2 (ja) * 2017-05-31 2022-03-22 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
EP3652701A4 (en) * 2017-07-13 2021-11-03 Shiseido Company, Limited VIRTUAL FACE MAKEUP REMOVAL, FAST FACE RECOGNITION AND LANDMARK TRACKING
JP2021114111A (ja) * 2020-01-17 2021-08-05 Necソリューションイノベータ株式会社 撮像支援装置、撮像支援方法、及びプログラム

Also Published As

Publication number Publication date
US11763596B2 (en) 2023-09-19
US20210227131A1 (en) 2021-07-22

Similar Documents

Publication Publication Date Title
JP7365445B2 (ja) コンピューティング装置及び方法
KR102299847B1 (ko) 얼굴 인증 방법 및 장치
EP3525165B1 (en) Method and apparatus with image fusion
JP5959951B2 (ja) 映像処理装置、映像処理方法、及びプログラム
JP2012530994A (ja) 半顔面検出のための方法および装置
JP4739870B2 (ja) サングラス検出装置及び顔中心位置検出装置
US11100655B2 (en) Image processing apparatus and image processing method for hiding a specific object in a captured image
KR20190053602A (ko) 얼굴 인증 방법 및 장치
US9551918B2 (en) Image processing apparatus, image processing method, and computer-readable storage medium
JP2007233871A (ja) 画像処理装置、コンピュータの制御方法及びプログラム
US20220019771A1 (en) Image processing device, image processing method, and storage medium
KR101661211B1 (ko) 얼굴 인식률 개선 장치 및 방법
JP6365355B2 (ja) 画像生成装置および画像生成方法
TWI749370B (zh) 臉部辨識方法及其相關電腦系統
JP2019040472A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP2021114111A (ja) 撮像支援装置、撮像支援方法、及びプログラム
JP6098133B2 (ja) 顔構成部抽出装置、顔構成部抽出方法及びプログラム
US10521653B2 (en) Image processing device, image processing method, and storage medium
JP2008234619A (ja) 顔認証装置および顔認証方法
JP2014116033A (ja) 個人認証装置及び個人認証方法、カメラ、プログラム並びに記憶媒体
JP2018151685A (ja) 動き量算出プログラム、動き量算出方法、動き量算出装置及び業務支援システム
JP4789526B2 (ja) 画像処理装置、画像処理方法
JP2013029996A (ja) 画像処理装置
KR101149603B1 (ko) 표정 인식 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
JP2021034040A (ja) 映像処理方法、コンピュータプログラム及び映像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240109