JP2021056805A - 撮像装置および画像生成方法 - Google Patents

Abstract

【課題】外光や背景の影響を抑えた、被写体を識別可能な画像データを生成する。【解決手段】撮像部１１０が撮像する対象の顔を照明する照明部１２０と、照明部１２０が顔を照明しない状態で撮像部１１０が顔を撮像した第１の顔画像データと、照明部１２０が顔を照明した状態で撮像部１１０が顔を撮像した第２の顔画像データとの差分を算出し、算出した差分に基づいて顔の画像データを生成する画像データ生成部１３０とを有する。【選択図】図１

Description

本発明は、撮像装置および画像生成方法に関する。

近年、人物を認証する方法として様々な技術が用いられている。例えば、人物の顔を撮像して、撮像した顔の画像データとあらかじめ登録した顔の画像データと比較して、比較の結果に基づいて、本人か否かを認証する技術が考えられている。
また、きれいな画像データを得るために、複数の画像データを所定の比率で合成する技術が考えられている（例えば、特許文献１参照。）。

特許第６０４９３４３号

被写体となる顔に撮像には適しない角度から外光が当たる場所、または顔の背後から外光が入射される場所等、撮像する装置が設置される場所や設置される方角によっては、撮像した画像データから顔を識別することが困難となってしまうおそれがある。また、特許文献１に記載された技術においては、被写体だけでなく、撮像した画像全体を合成するものであるため、認証に必要ではない部分までも処理することとなり、不要な処理により撮像装置の負荷が重くなってしまうという問題点がある。

本発明の目的は、外光や背景の影響を抑えた、被写体を識別可能な画像データを取得することができる撮像装置および画像生成方法を提供することである。

上記課題を解決するため、本発明の撮像装置は、撮像部と、
前記撮像部が撮像する対象の顔を照明する照明部と、
前記照明部が前記顔を照明しない状態で前記撮像部が前記顔を撮像した第１の顔画像データと、前記照明部が前記顔を照明した状態で前記撮像部が前記顔を撮像した第２の顔画像データとの差分を算出し、該算出した差分に基づいて前記顔の画像データを生成する画像データ生成部とを有することを特徴とする。

本発明の撮像装置では、撮像部が、被写体の顔を照明部が照明した場合の被写体の顔の画像と被写体の顔を照明しない場合の顔の画像とを撮像し、画像データ生成部がこれらの２つの顔画像データの差分に基づいて、顔の画像データを生成する。そのため、本発明では、外光や背景の影響を抑えた、被写体を識別可能な画像データを取得することができる。

本発明において、撮像装置は、前記画像データ生成部は、前記第１の顔画像データを構成する各画素と、前記第２の顔画像データを構成する各画素との差分を算出する。この場合には、画素ごとの値を算出することで、より正確な画像データを得ることができる。

本発明において、撮像装置は、前記撮像部は、前記第１の顔画像データを得る撮像をしてから所定の時間内に前記第２の顔画像データを得る撮像をする。この場合には、２つの画像の撮像の時間間隔を短くすることができるため、被写体が動いたり、外光が時間とともに変化することによる顔画像データへの影響を低減でき、被写体を識別可能な画像データを取得することができる。

本発明において、撮像装置は、前記照明部は、所定の強度以下の強度の光を照射する。この場合には、撮像の対象となる人物や、その周囲の人物に不快感を与えてしまうことを回避することができる。

本発明において、撮像装置は、前記照明部は、前記撮像部から所定の距離内であって、前記顔の略正面に配置される。この場合には、照明のムラが出にくい。

本発明において、撮像装置は、前記画像データ生成部は、前記算出した差分に所定の係数を乗じた補正差分と、前記第１の顔画像データまたは前記第２の顔画像データとに基づいて、前記顔の画像データを生成する。この場合には、第１の顔画像データと第２の顔画像データとの差分が小さな値であっても、顔を識別できる画像データを得る可能性が高くなる。

本発明において、撮像装置は、前記画像データ生成部が生成した前記顔の画像データと、認証の基準となる顔の画像データとを比較して、該顔の人物を認証する認証部を有する。この場合には、より正確な顔認証処理を行うことができる。

本発明において、撮像装置は、顔の画像データを記憶する記憶部を有する。この場合には、認証の基準となる顔の画像データを記憶部にあらかじめ格納しておくことにより、より正確な顔認証処理を行うことができる。

上記課題を解決するため、本発明の画像生成方法は、顔を照明しない状態で該顔を撮像する処理と、
前記顔を照明した状態で該顔を撮像する処理と、
前記顔を照明しない状態で前記顔を撮像した第１の顔画像データと、前記顔を照明した状態で前記顔を撮像した第２の顔画像データとの差分を算出する処理と、
前記算出した差分に基づいて、前記顔の画像データを生成する処理とを行うことを特徴とする。

本発明の画像生成方法では、被写体の顔を照明した場合の被写体の顔の画像と被写体の顔を照明しない場合の顔の画像とを撮像し、これらの２つの顔画像データの差分に基づいて、顔の画像データを生成する。そのため、本発明では、外光や背景の影響を抑えた、被写体を識別可能な画像データを取得することができる。

本発明において、画像生成方法は、前記第２の顔画像データの撮像は、前記第１の顔画像データを撮像してから所定の時間内に行う。この場合には、２つの画像の撮像の時間間隔を短くすることができる。

本発明において、画像生成方法は、前記算出した差分に所定の係数を乗じた補正差分と、前記第１の顔画像データまたは前記第２の顔画像データとに基づいて、前記顔の画像データを生成する処理を行う。この場合には、第１の顔画像データと第２の顔画像データとの差分が小さな値であっても、顔を識別できる画像データを得る可能性が高くなる。

本発明において、画像生成方法は、前記顔の画像データと、認証の基準となる顔の画像データとを比較して、該顔の人物を認証する処理を行う。この場合には、より正確な顔認証処理を行うことができる。

以上説明したように、本発明においては、外光や背景の影響を抑えた、被写体を識別可能な画像データを取得することができる。

本発明の撮像装置の第１の実施の形態を示す図である。 図１に示した撮像装置と被写体との位置関係の一例を示す図である。 図１に示した撮像装置における画像生成方法の一例を説明するためのフローチャートである。 本発明の撮像装置の第２の実施の形態を示す図である。 図４に示した記憶部に記憶されている画像データの一例を示す図である。 図４に示した撮像装置における画像生成方法の一例を説明するためのフローチャートである。

以下に本発明の実施の形態について図面を参照して説明する。
（第１の実施の形態）

図１は、本発明の撮像装置の第１の実施の形態を示す図である。本形態における撮像装置１００は図１に示すように、撮像部１１０と、照明部１２０と、画像データ生成部１３０とを有する。なお、図１には本発明の撮像装置１００が具備する構成要素のうち、本形態に関わる主要な要素のみを示している。

照明部１２０は、撮像部１１０が撮像する対象となる顔に照明を当てる。照明部１２０は、所定の強度以下の強度の光を照射する。本発明においては、照明を当てない状態で撮像した第１の顔画像データと、照明を当てた状態で撮像した第２の顔画像データとの差分を算出して顔の画像データを生成するため、顔を識別可能に単独で撮像する場合と比較して、当てる（照射する）光の強度を強くする必要は無い。そのため、この所定の強度は、このような撮像方法を用いた実験や測定で得られた結果に基づいて、あらかじめ設定された値である。

撮像部１１０は、撮像部１１０との相対位置が所定の位置範囲に存在する被写体の顔画像を撮像する。特に、撮像部１１０は、被写体となる人物の顔の撮像に適した位置に設けられている。撮像部１１０は、照明部１２０が顔に照明を当てない状態で被写体の顔画像を撮像してから、所定の時間内に、照明部１２０が顔に照明を当てた状態で被写体の顔画像を撮像する。この所定の時間は、あらかじめ実験等を行って決定する時間であって、撮像部１１０が撮像した２つの画像が、人物や背景の動きに影響されないような時間である。例えば、この所定の時間として、２５０分の１秒や５００分の１秒が挙げられる。

画像データ生成部１３０は、照明部１２０が被写体となる顔に照明を当てない状態で撮像部１１０が顔を撮像した第１の顔画像データと、照明部１２０が顔に照明を当てた状態で撮像部１１０が顔を撮像した第２の顔画像データとの差分を算出する。このとき、画像データ生成部１３０は、第１の顔画像データを構成する各画素と、第２の顔画像データを構成する各画素との差分を算出する。この画素同士の差分とは、各画素の明るさや色合い、彩度等のパラメータを、顔画像データ上、互いに同じ位置（座標）にある画素について比較した差分である。画像データ生成部１３０は、算出した差分に基づいて顔の画像データを生成する。また、画像データ生成部１３０は、算出した差分に所定の係数を乗じた補正差分と、第１の顔画像データまたは第２の顔画像データとに基づいて、顔の画像データを生成するものであっても良い。具体的には、画像データ生成部１３０は、補正差分を第１の顔画像データに追加して顔の画像データを生成する。または、画像データ生成部１３０は、補正差分を第２の顔画像データから差し引いて顔の画像データを生成する。この係数は、あらかじめ設定された一意の値であっても良いし、第１の顔画像データを構成する画素のパラメータに応じて算出されたものであっても良い。この係数は、第１の顔画像データを構成する画素のパラメータに応じて算出されたものである場合、例えば、第１の顔画像データの明るさが暗い場合には、係数を乗じない、または小さな係数とし、第１の顔画像データの明るさが明るくなるほど、つまり、第１の顔画像データの明るさが第２の顔画像データの明るさに近くなるほど、大きな係数とするような線形的なものであっても良い。また、この係数は、第１の顔画像データの明るさと複数の閾値とを比較した結果に基づいた段階的な値であっても良い。

図２は、図１に示した撮像装置１００と被写体との位置関係の一例を示す図である。図２に示すように、撮像装置１００に搭載された照明部１２０は、被写体の顔２００の略正面から照明を照らすことができるように、被写体の顔２００の略正面であって、撮像部１１０から所定の距離内に配置されている。この位置に配置されることで、照明部１２０は、撮像部１１０が顔を撮像できる位置に被写体の顔２００を配置したときに、照明部１２０からの照明が被写体の顔２００を略正面から照らすことができる。なお、被写体となる人物が立つべき位置または着席すべき位置にあらかじめマーキングを行うことで、被写体となる人物をその位置へ誘導することができ、撮像部１１０が適した画像を取得するための撮像を行うこと、および照明部１２０が適した距離および方向から被写体の顔に照明を当てることができる。なお、図２に示した例では、照明部１２０が２つ配置されている場合を例に挙げて示したが、その数は限定しない。また、照明部１２０を撮像装置１００に配置する位置は、被写体の顔２００の略正面以外に、または略正面に加えて、被写体の顔２００の左右方向や被写体の顔２００の左右方向および上側などでもあってもよい。

以下に、図１に示した撮像装置１００における画像生成方法について説明する。図３は、図１に示した撮像装置１００における画像生成方法の一例を説明するためのフローチャートである。

まず、撮像装置１００が被写体の人物から所定の操作を受け付けると、撮像部１１０が被写体の顔を撮像する（ステップＳ１）。照明部１２０は、撮像部１１０が被写体の顔を撮像してから所定の時間内であるかどうかを判定する（ステップＳ２）。撮像部１１０が被写体の顔を撮像してから所定の時間内である場合、照明部１２０は光を照射して被写体の顔に照明を当てる（ステップＳ３）。すると、照明部１２０が光を照射している状態で、撮像部１１０は、被写体の顔を撮像する（ステップＳ４）。なお、ステップＳ２の処理と、ステップＳ３の処理とは、どちらを先に行っても良い。

続いて、画像データ生成部１３０は、ステップＳ１にて撮像部１１０が撮像した第１の顔画像データと、ステップＳ４にて撮像部１１０が撮像した第２の顔画像データとの差分を算出する（ステップＳ５）。具体的には、画像データ生成部１３０は、ステップＳ１にて撮像部１１０が撮像した第１の顔画像データの各画素と、ステップＳ４にて撮像部１１０が撮像した第２の顔画像データの各画素との差分を算出する。そして、画像データ生成部１３０は、算出した差分に基づいて、顔の画像データを生成する（ステップＳ６）。このとき、画像データ生成部１３０は、算出した差分そのものを用いて顔の画像データを生成しても良い。また、例えば、算出した差分があらかじめ設定された値よりも小さな値である場合、画像データ生成部１３０は、算出した差分にあらかじめ設定された係数を乗じた補正差分と、第１の顔画像データまたは第２の顔画像データとに基づいて、顔の画像データを生成しても良い。

このように、撮像部１１０が被写体の顔の画像を撮像し、所定の時間内に照明部１２０が被写体の顔に照明を当てた状態で撮像部１１０が被写体の顔を再度撮像し、２つの顔画像データの差分に基づいて、顔の画像データを生成する。そのため、撮像装置１００は、外光からの影響を抑えた、被写体を識別可能な画像データを取得することができる。具体的な効果を以下に述べる。
・外光があっても、照明部１２０の点灯前後で撮像された互いの画像データに差が無い場合、背景等の差が無い部分は暗い画像となり、外光の影響を軽減させることができる。
・照明部１２０が対象人物の顔に照明を当てる位置で点灯するため、照明部１２０から距離が離れているものは暗く、近くの対象人物の顔は明るい画像を撮像することができ、撮像対象の顔を周囲のものと比較して強調することができる。
・照明部１２０が点灯しない状態で撮像部１１０が撮像してから照明部１２０が点灯した状態で撮像部１１０が撮像を行うため、撮像対象が蓄光する機能を具備するものであっても蓄光の影響を受けない。その結果、２回の撮像間隔を極めて短時間にすることができる。
・２回の撮像間隔を極めて短時間にすることができるため、動きのある外光の影響を受けづらくなり、また、対象となる人物の瞬きや体の揺れなどによる撮像しなおしが生じてしまうことを削減させることができる。
・外光の影響を減少させることができるため、例えば、背景に天井の照明のような室内照明が映り込んでいても、その影響を受けづらくなる。背景のハイライトを飛ばすことができる。
・２回撮像した画像データの差分に基づいて画像データを生成するため、照明部１２０が外光に対して極端に強い光を照明として与える必要がない。そのため、撮像の対象となる人物や、その周囲の人物に不快感を与えてしまうことを回避することができる。
・太陽光などの外光の向きや強度などが時間とともに変化するような環境に撮像装置１００が設置されるよな場合であって、外光の向きや強度に合わせて照明部１２０の向きや強度等を変更させたり、複雑な画像処理等をすることなく、被写体を識別可能な画像データを取得することができる。
（第２の実施の形態）

図４は、本発明の撮像装置の第２の実施の形態を示す図である。本形態における撮像装置１０１は図４に示すように、撮像部１１０と、照明部１２０と、画像データ生成部１３０と、記憶部１４０と、認証部１５０とを有する。なお、図４には本発明の撮像装置１０１が具備する構成要素のうち、本形態に関わる主要な要素のみを示している。

撮像部１１０、照明部１２０および画像データ生成部１３０は、第１の実施の形態におけるものと同じものである。
記憶部１４０は、顔の画像データを記憶する。

図５は、図４に示した記憶部１４０に記憶されている画像データの一例を示す図である。図４に示した記憶部１４０には図５に示すように、利用者識別情報と顔の画像データとがあらかじめ対応付けられて記憶されている。利用者識別情報は、撮像装置１０１を用いた顔認証サービスの登録者にあらかじめ付与された固有の識別情報である。顔の画像データは、利用者識別情報が付与された利用者の顔をあらかじめ撮像した画像データである。

認証部１５０は、画像データ生成部１３０が生成した顔の画像データと、記憶部１４０が記憶している顔の画像データとを比較して、その顔の人物を認証する。この認証処理は、一般的に行われている処理を用いればよく、特に限定しない。

図４に示した撮像装置１０１と被写体との位置関係は、第１の実施の形態における、図２に示した撮像装置１００と被写体との位置関係と同様である。

以下に、図４に示した撮像装置１０１における画像生成方法について説明する。図６は、図４に示した撮像装置１０１における画像生成方法の一例を説明するためのフローチャートである。

まず、撮像装置１０１が被写体の人物から所定の操作を受け付けると、撮像部１１０が被写体の顔を撮像する（ステップＳ１１）。照明部１２０は、撮像部１１０が被写体の顔を撮像してから所定の時間内であるかどうかを判定する（ステップＳ１２）。撮像部１１０が被写体の顔を撮像してから所定の時間内である場合、照明部１２０は光を照射して被写体の顔に照明を当てる（ステップＳ１３）。すると、照明部１２０が光を照射している状態で、撮像部１１０は、被写体の顔を撮像する（ステップＳ１４）。なお、ステップＳ１２の処理と、ステップＳ１３の処理とは、どちらを先に行っても良い。

続いて、画像データ生成部１３０は、ステップＳ１１にて撮像部１１０が撮像した第１の顔画像データと、ステップＳ１４にて撮像部１１０が撮像した第２の顔画像データとの差分を算出する（ステップＳ１５）。具体的には、画像データ生成部１３０は、ステップＳ１１にて撮像部１１０が撮像した第１の顔画像データの各画素と、ステップＳ１４にて撮像部１１０が撮像した第２の顔画像データの各画素との差分を算出する。そして、画像データ生成部１３０は、算出した差分に基づいて、顔の画像データを生成する（ステップＳ１６）。このとき、画像データ生成部１３０は、算出した差分そのものを用いて顔の画像データを生成しても良い。また、例えば、算出した差分があらかじめ設定された値よりも小さな値である場合、画像データ生成部１３０は、算出した差分にあらかじめ設定された係数を乗じた補正差分と、第１の顔画像データまたは第２の顔画像データとに基づいて、顔の画像データを生成しても良い。

すると、認証部１５０は、画像データ生成部１３０が生成した顔の画像データと、記憶部１４０が記憶している顔の画像データとを比較して、顔の認証処理を行う（ステップＳ１７）。その後、認証部１５０は、認証された顔の画像データと対応付けられている利用者識別情報を記憶部１４０から読み出して、その利用者識別情報を用いて所定の処理を行う。例えば、認証部１５０が、画像データ生成部１３０が生成した顔の画像データの認証に成功すれば、その利用者識別情報が付与された利用者が撮像装置１０１または撮像装置１０１と連携した装置やシステムにおいて、登録された処理を行うことができる。これは、一般的な認証成功後の処理と同じである。

このように、撮像部１１０が被写体の顔の画像を撮像し、所定の時間内に照明部１２０が被写体の顔に照明を当てた状態で撮像部１１０が被写体の顔を再度撮像し、画像データ生成部１３０が２つの画像データの差分に基づいて、顔の画像データを生成する。そして、生成した顔の画像データと記憶部１４０にあらかじめ登録されている顔の画像データとを認証部１５０が比較して認証を行う。そのため、撮像装置１０１は、外光からの影響を抑えた、被写体を識別可能な画像データを取得し、取得した画像データを用いてより正確な顔認証を行うことができる。
画像データ生成部１３０が生成した顔の画像データと比較する顔のデータは、被写体が所有する免許証、ＩＤカード、パスポートなどの顔の画像を含む媒体を撮像装置１０１で読み込んで取得したもの等であってもよい。

第１の実施の形態で説明した撮像装置１００および第２の実施の形態で説明した撮像装置１０１は、自動契約機（ＫＩＯＳＫ端末）に適用することができる。

以上、各構成要素に各機能（処理）それぞれを分担させて説明したが、この割り当ては上述したものに限定しない。また、構成要素の構成についても、上述した形態はあくまでも例であって、これに限定しない。また、各実施の形態を組み合わせたものであっても良い。

１００，１０１ 撮像装置
１１０ 撮像部
１２０ 照明部
１３０ 画像データ生成部
１４０ 記憶部
１５０ 認証部
２００ 被写体の顔

Claims (12)

1. 撮像部と、
   前記撮像部が撮像する対象の顔を照明する照明部と、
   前記照明部が前記顔を照明しない状態で前記撮像部が前記顔を撮像した第１の顔画像データと、前記照明部が前記顔を照明した状態で前記撮像部が前記顔を撮像した第２の顔画像データとの差分を算出し、該算出した差分に基づいて前記顔の画像データを生成する画像データ生成部とを有する撮像装置。
2. 請求項１に記載の撮像装置において、
   前記画像データ生成部は、前記第１の顔画像データを構成する各画素と、前記第２の顔画像データを構成する各画素との差分を算出する撮像装置。
3. 請求項１または請求項２に記載の撮像装置において、
   前記撮像部は、前記第１の顔画像データを得る撮像をしてから所定の時間内に前記第２の顔画像データを得る撮像をする撮像装置。
4. 請求項１から３のいずれか１項に記載の撮像装置において、
   前記照明部は、所定の強度以下の強度の光を照射する撮像装置。
5. 請求項１から４のいずれか１項に記載の撮像装置において、
   前記照明部は、前記撮像部から所定の距離内であって、前記顔の略正面に配置される撮像装置。
6. 請求項１から５のいずれか１項に記載の撮像装置において、
   前記画像データ生成部は、前記算出した差分に所定の係数を乗じた補正差分と、前記第１の顔画像データまたは前記第２の顔画像データとに基づいて、前記顔の画像データを生成する撮像装置。
7. 請求項１から６のいずれか１項に記載の撮像装置において、前記画像データ生成部が生成した前記顔の画像データと、認証の基準となる顔の画像データとを比較して、該顔の人物を認証する認証部を有する撮像装置。
8. 請求項７に記載の撮像装置において、
   前記認証の基準となる顔の画像データを記憶する記憶部を有する顔認証装置。
9. 顔を照明しない状態で該顔を撮像する処理と、
   前記顔を照明した状態で該顔を撮像する処理と、
   前記顔を照明しない状態で前記顔を撮像した第１の顔画像データと、前記顔を照明した状態で前記顔を撮像した第２の顔画像データとの差分を算出する処理と、
   前記算出した差分に基づいて、前記顔の画像データを生成する処理とを行う画像生成方法。
10. 請求項９に記載の画像生成方法において、
    前記第２の顔画像データの撮像は、前記第１の顔画像データを撮像してから所定の時間内に行う画像生成方法。
11. 請求項９または請求項１０に記載の画像生成方法において、
    前記算出した差分に所定の係数を乗じた補正差分と、前記第１の顔画像データまたは前記第２の顔画像データとに基づいて、前記顔の画像データを生成する処理を行う画像生成方法。
12. 請求項９から１１のいずれか１項に記載の画像生成方法において、
    前記顔の画像データと、認証の基準となる顔の画像データとを比較して、該顔の人物を認証する処理を行う画像生成方法。

Images