JP2020086921A

JP2020086921A - 画像処理装置

Info

Publication number: JP2020086921A
Application number: JP2018220308A
Authority: JP
Inventors: 英之瀧下; Hideyuki Takishita
Original assignee: Alpine Electronics Inc
Current assignee: Alpine Electronics Inc
Priority date: 2018-11-26
Filing date: 2018-11-26
Publication date: 2020-06-04

Abstract

【課題】画像（写真）に含まれる顔情報を加工することにより、プライバシー保護と感情推定を行うことができるが画像処理装置を提供すること。【解決手段】画像処理装置１００は、人物が含まれる入力画像を取り込む画像入力部１１０と、入力画像に含まれる人物の顔認識を行って顔画像を識別する顔認識部１２０と、顔認識部１２０による顔認識によって識別された顔画像に含まれる特徴点を抽出する特徴抽出部１３０と、特徴抽出部１３０によって抽出された特徴点が含まれる線で人物の顔画像を描画する顔描画部１４０と、入力画像に含まれる人物の顔画像を、顔描画部１４０によって描画された顔画像に置き換える画像加工部１５０とを備えている。【選択図】図２

Description

本発明は、写真に含まれる人物の顔情報を加工する画像処理装置に関する。

最近のドライバーモニタリングシステムは、ドライバーの映像情報からその骨格や顔の特徴を見出し、姿勢や感情などを推定し、ドライバーに合った情報を探して各種の提案を行うものである。このような姿勢や感情などを推定するためには、例えば、複数のドライバーの様々な状態での写真を使ってディープラーニングを行う必要がある。また、推定の精度を上げるためには、多くのドライバーに合わせた学習から、さらに車両の使用者個人の写真を使っての学習を行う必要がある。

写真を使った学習では、例えば、ドライバー等の写真を撮ってからネットワーク経由でサーバにこれらの写真を送って学習させようとすると、これらの写真には個人が特定可能な顔情報が含まれるため、個人のプライバシーの保護を図ろうとすると、これらの写真の入手が困難になる。

このようなプライバシー保護の観点からは、個人の特定につながる顔情報を、自分の顔をイラスト化して置き換えることが考えられる。イラスト化の従来技術としては、ユーザの個性を反映した画像を、写真画像をもとに簡単に作成して、画像に個性を持たせるとともに、プリバシーなどの問題も回避した画像を生成するようにした画像処理装置が知られている（例えば、特許文献１参照。）。具体的には、この画像処理装置によるイラスト化では、顔画像を円弧の集合体で表するとともに、予め記憶しておいたユーザのタッチを用いて円弧の調子を変えることにより、ユーザの個性が表現される画像となるようにしている。

特許第４９２０４５７号公報

ところで、上述した特許文献１に開示された画像処理装置によるイラスト化によって写真を加工することを考えると、顔情報が加工されることによりプライバシー保護を図ることは可能となるが、顔情報に含まれる感情推定に必要な特徴がイラスト化によって失われてしまうという問題があった。

本発明は、このような点に鑑みて創作されたものであり、その目的は、画像（写真）に含まれる顔情報を加工することにより、プライバシー保護と感情推定を行うことができるが画像処理装置を提供することにある。

上述した課題を解決するために、本発明の画像処理装置は、人物が含まれる入力画像を取り込む画像入力手段と、入力画像に含まれる人物の顔認識を行って顔画像を識別する顔認識手段と、顔認識手段による顔認識によって識別された顔画像に含まれる特徴点を抽出する特徴抽出手段と、特徴抽出手段によって抽出された特徴点が含まれる線で人物の顔画像を描画する顔描画手段と、入力画像に含まれる人物の顔画像を、顔描画手段によって描画された顔画像に置き換える画像加工手段とを備えている。

入力画像に含まれる人物の顔情報が、特徴点が含まれる線を用いて描画された顔画像に置き換えられるため、この置き換え後の入力画像を見ただけでは人物を特定することができず、個人のプライバシーの保護が可能となる。

また、上述した特徴抽出手段は、感情推定に用いられる特徴点を抽出することが望ましい。このように、置き換えられた顔画像を構成する線には、感情推定に用いられる特徴点が含まれているため、顔画像置き換え後の入力画像に基づいて人物の感情推定を行うことが可能となる。

また、上述した画像入力手段は、人物とともにその周囲の背景が含まれる入力画像を取り込むことが望ましい。このように、入力画像の人物の背景を含ませることにより、周囲の状況を加味して正確な感情推定を行うことが可能となる。

また、上述した画像加工手段によって顔画像が置き換えられた後の入力画像を所定のサーバに向けて送信する送信手段をさらに含むことが望ましい。顔画像が置き換えられた後の入力画像が送信されるため、サーバ側では、送られてきた入力画像からは人物が特定できず、一方で人物の感情推定が可能なため多くの人物について学習することができる。

一実施形態の画像処理装置の全体構成を示す図である。画像加工プログラムを実行することで動作する画像処理装置の機能ブロックの構成図である。顔画像の特徴点の具体例を示す図である。本実施形態の画像処理装置の動作手順を示す流れ図である。画像加工部による処理結果の一例を示す図である。

以下、本発明を適用した一実施形態の画像処理装置について、図面を参照しながら説明する。

図１は、一実施形態の画像処理装置の全体構成を示す図である。図１に示すように、本実施形態の画像処理装置１００は、操作部１０、入力処理部１２、表示処理部２０、表示装置２２、ＣＰＵ３０、メモリ４０、ＵＳＢインタインタフェース部（ＵＳＢＩＦ）５０、入出力インタフェース部（Ｉ／ＯＩＦ）６０を備えている。この画像処理装置１００は、例えば車両に搭載されている。この画像処理装置１００は、ヘッドユニット等に組み込まれる場合の他、単独で設置される場合が考えられる。

操作部１０は、画像処理装置１００に対する利用者による操作を受け付けるためのものであり、各種の操作キー、操作スイッチ、操作つまみ等を含んで構成されている。入力処理部１２は、操作部１０を監視しており、利用者による操作内容を決定する。

表示処理部２０は、各種の操作画面や入力画面等を表示する映像信号を出力して表示装置２２にこれらの画面を表示する。表示装置２２は、例えば液晶表示装置（ＬＣＤ）を用いて構成されている。

ＣＰＵ３０は、メモリ４０に格納された所定のプログラムを実行することにより、画像処理装置１００の全体を制御するとともに、人物（利用者）を撮像した画像に対して所定の加工処理等を行うために必要な各種の動作を行う。

メモリ４０は、ＣＰＵ３０の動作プログラムを格納するとともに、ＣＰＵ３０の動作に必要な各種データを格納する作業領域として用いられる。ＣＰＵ３０によって実行される動作プログラムには、人物の撮像から画像の加工処理までを行う動作プログラム（画像加工プログラム）が含まれている。メモリ４０は、例えば、ＲＯＭやＲＡＭ等の半導体メモリによって構成されており、これら以外にハードディスク装置などを含むようにしてもよい。

ＵＳＢインタフェース部５０は、ＵＳＢケーブルを介して携帯端末装置９０などとの間で信号の入出力を行うためのものである。このＵＳＢインタフェース部５０には、ＵＳＢポートやＵＳＢホストコントローラが含まれる。なお、画像処理装置１００と携帯端末装置９０等との間の接続は、ブルートゥース（登録商標）や無線ＬＡＮを用いて接続するようにしてもよい。

入出力インタフェース部６０は、各種の入出力機器との間で信号（データ）の入出力処理を行う。カメラ６２は、車両の運転者としての利用者を撮像するためのものであり、運転席前方の所定位置に設置されている。

図２は、画像加工プログラムを実行することで動作する画像処理装置１００の機能ブロックの構成図である。図２に示す画像処理装置１００は、上述したカメラ６２以外に、ＣＰＵ３０によって画像加工プログラムを実行することにより実現される機能ブロックとしての画像入力部１１０、画像格納部１１２、顔認識部１２０、特徴抽出部１３０、顔描画部１４０、画像加工部１５０、画像送信部１６０を含んで構成されている。

画像入力部１１０は、カメラ６２によって撮像された利用者およびその周辺が含まれる撮像画像（入力画像）を取り込む。画像格納部１１２は、画像入力部１１０によって取り込まれた入力画像を格納する。この画像格納部１１２は、例えばメモリ４０の一部を用いて構成されている。

顔認識部１２０は、画像格納部１１２に格納された入力画像を読み出し、この入力画像に含まれる人物（利用者）の顔認識を行って顔画像を識別する。この顔認識によって、顔画像に対応する部分画像が、その周囲と区別される。

特徴抽出部１３０は、顔認識部１２０による顔認識による識別結果に基づいて他と区別された顔画像に含まれる特徴点を抽出する。図３は、顔画像の特徴点の具体例を示す図である。

顔描画部１４０は、特徴抽出部１３０によって抽出された特徴点が含まれる線で、これらの特徴点抽出の対象になった利用者の顔画像を線画によって描画する。例えば、目に関する特徴点として、目頭、目尻、瞳が抽出された場合に、目頭と目尻を両端とし、瞳が含まれる虹彩と接するように曲線で上目蓋と下目蓋が描画される。同様にして、他の特徴点に関連する部位が直線や曲線で描画される。

画像加工部１５０は、画像格納部１１２に格納された入力画像を読み出し、この入力画像に含まれる人物の顔画像を、顔描画部１４０によって線画として描画された顔画像に置き換える。

画像送信部１６０は、画像加工部１５０によって顔画像が置き換えられた後の入力画像を、ＵＳＢインタフェース部５０を介して携帯端末装置９０からサーバ２００に向けて送信する。このサーバ２００は、このようにして加工された入力画像を受信し、この受信した画像に基づいてこの画像に含まれる人物の感情および／または姿勢を推定する。また、サーバ２００は、同様の入力画像を各車両の画像処理装置１００から受信して学習を行うことにより、感情および／または姿勢の推定精度を高めることができる。

上述した画像入力部１１０が画像入力手段に、顔認識部１２０が顔認識手段に、特徴抽出部１３０が特徴抽出手段に、顔描画部１４０が顔描画手段に、画像加工部１５０が画像加工手段に、画像送信部１６０が送信手段にそれぞれ対応する。

本実施形態の画像処理装置１００はこのような構成を有しており、次に、その動作を説明する。

図４は、本実施形態の画像処理装置１００の動作手順を示す流れ図である。まず、画像入力部１１０は、カメラ６２によって撮像された車室内の撮像画像を取り込むことにより、画像の入力を行う（ステップ１００）。入力された画像（入力画像）は、画像格納部１１２に格納される。

次に、顔認識部１２０は、この入力画像を読み出して、その中に含まれる人物の顔認識を行い、人物の顔画像を識別する（ステップ１０２）。また、特徴抽出部１３０は、識別された顔画像に含まれる特徴点を抽出する（ステップ１０４）。特徴点の一例が図３に示されているが、抽出対象とする特徴点はこれらの一部であってもよく、他の特徴点を追加してもよい。

次に、顔描画部１４０は、抽出された各特長点が含まれるように、互いに関連する特徴点間を結ぶように（例えば、口角同士や、目頭と目尻の間を結ぶように）、人物の顔画像を線画によって描画する（ステップ１０６）。

次に、画像加工部１５０は、入力画像に含まれる人物の顔画像（顔認識部１２０によって識別された顔画像）を、線画によって描画された顔画像に置き換える（ステップ１０８）。図５は、画像加工部１５０による処理結果の一例を示す図である。図５に示すように、元の入力画像の中で顔画像のみが線画に置き換わっており、顔画像以外の背景等はそのままの画像が用いられる。このようにして画像加工部１５０によって線画の顔画像の置き換えられた後の入力画像は、画像送信部１６０によってサーバ２００に向けて送信される（ステップ１１０）。

このように、本実施形態の画像処理装置１００では、入力画像に含まれる人物の顔情報が、特徴点が含まれる線を用いて描画された顔画像に置き換えられるため、この置き換え後の入力画像を見ただけでは人物を特定することができず、個人のプライバシーの保護が可能となる。

また、置き換えられた顔画像を構成する線には、感情推定に用いられる特徴点が含まれているため、顔画像置き換え後の入力画像に基づいて人物の感情推定を行うことが可能となる。特に、線画の顔画像に置き換えらえた後の入力画像に人物の背景を含ませることにより、周囲の状況を加味して正確な感情推定を行うことが可能となる。

また、線画の顔画像に置き換えられた後の入力画像がサーバ２００に向けて送信される場合であっても、サーバ２００側では、送られてきた入力画像からは人物が特定できず、一方で人物の感情や姿勢の推定が可能なため多くの人物について学習することができる。

なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。例えば、上述した実施形態では、車両に搭載された画像処理装置１００について説明したが、人物が含まれるように撮像を行うものであれば、車載以外であっても本発明を適用することができる。例えば、スマートフォン等の携帯端末装置において画像加工プログラムを実行して人物の顔情報を線画の顔画像に置き換えるようにしてもよい。

また、上述した実施形態では、顔画像を置き換え後の入力画像をサーバ２００に向けて送信したが、送信せずに画像処理装置内に多くの人物に関する入力画像を蓄積する場合にも本発明を適用することができる。

上述したように、本発明によれば、入力画像に含まれる人物の顔情報が、特徴点が含まれる線を用いて描画された顔画像に置き換えられるため、この置き換え後の入力画像を見ただけでは人物を特定することができず、個人のプライバシーの保護が可能となる。

１００画像処理装置
３０ＣＰＵ
４０メモリ
６２カメラ
１１０画像入力部
１１２画像格納部
１２０顔認識部
１３０特徴抽出部
１４０顔描画部
１５０画像加工部
１６０画像送信部
２００サーバ

Claims

人物が含まれる入力画像を取り込む画像入力手段と、
前記入力画像に含まれる前記人物の顔認識を行って顔画像を識別する顔認識手段と、
前記顔認識手段による顔認識によって識別された顔画像に含まれる特徴点を抽出する特徴抽出手段と、
前記特徴抽出手段によって抽出された特徴点が含まれる線で前記人物の顔画像を描画する顔描画手段と、
前記入力画像に含まれる前記人物の顔画像を、前記顔描画手段によって描画された顔画像に置き換える画像加工手段と、
を備えることを特徴とする画像処理装置。
前記特徴抽出手段は、感情推定に用いられる特徴点を抽出することを特徴とする請求項１に記載の画像処理装置。
前記画像入力手段は、前記人物とともにその周囲の背景が含まれる前記入力画像を取り込むことを特徴とする請求項１または２に記載の画像処理装置。
前記画像加工手段によって顔画像が置き換えられた後の前記入力画像を所定のサーバに向けて送信する送信手段をさらに含むことを特徴する請求項１〜３のいずれか一項に記載の画像処理装置。