JP2019149119A

JP2019149119A - 画像処理装置、画像処理方法及びプログラム

Info

Publication number: JP2019149119A
Application number: JP2018035066A
Authority: JP
Inventors: 祐也渡辺; Yuya Watanabe
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-02-28
Filing date: 2018-02-28
Publication date: 2019-09-05
Anticipated expiration: 2038-02-28
Also published as: CN110211021B; US11036974B2; CN110211021A; US20190266392A1; JP7106296B2

Abstract

【課題】人物検出の精度を向上させることを目的とする。【解決手段】画像から、第１の画像処理により人物を検出する第１の検出手段と、画像から、第１の画像処理と異なる第２の画像処理により人物を検出する第２の検出手段と、第２の検出手段による第２の人物検出結果に基づいて、第１の検出手段による第１の人物検出結果を補正する補正手段とを有する。【選択図】図４

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

近年、撮像画像から画像に写る人物の数や人の混雑度合を計測することを目的としたシステム提案されている。このようなシステムは、混雑の検知や混雑による人の注目度を把握することで混雑の緩和や、人を集めることを目的としたマーケティングへの活用が期待されている。特許文献１には、人物の形状を検出することにより人数を計測する技術が開示されている。また、非特許文献１には、人が密集した学習データを用いることで、密集した頭部から人らしさを推定することで人数を計測する技術が開示されている。

特開２００９−２１１３１１号公報

Yingying Zhang, Desen hou, Siqin Chen, Shenghua Gao, Yi Ma. Single-Image Crowd Counting via Multi-Column Convolutional Neural Network.CVPR,2016.

しかしながら、特許文献１に開示されているような、人物の形状を用いた人物検出は人の重なりが少ない場所では高精度に人物の検出ができるものの、人物の形状が隠れてしまうような人が密集した場所では精度が劣化してしまう。一方、頭部検出による人物検出は、人物頭部しか映らないような密集度の高い場所で高精度に人物の検出ができるが、人がまばらに存在するような場所では、学習データに物体が密集した画像を用いているため精度が劣化してしまう。

本発明はこのような問題点に鑑みなされたもので、人物検出の精度を向上させることを目的とする。

そこで、本発明は、画像処理装置であって、画像から、第１の画像処理により人物を検出する第１の検出手段と、前記画像から、前記第１の画像処理と異なる第２の画像処理により人物を検出する第２の検出手段と、前記第２の検出手段による第２の人物検出結果に基づいて、前記第１の検出手段による第１の人物検出結果を補正する補正手段とを有することを特徴とする。

本発明によれば、人物検出の精度を向上させることができる。

画像処理装置のハードウェア構成図である。画像処理装置の機能構成図である。第１検出処理と第２検出処理の説明図である。画像処理示すフローチャートである。表示画面例を示す図である。同一人物判定処理の説明図である。第２の実施形態に係る画像処理を示すフローチャートである。検出結果の一例を示す図である。

以下、本発明の実施形態について図面に基づいて説明する。
図１は、画像処理装置１００のハードウェア構成図である。画像処理装置１００は、ＣＰＵ１１０と、メモリ１２０と、表示装置１３０と、入力装置１４０と、ネットワークＩ／Ｆ１５０とを有している。ＣＰＵ１１０は、画像処理装置１００の制御を実施する。メモリ１２０は、ＣＰＵ１１０が処理に使用するデータ、プログラムなどの記憶を行う。表示装置１３０は、液晶モニタなどであり、各種情報を表示する。入力装置１４０は、マウスやキーボードであり、ユーザ操作を入力する。ネットワークＩ／Ｆ１５０は、ネットワークに接続するインターフェースである。ＣＰＵ１１０がメモリ１２０に記憶されたプログラムを実行することで、画像処理装置１００の機能や処理が実現される。

図２は、画像処理装置１００の機能構成図である。画像処理装置１００は、画像取得部２１０と、検出方法決定部２２０と、第１検出部２３１と、第２検出部２３２と、同一判定部２４０と、結果補正部２５０と、表示処理部２６０とを有している。画像取得部２１０は、人物検出を実施する対象の画像を取得する。検出方法決定部２２０は、取得した画像に対して、人物検出を行う第１検出処理と第２検出処理の何れか一方を実施するか、両方を実施するか、を決定する。第１検出処理は、人物の頭部検出に特化した人物検出のための画像処理である。第１検出処理は、人物の密度が高い学習データに基づく処理であり、画像中の人物の座標と、人物らしさを示す尤度を検出する。一例として、尤度が大きいほど人物であることが確からしいことを表すものとする。また、尤度は一例として１以下の数で表され、画像中の物体ごとに算出される。画像中の全ての物体に対して算出された尤度の合計がその画像中の人数であると推定される。また、学習データは１人の人物に対応する学習データであってもよいし、複数の人物に対応する学習データを用いてもよい。

第２検出処理は、顔や上半身、下半身といった人体の特徴的な形状を示す領域を検出するための画像処理である。例えば、第２の検出処理はパターンマッチングを用いて人物を検出する処理であり、学習データを用いないで人物を検出する処理である。なお、第１検出処理と第２検出処理は、互いに異なる処理であればよく、その具体的な処理は実施形態に限定されるものではない。より好ましくは、第１の検出処理は、第２の検出処理に比べて、より人物の密度が高い状況により適した処理であるものとする。

図３は、第１検出処理と第２検出処理の説明図である。図３（ａ）は、第１検出処理による検出結果を示す図である。検出結果としては、画像上の頭部の位置を示す点Ａの座標（ｘ，ｙ）と、尤度が得られる。図３（ｂ）は、第２検出処理による検出結果を示す図である。第２検出処理においては、検出結果として、特徴的な形状を示す領域３００が得られる。図３（ｂ）の例では、特徴的な形状として顔の形状を含む領域３００が得られる。

図２に戻り、第１検出部２３１は、第１検出処理を行う。第２検出部２３２は、第２検出処理を行う。同一判定部２４０は、第１検出部２３１による検出結果と、第２検出部２３２による検出結果に基づいて、同一の人物が検出されたか判定をする。結果補正部２５０は、同一判定部２４０により同一の人物が検出されたと判定された場合に、第１検出部２３１の検出結果（人物検出結果）を補正する。表示処理部２６０は、結果補正部２５０により補正された第１検出部２３１の検出結果を表示装置１３０に表示するよう制御する。

図４は、画像処理装置１００による画像処理示すフローチャートである。Ｓ４０１において、画像取得部２１０は、人物検出を実施する対象の画像を取得する。画像取得部２１０は、カメラ等の外部装置から画像を取得してもよく、また他の例としては、メモリ１２０から画像を取得してもよい。また、他の例としては、画像処理装置１００は、カメラを有してもよく、この場合、画像取得部２１０は、カメラにより得られた画像を取得してもよい。

次に、Ｓ４０２において、検出方法決定部２２０は、画像に対して実施する人物検出方法を決定する。具体的には、検出方法決定部２２０は、第１検出処理を行うか、第２検出処理を行うか、第１検出処理と第２検出処理の両方を行うかを決定する。検出方法決定部２２０は、処理対象の画像の周波成分から、画像に写る人の密集度を解析し、密集度が閾値を超えた場合は、第１検出処理と第２検出処理の両方を行い、閾値以下の場合には、第２検出処理のみ行うことと決定する。

なお、検出方法決定部２２０が検出処理を決定するための具体的な処理は実施形態に限定されるものではない。他の例としては、検出方法決定部２２０は、ユーザ操作に応じて検出処理を決定してもよい。例えば、表示処理部２６０は、図５（ａ）に示す表示画面５００を表示する。表示画面５００の画像ウィンドウ５１０に、画像が表示され、画像に写る人物の密集度を画像に重畳して色で表されている。ユーザは、表示画面５００に表示されたチェックボックス５１１，５１２を選択することで、検出処理の選択指示を入力することができる。ここで、チェックボックス５１１は、第１検出処理に対応し、チェックボックス５１２は、第２検出処理に対応する。チェックボックス５１１が選択されると、第１検出処理の選択指示が入力され、チェックボックス５１２が選択されると、第２検出処理の選択指示が入力される。２つのチェックボックス５１１，５１２が共に選択された場合には、２つの検出処理の選択指示が入力される。

また、表示処理部２６０は、処理負荷に応じたチェックボックスを表示してもよい。例えば、図５（ｂ）に示す表示画面５２０においては、速度優先のチェックボックス５３１と、精度優先のチェックボックス５３２が表示されている。速度優先のチェックボックス５３１は、第２検出処理のみを行う指示を入力するためのＵＩであり、精度優先のチェックボックス５３２は、第１検出処理と第２検出処理を行う指示を入力するためのＵＩである。

図４に戻り、Ｓ４０２の処理の後、Ｓ４０３において、Ｓ４０２において決定された検出処理が実行される。次に、Ｓ４０４において、同一判定部２４０は、Ｓ４０３において第１検出処理と第２検出処理が実行された場合には、第１検出処理で検出された人物と同一の人物が第２検出処理で検出されているか否かを判定する。図６は、Ｓ４０４の処理の説明図である。第２検出処理で人体の形状の領域として領域６００が検出されたとする。このとき、同一判定部２４０は、領域６００の一部を頭部領域６１０として特定する。そして、同一判定部２４０は、第１検出処理で検出された頭部の位置Ａが頭部領域６１０に含まれている場合に、同一人物が検出されたと判定する。

図４に戻り、同一判定部２４０は、同一人物が検出された場合には（Ｓ４０４でＹＥＳ）、処理をＳ４０５へ進める。同一判定部２４０は、同一人物が検出されなかった場合には（Ｓ４０４でＮＯ）、処理をＳ４０６へ進める。Ｓ４０５において、結果補正部２５０は、第１検出処理の検出結果として得られた、対象の人物の尤度をより高い値に補正する。結果補正部２５０は、例えば、尤度を最大値に補正する。他の例としては、結果補正部２５０は、ユーザが設定した値を尤度に加算してもよい。すなわち、結果補正部２５０は、ユーザ操作に応じて尤度を加算してもよい。また、他の例としては、結果補正部２５０は、第２検出処理の検出結果から補正値を求め、補正値に応じて尤度を補正してもよい。なお、結果補正部２５０は、対象の人物の尤度が他の人物の尤度に対し相対的に高い値になるように補正すればよく、他の例としては、対象以外の人物の尤度を下げることにより、対象人物の尤度の相対値がより高くなるようにしてもよい。

次に、Ｓ４０６において、同一判定部２４０は、第１検出処理により検出されたすべての人物に対し、同一人物か否かの判定が行われたか否かを判定する。同一判定部２４０は、すべての人物に対し処理済みの場合には（Ｓ４０６でＹＥＳ）、処理をＳ４０７へ進める。同一判定部２４０は、未処理の人物が残っている場合には（Ｓ４０６でＮＯ）、処理をＳ４０４へ進める。この場合、未処理の人物を処理対象として、Ｓ４０４以降の処理を継続する。

Ｓ４０７において、結果補正部２５０は、第１検出処理の、補正後の検出結果として得られた人物らしさを示す値や人物の検出数（人数）を表示装置１３０に表示するよう制御する。以上で画像処理が終了する。なお、補正後の検出数が小数を含む場合には、整数になるように値を切り上げる、又は切り下げるようにしてもよい。ここで、Ｓ４０７の処理は、表示処理の一例である。

以上のように、本実施形態の画像処理装置１００は、複数の検出処理を組み合わせることで、１つの検出処理のみを行う場合に比べて、検出精度を向上させることができる。

第１の実施形態の変形例としては、第２検出処理で検出された頭部領域内に第１検出処理で検出された頭部座標が複数含まれる場合がある。この場合には、同一判定部２４０は、複数の頭部座標のうち１つの頭部座標のみに対し、同一人物と判定する。なお、１つの頭部座標を決定する方法は任意である。例えば、同一判定部２４０は、人物の尤度が最も高い頭部座標のみを同一人物と決定してもよい。また、他の例としては、同一判定部２４０は、人物の尤度が最も低い頭部座標のみを同一人物と決定してもよい。

（第２の実施形態）
次に、第２の実施形態に係る画像処理装置１００について、第１の実施形態に係る画像処理装置１００と異なる点を主に説明する。図７は、第２の実施形態に係る画像処理装置１００による画像処理を示すフローチャートである。なお、図７に示す画像処理の各処理のうち、図４を参照しつつ説明した第１の実施形態に係る画像処理の各処理と同一の処理には、同一の番号を付している。Ｓ４０６の処理の後、Ｓ７０１において、結果補正部２５０は、第１の検出処理の、補正後の検出結果と、第２の検出処理の検出結果とを統合する。具体的には、結果補正部２５０は、第１の検出処理における、補正後の検出数と、第２の検出処理における検出数（人物の数）の和から、同一人物の検出数を減じた値、すなわち集合和を、統合結果として求める。ここで、第１の検出処理における補正後の検出数とは、補正後の尤度の合計である。また、第２の検出処理における検出数とは、第２の検出処理において検出された人物の数の合計である。

例えば、図８に示すように、領域８００のうち、領域８０１においては、第１の検出処理のみから８人の人物が検出されたとする。また、領域８０２においては、第１の検出処理及び第２の検出処理の両方から４人の人物が検出されたとする。また、領域８０３においては、第２の検出処理のみから３人の人物が検出されたとする。この場合、結果補正部２５０は、第１の検出処理の検出数１２と第２の検出処理の検出数７の和１９から、領域８０２の検出数４を減じることで、領域８００の検出数１５を得る。

図７に戻り、Ｓ７０１の後、Ｓ７０２において、表示処理部２６０は、集合和を検出数として表示するよう制御する。以上で、画像処理が終了する。なお、第２の実施形態に係る画像処理装置１００のこれ以外の構成及び処理は、第１の実施形態に係る画像処理装置１００の構成及び処理と同様である。以上のように、本実施形態の画像処理装置１００は、複数の検出方法のうち一の検出方法のみで検出された人物もカウントすることができる。

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１００画像処理装置
２２０検出方法決定部
２４０同一人物判定部
２５０結果補正部
２６０表示処理部

Claims

画像から、第１の画像処理により人物を検出する第１の検出手段と、
前記画像から、前記第１の画像処理と異なる第２の画像処理により人物を検出する第２の検出手段と、
前記第２の検出手段による第２の人物検出結果に基づいて、前記第１の検出手段による第１の人物検出結果を補正する補正手段と
を有することを特徴とする画像処理装置。
前記第１の画像処理は、第２の画像処理に比べて、人物の密度がより高い状況により適した処理であることを特徴とする請求項１に記載の画像処理装置。
前記第１の画像処理は、頭部を検出する処理であり、
前記第２の画像処理は、顔、上半身及び下半身のうち少なくとも１つを検出する処理であることを特徴とする請求項１又は２に記載の画像処理装置。
前記補正手段は、前記第１の人物検出結果に含まれる人物が、前記第２の人物検出結果に含まれる場合に、前記人物であること確からしさを示す尤度の相対値をより高い値に補正することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
前記補正手段は、前記第１の人物検出結果を、ユーザ操作に応じて補正することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
前記補正手段による補正後の前記第１の人物検出結果を表示するよう制御する表示処理手段をさらに有することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
前記補正手段による補正後の第２の人物検出結果と、第１の人物検出結果を統合して、前記画像から検出された人物の数を算出する統合手段をさらに有することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
前記統合手段によって算出された人物の数を表示手段に表示するよう制御する表示処理手段をさらに有することを特徴とする請求項７に記載の画像処理装置。
画像から、第１の画像処理により人物を検出する第１の検出ステップと、
前記画像から、前記第１の画像処理と異なる第２の画像処理により人物を検出する第２の検出ステップと、
前記第２の検出ステップにおける第２の人物検出結果に基づいて、前記第１の検出ステップにおける第１の人物検出結果を補正する補正ステップと
を含むことを特徴とする画像処理方法。
コンピュータを、請求項１乃至８の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。