JP2022146948A - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP2022146948A
JP2022146948A JP2022093498A JP2022093498A JP2022146948A JP 2022146948 A JP2022146948 A JP 2022146948A JP 2022093498 A JP2022093498 A JP 2022093498A JP 2022093498 A JP2022093498 A JP 2022093498A JP 2022146948 A JP2022146948 A JP 2022146948A
Authority
JP
Japan
Prior art keywords
information processing
skin
region
value
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022093498A
Other languages
English (en)
Other versions
JP7438269B2 (ja
Inventor
永男 蔡
Yong Nan Cai
ビヨン シュテンガー
Stenger Bjorn
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Group Inc
Original Assignee
Rakuten Group Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Group Inc filed Critical Rakuten Group Inc
Priority to JP2022093498A priority Critical patent/JP7438269B2/ja
Publication of JP2022146948A publication Critical patent/JP2022146948A/ja
Application granted granted Critical
Publication of JP7438269B2 publication Critical patent/JP7438269B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/162Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Debugging And Monitoring (AREA)

Abstract

【課題】管理者が予め適切な質問を設定することを容易にする情報処理装置、情報処理方法及びプログラムを提供する。【解決手段】情報処理サーバが1又は複数のクライアント装置とネットワークを介して接続されている情報処理システムにおいて、クライアント装置が実行する処理は、撮像装置が撮影した画像から、人が存在すると判定した人領域を抽出し、人領域のうち一部に含まれるピクセルの色のそれぞれを変換関数に入力することにより算出した第1特徴値の代表値を取得し、代表値に基づいて、変換関数により取得する特徴値が示す色が人の肌の色であることを示す肌範囲を補正し、撮像装置から取得する画像の一部を構成する複数のピクセルのそれぞれについて変換関数により算出した第2特徴値が、補正された肌範囲に含まれるか否かに基づいて、画像の一部に人がいるか否かを判定する。【選択図】図4

Description

本発明は情報処理装置、情報処理方法およびプログラムに関する。
撮像装置により撮影された画像から、人が存在するか否かを判定する技術がある。人の存在を判定する手法の一つとして、画像の部分領域にあるピクセルの色が予め定められた範囲に収まっているかに基づいて判定する手法がある。
非特許文献1には、ピクセルの色を所定の関数に入力することにより値を取得し、その値が所定の範囲にある場合にそのピクセルが肌であると判定することが開示されている。
A NEW COLOUR SPACE FOR SKIN TONE DETECTION,Abbas Cheddad, Joan Condell, Kevin Curran and Paul Mc Kevitt,2009 IEEE International Conference on Image Processing
照明などの影響により、撮影された画像中の肌の色が、予め定められた色の範囲に収まらないことがある。このような場合に、人の存在が適切に判定されないことがあった。
本発明は上記課題を鑑みてなされたものであって、その目的は、画像中の色に基づいて、より精度よく人がいるか否かを判定する技術を提供することにある。
上記課題を解決するために、本発明にかかる情報処理装置は、撮像装置により撮影された画像から、人が存在すると判定された人領域を抽出する抽出手段と、前記人領域のうち一部に含まれるピクセルの色のそれぞれを変換関数に入力することによる算出された第1特徴値の代表値を取得する代表取得手段と、前記代表値に基づいて、前記変換関数により取得される特徴値が示す色が人の肌の色であることを示す肌範囲を補正する補正手段と、前記撮像装置により取得される画像の一部を構成する複数のピクセルのそれぞれについて前記変換関数により算出された第2特徴値が、前記補正された肌範囲に含まれるか否かに基づいて、前記画像の一部に人がいるか否かを判定する判定手段と、を含む。
また、本発明にかかる情報処理方法は、撮像装置により撮影された画像から、人が存在すると判定された人領域を抽出するステップと、前記人領域のうち一部に含まれるピクセルの色のそれぞれを変換関数に入力することによる算出された第1特徴値の代表値を取得するステップと、前記代表値に基づいて、前記変換関数により取得される特徴値が示す色が人の肌の色であることを示す肌範囲を補正するステップと、前記撮像装置により取得される画像の一部を構成する複数のピクセルのそれぞれについて前記変換関数により算出された第2特徴値が、前記補正された肌範囲に含まれるか否かに基づいて、前記画像の一部に人がいるか否かを判定するステップと、を含む。
また、本発明にかかるプログラムは、撮像装置により撮影された画像から、人が存在すると判定された人領域を抽出する抽出手段、前記人領域のうち一部に含まれるピクセルの色のそれぞれを変換関数に入力することによる算出された第1特徴値の代表値を取得する代表取得手段、前記代表値に基づいて、前記変換関数により取得される特徴値が示す色が人の肌の色であることを示す肌範囲を補正する補正手段、および、前記撮像装置により取得される画像の一部を構成する複数のピクセルのそれぞれについて前記変換関数により算出された第2特徴値が、前記補正された肌範囲に含まれるか否かに基づいて、前記画像の一部に人がいるか否かを判定する判定手段、としてコンピュータを機能させる。
本発明の一形態では、前記人領域は顔領域であり、前記人領域のうち一部は、前記人領域のうち目の近傍を含み、口の近傍および額の上部を含まない領域であってよい。
本発明の一形態では、前記補正手段は、前記第1特徴値が前記肌範囲に含まれないピクセルの量が少ないほど補正の量が少なくなるように、前記肌範囲を補正してよい。
本発明の一形態では、前記代表値は前記特徴値の平均値であってよい。
本発明の一形態では、前記変換関数の出力eは、ピクセルの赤成分をR、緑成分をG、青成分をB、Cr,Cg,Cbを予め定められた係数とした場合に、式e=Cr×R+Cg×G+Cb×B-max(G,B)により算出されてよい。
本発明の一形態では、補正前の肌範囲の算出に用いられた特徴値の平均値をμr、前記第1特徴値の平均値をμ1、前記第1特徴値が前記肌範囲の内にないピクセルの量をAn、前記人領域のうち一部を構成するピクセルの量をAp、nを1以上3以下の整数とする場合に、式Δμ=(μ1-μr)×(An/Ap)により算出されるΔμに基づいて前記肌範囲の上限値と下限値とが修正されてよい。
本発明の一形態では、補正前の肌範囲の算出に用いられた特徴値の平均値をμr、前記第1特徴値の平均値をμ1、前記第1特徴値が前記肌範囲の内にないピクセルの量をAn、前記人領域のうち一部を構成するピクセルの量をAp、前記一部に含まれる目の領域のピクセルの量をAe、nを1以上3以下の整数とする場合に、式Δμ=(μ1-μr)×(An/(Ap-Ae))により算出されるΔμに基づいて前記肌範囲の上限値と下限値とが修正されてよい。
本発明の一形態では、前記抽出手段は、複数の顔領域を複数の人領域として抽出し、前記代表取得手段は、前記複数の顔領域のうち、最も大きい顔領域のうち一部に含まれるピクセルの色のそれぞれを変換関数に入力し、変換関数により算出されたそれぞれのピクセルの第1特徴値の代表値を取得し、前記判定手段は、前記複数の顔領域のうち前記代表値の取得に用いられなかった顔領域に含まれるピクセルについて前記変換関数により算出された第2特徴値が、前記補正された肌範囲に含まれるか否かに基づいて、当該顔領域が人の顔を含むか否かを判定してよい。
本発明により、画像からより精度よく人がいるか否かを判定することができる。
本発明の実施形態にかかる情報処理システムの一例を示す図である。 情報処理システムが実現する機能を示すブロック図である。 画像から認識される顔領域の一例を示す図である。 クライアント装置が実行する処理の一例を示すフロー図である。 クライアント装置が実行する処理の一例を示すフロー図である。 顔領域に含まれる参照領域を説明する図である。 肌の色の分布を説明する図である。 照明の影響を概略的に説明する図である。
以下では、本発明の実施形態を図面に基づいて説明する。同じ符号を付された構成に対しては、重複する説明を省略する。本実施形態では、リモートワークのように厳格な入室管理がされていない環境において、撮影された画像に基づいて作業者以外の人が覗いているか否かを検出する情報処理システムについて説明する。
図1は、本発明の実施形態にかかる情報処理システムの一例を示す図である。情報処理システムは、情報処理サーバ1とクライアント装置2とを含む。情報処理サーバ1は1または複数のクライアント装置2とネットワークを介して接続されている。
情報処理サーバ1はプロセッサ11、記憶部12、通信部13、入出力部14を含む。なお、情報処理サーバ1は、サーバコンピュータである。情報処理サーバ1の処理は、複数のサーバコンピュータにより実現されてもよい。クライアント装置2は、プロセッサ11、記憶部12、通信部13、入出力部14、カメラ25を含む。クライアント装置2は、パーソナルコンピュータやタブレット端末である。
プロセッサ11,21は、記憶部12,22に格納されているプログラムに従って動作する。またプロセッサ11,21は通信部13,23、入出力部14,24を制御する。プロセッサ21はプログラムに従ってカメラ25も制御する。なお、上記プログラムは、インターネット等を介して提供されるものであってもよいし、フラッシュメモリやDVD-ROM等のコンピュータで読み取り可能な記憶媒体に格納されて提供されるものであってもよい。
記憶部12,22は、RAMおよびフラッシュメモリ等のメモリ素子とハードディスクドライブのような外部記憶装置とによって構成されている。記憶部12,22は、上記プログラムを格納する。また、記憶部12,22は、プロセッサ11,21、通信部13,23、入出力部14,24から入力される情報や演算結果を格納する。
通信部13,23は、他の装置と通信する機能を実現するものであり、例えば無線LAN、有線LANを実現する集積回路などにより構成されている。通信部13,23は、プロセッサ11,21の制御に基づいて、他の装置から受信した情報をプロセッサ11,21や記憶部12,22に入力し、他の装置に情報を送信する。
入出力部14,24は、表示出力デバイスをコントロールするビデオコントローラや、入力デバイスからのデータを取得するコントローラなどにより構成される。入力デバイスとしては、キーボード、マウス、タッチパネルなどがある。入出力部14,24は、プロセッサ11,21の制御に基づいて、表示出力デバイスに表示データを出力し、入力デバイスをユーザが操作することにより入力されるデータを取得する。表示出力デバイスは例えば外部に接続されるディスプレイ装置である。
カメラ25は、プロセッサ21の制御に基づいて画像を撮影する。カメラ25は、例えばパーソナルコンピュータやタブレット端末に内蔵され、パーソナルコンピュータやタブレット端末を操作する人物がほぼ中央に撮影されるような位置に配置されている。
次に、情報処理システムが提供する機能について説明する。図2は、情報処理システムが実現する機能を示すブロック図である。情報処理システムは、機能的に、画像取得部51、顔抽出部52,代表値取得部53、肌範囲補正部54、人判定部55、結果出力部56を含む。これらの機能は、クライアント装置2に含まれるプロセッサ21によって記憶部22に格納されるプログラムが実行され、通信部23、カメラ25などを制御することにより実現される。なお、これらの機能は、情報処理サーバ1に含まれるプロセッサ11によって記憶部12に格納されるプログラムが実行され、通信部13等を制御することにより実現されてもよい。
画像取得部51は、撮像装置であるカメラ25により撮影された画像を取得する。画像取得部51が情報処理サーバ1により実現される場合には、クライアント装置2の通信部23から送信される、撮影された画像を通信部13経由で受信することにより、その画像を取得してよい。
顔抽出部52は、取得された画像から、顔が存在すると判定された顔領域70を抽出する。顔抽出部52は、取得された画像をグレースケールに変換し、パターン認識に基づく公知の顔検出技術により認識される顔のある領域を顔領域70として抽出する。抽出される顔領域70は矩形の領域であってよい。なお、顔抽出部52は、顔領域70の代わりに、パターン認識に基づく公知の技術に基づいて、例えば手といった顔以外の人の部位または人のシルエットを有する人領域を検出し、その人領域が顔領域70の代わりに後述の処理で用いられてもよい。
図3は、画像から認識される顔領域70の一例を示す図である。図3には、顔領域70の一例として、画像から顔領域71,72が抽出されている。顔領域71は、クライアント装置2を操作する人物の顔の画像を抽出したものであるが、顔領域72は背景にある家具などの模様が顔と誤認識されることにより抽出されたものである。
代表値取得部53は、顔領域のうち一部に含まれるピクセルの色のそれぞれを変換関数に入力し、そのピクセルのそれぞれの特徴値を算出する。代表値取得部53は、算出された特徴値の代表値、例えば特徴値の平均値を取得する。代表値取得部53の処理の対象となる顔領域70は、顔抽出部52により抽出された顔領域70のうち、最も大きい顔領域70または中央にある顔領域70である。変換関数および特徴値の詳細については後述する。
肌範囲補正部54は、取得された代表値に基づいて、変換関数により取得される特徴値が示す色が人の肌の色であることを示す肌範囲を補正する。肌範囲の詳細については後述する。
人判定部55は、カメラ25により撮影される画像の一部を構成する複数のピクセルのそれぞれについて変換関数により算出された特徴値が、補正された肌範囲に含まれるか否かに基づいて、その画像のその一部に人がいるか否かを判定する。人判定部55の処理に用いられる、画像の一部は、顔抽出部52により抽出される顔領域70のうち、代表値取得部53における代表値の取得に用いられなかった顔領域70であってよい。人判定部55による処理は、顔抽出部52によって複数の顔領域70が抽出された場合に行われてよい。
結果出力部56は、人判定部55の判定結果を出力する。より具体的には、結果出力部56は、人判定部55の処理において、カメラ25により撮影された画像のその一部に人がいると判定された場合、より具体的には代表値の取得に用いられなかった1または複数の顔領域70のうちいずれか1つについて人がいると判定された場合に、人がのぞき込んでいることを示す警告メッセージを出力する。警告メッセージの出力先は、クライアント装置2のディスプレイまたはスピーカであってよい。
次に、情報処理システムの処理の詳細について説明する。図4,5は、クライアント装置2が実行する処理の一例を示すフロー図である。図4,5に示される処理は、一定の時間間隔で繰り返し実行されてよい。
はじめに、画像取得部51は、カメラ25により撮影された画像を取得する(ステップS101)。次に、顔抽出部52は、公知の顔認識技術により、取得された画像から1または複数の顔領域70を取得する(ステップS102)。
顔領域70が取得されると、代表値取得部53は、1または複数の顔領域70から1つの顔領域70を選択し、その選択された顔領域70から目の周囲にある参照領域75を取得する(ステップS103)。代表値取得部53は選択された顔領域70の中で、目の周囲が存在する蓋然性の高い相対位置にある領域を参照領域75として取得してよい。また、代表値取得部53は、画像認識によって目の周囲であると特定された領域を参照領域75として取得してもよい。以下では参照領域75について説明するとともに、前者の手法についてさらに説明する。
図6は、顔領域70に含まれる参照領域75を説明する図である。顔領域70は、参照領域75、上領域76、下領域77を含む。参照領域75は、目の近傍を含む領域である。上領域76は、参照領域75の上にあり、額の上側の部分を含む領域である。下領域77は、参照領域75の下にあり、口を含む領域である。上領域76の額の上側の部分は髪に隠される可能性が高く、下領域77の口の周りはマスクで隠される可能性が高い。したがって、目の周囲にある参照領域75は、人の肌の色が最も視認されやすい領域である。
代表値取得部53は、顔領域70の内部の相対的な位置に基づいて、参照領域75を決定する。例えば、顔領域70が、撮影された画像の縦横方向に延びる辺を有する矩形の領域であり、その矩形の顔領域70の左上の座標(tx,ty)、横方向のサイズth、縦方向のサイズtvであるとする。この場合、代表値取得部53は、左上の座標が(tx+0.05×th,ty+0.1tv)、右下の座標が(tx+0.9×th,ty+0.45tv)となる矩形の領域を参照領域75として取得してよい。なお、参照領域75は肌が露出している蓋然性の高い他の領域であってもよい。
代表値取得部53は、参照領域75にあるピクセルのそれぞれについて、変換関数eにより特徴値を取得する(ステップS104)。より具体的には、代表値取得部53は、参照領域75にあるピクセルのそれぞれについて、ピクセルの色を変換関数eに入力し、変換関数eの出力を特徴値として取得する。変換関数eは以下の式である。
e=Cr×R+Cg×G+Cb×B-max(G,B)
ここで、R,G,Bは、ピクセルの色のそれぞれ赤,緑,青成分である。max(G,B)は、G,Bのうち大きい方を出力する関数である。Cr,Cg,Cbは予め定められた係数である。Cr,Cg,Cbは、基準となる照明のもとで観測することにより算出され、例えば以下の値である。これらの値は環境等に基づいて調整されてもよい。
Cr=0.2989
Cg=0.5870
Cb=0.1402
参照領域75にあるピクセルのそれぞれについて特徴値が算出されると、代表値取得部53は、特徴値の代表値として平均値を取得する(ステップS105)。代表値取得部53は、最頻値など他の手法で代表値を算出してもよい。
また、肌範囲補正部54は、特徴値が肌範囲Rに含まれないピクセルの量を算出する(ステップS106)。
図7は、肌の色の分布を説明する図である。図7には、環境差および遺伝的な違いに基づく個人差が反映された人の肌の色についての特徴値の正規分布を示している。正規分布の平均値をμ、分散をσとすると、肌範囲Rの下限値は(μ-σ)、上限値は(μ+3σ)としている。μ,σの値は実験的に求められており、例えばμは12.3057、σは5.09026である。
処理について具体的に記載する。肌範囲補正部54はピクセルのそれぞれの特徴値が肌範囲Rに含まれるか否か判定し、特徴値が肌範囲Rに含まれないピクセルの数(量)をカウントする。
そして肌範囲補正部54は算出された代表値と、算出された、肌範囲Rに含まれるピクセルの量とに基づいて肌範囲Rを補正する(ステップS107)。
肌範囲Rは、その下限値および上限値のそれぞれをΔμに基づいて算出することにより補正される。具体的な例としては、補正後の肌範囲Rの下限値が(μ+Δμ-σ)、上限値が(μ+Δμ+3σ)でなる。ここで、Δμは以下の式で求められる。
Δμ=(μ1-μr)×(An/Ap)
図8は、照明の影響を概略的に説明する図であり、照明の違いによる、特徴値の分布の変化、言い換えるとΔμの発生を説明する図である。μ1は、補正前の分布から求められるμの値である。μrは、参照領域75にあるピクセルのそれぞれについて算出された特徴値の代表値(ここでは平均値)である。
Anは参照領域75にあるピクセルのうち、特徴値が肌範囲Rに含まれないピクセルの量であり、Apは参照領域75に含まれるすべてのピクセルの量である。Anは参照領域75のうち特徴値が肌範囲Rに含まれない部分の面積に、Apは参照領域75の面積に相当する。nは1以上の整数であり、3が好適であるが、1であってもよい。
特徴値が肌範囲Rに含まれないピクセルの量が少ないほど補正が弱くなるようにすることで、照明以外の要因が補正に反映されるなどの理由で過剰な補正となる可能性を提言することができる。また、nを大きくすることにより、肌範囲Rに含まれるピクセルが多い場合に、肌範囲Rの補正が過度になる可能性を下げることができる。
なお、Δμは以下の式で求められてもよい。
Δμ=(μ1-μr)×(An/(Ap-Ae))
この式では、Aeは参照領域75のうち目が存在するピクセルの量であり、単に参照領域75のすべてのピクセル量のうち所定の割合(例えば5%)であってよい。この場合はAp-Aeを、単に参照領域75のピクセルの量に1より小さい定数(例えば0.95)をかけることにより求めてよい。
肌範囲Rが補正されると、人判定部55はカメラ25により撮影された画像から、肌範囲Rの補正のため代表値が求められた顔領域70以外の顔領域70に人の顔が含まれるか判定する。この処理は、より具体的には、人判定部55は、顔抽出部52により抽出され、代表値が求められた顔領域70以外の顔領域70が存在するか判定する(ステップS111)。他の顔領域70が存在しない場合には(ステップS111のN)、クライアント装置2の操作者と異なる人が居ないと判定して処理を終了する。
一方、他の顔領域70が存在する場合には(ステップS111のY)、人判定部55は他の顔領域70のうち1つを選択する(ステップS112)。そして、人判定部55は選択された顔領域70のうちにあるピクセルのそれぞれについて、変換関数により特徴値を取得する(ステップS113)。人判定部55は特徴値が補正された肌範囲Rのうちにあるピクセルの量の参照領域75のすべてのピクセルの量に対する割合を算出する(ステップS114)。
算出された割合が予め定められた判定閾値を超えている場合には(ステップS115のY)、結果出力部56は、クライアント装置2を操作するユーザに向けて除き見されている可能性がある旨の警告メッセージを出力する(ステップS116)とともに、情報処理サーバ1へその旨の情報を送信する。結果出力部56は、算出された割合が予め定められた判定閾値を超えていると判定された回数または時間が、所定の閾値を超えている場合には、クライアント装置2を強制的にシャットダウンする。一方、算出された割合が判定閾値を超えていない場合には(ステップS115のN)、ステップS116の処理はスキップされる。
そして人判定部55は、他の顔領域70に未選択のものがあるか判定する(ステップS117)。未選択の顔領域70が存在する場合には(ステップS117のY)、未選択の他の顔領域70から1つを選択し(ステップS118)、ステップS113以降の処理を繰り返す。一方、未選択の顔領域70が存在しない場合には(ステップS117のN)、処理を終了する。
なお、図4,5に示される処理は、クライアント装置2ではなく情報処理サーバ1により実行されてもよい。この場合、ステップS101において画像取得部51はクライアント装置2から送信される画像を取得する。またステップS116においてクライアント装置2に警告メッセージを出力させる情報を、そのクライアント装置2へ送信する。
これまでに説明されたように、肌の色が認識されやすい領域を用いて肌範囲Rを補正し、その補正された肌範囲を画像中の肌の存在の判定に用いることにより、照明による撮影された肌の色の変化による判定精度の低下を軽減することができる。
1 情報処理サーバ、2 クライアント装置、11,21 プロセッサ、12,22 記憶部、13,23 通信部、14,24 入出力部、25 カメラ、51 画像取得部、52 顔抽出部、53 代表値取得部、54 肌範囲補正部、55 人判定部、56 結果出力部、70,71,72 顔領域、75 参照領域、76 上領域、77 下領域。

Claims (10)

  1. 撮像装置により撮影された画像から、人が存在すると判定された人領域を抽出する抽出手段と、
    前記人領域のうち一部に含まれるピクセルの色のそれぞれを変換関数に入力することによる算出された第1特徴値の代表値を取得する代表取得手段と、
    前記代表値に基づいて、前記変換関数により取得される特徴値が示す色が人の肌の色であることを示す肌範囲を補正する補正手段と、
    前記撮像装置により取得される画像の一部を構成する複数のピクセルのそれぞれについて前記変換関数により算出された第2特徴値が、前記補正された肌範囲に含まれるか否かに基づいて、前記画像の一部に人がいるか否かを判定する判定手段と、
    を含む情報処理装置。
  2. 請求項1に記載の情報処理装置において、
    前記人領域は顔領域であり、
    前記人領域のうち一部は、前記人領域のうち目の近傍を含み、口の近傍および額の上部を含まない領域である、
    情報処理装置。
  3. 請求項1または2に記載の情報処理装置において、
    前記補正手段は、前記第1特徴値が前記肌範囲に含まれないピクセルの量が少ないほど補正の量が少なくなるように、前記肌範囲を補正する、
    情報処理装置。
  4. 請求項1から3のいずれかに記載の情報処理装置において、
    前記代表値は前記特徴値の平均値である、
    情報処理装置。
  5. 請求項1から4のいずれかに記載の情報処理装置において、
    前記変換関数の出力eは、ピクセルの赤成分をR、緑成分をG、青成分をB、Cr,Cg,Cbを予め定められた係数とした場合に、式
    e=Cr×R+Cg×G+Cb×B-max(G,B)
    により算出される、
    情報処理装置。
  6. 請求項5に記載の情報処理装置において、
    補正前の肌範囲の算出に用いられた特徴値の平均値をμr、前記第1特徴値の平均値をμ1、前記第1特徴値が前記肌範囲の内にないピクセルの量をAn、前記人領域のうち一部を構成するピクセルの量をAp、nを1以上3以下の整数とする場合に、式
    Δμ=(μ1-μr)×(An/Ap)
    により算出されるΔμに基づいて前記肌範囲の上限値と下限値とが修正される、
    情報処理装置。
  7. 請求項5に記載の情報処理装置において、
    補正前の肌範囲の算出に用いられた特徴値の平均値をμr、前記第1特徴値の平均値をμ1、前記第1特徴値が前記肌範囲の内にないピクセルの量をAn、前記人領域のうち一部を構成するピクセルの量をAp、前記一部に含まれる目の領域のピクセルの量をAe、nを1以上3以下の整数とする場合に、式
    Δμ=(μ1-μr)×(An/(Ap-Ae))
    により算出されるΔμに基づいて前記肌範囲の上限値と下限値とが修正される、
    情報処理装置。
  8. 請求項1から7のいずれかに記載の情報処理装置において、
    前記抽出手段は、複数の顔領域を複数の人領域として抽出し、
    前記代表取得手段は、前記複数の顔領域のうち、最も大きい顔領域のうち一部に含まれるピクセルの色のそれぞれを変換関数に入力し、変換関数により算出されたそれぞれのピクセルの第1特徴値の代表値を取得し、
    前記判定手段は、前記複数の顔領域のうち前記代表値の取得に用いられなかった顔領域に含まれるピクセルについて前記変換関数により算出された第2特徴値が、前記補正された肌範囲に含まれるか否かに基づいて、当該顔領域が人の顔を含むか否かを判定する、
    情報処理装置。
  9. 撮像装置により撮影された画像から、人が存在すると判定された人領域を抽出するステップと、
    前記人領域のうち一部に含まれるピクセルの色のそれぞれを変換関数に入力することによる算出された第1特徴値の代表値を取得するステップと、
    前記代表値に基づいて、前記変換関数により取得される特徴値が示す色が人の肌の色であることを示す肌範囲を補正するステップと、
    前記撮像装置により取得される画像の一部を構成する複数のピクセルのそれぞれについて前記変換関数により算出された第2特徴値が、前記補正された肌範囲に含まれるか否かに基づいて、前記画像の一部に人がいるか否かを判定するステップと、
    を含む情報処理方法。
  10. 撮像装置により撮影された画像から、顔が存在すると判定された人領域を抽出する抽出手段、
    前記人領域のうち一部に含まれるピクセルの色のそれぞれを変換関数に入力することによる算出された第1特徴値の代表値を取得する代表取得手段、
    前記代表値に基づいて、前記変換関数により取得される特徴値が示す色が人の肌の色であることを示す肌範囲を補正する補正手段、および
    前記撮像装置により取得される画像の一部を構成する複数のピクセルのそれぞれについて前記変換関数により算出された第2特徴値が、前記補正された肌範囲に含まれるか否かに基づいて、前記画像の一部に人がいるか否かを判定する判定手段、
    としてコンピュータを機能させるためのプログラム。

JP2022093498A 2021-03-22 2022-06-09 情報処理装置、情報処理方法およびプログラム Active JP7438269B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022093498A JP7438269B2 (ja) 2021-03-22 2022-06-09 情報処理装置、情報処理方法およびプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2022514198A JPWO2022201247A1 (ja) 2021-03-22 2021-03-22
PCT/JP2021/011727 WO2022201247A1 (ja) 2021-03-22 2021-03-22 情報処理装置、情報処理方法およびプログラム
JP2022093498A JP7438269B2 (ja) 2021-03-22 2022-06-09 情報処理装置、情報処理方法およびプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2022514198A Division JPWO2022201247A1 (ja) 2021-03-22 2021-03-22

Publications (2)

Publication Number Publication Date
JP2022146948A true JP2022146948A (ja) 2022-10-05
JP7438269B2 JP7438269B2 (ja) 2024-02-26

Family

ID=83395324

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022514198A Ceased JPWO2022201247A1 (ja) 2021-03-22 2021-03-22
JP2022093498A Active JP7438269B2 (ja) 2021-03-22 2022-06-09 情報処理装置、情報処理方法およびプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2022514198A Ceased JPWO2022201247A1 (ja) 2021-03-22 2021-03-22

Country Status (6)

Country Link
US (1) US20240029471A1 (ja)
EP (1) EP4089639A1 (ja)
JP (2) JPWO2022201247A1 (ja)
CN (1) CN115428019A (ja)
TW (1) TWI781893B (ja)
WO (1) WO2022201247A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004206665A (ja) * 2002-10-30 2004-07-22 Japan Science & Technology Agency 顔検出方法及び顔検出装置
JP2017224182A (ja) * 2016-06-16 2017-12-21 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理方法、プログラム
JP2020102059A (ja) * 2018-12-25 2020-07-02 キヤノン株式会社 画像処理装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI401963B (zh) * 2009-06-25 2013-07-11 Pixart Imaging Inc Dynamic image compression method for face detection
GB2516512B (en) * 2013-10-23 2015-10-14 Imagination Tech Ltd Face detection
CN105095829B (zh) * 2014-04-29 2019-02-19 华为技术有限公司 一种人脸识别方法及系统
TWI715075B (zh) * 2019-06-24 2021-01-01 瑞昱半導體股份有限公司 膚色影像的色域權重偵測方法及其裝置
CN112396573A (zh) * 2019-07-30 2021-02-23 纵横在线(广州)网络科技有限公司 基于图像识别的面部皮肤分析方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004206665A (ja) * 2002-10-30 2004-07-22 Japan Science & Technology Agency 顔検出方法及び顔検出装置
JP2017224182A (ja) * 2016-06-16 2017-12-21 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理方法、プログラム
JP2020102059A (ja) * 2018-12-25 2020-07-02 キヤノン株式会社 画像処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PRATHEEPAN YOGARAJAH,外4名: "A DYNAMIC THRESHOLD APPROACH FOR SKIN SEGMENTATION IN COLOR IMAGES", 2010 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING, JPN6023017831, 26 September 2010 (2010-09-26), pages 2225 - 2228, XP031814206, ISSN: 0005054637 *

Also Published As

Publication number Publication date
WO2022201247A1 (ja) 2022-09-29
TW202238446A (zh) 2022-10-01
US20240029471A1 (en) 2024-01-25
JPWO2022201247A1 (ja) 2022-09-29
JP7438269B2 (ja) 2024-02-26
EP4089639A1 (en) 2022-11-16
TWI781893B (zh) 2022-10-21
CN115428019A (zh) 2022-12-02

Similar Documents

Publication Publication Date Title
US9542755B2 (en) Image processor and image processing method
WO2014083721A1 (ja) 情報処理装置および情報処理方法
US10176616B2 (en) Automatic capture and refinement of a digital image of a group of people without user intervention
US8907989B2 (en) Display control apparatus and display control method
JP2019118043A (ja) 撮像装置、画像処理装置、制御方法およびプログラム
JP2019114821A (ja) 監視システム、装置、方法およびプログラム
JP2015106252A (ja) 顔向き検出装置及び3次元計測装置
US11800048B2 (en) Image generating system with background replacement or modification capabilities
TWI731503B (zh) 活體臉部辨識系統與方法
JP7071086B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
CN108550167B (zh) 深度图像生成方法、装置及电子设备
JPWO2015145917A1 (ja) 画像補正装置、画像補正方法およびプログラム
JP2007094535A (ja) 認証システム及び認証方法
WO2015155926A1 (ja) 撮像装置及び特徴部位検出方法
CN109726613B (zh) 一种用于检测的方法和装置
WO2022201247A1 (ja) 情報処理装置、情報処理方法およびプログラム
EP3699865B1 (en) Three-dimensional face shape derivation device, three-dimensional face shape deriving method, and non-transitory computer readable medium
JP2018063675A (ja) 画像処理装置および制御方法
US20190130677A1 (en) Information processing apparatus, information processing method, imaging apparatus, network camera system, and storage medium
CN113947708A (zh) 照明设备的灯效控制方法、系统、装置、电子设备及介质
WO2019205566A1 (zh) 一种显示图片的方法和设备
JP2019192154A (ja) 画像処理装置、撮影装置、画像処理方法、およびプログラム
JP2021005798A (ja) 撮像装置、撮像装置の制御方法およびプログラム
JP2020102773A5 (ja)
JP7197211B2 (ja) 三次元グラフィックスデータ作成方法、プログラム及び三次元グラフィックスデータ作成システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240213

R150 Certificate of patent or registration of utility model

Ref document number: 7438269

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150