JP2022016882A - 情報処理装置、補正方法、プログラム - Google Patents
情報処理装置、補正方法、プログラム Download PDFInfo
- Publication number
- JP2022016882A JP2022016882A JP2020119850A JP2020119850A JP2022016882A JP 2022016882 A JP2022016882 A JP 2022016882A JP 2020119850 A JP2020119850 A JP 2020119850A JP 2020119850 A JP2020119850 A JP 2020119850A JP 2022016882 A JP2022016882 A JP 2022016882A
- Authority
- JP
- Japan
- Prior art keywords
- range
- image
- value
- information processing
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 43
- 238000012937 correction Methods 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 132
- 238000010586 diagram Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Abstract
【課題】画像において物体の範囲を示す検出結果を適切に補正する技術を提供する。【解決手段】情報処理装置は、画像、および当該画像における物体の範囲を示す当該物体の検出結果を取得する取得手段と、前記画像において前記検出結果に対応する枠が囲う第1の範囲の傾向値を決定する決定手段と、前記画像における前記第1の範囲よりも大きな第2の範囲であって、前記第1の範囲を含む前記第2の範囲から前記傾向値との差分が閾値以上の範囲を除いた第3の範囲を前記枠が示すように前記枠を補正する補正手段と、を有する。【選択図】図3
Description
本発明は、物体の検出結果を補正する情報処理装置、補正方法、プログラムに関する。
従来、画像に写った物体を検出して、検出結果として、当該画像において当該物体を囲うように検出枠を表示するような情報処理装置がある。ここで、情報処理装置が撮像装置であれば、情報処理装置は、検出枠が囲うことによって示す被写体に対して、例えば、オートフォーカスを実行する。
被写体を検出する技術として、特許文献1では、入力画像に空間周波数フィルタリングを行って、顔領域の候補を抽出し、当該顔領域に顔が含まれるか否かを特徴量に基づき判断する顔検出装置が開示されている。
しかしながら、特許文献1の技術を用いて顔(物体)を検出し、検出した顔を囲うように検出枠を設定しようとしても、顔の表示された領域よりも検出枠が大きくなったり、または、小さくなったりする。つまり、物体の検出結果として、適切に検出枠を配置できないことがある。
そこで、本発明は、画像において物体の範囲を示す検出結果を適切に補正する技術を提供することを目的とする。
上記目的を達成するために本発明は、以下の構成を採用する。
本発明の第一側面は、画像、および当該画像における物体の範囲を示す当該物体の検出結果を取得する取得手段と、前記画像において前記検出結果に対応する枠が囲う第1の範囲の傾向値を決定する決定手段と、前記画像における前記第1の範囲よりも大きな第2の範囲であって、前記第1の範囲を含む前記第2の範囲から前記傾向値との差分が閾値以上の範囲を除いた第3の範囲を前記枠が示すように前記枠を補正する補正手段と、を有することを特徴とする情報処理装置である。
このような構成によれば、検出結果に対応する枠が囲う範囲より大きい範囲から、当該枠が囲う範囲の傾向値と離れた範囲を除くことができるため、当該枠を適切な位置および大きさに補正することができる。また、傾向値とは、範囲の傾向を示す代表値である。
ここで、前記補正手段は、前記第3の範囲が前記枠の外側に位置しないように、かつ、前記第3の範囲に前記枠が接するように前記枠を補正してもよい。第3の範囲は物体が表示された範囲であるから、このような構成によれば、物体に沿うように枠を補正することができる。従って、適切な位置および大きさで枠を配置することができる。
ここで、前記傾向値は、前記第1の範囲における画素値の最頻値、平均値、中央値のい
ずれかであってよい。このような値を用いれば、第1の範囲の傾向を適切に取得することができるため、第3の範囲を適切に決定でき、さらに、枠を適切に補正できることになる。
ずれかであってよい。このような値を用いれば、第1の範囲の傾向を適切に取得することができるため、第3の範囲を適切に決定でき、さらに、枠を適切に補正できることになる。
ここで、前記物体は、人の顔であってよい。例えば、本発明に係る情報処理装置が撮像装置であれば、人の顔を検出した結果を用いて、人の顔に枠を適切に配置して、オートフォーカスなどの動作をすることができる。
ここで、前記枠の形状は、矩形であり、前記補正手段は、前記第3の範囲に各辺が接するように前記枠を補正してもよい。矩形の枠の各辺が接するように枠を補正すれば、枠の位置および大きさが物体の範囲に合致するように適切に枠を補正することができる。
ここで、前記閾値は、前記第1の範囲または前記第2の範囲における、画素値の最大値および最小値の差分に基づく値であってもよい。このような構成によれば、第1の範囲または第2の範囲における画素値の広がり(例えば、背景の画素と物体の画素との違い)に基づき、閾値を決定することができる。このため、第1の範囲または第2の範囲における画素値の広がり(例えば、背景の画素と物体の画素との違い)を考慮して、適切な第3の範囲を示すように枠を補正することができる。
ここで、前記画像は、グレー画像、または、RGB画像であってもよい。前記画像は、各画素が被写体と撮像装置との距離を画素値として示す距離画像であってもよい。前記画像は、各画素が被写体の温度を画素値として示す温度画像であってもよい。距離画像や温度画像を用いることによれば、グレー画像やRGB画像において色や輝度が近くて第3の範囲を適切に決定できないことに起因して適切に枠を補正することができないような場合でも、適切に枠を補正することができる。
ここで、前記決定手段は、前記第1の範囲における互いに異なる複数の傾向値を決定し、前記第3の範囲は、前記第2の範囲から、前記複数の傾向値のうち少なくともいずれかの傾向値との差分が閾値以上の範囲を除いた範囲であってもよい。複数の傾向値を用いることによれば、第3の範囲をさらに適切に決定できるため、さらに適切に枠を補正することができる。
本発明は、上記手段の少なくとも一部を有する制御装置として捉えてもよいし、処理装置や処理システムとして捉えてもよい。また、本発明は、上記処理の少なくとも一部を含む枠の補正方法、情報処理装置の制御方法、として捉えてもよい。また、本発明は、かかる方法を実現するためのプログラムやそのプログラムを非一時的に記録した記録媒体として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
本発明によれば、画像において物体の範囲を示す検出結果を適切に補正する技術を提供することができる。
<適用例>
本実施形態に係る情報処理装置100は、物体検出の結果である検出枠(画像における物体を示す枠)の位置および大きさを、検出枠に囲まれた範囲の傾向値(代表値)に基づいて補正する。具体的には、情報処理装置100は、検出枠に囲まれた範囲の傾向値(当該範囲における画素値の平均値や中央値)を取得して、当該傾向値との差分が所定の閾値以内である範囲(領域)を囲うように、検出枠(検出結果)を補正する。ここで、傾向値は、検出枠に囲まれた範囲における傾向を示す値であり、画像における検出した物体の傾向を示す値でもある。このため、物体を囲うように検出枠をより適切に補正することが可能になる。
本実施形態に係る情報処理装置100は、物体検出の結果である検出枠(画像における物体を示す枠)の位置および大きさを、検出枠に囲まれた範囲の傾向値(代表値)に基づいて補正する。具体的には、情報処理装置100は、検出枠に囲まれた範囲の傾向値(当該範囲における画素値の平均値や中央値)を取得して、当該傾向値との差分が所定の閾値以内である範囲(領域)を囲うように、検出枠(検出結果)を補正する。ここで、傾向値は、検出枠に囲まれた範囲における傾向を示す値であり、画像における検出した物体の傾向を示す値でもある。このため、物体を囲うように検出枠をより適切に補正することが可能になる。
<実施形態>
[情報処理装置の構成]
図1A~図1C、および図2を用いて本実施形態に係る情報処理装置100の構成について説明する。図1Aおよび図1Bは、情報処理装置100が処理を行う画像であって、物体を示す枠(検出枠;物体枠)が設定(重畳)された画像をそれぞれ示している。図1Aおよび図1Bでは、被写体である人の顔20と、顔20を示すように囲う検出枠10を示している。図1Aでは、顔20が表示された範囲よりも大きく検出枠10が表示されている。図1Bでは、顔20が表示された範囲よりも小さく検出枠10が表示されている。そこで、本実施形態に係る情報処理装置100は、図1Cに示すように、顔20が表示された範囲に沿うように(適切な大きさおよび位置に配置されるように)、これらの検出枠10を補正する。
[情報処理装置の構成]
図1A~図1C、および図2を用いて本実施形態に係る情報処理装置100の構成について説明する。図1Aおよび図1Bは、情報処理装置100が処理を行う画像であって、物体を示す枠(検出枠;物体枠)が設定(重畳)された画像をそれぞれ示している。図1Aおよび図1Bでは、被写体である人の顔20と、顔20を示すように囲う検出枠10を示している。図1Aでは、顔20が表示された範囲よりも大きく検出枠10が表示されている。図1Bでは、顔20が表示された範囲よりも小さく検出枠10が表示されている。そこで、本実施形態に係る情報処理装置100は、図1Cに示すように、顔20が表示された範囲に沿うように(適切な大きさおよび位置に配置されるように)、これらの検出枠10を補正する。
図2は、情報処理装置100の構成図である。情報処理装置100は、例えば、PC(パーソナルコンピュータ)、スマートフォン、タブレット端末、デジタルカメラ(撮像装置)である。また、情報処理装置100は、オンボードコンピュータのように組み込み型のコンピュータでもよい。情報処理装置100は、制御部101、記憶部102、画像取得部103、物体検出部104、傾向決定部105、領域決定部106、補正部107、表示部108を有する。
制御部101は、情報処理装置100における各機能部を制御する。制御部101は、例えば、CPU(Central Processing Unit)である。制御部101は、記憶部102に記憶されたプログラムを実行することによって、各機能部の制御を実現することができる。
記憶部102は、検出枠を補正するか否かを判定するための閾値や、制御部101が実行するためのプログラムなどを記憶する。なお、記憶部102は、システムとして重要なプログラムを記憶するROM(Read-only Memory)、記憶する(記録する)データへの高速アクセスを可能とするRAM(Random Access Memory)、大きな容量のデータを記憶するHDD(Hard Disk Drive)などの複数の記憶部材(記録部材)を含むことができる。
画像取得部103は、物体を検出するための画像を取得する。画像取得部103は、インターフェースを介して情報処理装置100の外部から画像を取得してもよいし、情報処理装置100が有する撮像部(不図示)や記憶部102から画像を取得してもよい。なお、画像取得部103が取得する画像は、RGB画像やグレー画像、輝度画像、被写体(物体)と撮像部との距離を各画素が画素値として示す距離画像、被写体の温度を各画素が画素値として示す温度画像など任意の画像であってもよい。
物体検出部104は、画像取得部103が取得した画像に含まれる物体を検出して、検
出結果として、当該物体を示すような検出枠を設定する。ここで、検出される物体は、例えば、人の顔や動物、電車や飛行機などの動体である。検出される物体は、予めユーザが設定しておいてもよいし、視線検出部などによってユーザの視点位置(表示部108において見ている位置)が検出可能であれば当該視点位置に対応する物体であってもよい。なお、検出枠は、本実施形態では、矩形であるとして説明するが、円形、楕円形、六角形などの多角形など任意の形状であってもよい。なお、「検出枠を設定する」とは、物体の検出結果として、当該物体の範囲を示す情報を設定することである。つまり、物体検出部104は、検出枠(検出枠の位置、大きさ、範囲)を一義的に示す情報を設定できればよく、例えば、検出枠の設定として、検出枠の4点の座標位置の情報や、1点の座標位置と枠の縦横の長さとの情報を設定してもよい。
出結果として、当該物体を示すような検出枠を設定する。ここで、検出される物体は、例えば、人の顔や動物、電車や飛行機などの動体である。検出される物体は、予めユーザが設定しておいてもよいし、視線検出部などによってユーザの視点位置(表示部108において見ている位置)が検出可能であれば当該視点位置に対応する物体であってもよい。なお、検出枠は、本実施形態では、矩形であるとして説明するが、円形、楕円形、六角形などの多角形など任意の形状であってもよい。なお、「検出枠を設定する」とは、物体の検出結果として、当該物体の範囲を示す情報を設定することである。つまり、物体検出部104は、検出枠(検出枠の位置、大きさ、範囲)を一義的に示す情報を設定できればよく、例えば、検出枠の設定として、検出枠の4点の座標位置の情報や、1点の座標位置と枠の縦横の長さとの情報を設定してもよい。
また、画像から物体を検出する方法には、例えば、予め記憶した物体を示す情報と画像の一部とをマッチングして、マッチングに応じた類似度から物体を検出する方法や、特許文献1に記載された方法などがある。なお、画像から物体を検出する方法や、検出枠を設定する方法については、既知の任意の方法によって実現されてよいため、詳細な説明を省略する。また、物体検出部104が検出枠を画像に対して設定する必要はなく、画像取得部103が、検出枠が設定された画像を取得してもよい。
傾向決定部105は、画像において検出枠が囲う範囲(検出範囲)の傾向値を決定する。本実施形態では、傾向値は、検出範囲における画素値の代表値(特徴量)である。傾向決定部105は、例えば、検出範囲における画素値の平均値、最頻値、中央値を傾向値として決定する。
領域決定部106は、検出範囲を含み、かつ、検出範囲よりも大きい範囲(対象範囲)において、傾向値との差分が閾値よりも小さい画素を探索する。対象範囲は、例えば、検出範囲の中心位置を中心として、検出範囲を縦方向に2倍し、横方向に2倍した範囲であり得る。そして、領域決定部106は、対象範囲のうち、傾向値との差分が閾値よりも小さい全ての画素からなる領域(範囲)を、物体が存在する領域(物体領域;物体範囲)として決定する。言い換えると、物体領域は、対象範囲から、傾向値との差分が閾値以上の画素(範囲)を除いた範囲(領域)である。
ここで、物体領域を決定するための閾値は、ユーザが事前に入力した値であってもよいし、領域決定部106が画像に基づき決定してもよい。例えば、領域決定部106は、検出範囲または対象範囲または画像全体における画素値の最大値と最小値に基づき、閾値を決定することができる。具体的には、領域決定部106は、検出範囲または対象範囲における画素値の最大値と最小値との差分を所定の数値(例えば、5や10)で除算した数を、閾値として決定することができる。このように、閾値を決定することによれば、背景と物体とが近い画素値によって表現されている場合には閾値を小さくすることができ、背景と物体とが大きく異なる画素値によって表現されている場合には閾値を大きくすることができる。従って、背景と物体とが近い画素値によって表現されている場合には、背景を示す画素が物体領域に含まれてしまう可能性を低減できる。背景と物体とが大きく異なる画素値によって表現されている場合には、物体を示す画素が物体領域に含まれない可能性を低減することができる。
補正部107は、物体領域を囲う(示す)ように検出枠を補正する。つまり、補正部107は、対象範囲における検出枠の外側(外部)に、傾向値との差分が閾値よりも小さい画素が位置しないように検出枠を補正する。ここで、補正部107は、物体領域に接するように検出枠を補正すると、ユーザが検出枠の範囲と物体が表示された範囲とをほぼ一致させることができる。
表示部108は、補正部107が補正をした検出枠が重畳された画像を表示する。表示部108は、有機ELディスプレイやプロジェクタであり得る。
なお、図2に示す構成の全部または一部を、ASICやFPGAなどで構成してもよい。あるいは、図2に示す構成の全部または一部を、クラウドコンピューティングや分散コンピューティングにより実現してもよい。
[検出枠の補正処理]
図3、図4A~図4Cを参照して、本実施形態に係る検出枠の補正処理(検出枠の補正方法)を説明する。図3は、検出枠の補正処理のフローチャートを示す。また、図3のフローチャートの各処理は、記憶部102に記憶されたプログラムを制御部101が実行して、制御部101が各機能部を制御することによって実現する。
図3、図4A~図4Cを参照して、本実施形態に係る検出枠の補正処理(検出枠の補正方法)を説明する。図3は、検出枠の補正処理のフローチャートを示す。また、図3のフローチャートの各処理は、記憶部102に記憶されたプログラムを制御部101が実行して、制御部101が各機能部を制御することによって実現する。
ステップS1001において、画像取得部103は、画像を取得する。ここで、画像取得部103が取得する画像は、リアルタイムに被写体を撮像したライブビュー画像であってもよいし、予め記憶部102に記憶された動画や静止画であってもよい。また、表示部108は、画像取得部103が取得した画像を表示してもよい。
ステップS1002において、物体検出部104は、画像取得部103が取得した画像から物体を検出して、物体を示すように、画像に対して検出枠を設定する。本実施形態では、検出される物体は、人の顔であるとする。例えば、物体検出部104は、図4Aに示すように、人の顔40を示すように、検出枠41を画像に設定する。なお、検出枠を設定するとは、上述したように、検出結果として、検出枠(検出枠の位置、大きさ、範囲)を一義的に示す情報を設定することである。
ステップS1003において、傾向決定部105は、画像における検出枠に囲まれた範囲(検出範囲)の傾向値を決定する。上述のように、傾向値は、検出範囲の全ての画素の画素値の平均値、最頻値、中央値などの代表値であり得る。このため、画像が距離画像や温度画像である場合には、検出範囲の全ての画素が示す距離値や温度値の平均値、最頻値、中央値であり得る。ここで、距離画像や温度画像を用いることによれば、物体と背景との画素値が近い場合においても、物体と背景との距離や温度が異なれば、適切な傾向値が決定できる。このため、例えば、顔と背景との色が似ている場合には、RGB画像やグレー画像を用いるよりも、距離画像や温度画像を用いることによって適切に検出枠を補正できる。
ステップS1004において、領域決定部106は、検出範囲よりも大きい範囲である対象範囲において、傾向値との差分が閾値よりも小さい全ての画素からなる領域(物体領域;物体範囲)を決定する。言い換えると、物体領域は、対象範囲から、傾向値との差分が閾値以上の画素(範囲)を除いた範囲(領域)である。例えば、図4Aに示す画像に示す検出枠41が囲う範囲において、ステップS1004の処理が実行されると、図4Bに示す白い領域(斜線によって示されていない領域)が物体領域であると決定される。なお、ステップS1004において、領域決定部106は、傾向値との差分が閾値よりも小さいブロック(複数の画素の集合)からなる領域を物体領域として決定してもよい。この場合には、領域決定部106は、傾向値と各ブロックの平均画素値との差分に応じて、物体領域を決定することができる。
ここで、対象範囲を検出範囲よりも大きな範囲にすることによって、ステップS1002において設定した検出枠が顔の範囲よりも小さい場合に、検出枠を大きくする補正をすることが可能になる。ただし、対象範囲をあまりにも広げ過ぎると、誤った領域が物体領域として決定されてしまう可能性である。そこで、対象範囲は、画像全体よりも小さい大
きさであって、検出範囲の大きさ(縦の長さ、横の長さ)の2倍以下または1.5倍以下のように、検出範囲の大きさの所定倍(1より大きい倍率)以下の大きさに制限することが好ましい。また、対象範囲は、検出範囲の大きさに所定の大きさを加えた大きさであってもよい。なお、対象範囲の大きさは、検出範囲の大きさと画像全体の大きさとの平均の大きさであってもよい。このように、領域決定部106は、画像全体よりも小さな範囲において、検出範囲の大きさに基づき、または、検出範囲の大きさと画像全体の大きさに基づき、対象範囲を決定してもよい。
きさであって、検出範囲の大きさ(縦の長さ、横の長さ)の2倍以下または1.5倍以下のように、検出範囲の大きさの所定倍(1より大きい倍率)以下の大きさに制限することが好ましい。また、対象範囲は、検出範囲の大きさに所定の大きさを加えた大きさであってもよい。なお、対象範囲の大きさは、検出範囲の大きさと画像全体の大きさとの平均の大きさであってもよい。このように、領域決定部106は、画像全体よりも小さな範囲において、検出範囲の大きさに基づき、または、検出範囲の大きさと画像全体の大きさに基づき、対象範囲を決定してもよい。
また、情報処理装置100(制御部101)は、物体領域を決定した後に、S1001にて取得した画像からノイズを除去するノイズ処理(ラベリング処理や縮小・膨張処理)を行ってもよい。
ステップS1005において、補正部107は、物体領域を囲うように検出枠(物体の検出結果)を補正する。つまり、補正部107は、検出枠の内側に物体領域が位置するように、検出枠を補正する。従って、対象範囲における補正後の検出枠の外側には、傾向値との差分が閾値よりも小さい画素(範囲)が位置しない。ここで、望ましくは、補正部107は、検出枠の各辺が物体領域に接するように、検出枠を補正するとよい。例えば、図4Bに示す斜線によって示されていない領域が物体領域である場合には、検出枠41が図4Cに示すように補正されるとよい。なお、補正部107は、ステップS1005において、検出枠の形状を変更してもよい。例えば、補正部107は、検出枠の形状を、矩形から円形に変更してもよい。また、検出枠の形状が矩形以外であれば、補正部107は、検出枠の形状を矩形にするように変更してもよい。
なお、ステップS1005の処理の終了後、表示部108は、補正された検出枠が設定(重畳)された画像を表示してもよい。また、制御部101は、補正された検出枠に囲まれた範囲に対してオートフォーカスを実行するような制御をしてもよいし、当該範囲を例えば顔を示す画像として切り出して記憶部102に記憶させるようにしてもよい。
このように、検出枠が囲う範囲の傾向値に基づいて、検出枠(検出結果)を補正することによって、傾向値に近い画素の集合を囲うように検出枠を補正できる。このため、より好適な範囲を示す検出枠に補正することができる。また、傾向値に近いか否かを判定する範囲(対象範囲)を、検出枠が囲う範囲(検出範囲)より大きい範囲にすることによって、検出枠を小さくする補正のみならず、検出枠を大きくする補正を実行することができる。さらに、検出枠が適切に補正されることによって、情報処理装置が撮像装置であれば、検出枠に囲われた範囲に表示された物体に対して、適切なオートフォーカスなどを実行することができる。
[変形例]
上述の実施形態では、情報処理装置100は、1つの傾向値によって、物体領域を決定していたが、複数の傾向値を用いて物体領域を決定してもよい。本変形例では、図3の示す検出枠の補正処理のうち、ステップS1003およびステップS1004の処理のみが異なるため、これらのステップの処理のみ以下では説明する。
上述の実施形態では、情報処理装置100は、1つの傾向値によって、物体領域を決定していたが、複数の傾向値を用いて物体領域を決定してもよい。本変形例では、図3の示す検出枠の補正処理のうち、ステップS1003およびステップS1004の処理のみが異なるため、これらのステップの処理のみ以下では説明する。
ステップS1003において、傾向決定部105は、画像における検出枠の範囲(検出範囲)の複数の傾向値を決定(取得)する。例えば、傾向決定部105は、RGB画像から、R値の平均値とG値の平均値とB値の平均値とを取得する。または、傾向決定部105は、RGB画像と距離画像とを含むような画像を取得している場合には、RGB画像の平均画素値と、距離画像の各画素が示す距離の平均値とを取得する。
ステップS1004において、領域決定部106は、対象範囲において、それぞれの傾
向値との差分が閾値よりも小さい画素からなる領域(物体領域)を決定する。言い換えると、物体領域は、対象範囲から、複数の傾向値のうち少なくともいずれかの傾向値との差分が閾値以上の画素(範囲)を除いた範囲(領域)である。例えば、ステップS1003において、傾向決定部105が、R値の平均値とG値の平均値とB値の平均値との3つの値を傾向値として取得しており、R値の平均値=200、G値の平均値=100、B値の平均値=50であり、閾値=10である場合を想定する。この場合には、領域決定部106は、対象範囲のうち、R値が191~209であり、G値が91~109であり、B値が41~59である画素からなる領域を物体領域として決定する。
向値との差分が閾値よりも小さい画素からなる領域(物体領域)を決定する。言い換えると、物体領域は、対象範囲から、複数の傾向値のうち少なくともいずれかの傾向値との差分が閾値以上の画素(範囲)を除いた範囲(領域)である。例えば、ステップS1003において、傾向決定部105が、R値の平均値とG値の平均値とB値の平均値との3つの値を傾向値として取得しており、R値の平均値=200、G値の平均値=100、B値の平均値=50であり、閾値=10である場合を想定する。この場合には、領域決定部106は、対象範囲のうち、R値が191~209であり、G値が91~109であり、B値が41~59である画素からなる領域を物体領域として決定する。
このように、複数の傾向値を用いることによれば、より正確に物体の存在する領域(物体領域)を決定することができるため、より正確に検出枠を補正することができる。
なお、実施形態に記載された事項のみによって特許請求の範囲の記載の解釈が限定されるものではない。特許請求の範囲の記載の解釈には、出願時の技術常識を考慮した、発明の課題が解決できることを当業者が認識できるように記載された範囲も含む。
(付記1)
画像、および当該画像における物体の範囲を示す当該物体の検出結果を取得する取得手段(103)と、
前記画像において前記検出結果に対応する枠が囲う第1の範囲の傾向値を決定する決定手段(105)と、
前記画像における前記第1の範囲よりも大きな第2の範囲であって、前記第1の範囲を含む前記第2の範囲から前記傾向値との差分が閾値以上の範囲を除いた第3の範囲を前記枠が示すように前記枠を補正する補正手段(107)と、
を有することを特徴とする情報処理装置(100)。
画像、および当該画像における物体の範囲を示す当該物体の検出結果を取得する取得手段(103)と、
前記画像において前記検出結果に対応する枠が囲う第1の範囲の傾向値を決定する決定手段(105)と、
前記画像における前記第1の範囲よりも大きな第2の範囲であって、前記第1の範囲を含む前記第2の範囲から前記傾向値との差分が閾値以上の範囲を除いた第3の範囲を前記枠が示すように前記枠を補正する補正手段(107)と、
を有することを特徴とする情報処理装置(100)。
(付記2)
画像、および当該画像における物体の範囲を示す当該物体の検出結果を取得する取得ステップ(S1001)と、
前記画像において前記検出結果に対応する枠が囲う第1の範囲の傾向値を決定する決定ステップ(S1003)と、
前記画像における前記第1の範囲よりも大きな第2の範囲であって、前記第1の範囲を含む前記第2の範囲から前記傾向値との差分が閾値以上の範囲を除いた第3の範囲を示すように前記枠を補正する補正ステップ(S1005)と、
を有することを特徴とする補正方法。
画像、および当該画像における物体の範囲を示す当該物体の検出結果を取得する取得ステップ(S1001)と、
前記画像において前記検出結果に対応する枠が囲う第1の範囲の傾向値を決定する決定ステップ(S1003)と、
前記画像における前記第1の範囲よりも大きな第2の範囲であって、前記第1の範囲を含む前記第2の範囲から前記傾向値との差分が閾値以上の範囲を除いた第3の範囲を示すように前記枠を補正する補正ステップ(S1005)と、
を有することを特徴とする補正方法。
100:情報処理装置、101:制御部、102:記憶部、103:画像取得部、
104:物体検出部、105:傾向決定部、106:領域決定部、107:補正部、
108:表示部
104:物体検出部、105:傾向決定部、106:領域決定部、107:補正部、
108:表示部
Claims (12)
- 画像、および当該画像における物体の範囲を示す当該物体の検出結果を取得する取得手段と、
前記画像において前記検出結果に対応する枠が囲う第1の範囲の傾向値を決定する決定手段と、
前記画像における前記第1の範囲よりも大きな第2の範囲であって、前記第1の範囲を含む前記第2の範囲から前記傾向値との差分が閾値以上の範囲を除いた第3の範囲を前記枠が示すように前記枠を補正する補正手段と、
を有することを特徴とする情報処理装置。 - 前記補正手段は、前記第3の範囲が前記枠の外側に位置しないように、かつ、前記第3の範囲に前記枠が接するように前記枠を補正する、
ことを特徴とする請求項1に記載の情報処理装置。 - 前記傾向値は、前記第1の範囲における画素値の最頻値、平均値、中央値のいずれかである、
ことを特徴とする請求項1または2に記載の情報処理装置。 - 前記物体は、人の顔である、
ことを特徴とする請求項1から3のいずれか1項に記載の情報処理装置。 - 前記枠の形状は、矩形であり、
前記補正手段は、前記第3の範囲に各辺が接するように前記枠を補正する、
ことを特徴とする請求項1から4のいずれか1項に記載の情報処理装置。 - 前記閾値は、前記第1の範囲または前記第2の範囲における、画素値の最大値および最小値の差分に基づく値である、
ことを特徴とする請求項1から5のいずれか1項に記載の情報処理装置。 - 前記画像は、グレー画像、または、RGB画像である、
ことを特徴とする請求項1から6のいずれか1項に記載の情報処理装置。 - 前記画像は、各画素が被写体と撮像装置との距離を画素値として示す距離画像である、
ことを特徴とする請求項1から6のいずれか1項に記載の情報処理装置。 - 前記画像は、各画素が被写体の温度を画素値として示す温度画像である、
ことを特徴とする請求項1から6のいずれか1項に記載の情報処理装置。 - 前記決定手段は、前記第1の範囲における互いに異なる複数の傾向値を決定し、
前記第3の範囲は、前記第2の範囲から、前記複数の傾向値のうち少なくともいずれかの傾向値との差分が閾値以上の範囲を除いた範囲である、
ことを特徴とする請求項1から9のいずれか1項に記載の情報処理装置。 - 画像、および当該画像における物体の範囲を示す当該物体の検出結果を取得する取得ステップと、
前記画像において前記検出結果に対応する枠が囲う第1の範囲の傾向値を決定する決定ステップと、
前記画像における前記第1の範囲よりも大きな第2の範囲であって、前記第1の範囲を含む前記第2の範囲から前記傾向値との差分が閾値以上の範囲を除いた第3の範囲を示す
ように前記枠を補正する補正ステップと、
を有することを特徴とする補正方法。 - 請求項11に記載の補正方法の各ステップをコンピュータに実行させるためのプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020119850A JP7443965B2 (ja) | 2020-07-13 | 2020-07-13 | 情報処理装置、補正方法、プログラム |
PCT/JP2021/023103 WO2022014251A1 (ja) | 2020-07-13 | 2021-06-17 | 情報処理装置、補正方法、プログラム |
CN202180047031.0A CN115769257A (zh) | 2020-07-13 | 2021-06-17 | 信息处理装置、校正方法、程序 |
DE112021003723.4T DE112021003723T5 (de) | 2020-07-13 | 2021-06-17 | Informationsverarbeitungsverfahren, korrekturverfahren und programm |
US18/003,414 US20230245318A1 (en) | 2020-07-13 | 2021-06-17 | Information processing device, correction method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020119850A JP7443965B2 (ja) | 2020-07-13 | 2020-07-13 | 情報処理装置、補正方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022016882A true JP2022016882A (ja) | 2022-01-25 |
JP7443965B2 JP7443965B2 (ja) | 2024-03-06 |
Family
ID=79555480
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020119850A Active JP7443965B2 (ja) | 2020-07-13 | 2020-07-13 | 情報処理装置、補正方法、プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230245318A1 (ja) |
JP (1) | JP7443965B2 (ja) |
CN (1) | CN115769257A (ja) |
DE (1) | DE112021003723T5 (ja) |
WO (1) | WO2022014251A1 (ja) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05205052A (ja) * | 1992-01-23 | 1993-08-13 | Matsushita Electric Ind Co Ltd | 自動追尾装置 |
JP2004220555A (ja) | 2002-12-27 | 2004-08-05 | Fuji Photo Film Co Ltd | 画像から被写体領域を抽出する装置、方法、プログラムおよびプログラムを記録した記録媒体 |
JP4708835B2 (ja) | 2005-04-12 | 2011-06-22 | 日本電信電話株式会社 | 顔検出装置、顔検出方法、及び顔検出プログラム |
JP5141317B2 (ja) | 2008-03-14 | 2013-02-13 | オムロン株式会社 | 対象画像検出デバイス、制御プログラム、および該プログラムを記録した記録媒体、ならびに対象画像検出デバイスを備えた電子機器 |
-
2020
- 2020-07-13 JP JP2020119850A patent/JP7443965B2/ja active Active
-
2021
- 2021-06-17 CN CN202180047031.0A patent/CN115769257A/zh active Pending
- 2021-06-17 DE DE112021003723.4T patent/DE112021003723T5/de active Pending
- 2021-06-17 US US18/003,414 patent/US20230245318A1/en active Pending
- 2021-06-17 WO PCT/JP2021/023103 patent/WO2022014251A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
DE112021003723T5 (de) | 2023-06-22 |
JP7443965B2 (ja) | 2024-03-06 |
CN115769257A (zh) | 2023-03-07 |
US20230245318A1 (en) | 2023-08-03 |
WO2022014251A1 (ja) | 2022-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20200023651A (ko) | 미리보기 사진 블러링 방법 및 장치 및 저장 매체 | |
US10007846B2 (en) | Image processing method | |
JP2013197785A (ja) | 画像生成装置、画像生成方法及びプログラム | |
US10058237B2 (en) | Image processing device, image processing method, and program | |
US20160267320A1 (en) | Image processing apparatus and image processing method | |
JP2010160792A (ja) | 赤目を検出する方法、コンピューター読み取り可能な媒体および画像処理装置 | |
JP6122988B1 (ja) | 画像処理装置、画像処理方法、および、プログラム | |
KR102311367B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 프로그램 | |
KR101597915B1 (ko) | 화상 처리 장치 및 화상 처리 방법 | |
JP2017130794A (ja) | 情報処理装置、評価用チャート、評価システム、および性能評価方法 | |
JP6320053B2 (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
JP2016167681A (ja) | 画像生成装置および画像生成方法 | |
JP2006040231A (ja) | 画像処理装置及びその方法、撮像装置、プログラム | |
US9323981B2 (en) | Face component extraction apparatus, face component extraction method and recording medium in which program for face component extraction method is stored | |
WO2022014251A1 (ja) | 情報処理装置、補正方法、プログラム | |
JP4328259B2 (ja) | 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置 | |
JP2005316958A (ja) | 赤目検出装置および方法並びにプログラム | |
EP2541469B1 (en) | Image recognition device, image recognition method and image recognition program | |
JP7030425B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
US11763596B2 (en) | Image capturing support apparatus, image capturing support method, and computer-readable recording medium | |
JP6320130B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
CN111385559B (zh) | 辅助调整相机倾斜角度的方法和装置、存储介质、相机 | |
JP6396138B2 (ja) | 人体検出装置 | |
JP5807695B2 (ja) | 被写体検出装置、被写体検出方法及びプログラム | |
WO2021261141A1 (ja) | 物体検出装置および物体検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240123 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240205 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7443965 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |