JP2021125137A - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP2021125137A JP2021125137A JP2020020051A JP2020020051A JP2021125137A JP 2021125137 A JP2021125137 A JP 2021125137A JP 2020020051 A JP2020020051 A JP 2020020051A JP 2020020051 A JP2020020051 A JP 2020020051A JP 2021125137 A JP2021125137 A JP 2021125137A
- Authority
- JP
- Japan
- Prior art keywords
- image
- human body
- detection
- captured
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】全方位カメラによる撮像画像の処理負荷を抑えつつ高精度に人体検出を行う技術を提供する。【解決手段】画像処理装置が、全方位カメラによって人体検出を行う検出領域が撮像された撮像画像を取得する画像取得手段と、前記撮像画像内の前記検出領域の位置に基づいて、前記撮像画像の前記検出領域に対する人体検出に使用する人体の特徴量を含む複数種類の辞書情報から単一種類の辞書情報を選択する辞書情報選択手段と、前記選択された辞書情報を用いて前記検出領域内の画像に対する人体検出を行う人体検出手段と、前記人体検出の結果を出力する出力手段とを有する。【選択図】図2
Description
本発明は、画像内の人体を検出する技術に関する。
全方位カメラ(魚眼カメラ)を利用した監視においては、撮像画像に対する人体検出を高精度に行うことが求められる。
このため、全方位カメラによる撮像画像を処理して人体検出の高速化を図る技術が提案されている。特許文献1には、事前に全方位カメラによる撮像画像を収集して辞書情報を生成し、全方位カメラによって新たに撮像された画像に対して辞書情報を参照して人体検出を行うことで、人体検出の精度を高める技術が開示されている。また、特許文献2には、全方位カメラによる撮像画像に対して歪み補正を行うことで、撮像画像における人体検出の精度を高める技術が開示されている。
しかしながら、従来技術では、撮像画像内の分割された領域ごとに異なる辞書情報を用いて人体検出が行われたり、撮像画像に対する歪み補正の前処理が行われたりするため、撮像画像の処理負荷が膨大になる可能性がある。
本発明は上記実情に鑑みなされたものであって、全方位カメラによる撮像画像の処理負荷を抑えつつ高精度に人体検出を行う技術を提供することを目的とする。
上記目的を達成するために本発明は、以下の構成を採用する。
本発明の第一側面は、全方位カメラによって人体検出を行う検出領域が撮像された撮像画像を取得する画像取得手段と、前記撮像画像内の前記検出領域の位置に基づいて、前記撮像画像の前記検出領域に対する人体検出に使用する人体の特徴量を含む複数種類の辞書情報から単一種類の辞書情報を選択する辞書情報選択手段と、前記選択された辞書情報を用いて前記検出領域内の画像に対する人体検出を行う人体検出手段と、前記人体検出の結果を出力する出力手段と、を有することを特徴とする画像処理装置である。これにより、1つの辞書情報のみを用いて検出領域の画像に対する人体検出が実行されるため、従来よりも画像処理装置の処理負荷を抑えつつ精度よい人体検出が実現される。
また、本発明の別の側面は、全方位カメラによって人体検出を行う検出領域が撮像された撮像画像を取得する画像取得手段と、前記撮像画像内の前記検出領域の位置に基づいて、前記撮像画像内に前記撮像画像の前記検出領域を拡大した拡大領域を設定する領域設定手段と、前記撮像画像内に設定された前記拡大領域内の画像に対する人体検出を行う人体検出手段と、前記人体検出の結果を出力する出力手段と、を有することを特徴とする画像処理装置である。これにより、人体が検出領域内に存在するがその頭部が検出領域外にある場合でも、拡大領域内に頭部が含まれる結果、人体検出の精度が向上する。
また、前記領域設定手段は、前記撮像画像の中心から離れる方向に前記検出領域を拡大して前記拡大領域を設定してもよい。これにより、拡大領域内に人体の頭部が入る確率をより高めることができる。
また、本発明の別の側面は、全方位カメラによって人体検出を行う検出領域が撮像された撮像画像を取得する画像取得手段と、前記撮像画像内の前記検出領域の位置に基づいて、前記撮像画像内で人体検出によって検出される互いに重なり合う複数の人体の候補を単一の候補に統合する統合しやすさを示す閾値を設定する閾値設定手段と、前記閾値を用いて前記検出領域の画像に対する人体検出を行う人体検出手段と、前記人体検出の結果を出力する出力手段と、を有することを特徴とする画像処理装置である。これにより、撮像画像内で人体が重なり合っている場合でも、個々の人体を検出する精度をより高めることができる。
また、前記閾値設定手段は、前記撮像画像を複数の領域に分割した場合の分割領域ごとに設定された閾値に基づいて、前記統合しやすさを示す閾値を設定してもよい。さらに、前記分割領域に設定される閾値は、前記撮像画像の中心から離れるほど、複数の人体の候補が単一の候補に統合されにくい閾値としてもよい。これにより、撮像画像の外縁に近い領域に対して人体検出を行う場合でも、個々の人体を精度よく検出することができる。
また、本発明の別の側面は、全方位カメラによって人体検出を行う検出領域が撮像された撮像画像を取得する画像取得手段と、前記撮像画像内の前記検出領域の位置に基づいて、前記検出領域の画像の画像サイズを設定する画像サイズ設定手段と、前記検出領域の画像の画像サイズを前記設定された画像サイズに変換する画像変換手段と、前記画像サイズが変換された前記検出領域の画像に対する人体検出を行う人体検出手段と、前記人体検出の結果を出力する出力手段と、を有することを特徴とする画像処理装置である。これにより、画像サイズが変化された後の検出領域内の人体が小さすぎて検出されない現象の発生を効果的に抑制することができる。
また、前記画像サイズ設定手段は、前記撮像画像を複数の領域に分割した場合の分割領域ごとに設定された画像サイズに基づいて、前記検出領域の画像の前記画像サイズを設定してもよい。さらに、前記分割領域に設定される画像サイズは、前記撮像画像の中心から離れるほど大きくてもよい。これにより、撮像画像の外縁に近い領域の画像の画像サイズが変換された場合でも、人体を精度よく検出することができる。
なお、本発明は、上記処理の少なくとも一部を含む、画像処理方法や、これらの方法をコンピュータに実行させるためのプログラム、又は、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。
本発明によれば、全方位カメラによる撮像画像における人体の誤認識の低減、人体の認識率の向上を図り、人体の数や位置などを精度よく検出することができる。
<適用例>
本発明の適用例について説明する。全方位カメラ(魚眼カメラ)を利用した監視においては、撮像画像に対する人体検出を高精度に行うことが求められる。しかしながら、従来技術では、撮像画像内の分割された領域ごとに異なる辞書情報を用いて人体検出が行われたり、撮像画像に対する歪み補正の前処理が行われたりするため、撮像画像の処理負荷が膨大になる可能性がある。
本発明の適用例について説明する。全方位カメラ(魚眼カメラ)を利用した監視においては、撮像画像に対する人体検出を高精度に行うことが求められる。しかしながら、従来技術では、撮像画像内の分割された領域ごとに異なる辞書情報を用いて人体検出が行われたり、撮像画像に対する歪み補正の前処理が行われたりするため、撮像画像の処理負荷が膨大になる可能性がある。
図1は、本発明が適用された画像処理装置100の構成例を示すブロック図である。画像処理装置100は、画像取得部101、人体検出部102、出力部103を有する。画像取得部101は、全方位カメラによる撮像画像を取得する。人体検出部102は、以下の実施形態において詳述する処理を実行して、撮像画像に対する人体検出を行う。より具体的には、人体検出部102は、検出領域であるセルラインの位置に対応する辞書情報を用いる人体検出(第1実施形態)、撮像画像内のセルラインの位置に応じて拡大した検出領域に対する人体検出(第2実施形態)、検出された人体を囲む矩形を統合するパラメータの調整を基にした人体検出(第3実施形態)、セルラインの位置に応じて検出領域の画像サイズを変更する人体検出(第4実施形態)を行う。出力部103は、人体検出部102による人体検出の結果を出力する。画像取得部101、人体検出部102、出力部103は、それぞれ本発明の画像取得手段、人体検出手段、出力手段の一例である。
全方位カメラによる撮像画像に対する人体検出においては、人体検出のための画像の前処理に伴う処理負荷の増大や、画像内の人体の傾きや歪みに起因する人体の誤検出の発生が懸念される。本発明に係る画像処理装置100によれば、全方位カメラによる撮像画像の処理負荷を抑えつつ高精度に人体検出を行うことができる。
<第1の実施形態>
本発明の第1の実施形態について説明する。
本発明の第1の実施形態について説明する。
図2は、第1の実施形態に係る画像処理システムの大まかな構成例を示す模式図である。第1の実施形態に係る画像処理システムは、全方位カメラ(魚眼カメラ)、PC200
(パーソナルコンピュータ;画像処理装置)、及び、表示装置を有する。全方位カメラとPC200は有線または無線で互いに接続されており、PC200と表示装置は有線または無線で互いに接続されている。
(パーソナルコンピュータ;画像処理装置)、及び、表示装置を有する。全方位カメラとPC200は有線または無線で互いに接続されており、PC200と表示装置は有線または無線で互いに接続されている。
第1の実施形態では、工場や物流倉庫などで展開されるセルラインを全方位カメラによって撮像することを想定する。そして、全方位カメラによる撮像画像内のセルラインの領域が、人体検出の対象となる検出領域となる。全方位カメラは、セルラインを撮像し、撮像画像をPC200に出力する。全方位カメラの撮像方向は特に限定されないが、第1の実施形態では、例えば全方位カメラはセルラインが展開されているフロアの天井に、セルラインを俯瞰する方向に設置されている。PC200は、全方位カメラによる撮像画像に基づいて人体検出を行い、検出結果を表示装置へ出力する。表示装置の一例としては、ディスプレイや情報処理端末(スマートフォンなど)が挙げられる。
なお、第1の実施形態ではPC200が全方位カメラや表示装置とは別体の装置であるものとするが、PC200は全方位カメラまたは表示装置と一体に構成されてもよい。また、PC200の設置場所は特に限定されない。例えば、PC200は全方位カメラと同じ部屋に設置されてもよい。また、PC200はクラウド上のコンピュータであってもよい。
PC200は、入力部210、制御部220、記憶部230、及び、出力部240を有する。制御部220は、セルライン位置計算部221、辞書選択部222、及び、人体検出部223を有する。
入力部210は、全方位カメラによってセルラインを撮像した撮像画像を、全方位カメラから取得して制御部220に出力する。なお、全方位カメラは動画の撮像を行うものであってもよく、その場合は、入力部210は、撮像された動画を構成するフレームを全方位カメラから取得して取得したフレームを制御部220に出力する処理を、順次行う。また、全方位カメラは光学カメラでなくてもよく、サーマルカメラなどであってもよい。
制御部220は、CPU(Central Processing Unit)やRAM(Random Access Memory)、ROM(Read Only Memory)などを含み、PC200内の各部の制御や、各種情報処理などを行う。
セルライン位置計算部221は、全方位カメラの位置と、全方位カメラによって撮像されるセルラインの位置との関係から、入力部210によって取得された撮像画像内のセルラインの位置を計算する。全方位カメラとセルラインとの位置関係に関する情報は、あらかじめ記憶部230に記憶されていてもよいし、外部から入力部210を経由して取得されてもよい。また、全方位カメラとセルラインとの位置関係に関する情報は、入力部210によって取得される撮像画像のヘッダに格納されるなど、撮像画像とともに取得されてもよい。
あるいは、セルライン位置計算部221は、撮像画像からセルラインの位置を特定することもできる。例えば、セルラインの床の色がセルラインであることを識別可能な色である場合は、セルライン位置計算部221は、撮像画像内の床の色に基づいてセルラインの位置を特定することができる。また、例えば、セルラインの床の高さがセルライン以外の床の高さと異なる場合は、セルライン位置計算部221は、撮像画像内の床の高さに基づいてセルラインの位置を特定することができる。また、例えば、セルラインが特定の配置(Uの字形の配置など)である場合は、セルライン位置計算部221は、撮像画像内のセルラインのエッジの形状を識別して識別した形状が当該特定の配置の形状と適合するか否かの判定を基にセルラインの位置を特定することができる。また、例えば、全方位カメラ
の撮像対象となりうるセルラインの形状を機械学習によって学習した学習モデルを作成した場合は、セルライン位置計算部221は、当該学習モデルを用いて撮像画像内のセルラインの位置を特定することができる。それぞれの場合において、撮像画像内のセルラインの位置の特定に必要なセルラインに関する情報は、あらかじめ記憶部230に記憶されていてもよいし、外部から入力部210を経由して取得されてもよい。また、セルラインに関する情報は、入力部210によって取得される撮像画像のヘッダに格納されるなど、撮像画像とともに取得されてもよい。
の撮像対象となりうるセルラインの形状を機械学習によって学習した学習モデルを作成した場合は、セルライン位置計算部221は、当該学習モデルを用いて撮像画像内のセルラインの位置を特定することができる。それぞれの場合において、撮像画像内のセルラインの位置の特定に必要なセルラインに関する情報は、あらかじめ記憶部230に記憶されていてもよいし、外部から入力部210を経由して取得されてもよい。また、セルラインに関する情報は、入力部210によって取得される撮像画像のヘッダに格納されるなど、撮像画像とともに取得されてもよい。
第1の実施形態に係る画像処理装置200では、全方位カメラの撮像画像内のセルラインの位置に応じて異なる辞書情報が使用されて人体検出が行われる。ここで辞書情報とは、撮像画像内のセルラインから人体を検出することを目的として、あらかじめ撮像された画像を基に学習された人体の特徴量などが蓄積された情報である。人体の特徴量の例としては、人体のさまざまな姿勢を示す情報が挙げられる。辞書情報が使用されることで、撮像画像内に含まれるさまざまな形状の人体を検出することができる。
全方位カメラの撮像画像では、検出される人体は、画像内の位置、より具体的にはカメラ(画像中心)に対する位置に応じて歪んでいる。そこで、本実施形態では、撮像画像の中心に対するセルラインの位置に応じて異なる辞書情報が用いられる。辞書情報の種類の一例として、セルライン位置計算部221によって特定されるセルラインを包含する矩形の中心が撮像画像の中心に対して上方向にある場合に使用される上方向辞書情報、下方向にある場合に使用される下方向辞書情報、右方向にある場合に使用される右方向辞書情報、左方向にある場合に使用される左方向辞書情報、互いの中心がほぼ重なる場合に使用される中央辞書情報、セルラインの位置に関係なく汎用的に使用される全方向辞書情報が挙げられる。また、人体検出に使用される各辞書情報は、あらかじめ作成されて記憶部230に記憶されている。
辞書選択部222は、セルライン位置計算部221によって特定されたセルラインの撮像画像内の位置に基づいて、当該撮像画像の人体検出に使用する辞書情報を選択する。人体検出部223は、辞書選択部222によって選択された辞書情報を記憶部230から取得し、セルライン位置計算部221によって特定されたセルラインの位置を基に、辞書情報を使用して撮像画像のセルラインから人体を検出する。なお、人体検出部223による人体検出にはどのようなアルゴリズムを用いてもよい。例えば、既存の人体検出処理により人体を検出してもよく、具体的にはHoGやHaar−likeなどの画像特徴とブースティングを組み合わせた検出器を用いて人体を検出してもよい。また、既存の機械学習により生成された学習済みモデルを用いて人体を検出してもよく、具体的にはディープラーニング(例えば、R−CNN、Fast R−CNN、YOLO、SSDなど)により生成された学習済みモデルを用いて人体を検出してもよい。
記憶部230は、上記のセルラインに関する情報や辞書情報のほか、制御部220で実行されるプログラムや、制御部220で使用される各種データなどを記憶する。例えば、記憶部230は、ハードディスクドライブ、ソリッドステートドライブ、等の補助記憶装置である。出力部240は、人体検出部223による人体の検出結果に応じた情報を、表示装置に出力する。なお、人体検出部223による人体の検出結果は、記憶部230に記憶されて、任意のタイミングで出力部240から出力されてもよい。
図3は、PC200の処理フロー例を示すフローチャートである。PC200は、入力部210によって取得される画像ごとに図3の処理フローを実行する。PC200によって繰り返し実行される図3の処理フローの繰り返し周期は特に限定されないが、第1の実施形態では、全方位カメラによる撮像のフレームレートで図3の処理フローが繰り返されるとする。
まず、入力部210が、全方位カメラによって撮像された撮像画像を全方位カメラから取得する(ステップS301)。
次に、セルライン位置計算部221が、全方位カメラの位置とセルラインの位置との関係を示すセルライン位置情報を撮像画像や記憶部230などから取得する(ステップS302)。そして、セルライン位置計算部221は、ステップS302で取得したセルライン位置情報を基に、ステップS301で取得された撮像画像におけるセルラインの位置を特定する(ステップS303)。
次に、辞書選択部222が、ステップS303で特定された撮像画像におけるセルラインの位置を基に、撮像画像の人体検出に使用する辞書情報を選択する(ステップS304)。
次に、人体検出部223が、ステップS304で選択された辞書情報を記憶部230などから取得し、取得した辞書情報を用いて、ステップS301で取得された撮像画像内のセルラインに対する人体検出を行う(ステップS305)。
次に、出力部240が、ステップS305における人体検出の結果を表示装置に出力する。なお、ステップS305において、出力部240は、人体検出の結果を表示装置に出力する代わりにあるいはこれに加えて、人体検出の結果を記憶部230に記憶してもよい。
図4は、図3の処理フローで人体検出部223による人体検出の結果の具体例を示す模式図である。入力部210によって取得された全方位カメラの撮像画像400では、撮像領域410が円形の領域となる。撮像領域410の画像は、画像の中心O付近は歪みが小さく、中心Oから離れるにつれて歪みが大きくなる。撮像領域410内には、工程A〜工程Dで構成されるセルライン420が含まれている。セルライン位置計算部221によって、撮像画像400におけるセルライン420が特定される。また、セルライン420の中心O’は、画像の中心Oに対して上方向に位置している。このため、辞書選択部222によって撮像画像400の人体検出に用いる辞書情報として上方向辞書情報が選択される。
人体検出部223によって、セルライン420内に存在する人物430、440が検出される。人体検出部223は、検出した人物430、440を取り囲む矩形431、441を設定する。表示装置によって表示される人体検出の結果には、矩形421、441が表示されることで、画像処理装置200のユーザは、人体検出部223によって検出された人体の位置を確認することができる。
第1の実施形態によれば、全方位カメラによる撮像画像における人体検出の対象領域の位置に応じて、使用する辞書情報が特定される。このため、画像処理装置200による人体検出の処理負荷は、従来技術のように複数の辞書情報を用いる場合よりも軽減されることが期待できる。また、撮像画像における人体検出の対象領域の位置に応じて、歪んで描出される人体の検出に適切な辞書情報が選択されることで、全方位カメラによる撮像画像における人体検出の精度が高まることも期待できる。
<第2の実施形態>
本発明の第2の実施形態について説明する。なお、以下では、第1の実施形態と異なる点(構成や処理など)について詳しく説明し、第1の実施形態と同様の点についての説明は適宜省略する。
本発明の第2の実施形態について説明する。なお、以下では、第1の実施形態と異なる点(構成や処理など)について詳しく説明し、第1の実施形態と同様の点についての説明は適宜省略する。
第2の実施形態に係る画像処理システムの大まかな構成は、第1の実施形態(図2)と同様である。図5は、第2の実施形態に係るPC500(パーソナルコンピュータ;画像処理装置)の構成例を示すブロック図である。図5において、図2(第1の実施形態)と同じ構成要素には、図2と同じ符号が付されている。PC500は、入力部210、制御部520、記憶部230、及び、出力部240を有する。制御部520は、図2の制御部220と同様の機能を有する。ただし、制御部520は、図2の辞書選択部222に対応する構成要素を有しておらず、セルライン位置計算部221に対応するセルライン位置計算部521と、人体検出部223に対応する人体検出部523と、領域設定部524とを有する。
領域設定部524は、セルライン位置計算部521によって特定された撮像画像内のセルラインの位置を基に、人体検出を行う検出領域を設定する。
ここで、領域設定部524による検出領域の設定の具体例について図6を参照しながら説明する。領域設定部524は、図6に例示する撮像画像に対して、撮像画像の中心Oを原点とするXY直交座標を設定する。そして、領域設定部524は、セルライン位置計算部521によって特定されたセルラインを包含する矩形の中心O’と撮像画像の中心Oとの位置関係を基に、セルラインを包含する矩形を所定の方向に拡大した矩形で囲まれる拡大領域を、人体検出を行う検出領域とする。
図6の例では、セルラインを包含する矩形620の中心O’が撮像画像の中心Oに対して上方向に位置している。そこで、領域設定部524は、矩形620の各頂点のXY座標を例えば以下の式(1)〜(7)を用いて移動する。
上記の式によって移動前の座標(x,y)が座標(x’,y’)に移動される。式(1)は、矩形620の左上頂点のX座標の移動を表す式である。式(1)において、「Left_top_x」は、矩形620の「左上頂点のX座標」を意味し、「Left_top_x’」は、式(1)によって移動された後の「左上頂点のX座標」を意味する。同様に式(2)〜(6)は、それぞれ矩形620の左上頂点のY座標、右上頂点のX座標、右上頂点のY座標、左下頂点のX座標、右下頂点のX座標の移動を表す式である。また、式(7)の「Width」は、矩形620の幅、すなわちX軸方向の長さであり、「Height」は、矩形620の高さ、すなわちY軸方向の長さである。
式(1)〜(7)を用いる場合、元の検出領域の幅と高さに応じた拡大幅(α×f(x))によって検出領域を拡大した領域が設定される。また、拡大幅の決定に用いられる係数αは、例えば、撮像画像内のセルラインにおいて人体の頭部が元の検出領域からはみ出すとすればどの程度はみ出すかを考慮して、人体の頭部が含まれる確率が高くなるようにマージンを設けた上であらかじめ決定することができる。拡大幅の決定方法は、元の検出領域からはみ出た人体の頭部が拡大領域内に含まれる確率が高まるような方法であれば上記に限られない。
このように、領域設定部524は、セルラインを包含する領域を撮像画像の中心から離れる方向に向かって拡大した拡大領域を人体検出に用いる検出領域として設定する。領域設定部524によって設定される検出領域の座標情報などは、記憶部230に記憶される。そして、人体検出部523は、撮像画像600に対して領域設定部524によって設定された検出領域内の人体検出を行う。人体検出部523によって、検出領域650内に存在する人物630、640が検出される。人体検出部523は、検出した人物630、640を取り囲む矩形631、641を設定する。表示装置によって表示される人体検出の結果には、矩形621、641が表示されることで、画像処理装置500のユーザは、人体検出部523によって検出された人体の位置を確認することができる。
図6の例では、工程A〜工程Dを有するセルラインの矩形620に人体630、640が存在するが、それぞれの人体の頭部がセルラインの矩形620の外側に位置している。このため、人体検出部523が矩形620に対して人体検出を行った場合は、人体630、640の頭部を認識できず、人体630、640を検出できない可能性がある。第2の実施形態では、人体検出部523は、領域設定部524によってセルライン内の人体が頭部まで含まれるように拡大された検出領域650を対象として人体検出を行うため、人体630、640をより精度よく検出することができる。
図7は、PC500の処理フロー例を示すフローチャートである。PC500は、第1の実施形態と同様に入力部210によって取得される画像ごとに図7の処理フローを繰り返し実行する。
まず、入力部210が、全方位カメラによって撮像された撮像画像を全方位カメラから取得する(ステップS701)。
次に、セルライン位置計算部521が、全方位カメラの位置とセルラインの位置との関係を示すセルライン位置情報を撮像画像や記憶部230などから取得する(ステップS702)。そして、セルライン位置計算部521は、ステップS702で取得したセルライン位置情報を基に、ステップS701で取得された撮像画像におけるセルラインの位置を特定する(ステップS703)。
次に、領域設定部524が、ステップS703において特定したセルラインに対して、上記の説明の通り、セルラインを包含する検出領域の矩形の各頂点の座標を移動して拡大領域を設定する(ステップS704)。
次に、人体検出部523が、ステップS704で設定された検出領域を領域設定部524や記憶部230などから取得し、取得した検出領域を用いて、ステップS701で取得された撮像画像内の検出領域に対する人体検出を行う(ステップS705)。
次に、出力部240が、ステップS705における人体検出の結果を表示装置に出力する(ステップS706)。なお、ステップS706において、出力部240は、人体検出の結果を表示装置に出力する代わりにあるいはこれに加えて、人体検出の結果を記憶部230に記憶してもよい。
以上述べたように、第2の実施形態によれば、全方位カメラの撮像画像におけるセルラインの領域を拡大した領域を人体検出の検出領域とすることで、セルラインに存在する人体の検出精度をさらに高めることができる。
<第3の実施形態>
本発明の第3の実施形態について説明する。なお、以下では、第1の実施形態と異なる点(構成や処理など)について詳しく説明し、第1の実施形態と同様の点についての説明は適宜省略する。
本発明の第3の実施形態について説明する。なお、以下では、第1の実施形態と異なる点(構成や処理など)について詳しく説明し、第1の実施形態と同様の点についての説明は適宜省略する。
第3の実施形態に係る画像処理システムの大まかな構成は、第1の実施形態(図2)と同様である。図8は、第3の実施形態に係るPC800(パーソナルコンピュータ;画像処理装置)の構成例を示すブロック図である。図8において、図2(第1の実施形態)と同じ構成要素には、図2と同じ符号が付されている。PC800は、入力部210、制御部820、記憶部230、及び、出力部240を有する。制御部820は、図2の制御部220と同様の機能を有する。ただし、制御部820は、図2の辞書選択部222に対応する構成要素を有しておらず、セルライン位置計算部221に対応するセルライン位置計算部821と、人体検出部223に対応する人体検出部823と、統合パラメータ設定部825とを有する。
統合パラメータ設定部825は、セルライン位置計算部821によって特定された撮像画像内のセルラインの位置を基に、検出された人体の領域の統合の度合いを設定する。なお、統合パラメータ設定部825が、撮像画像内で人体検出によって検出される互いに重なり合う複数の人体の候補を単一の候補に統合する統合しやすさを示す閾値を設定する閾値設定手段の一例である。
図9A〜図9Cに、人体検出において検出される人体の領域の統合の度合いについて模式的に示す。撮像画像の人体検出においては、検出された人体の候補が矩形(図4の矩形431、441や図6の矩形621、641など)によって囲まれる。このとき、1体の
人体の候補に対して複数の異なる矩形が設定されることがある。また、画像内で複数の人体の候補が重なり合っている場合は、図9Aに例示するように、複数の人体の候補にまたがって複数の矩形が設定されることがある。PC800は、撮像画像内で検出された人体の候補を囲む矩形をどの程度統合(あるいは細分化)するかを、矩形の統合の度合いを示すパラメータを用いて調整する。このパラメータは、検出された人体の候補を囲む矩形が互いに重なり合う場合に、互いの矩形を包含する1つの矩形に統合する統合のしやすさを示す閾値であり、閾値が小さいほど互いの矩形は統合されにくく、閾値が大きいほど互いの矩形が統合されやすくなる。以下の説明では、このパラメータを統合パラメータと称する。したがって、設定される統合パラメータが小さすぎると、図9Aに示すように、複数の人体の候補にまたがって複数の矩形が設定される。また、設定される統合パラメータが大きすぎると、図9Bに示すように、複数の人体の候補を包含する1つの矩形が設定される。これらいずれの統合パラメータの場合も、個々の人体を適切に検出することはできない。第3の実施形態では、統合パラメータ設定825による統合パラメータの設定に基づいて、図9Cに示すように複数の人体の候補が重なり合っている場合でも個々の人体を包含する個別の矩形が設定される。統合パラメータの値は、矩形の重なり度合いを以下の式(8)で表されるIoU(Intersection over Union)を用いて算出した場合に矩形を統
合するか否かの閾値であってもよい。なお、式(8)はNon-Maximum Suppressionのアル
ゴリズムを用いる周知なものであるため、ここでは詳細な説明は省略する。
人体の候補に対して複数の異なる矩形が設定されることがある。また、画像内で複数の人体の候補が重なり合っている場合は、図9Aに例示するように、複数の人体の候補にまたがって複数の矩形が設定されることがある。PC800は、撮像画像内で検出された人体の候補を囲む矩形をどの程度統合(あるいは細分化)するかを、矩形の統合の度合いを示すパラメータを用いて調整する。このパラメータは、検出された人体の候補を囲む矩形が互いに重なり合う場合に、互いの矩形を包含する1つの矩形に統合する統合のしやすさを示す閾値であり、閾値が小さいほど互いの矩形は統合されにくく、閾値が大きいほど互いの矩形が統合されやすくなる。以下の説明では、このパラメータを統合パラメータと称する。したがって、設定される統合パラメータが小さすぎると、図9Aに示すように、複数の人体の候補にまたがって複数の矩形が設定される。また、設定される統合パラメータが大きすぎると、図9Bに示すように、複数の人体の候補を包含する1つの矩形が設定される。これらいずれの統合パラメータの場合も、個々の人体を適切に検出することはできない。第3の実施形態では、統合パラメータ設定825による統合パラメータの設定に基づいて、図9Cに示すように複数の人体の候補が重なり合っている場合でも個々の人体を包含する個別の矩形が設定される。統合パラメータの値は、矩形の重なり度合いを以下の式(8)で表されるIoU(Intersection over Union)を用いて算出した場合に矩形を統
合するか否かの閾値であってもよい。なお、式(8)はNon-Maximum Suppressionのアル
ゴリズムを用いる周知なものであるため、ここでは詳細な説明は省略する。
したがって、撮像画像において互いに重なり合う矩形のIoUが統合パラメータよりも大きい場合は互いの矩形が統合され、IoUが統合パラメータよりも小さい場合は矩形は統合されない。図10に第3の実施形態において撮像画像に適用される統合パラメータのテーブルの一例を模式的に示す。説明の都合上、全方位カメラの撮像画像の輪郭を示す枠1000と撮像画像内の撮像領域の輪郭を示す枠1010を示す。図10に示すように、全方位カメラの撮像画像が格子状の複数の領域に分割され、領域ごとに統合パラメータが設定されている。図10に示すように、テーブル内の撮像画像の中心から離れるほど大きい統合パラメータが設定されている。これにより、人体検出の対象となる検出領域が撮像画像の中心から離れるほど、検出領域内で重なり合う矩形は統合されにくい、すなわち各矩形が1つの人体を囲むものとして扱われやすくなる。全方位カメラによる撮像画像では、画像中心(全方位カメラのレンズ中心)から離れるほど、画像内の人体は重なりやすいといえる。したがって、上記の統合パラメータのテーブルによれば、撮像画像内の分割領域ごとに個々の人体を囲む適切な矩形が設定され、人体検出の精度をより高めることができる。第3の実施形態では、統合パラメータのテーブルのデータは、あらかじめ記憶部230に記憶されている。なお、統合パラメータのテーブルのデータは、PC800の外部から取得されてもよい。
図11は、PC800の処理フロー例を示すフローチャートである。PC800は、第1の実施形態と同様に入力部210によって取得される画像ごとに図11の処理フローを繰り返し実行する。
まず、入力部210が、全方位カメラによって撮像された撮像画像を全方位カメラから取得する(ステップS1101)。
次に、セルライン位置計算部821が、全方位カメラの位置とセルラインの位置との関係を示すセルライン位置情報を撮像画像や記憶部230などから取得する(ステップS1
102)。そして、セルライン位置計算部821は、ステップS1102で取得したセルライン位置情報を基に、ステップS1101で取得された撮像画像におけるセルラインの位置を特定する(ステップS1103)。
102)。そして、セルライン位置計算部821は、ステップS1102で取得したセルライン位置情報を基に、ステップS1101で取得された撮像画像におけるセルラインの位置を特定する(ステップS1103)。
次に、統合パラメータ設定部825が、記憶部230などから統合パラメータのテーブルを取得して、取得したテーブルを基に、ステップS1103において特定したセルラインの位置に対応する領域に適用する統合パラメータを設定する(ステップS1104)。
一例として、図10に、統合パラメータのテーブル上に、ステップS1103において特定したセルラインの位置に対応する領域を重ねて示す。当該領域の外縁を枠1100にて示す。図10に示すように、セルラインの領域は統合パラメータが設定されている複数の領域にまたがって存在する。そこで、統合パラメータ設定部825は、セルラインの領域と重なる統合パラメータの領域のうち、最大値の統合パラメータを有する領域を特定し、特定した領域に設定されている統合パラメータの値を、セルラインにおける人体検出に用いる統合パラメータとして設定する。例えば、図10の場合は、枠1100で囲まれる領域と重なる統合パラメータの領域に設定された統合パラメータのうち、最大値の統合パラメータは「0.4」である。したがって、統合パラメータ設定部825は、枠1100のセルラインに対して人体検出を行う際に使用する統合パラメータを0.4に設定する。統合パラメータ設定部825による統合パラメータの設定情報は、記憶部230に記憶されてよい。
次に、人体検出部823が、ステップS1104で設定された統合パラメータを統合パラメータ設定部825や記憶部230などから取得し、取得した統合パラメータを用いて、ステップS1101で取得された撮像画像内の検出領域に対する人体検出を行う(ステップS1105)。
次に、出力部240が、ステップS1105における人体検出の結果を表示装置に出力する(ステップS1106)。なお、ステップS1106において、出力部240は、人体検出の結果を表示装置に出力する代わりにあるいはこれに加えて、人体検出の結果を記憶部230に記憶してもよい。
以上述べたように、第3の実施形態によれば、全方位カメラの撮像画像におけるセルラインの領域に応じて統合パラメータが設定されることで、検出された人体の候補を囲む矩形を適切に統合し、セルラインに存在する人体の検出精度をさらに高めることができる。
<第4の実施形態>
本発明の第4の実施形態について説明する。なお、以下では、第1の実施形態と異なる点(構成や処理など)について詳しく説明し、第1の実施形態と同様の点についての説明は適宜省略する。
本発明の第4の実施形態について説明する。なお、以下では、第1の実施形態と異なる点(構成や処理など)について詳しく説明し、第1の実施形態と同様の点についての説明は適宜省略する。
第4の実施形態に係る画像処理システムの大まかな構成は、第1の実施形態(図2)と同様である。図12は、第4の実施形態に係るPC1200(パーソナルコンピュータ;画像処理装置)の構成例を示すブロック図である。図12において、図2(第1の実施形態)と同じ構成要素には、図2と同じ符号が付されている。PC1200は、入力部210、制御部1220、記憶部230、及び、出力部240を有する。制御部1220は、図2の制御部220と同様の機能を有する。ただし、制御部1220は、図2の辞書選択部222に対応する構成要素を有しておらず、セルライン位置計算部221に対応するセルライン位置計算部1221と、人体検出部1223に対応する人体検出部1223と、画像サイズ設定部1226と、画像変換部1227とを有する。
画像サイズ設定部1226は、セルライン位置計算部1221によって特定された撮像画像内のセルラインの位置を基に、セルラインの領域の画像サイズを設定する。
PC1200の制御部1220は、セルライン位置計算部1221によって特定されたセルラインの領域を撮像画像から切り出し、切り出したセルラインの画像を縮小する。そして、制御部1220は、このように画像サイズが変更されたセルラインの画像に対して人体検出を実行する。
全方位カメラの特性上、全方位カメラの撮像画像においては、画像の中心と端とでは同一の人体でも大きさが異なって描出される。したがって、撮像画像から切り出されたセルラインの画像に対して、撮像画像におけるセルラインの領域の位置に関係なく、一律に画像サイズの変更(縮小)が行われると、セルラインの領域が撮像画像の中心から離れるほど、セルライン内に存在する人体は小さくなるため、セルラインの領域が撮像画像の中心から離れるほど人体検出の精度が低下する可能性がある。そこで、第4の実施形態では、撮像画像におけるセルラインの領域の位置に応じて、切り出されたセルラインの画像に異なる画像サイズを設定する。これにより、撮像画像におけるセルラインの領域の位置に関係なく、領域内の人体の大きさがほぼ同じである画像に対して人体検出が行われることで、人体検出の精度の向上が期待できる。
図13に、第4の実施形態において撮像画像から切り出されたセルラインの領域の画像サイズのテーブルの一例を模式的に示す。説明の都合上、全方位カメラの撮像画像の輪郭を示す枠1300と撮像画像内の撮像領域の輪郭を示す枠1310を示す。図13に示すように、全方位カメラの撮像画像が格子状の複数の領域に分割され、領域ごとに画像サイズが設定されている。図13に示すように、テーブル内の撮像画像の中心から離れるほど大きい画像サイズが設定されている。これにより、人体検出の対象となる検出領域が撮像画像の中心から離れるほど、切り出されたセルラインの領域の画像サイズが大きくなるため、撮像画像の中心と同じ画像サイズに変換される場合に比べて画像内の人体が大きくなり、人体検出の精度がより高まる。第4の実施形態では、画像サイズのテーブルのデータは、あらかじめ記憶部230に記憶されている。なお、画像サイズのテーブルのデータは、PC1200の外部から取得されてもよい。
図14は、PC1200の処理フロー例を示すフローチャートである。PC1200は、第1の実施形態と同様に入力部210によって取得される画像ごとに図14の処理フローを繰り返し実行する。
まず、入力部210が、全方位カメラによって撮像された撮像画像を全方位カメラから取得する(ステップS1401)。
次に、セルライン位置計算部1221が、全方位カメラの位置とセルラインの位置との関係を示すセルライン位置情報を撮像画像や記憶部230などから取得する(ステップS1402)。そして、セルライン位置計算部1221は、ステップS1402で取得したセルライン位置情報を基に、ステップS1401で取得された撮像画像におけるセルラインの位置を特定する(ステップS1403)。
次に、画像サイズ設定部1226が、記憶部230などから画像サイズのテーブルを取得して、取得したテーブルを基に、ステップS1403において特定したセルラインの画像の画像サイズを設定する(ステップS1404)。
一例として、図13に、統合パラメータのテーブル上に、ステップS1403において特定したセルラインの位置に対応する領域を重ねて示す。当該領域の外縁を枠1320に
て示す。図13に示すように、セルラインの領域は画像サイズが設定されている複数の領域にまたがって存在する。そこで、画像サイズ設定部1226は、セルラインの領域と重なる画像サイズの領域のうち、最大の画像サイズを有する領域を特定し、特定した領域に設定されている画像サイズを、撮像画像から切り出されたセルラインの画像の画像変換後の画像サイズとして設定する。例えば、図13の場合は、枠1320で囲まれる領域と重なる画像サイズの領域に設定された画像サイズのうち、最大の画像サイズは「352」である。したがって、画像サイズ設定部1226は、枠1320のセルラインの画像の画像変換後の画像サイズを「352ピクセル×352ピクセル」に設定する。画像サイズ設定部825による画像サイズの設定情報は、記憶部230に記憶されてよい。
て示す。図13に示すように、セルラインの領域は画像サイズが設定されている複数の領域にまたがって存在する。そこで、画像サイズ設定部1226は、セルラインの領域と重なる画像サイズの領域のうち、最大の画像サイズを有する領域を特定し、特定した領域に設定されている画像サイズを、撮像画像から切り出されたセルラインの画像の画像変換後の画像サイズとして設定する。例えば、図13の場合は、枠1320で囲まれる領域と重なる画像サイズの領域に設定された画像サイズのうち、最大の画像サイズは「352」である。したがって、画像サイズ設定部1226は、枠1320のセルラインの画像の画像変換後の画像サイズを「352ピクセル×352ピクセル」に設定する。画像サイズ設定部825による画像サイズの設定情報は、記憶部230に記憶されてよい。
次に、画像変換部1227が、ステップS1404で設定された画像サイズを画像サイズ設定部1226や記憶部230などから取得する。また、画像変換部1227は、ステップS1401で取得された撮像画像からセルラインの画像を切り出す。そして、画像変換部1227は、取得した画像サイズを用いて、切り出したセルラインの画像の画像変換を行う(ステップS1405)。
次に、人体検出部1223が、ステップS1405で画像変換されたセルラインの画像に対する人体検出を行う(ステップS1406)。
次に、出力部240が、ステップS1406における人体検出の結果を表示装置に出力する(ステップS1407)。なお、ステップS1407において、出力部240は、人体検出の結果を表示装置に出力する代わりにあるいはこれに加えて、人体検出の結果を記憶部230に記憶してもよい。
以上述べたように、第4の実施形態によれば、全方位カメラの撮像画像におけるセルラインの領域の位置に応じて、セルラインの画像に対する画像サイズが設定されることで、セルラインに存在する人体の検出精度をさらに高めることができる。
<その他>
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。例えば、上記の各実施形態の構成および処理などは互いに組み合わせられてもよい。また、上記の実施形態では、セルラインを対象として人体検出を行うことを想定しているが、上記の画像処理装置は、上記のセルライン内の各工程の位置の代わりに例えばオフィス内に配置されたデスクの位置に基づいて検出領域を特定して人体検出を行ってもよい。この場合、オフィス環境においてデスクなどのレイアウト変更が行われた場合でも、変更後のレイアウトにおけるデスクの位置を基に人体検出を行うことができる。
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。例えば、上記の各実施形態の構成および処理などは互いに組み合わせられてもよい。また、上記の実施形態では、セルラインを対象として人体検出を行うことを想定しているが、上記の画像処理装置は、上記のセルライン内の各工程の位置の代わりに例えばオフィス内に配置されたデスクの位置に基づいて検出領域を特定して人体検出を行ってもよい。この場合、オフィス環境においてデスクなどのレイアウト変更が行われた場合でも、変更後のレイアウトにおけるデスクの位置を基に人体検出を行うことができる。
<付記1>
全方位カメラによって人体検出を行う検出領域が撮像された撮像画像を取得する画像取得手段(210)と、
前記撮像画像内の前記検出領域の位置に基づいて、前記撮像画像の前記検出領域に対する人体検出に使用する人体の特徴量を含む複数種類の辞書情報から単一種類の辞書情報を選択する辞書情報選択手段(222)と、
前記選択された辞書情報を用いて前記検出領域内の画像に対する人体検出を行う人体検出手段(223)と、
前記人体検出の結果を出力する出力手段(240)と、
を有することを特徴とする画像処理装置。
全方位カメラによって人体検出を行う検出領域が撮像された撮像画像を取得する画像取得手段(210)と、
前記撮像画像内の前記検出領域の位置に基づいて、前記撮像画像の前記検出領域に対する人体検出に使用する人体の特徴量を含む複数種類の辞書情報から単一種類の辞書情報を選択する辞書情報選択手段(222)と、
前記選択された辞書情報を用いて前記検出領域内の画像に対する人体検出を行う人体検出手段(223)と、
前記人体検出の結果を出力する出力手段(240)と、
を有することを特徴とする画像処理装置。
<付記2>
全方位カメラによって人体検出を行う検出領域が撮像された撮像画像を取得する画像取得手段(210)と、
前記撮像画像内の前記検出領域の位置に基づいて、前記撮像画像内に前記撮像画像の前記検出領域を拡大した拡大領域を設定する領域設定手段(524)と、
前記撮像画像内に設定された前記拡大領域内の画像に対する人体検出を行う人体検出手段(523)と、
前記人体検出の結果を出力する出力手段(240)と、
を有することを特徴とする画像処理装置。
全方位カメラによって人体検出を行う検出領域が撮像された撮像画像を取得する画像取得手段(210)と、
前記撮像画像内の前記検出領域の位置に基づいて、前記撮像画像内に前記撮像画像の前記検出領域を拡大した拡大領域を設定する領域設定手段(524)と、
前記撮像画像内に設定された前記拡大領域内の画像に対する人体検出を行う人体検出手段(523)と、
前記人体検出の結果を出力する出力手段(240)と、
を有することを特徴とする画像処理装置。
<付記3>
全方位カメラによって人体検出を行う検出領域が撮像された撮像画像を取得する画像取得手段(210)と、
前記撮像画像内の前記検出領域の位置に基づいて、前記撮像画像内で人体検出によって検出される互いに重なり合う複数の人体の候補を単一の候補に統合する統合しやすさを示す閾値を設定する閾値設定手段(825)と、
前記閾値を用いて前記検出領域の画像に対する人体検出を行う人体検出手段(823)と、
前記人体検出の結果を出力する出力手段(240)と、
を有することを特徴とする画像処理装置。
全方位カメラによって人体検出を行う検出領域が撮像された撮像画像を取得する画像取得手段(210)と、
前記撮像画像内の前記検出領域の位置に基づいて、前記撮像画像内で人体検出によって検出される互いに重なり合う複数の人体の候補を単一の候補に統合する統合しやすさを示す閾値を設定する閾値設定手段(825)と、
前記閾値を用いて前記検出領域の画像に対する人体検出を行う人体検出手段(823)と、
前記人体検出の結果を出力する出力手段(240)と、
を有することを特徴とする画像処理装置。
<付記4>
全方位カメラによって人体検出を行う検出領域が撮像された撮像画像を取得する画像取得手段(210)と、
前記撮像画像内の前記検出領域の位置に基づいて、前記検出領域の画像の画像サイズを設定する画像サイズ設定手段(1226)と、
前記検出領域の画像の画像サイズを前記設定された画像サイズに変換する画像変換手段(1227)と、
前記画像サイズが変換された前記検出領域の画像に対する人体検出を行う人体検出手段(1223)と、
前記人体検出の結果を出力する出力手段(240)と、
を有することを特徴とする画像処理装置。
全方位カメラによって人体検出を行う検出領域が撮像された撮像画像を取得する画像取得手段(210)と、
前記撮像画像内の前記検出領域の位置に基づいて、前記検出領域の画像の画像サイズを設定する画像サイズ設定手段(1226)と、
前記検出領域の画像の画像サイズを前記設定された画像サイズに変換する画像変換手段(1227)と、
前記画像サイズが変換された前記検出領域の画像に対する人体検出を行う人体検出手段(1223)と、
前記人体検出の結果を出力する出力手段(240)と、
を有することを特徴とする画像処理装置。
<付記5>
全方位カメラによって人体検出を行う検出領域が撮像された撮像画像を取得するステップ(S301)と、
前記撮像画像内の前記検出領域の位置に基づいて、前記撮像画像の前記検出領域に対する人体検出に使用する人体の特徴量を含む複数種類の辞書情報から単一種類の辞書情報を選択するステップ(S304)と、
前記選択された辞書情報を用いて前記検出領域内の画像に対する人体検出を行うステップ(S305)と、
前記人体検出の結果を出力するステップ(S306)と、
を有することを特徴とする画像処理方法。
全方位カメラによって人体検出を行う検出領域が撮像された撮像画像を取得するステップ(S301)と、
前記撮像画像内の前記検出領域の位置に基づいて、前記撮像画像の前記検出領域に対する人体検出に使用する人体の特徴量を含む複数種類の辞書情報から単一種類の辞書情報を選択するステップ(S304)と、
前記選択された辞書情報を用いて前記検出領域内の画像に対する人体検出を行うステップ(S305)と、
前記人体検出の結果を出力するステップ(S306)と、
を有することを特徴とする画像処理方法。
<付記6>
全方位カメラによって人体検出を行う検出領域が撮像された撮像画像を取得するステップ(S701)と、
前記撮像画像内の前記検出領域の位置に基づいて、前記撮像画像内に前記撮像画像の前記検出領域を拡大した拡大領域を設定するステップ(S704)と、
前記撮像画像内に設定された前記拡大領域内の画像に対する人体検出を行うステップ(S705)と、
前記人体検出の結果を出力するステップ(S706)と、
を有することを特徴とする画像処理方法。
全方位カメラによって人体検出を行う検出領域が撮像された撮像画像を取得するステップ(S701)と、
前記撮像画像内の前記検出領域の位置に基づいて、前記撮像画像内に前記撮像画像の前記検出領域を拡大した拡大領域を設定するステップ(S704)と、
前記撮像画像内に設定された前記拡大領域内の画像に対する人体検出を行うステップ(S705)と、
前記人体検出の結果を出力するステップ(S706)と、
を有することを特徴とする画像処理方法。
<付記7>
全方位カメラによって人体検出を行う検出領域が撮像された撮像画像を取得するステップ(S1101)と、
前記撮像画像内の前記検出領域の位置に基づいて、前記撮像画像内で人体検出によって検出される互いに重なり合う複数の人体の候補を単一の候補に統合する統合しやすさを示す閾値を設定するステップ(S1104)と、
前記閾値を用いて前記検出領域の画像に対する人体検出を行うステップ(S1105)と、
前記人体検出の結果を出力するステップ(S1106)と、
を有することを特徴とする画像処理方法。
全方位カメラによって人体検出を行う検出領域が撮像された撮像画像を取得するステップ(S1101)と、
前記撮像画像内の前記検出領域の位置に基づいて、前記撮像画像内で人体検出によって検出される互いに重なり合う複数の人体の候補を単一の候補に統合する統合しやすさを示す閾値を設定するステップ(S1104)と、
前記閾値を用いて前記検出領域の画像に対する人体検出を行うステップ(S1105)と、
前記人体検出の結果を出力するステップ(S1106)と、
を有することを特徴とする画像処理方法。
<付記8>
全方位カメラによって人体検出を行う検出領域が撮像された撮像画像を取得するステップ(S1401)と、
前記撮像画像内の前記検出領域の位置に基づいて、前記検出領域の画像の画像サイズを設定するステップ(S1404)と、
前記検出領域の画像の画像サイズを前記設定された画像サイズに変換するステップ(S1405)と、
前記画像サイズが変換された前記検出領域の画像に対する人体検出を行うステップ(S1406)と、
前記人体検出の結果を出力するステップ(S1407)と、
を有することを特徴とする画像処理方法。
全方位カメラによって人体検出を行う検出領域が撮像された撮像画像を取得するステップ(S1401)と、
前記撮像画像内の前記検出領域の位置に基づいて、前記検出領域の画像の画像サイズを設定するステップ(S1404)と、
前記検出領域の画像の画像サイズを前記設定された画像サイズに変換するステップ(S1405)と、
前記画像サイズが変換された前記検出領域の画像に対する人体検出を行うステップ(S1406)と、
前記人体検出の結果を出力するステップ(S1407)と、
を有することを特徴とする画像処理方法。
100:画像処理装置 101:画像取得部 102:人体検出部 103:出力部
200,500,800,1200:PC(画像処理装置)
210:入力部 230:記憶部 240:出力部
220,520,820,1220:制御部
222:辞書選択部
524:領域設定部
825:統合パラメータ設定部
1226:画像サイズ設定部
1227:画像変換部
200,500,800,1200:PC(画像処理装置)
210:入力部 230:記憶部 240:出力部
220,520,820,1220:制御部
222:辞書選択部
524:領域設定部
825:統合パラメータ設定部
1226:画像サイズ設定部
1227:画像変換部
Claims (20)
- 全方位カメラによって人体検出を行う検出領域が撮像された撮像画像を取得する画像取得手段と、
前記撮像画像内の前記検出領域の位置に基づいて、前記撮像画像の前記検出領域に対する人体検出に使用する人体の特徴量を含む複数種類の辞書情報から単一種類の辞書情報を選択する辞書情報選択手段と、
前記選択された辞書情報を用いて前記検出領域内の画像に対する人体検出を行う人体検出手段と、
前記人体検出の結果を出力する出力手段と、
を有することを特徴とする画像処理装置。 - 前記撮像画像内の前記検出領域の位置に基づいて、前記撮像画像内に前記撮像画像の前記検出領域を拡大した拡大領域を設定する領域設定手段をさらに有し、
前記人体検出手段は前記撮像画像内に設定された前記拡大領域内の画像に対する人体検出を行う
ことを特徴とする請求項1に記載の画像処理装置。 - 前記撮像画像内の前記検出領域の位置に基づいて、前記撮像画像内で人体検出によって検出される互いに重なり合う複数の人体の候補を単一の候補に統合する統合しやすさを示す閾値を設定する閾値設定手段をさらに有し、
前記人体検出手段は前記閾値を用いて前記検出領域の画像に対する人体検出を行う
ことを特徴とする請求項1または2に記載の画像処理装置。 - 前記撮像画像内の前記検出領域の位置に基づいて、前記検出領域の画像の画像サイズを設定する画像サイズ設定手段と、
前記検出領域の画像の画像サイズを前記設定された画像サイズに変換する画像変換手段と、
をさらに有し、
前記人体検出手段は前記画像サイズが変換された前記検出領域の画像に対する人体検出を行う
ことを特徴とする請求項1から3のいずれか一項に記載の画像処理装置。 - 全方位カメラによって人体検出を行う検出領域が撮像された撮像画像を取得する画像取得手段と、
前記撮像画像内の前記検出領域の位置に基づいて、前記撮像画像内に前記撮像画像の前記検出領域を拡大した拡大領域を設定する領域設定手段と、
前記撮像画像内に設定された前記拡大領域内の画像に対する人体検出を行う人体検出手段と、
前記人体検出の結果を出力する出力手段と、
を有することを特徴とする画像処理装置。 - 前記領域設定手段は、前記撮像画像の中心から離れる方向に前記検出領域を拡大して前記拡大領域を設定することを特徴とする請求項5に記載の画像処理装置。
- 前記撮像画像内の前記検出領域の位置に基づいて、前記撮像画像内で人体検出によって検出される互いに重なり合う複数の人体の候補を単一の候補に統合する統合しやすさを示す閾値を設定する閾値設定手段をさらに有し、
前記人体検出手段は前記閾値を用いて前記検出領域の画像に対する人体検出を行う
ことを特徴とする請求項5または6に記載の画像処理装置。 - 前記撮像画像内の前記検出領域の位置に基づいて、前記検出領域の画像の画像サイズを設定する画像サイズ設定手段と、
前記検出領域の画像の画像サイズを前記設定された画像サイズに変換する画像変換手段と、
をさらに有し、
前記人体検出手段は前記画像サイズが変換された前記検出領域の画像に対する人体検出を行う
ことを特徴とする請求項5から7のいずれか一項に記載の画像処理装置。 - 全方位カメラによって人体検出を行う検出領域が撮像された撮像画像を取得する画像取得手段と、
前記撮像画像内の前記検出領域の位置に基づいて、前記撮像画像内で人体検出によって検出される互いに重なり合う複数の人体の候補を単一の候補に統合する統合しやすさを示す閾値を設定する閾値設定手段と、
前記閾値を用いて前記検出領域の画像に対する人体検出を行う人体検出手段と、
前記人体検出の結果を出力する出力手段と、
を有することを特徴とする画像処理装置。 - 前記閾値設定手段は、前記撮像画像を複数の領域に分割した場合の分割領域ごとに設定された閾値に基づいて、前記統合しやすさを示す閾値を設定することを特徴とする請求項9に記載の画像処理装置。
- 前記分割領域に設定される閾値は、前記撮像画像の中心から離れるほど、複数の人体の候補が単一の候補に統合されにくい閾値となることを特徴とする請求項10に記載の画像処理装置。
- 前記撮像画像内の前記検出領域の位置に基づいて、前記検出領域の画像の画像サイズを設定する画像サイズ設定手段と、
前記検出領域の画像の画像サイズを前記設定された画像サイズに変換する画像変換手段と、
をさらに有し、
前記人体検出手段は前記画像サイズが変換された前記検出領域の画像に対する人体検出を行う
ことを特徴とする請求項9から11のいずれか一項に記載の画像処理装置。 - 全方位カメラによって人体検出を行う検出領域が撮像された撮像画像を取得する画像取得手段と、
前記撮像画像内の前記検出領域の位置に基づいて、前記検出領域の画像の画像サイズを設定する画像サイズ設定手段と、
前記検出領域の画像の画像サイズを前記設定された画像サイズに変換する画像変換手段と、
前記画像サイズが変換された前記検出領域の画像に対する人体検出を行う人体検出手段と、
前記人体検出の結果を出力する出力手段と、
を有することを特徴とする画像処理装置。 - 前記画像サイズ設定手段は、前記撮像画像を複数の領域に分割した場合の分割領域ごとに設定された画像サイズに基づいて、前記検出領域の画像の前記画像サイズを設定することを特徴とする請求項13に記載の画像処理装置。
- 前記分割領域に設定される画像サイズは、前記撮像画像の中心から離れるほど大きくなることを特徴とする請求項14に記載の画像処理装置。
- 全方位カメラによって人体検出を行う検出領域が撮像された撮像画像を取得するステップと、
前記撮像画像内の前記検出領域の位置に基づいて、前記撮像画像の前記検出領域に対する人体検出に使用する人体の特徴量を含む複数種類の辞書情報から単一種類の辞書情報を選択するステップと、
前記選択された辞書情報を用いて前記検出領域内の画像に対する人体検出を行うステップと、
前記人体検出の結果を出力するステップと、
を有することを特徴とする画像処理方法。 - 全方位カメラによって人体検出を行う検出領域が撮像された撮像画像を取得するステップと、
前記撮像画像内の前記検出領域の位置に基づいて、前記撮像画像内に前記撮像画像の前記検出領域を拡大した拡大領域を設定するステップと、
前記撮像画像内に設定された前記拡大領域内の画像に対する人体検出を行うステップと、
前記人体検出の結果を出力するステップと、
を有することを特徴とする画像処理方法。 - 全方位カメラによって人体検出を行う検出領域が撮像された撮像画像を取得するステップと、
前記撮像画像内の前記検出領域の位置に基づいて、前記撮像画像内で人体検出によって検出される互いに重なり合う複数の人体の候補を単一の候補に統合する統合しやすさを示す閾値を設定するステップと、
前記閾値を用いて前記検出領域の画像に対する人体検出を行うステップと、
前記人体検出の結果を出力するステップと、
を有することを特徴とする画像処理方法。 - 全方位カメラによって人体検出を行う検出領域が撮像された撮像画像を取得するステップと、
前記撮像画像内の前記検出領域の位置に基づいて、前記検出領域の画像の画像サイズを設定するステップと、
前記検出領域の画像の画像サイズを前記設定された画像サイズに変換するステップと、
前記画像サイズが変換された前記検出領域の画像に対する人体検出を行うステップと、
前記人体検出の結果を出力するステップと、
を有することを特徴とする画像処理方法。 - 請求項16から19のいずれか一項に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020020051A JP2021125137A (ja) | 2020-02-07 | 2020-02-07 | 画像処理装置および画像処理方法 |
PCT/JP2020/047057 WO2021157213A1 (ja) | 2020-02-07 | 2020-12-16 | 画像処理装置および画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020020051A JP2021125137A (ja) | 2020-02-07 | 2020-02-07 | 画像処理装置および画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021125137A true JP2021125137A (ja) | 2021-08-30 |
Family
ID=77199222
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020020051A Pending JP2021125137A (ja) | 2020-02-07 | 2020-02-07 | 画像処理装置および画像処理方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2021125137A (ja) |
WO (1) | WO2021157213A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2024001527A (ja) * | 2022-06-22 | 2024-01-10 | 株式会社Jvcケンウッド | 画像認識装置および画像認識方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016171526A (ja) * | 2015-03-13 | 2016-09-23 | 株式会社東芝 | 画像センサ、人検出方法、制御システム、制御方法及びコンピュータプログラム |
JP6568772B2 (ja) * | 2015-11-09 | 2019-08-28 | 株式会社メガチップス | 画像処理装置、画像処理システム、画像処理装置の動作方法及び制御プログラム |
JP2017158033A (ja) * | 2016-03-01 | 2017-09-07 | 住友重機械工業株式会社 | 作業機械用周辺監視システム |
-
2020
- 2020-02-07 JP JP2020020051A patent/JP2021125137A/ja active Pending
- 2020-12-16 WO PCT/JP2020/047057 patent/WO2021157213A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2021157213A1 (ja) | 2021-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020206708A1 (zh) | 障碍物的识别方法、装置、计算机设备和存储介质 | |
JP5517504B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP6024658B2 (ja) | 物体検出装置、物体検出方法及びプログラム | |
JP5251987B2 (ja) | 人判定装置、方法およびプログラム | |
JP7192582B2 (ja) | 物体追跡装置および物体追跡方法 | |
JP7132654B2 (ja) | レイアウト解析方法、読取り支援デバイス、回路および媒体 | |
CN113646803B (zh) | 人检测装置以及人检测方法 | |
JP2018180945A (ja) | 物体検出装置及びプログラム | |
CN109543534B (zh) | 一种目标跟踪中目标丢失重检的方法及装置 | |
JP2010250420A (ja) | 顔の特徴部位の座標位置を検出する画像処理装置 | |
WO2021157213A1 (ja) | 画像処理装置および画像処理方法 | |
JP2010250419A (ja) | 目の様態を検出する画像処理装置 | |
US20220012514A1 (en) | Identification information assignment apparatus, identification information assignment method, and program | |
JP2021144359A (ja) | 学習装置、推定装置、学習方法、及びプログラム | |
JP7385416B2 (ja) | 画像処理装置、画像処理システム、画像処理方法及び画像処理プログラム | |
JP6613828B2 (ja) | 画像処理プログラム、画像処理装置、及び画像処理方法 | |
US9159118B2 (en) | Image processing apparatus, image processing system, and non-transitory computer-readable medium | |
US10922864B2 (en) | Image processing device, image processing method and program, for object detection in an image | |
JP7338174B2 (ja) | 物体検出装置および物体検出方法 | |
JP2021056899A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2024002327A (ja) | 情報処理装置、情報処理システム、情報処理方法、及びプログラム | |
JP6121768B2 (ja) | 画像検出装置及び制御プログラム並びに画像検出方法 | |
CN112115941B (zh) | 火灾检测方法、装置、设备及存储介质 | |
JP2014137629A (ja) | 画像検出装置及び制御プログラム並びに画像検出方法 | |
WO2021166574A1 (ja) | 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体 |