JP2021166322A - 情報処理装置、プログラムおよび情報処理システム - Google Patents

情報処理装置、プログラムおよび情報処理システム Download PDF

Info

Publication number
JP2021166322A
JP2021166322A JP2020068030A JP2020068030A JP2021166322A JP 2021166322 A JP2021166322 A JP 2021166322A JP 2020068030 A JP2020068030 A JP 2020068030A JP 2020068030 A JP2020068030 A JP 2020068030A JP 2021166322 A JP2021166322 A JP 2021166322A
Authority
JP
Japan
Prior art keywords
camera
detection
person
images
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020068030A
Other languages
English (en)
Other versions
JP6817527B1 (ja
Inventor
友章 今井
Tomoaki Imai
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Client Computing Ltd
Original Assignee
Fujitsu Client Computing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Client Computing Ltd filed Critical Fujitsu Client Computing Ltd
Priority to JP2020068030A priority Critical patent/JP6817527B1/ja
Application granted granted Critical
Publication of JP6817527B1 publication Critical patent/JP6817527B1/ja
Publication of JP2021166322A publication Critical patent/JP2021166322A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】画像処理に有用な画像をカメラに撮影させる。【解決手段】情報処理装置10は、領域2を含む撮影範囲を撮影可能に設置されたカメラ1が撮影範囲を撮影した撮影画像4a,4b,4c,・・・それぞれから領域2内にいる人物3を検出する。そして、情報処理装置10は、撮影画像4a,4b,4c,・・・に対する、人物3が検出された検出画像5a,5b,5c,・・・の割合が所定の割合以上であるか否かに基づいて、カメラ1の設置状況が領域2を撮影するのに適しているか否かを判定する。【選択図】図1

Description

本発明は、情報処理装置、プログラムおよび情報処理システムに関する。
近年、防犯カメラが多く設置されている。防犯カメラで撮影された動画像は目視によって確認されるだけでなく、画像処理が行われることもある。例えば、人物が写った動画像に対する画像処理によって、動画像に写った人物に関する様々な判定処理が行われる。
人物が写った動画像に対する画像処理に関する技術としては、例えば、人物の体の向きが異なって映る複数のカメラ映像を用いて同一人物を同定する精度を高める画像処理装置が提案されている。
特開2015−2547号公報
撮影画像に人物が写っている場合でも、人物がぼやけて写った場合や人物の一部のみが写った場合には、画像処理によって撮影画像から人物が検出されないことがある。すると、例えば、判定対象の人物がカメラの撮影範囲内に入ってから撮影範囲外に出ていくまでの間に、判定対象の人物を検出できたフレーム数が少なくなり、誤判定が起きてしまうことがある。
1つの側面では、本件は、画像処理に有用な画像をカメラに撮影させることを目的とする。
1つの案では、処理部を有する情報処理装置が提供される。処理部は、所定の領域を含む撮影範囲を撮影可能に設置されたカメラが撮影範囲を撮影した複数の撮影画像それぞれから所定の領域内にいる人物を検出し、複数の撮影画像に対する、複数の撮影画像のうち人物が検出された1以上の検出画像の割合が所定の割合以上であるか否かに基づいて、カメラの設置状況が所定の領域を撮影するのに適しているか否かを判定する。
1態様によれば、画像処理に有用な画像をカメラに撮影させることができる。
第1の実施の形態に係る情報処理システムの一例を示す図である。 第2の実施の形態に係る情報処理システムの一例を示す図である。 カメラの設置状況の点検作業の一例を示す図である。 ホストコンピュータのハードウェアの一例を示す図である。 タブレットのハードウェアの一例を示す図である。 ホストコンピュータおよびタブレットの機能例を示すブロック図である。 人物検出の一例を示す図である。 検出位置に基づくフレームの除外処理の一例を示す図である。 検出サイズに基づくフレームの除外処理の一例を示す図である。 検出範囲に基づくフレームの除外処理の一例を示す図である。 案内画面の画面遷移の一例を示す図(その1)である。 案内画面の画面遷移の一例を示す図(その2)である。 案内画面の画面遷移の一例を示す図(その3)である。 案内画面の画面遷移の一例を示す図(その4)である。 案内画面の画面遷移の一例を示す図(その5)である。 案内画面の画面遷移の一例を示す図(その6)である。 3次元空間へのマッピングの一例を示す図である。 傾き補正の一例を示す図である。 検出割合算出処理の手順の一例を示すフローチャートである。 設置状況判定処理の手順の一例を示すフローチャート(その1)である。 設置状況判定処理の手順の一例を示すフローチャート(その2)である。 設置状況判定処理の手順の一例を示すフローチャート(その3)である。 設置状況判定処理の手順の一例を示すフローチャート(その4)である。 設置状況判定処理の手順の一例を示すフローチャート(その5)である。 第3の実施の形態の概要を示す図である。 案内画面の画面遷移の一例を示す図(その7)である。 案内画面の画面遷移の一例を示す図(その8)である。 案内画面の画面遷移の一例を示す図(その9)である。 設置状況判定処理の手順の他の一例を示すフローチャート(その1)である。 設置状況判定処理の手順の他の一例を示すフローチャート(その2)である。 設置状況判定処理の手順の他の一例を示すフローチャート(その3)である。
以下、本実施の形態について図面を参照して説明する。なお各実施の形態は、矛盾のない範囲で複数の実施の形態を組み合わせて実施することができる。
〔第1の実施の形態〕
まず第1の実施の形態について説明する。
図1は、第1の実施の形態に係る情報処理システムの一例を示す図である。第1の実施の形態は、情報処理装置10が領域2を撮影するカメラ1の設置状況を判定するものである。カメラ1の設置状況は、カメラ1のズーム等の設定、カメラ1の向き、カメラ1の設置位置等を含む。カメラ1は、領域2を含む撮影範囲を撮影可能に設置されたカメラである。カメラ1は、動画を撮影可能であってもよい。人物3は、領域2内にいる。人物3は、例えば、カメラ1が撮影範囲を撮影した場合に、中央に写る位置にいる。
情報処理装置10は、カメラ1の設置状況を判定するコンピュータである。情報処理装置10は、サーバコンピュータであってもよいし、クライアントコンピュータであってもよい。また、情報処理装置10は、カメラ1と一体化していてもよい。情報処理装置10は、処理部11を有する。処理部11は、情報処理装置10を制御し、所要の処理を実行可能である。処理部11は、例えば、情報処理装置10が有するプロセッサまたは演算回路である。
処理部11は、カメラ1が撮影範囲を撮影した撮影画像4a,4b,4c,・・・を取得する。撮影画像4a,4b,4c,・・・は、カメラ1が撮影範囲を一定の時間撮影して生成する動画のフレームであってもよい。処理部11は、撮影画像4a,4b,4c,・・・それぞれから人物3を検出する。例えば、処理部11は、入力画像に写る人物を囲う検出枠を出力する学習済みモデルに、撮影画像4a,4b,4c,・・・それぞれを入力して人物3を検出する。検出画像5a,5b,5c,・・・は、撮影画像4a,4b,4c,・・・のうち人物3が検出された1以上の画像である。例えば、検出画像5a,5b,5c,・・・は、撮影画像4a,4b,4c,・・・のうち、入力画像に写る人物を囲う検出枠を出力する学習済みモデルに入力された場合に検出枠が出力された画像である。
処理部11は、検出画像5a,5b,5c,・・・のうち、除外対象の検出画像を除外してから、撮影画像4a,4b,4c,・・・に対する検出画像5a,5b,5c,・・・の割合(検出割合)を算出する。
処理部11は、検出画像5a,5b,5c,・・・それぞれについて、人物3の画像上の位置である検出位置を特定する。そして、処理部11は、検出画像5a,5b,5c,・・・のうち、検出位置が検出画像5a,5b,5c,・・・それぞれの検出位置に基づいて決定される検出基準範囲の範囲外である検出画像を除外対象とする。例えば、処理部11は、検出画像5a,5b,5c,・・・それぞれについて、人物を囲う検出枠を出力する学習済みモデルによって出力された検出枠の所定の箇所(例えば、左上)の座標を特定する。そして、処理部11は、検出画像5a,5b,5c,・・・のうちの1の検出画像(例えば、検出画像5a)の検出枠の左上の座標を中心とした所定の範囲に、検出枠の左上の座標がない検出画像を除外対象とする。
また、処理部11は、検出画像5a,5b,5c,・・・のうち、人物3の画像上のサイズが第1のサイズ未満または第2のサイズより大きい検出画像を除外対象とする。例えば、処理部11は、人物を囲う検出枠を出力する学習済みモデルによって出力された検出枠の縦と横の長さが、あらかじめ設定された下限値未満または上限値より大きい検出画像を除外対象とする。
また、処理部11は、検出画像5a,5b,5c,・・・のうち、人物3の画像上の範囲の少なくとも一部が第1の除外範囲に含まれる検出画像を除外対象とする。例えば、処理部11は、人物を囲う検出枠を出力する学習済みモデルによって出力された検出枠の一部が画像の端から所定の幅に含まれる検出画像を除外対象とする。
処理部11は、除外対象とした検出画像を検出画像5a,5b,5c,・・・から除外して、検出割合を算出する。処理部11は、除外対象とした検出画像を除外した後の検出画像5a,5b,5c,・・・の数を撮影画像4a,4b,4c,・・・の数で除することで検出割合を算出する。
処理部11は、検出割合が所定の割合以上であるか否かに基づいて、カメラ1の設置状況が領域2を撮影するのに適しているか否かを判定する。例えば、処理部11は、検出割合が所定の割合以上である場合、カメラ1の設置状況の少なくとも一部が領域2を撮影するのに適していると判定する。また、例えば、処理部11は、検出割合が所定の割合未満である場合、カメラ1の設置状況の少なくとも一部が領域2を撮影するのに適していないと判定する。
第1の実施の形態によれば、処理部11は、撮影画像4a,4b,4c,・・・それぞれから領域2内にいる人物3を検出する。そして、処理部11は、検出割合が所定の割合以上であるか否かに基づいて、カメラ1の設置状況が領域2を撮影するのに適しているか否かを判定する。これにより、情報処理装置10は、カメラ1が撮影する画像から領域2内にいる人物3の検出割合に応じて、カメラ1の設置状況をユーザに見直させることができる。よって、情報処理装置10は、画像処理に有用な画像をカメラ1に撮影させることができる。
また、処理部11は、検出画像5a,5b,5c,・・・それぞれについて、人物3の検出位置を特定する。そして、処理部11は、検出画像5a,5b,5c,・・・のうち検出位置が検出基準範囲の範囲外である検出画像を検出画像5a,5b,5c,・・・から除外して、検出割合を算出する。検出位置が検出基準範囲の範囲外である検出画像は、検出位置が他の検出画像とずれていることから、人物3以外のものを検出したものや、人物3の一部のみを検出したもの等である可能性が高い。よって、情報処理装置10は、検出位置が検出基準範囲の範囲外である検出画像を除外することで、適切に人物3を検出できた割合を算出することができる。
また、処理部11は、検出画像5a,5b,5c,・・・のうち人物3の画像上のサイズが第1のサイズ未満または第2のサイズより大きい検出画像を検出画像5a,5b,5c,・・・から除外して、検出割合を算出する。これにより、情報処理装置10は、第1のサイズ以上第2のサイズ以下の適切なサイズで人物3を検出できた割合を算出することができる。
また、処理部11は、検出画像5a,5b,5c,・・・のうち人物3の画像上の範囲の少なくとも一部が第1の除外範囲に含まれる検出画像を検出画像5a,5b,5c,・・・から除外して、検出割合を算出する。これにより、情報処理装置10は、画像上の適切な範囲で人物3を検出できた割合を算出することができる。
なお、処理部11は、検出割合が所定の割合以上であるか否かの判定を、人物3が撮影範囲内の複数の位置それぞれにいるときに、カメラ1が撮影範囲を撮影した複数の撮影画像について実行してもよい。そして、処理部11は、複数の位置のうち、検出割合が所定の割合以上となる第1の位置と第2の位置との距離に基づいて、カメラ1の設置状況が領域2を撮影するのに適しているか否かを判定してもよい。これにより、情報処理装置10は、カメラ1が撮影する動画に移動する人物が写る場合に、当該人物が検出される時間に基づいてカメラ1の設置状況を判定できる。
また、処理部11は、第1の位置と第2の位置との距離が、第1の距離以上かつ第2の距離以下である場合、カメラ1の設置状況が領域2を撮影するのに適していると判定してもよい。また、処理部11は、第1の位置と第2の位置との距離が第1の距離未満である場合または第1の位置と第2の位置との距離が第2の距離より大きい場合、カメラ1のズームの設定が領域2を撮影するのに適していないと判定してもよい。これにより、情報処理装置10は、カメラ1が撮影する動画に写る移動する人物が検出される時間が適切である場合に、カメラ1の設置状況を変更しないようユーザに促すことができる。また、情報処理装置10は、カメラ1が撮影する動画に写る移動する人物が検出される時間が適切でない場合にカメラ1のズームの設定をユーザに見直させることができる。
また、処理部11は、第1の位置と第2の位置との距離が第1の距離未満である場合、カメラ1がズームアウトするよう設定し、第1の位置と第2の位置との距離が第2の距離より大きい場合、カメラ1がズームインするよう設定してもよい。これにより、情報処理装置10は、カメラ1のズームの設定を適切に変更できる。
また、処理部11は、第1の位置と第2の位置との距離が第1の距離未満である場合、カメラ1の設置状況の適切な変更方法がカメラ1をズームアウトさせることであると判定してもよい。また、処理部11は、第1の位置と第2の位置との距離が第2の距離より大きい場合、カメラ1の設置状況の適切な変更方法がカメラ1をズームインさせることであると判定してもよい。これにより、情報処理装置10は、カメラ1のズームの設定をユーザに適切に変更させることができる。
また、第1の位置は、領域2に少なくとも一部が含まれる経路の両端のうちの一端であり、第2の位置は、当該両端のうちの他端であってもよい。これにより、情報処理装置10は、カメラ1が撮影する動画に、領域2を通る経路を移動する人物が写る場合に、当該人物が検出される時間に基づいてカメラ1の設置状況を判定できる。
また、処理部11は、人物3が領域2内にいるときの検出割合が所定の割合未満である場合、カメラ1の設置状況が領域2を撮影するのに適していないと判定してもよい。これにより、情報処理装置10は、領域2内にいる人物3を検出しづらい場合に、カメラ1の設置状況をユーザに見直させることができる。
また、処理部11は、カメラ1の設置状況が領域2を撮影するのに適していないと判定した場合、人物3の画像上のサイズに基づいてカメラ1のズームの設定について判定してもよい。処理部11は、検出画像5a,5b,5c,・・・に、人物3の画像上のサイズが第3のサイズ未満または第4のサイズより大きい画像が含まれる場合、カメラ1のズームの設定が領域2を撮影するのに適していないと判定してもよい。これにより、情報処理装置10は、カメラ1が撮影する画像に適切なサイズで人物3が写るようにカメラ1のズームの設定をユーザに見直させることができる。
また、処理部11は、カメラ1のズームの設定が領域2を撮影するのに適していないと判定した場合、検出画像5a,5b,5c,・・・で検出された人物3に基づいて、カメラ1のズームの設定を変更してもよい。これにより、情報処理装置10は、カメラ1が撮影する画像に適切なサイズで人物3が写るようにカメラ1のズームの設定を変更できる。
また、処理部11は、カメラ1のズームの設定が領域2を撮影するのに適していないと判定した場合、検出画像5a,5b,5c,・・・で検出された人物3の画像上のサイズに基づいて、カメラ1の設置状況の適切な変更方法を判定してもよい。処理部11は、検出画像5a,5b,5c,・・・で検出された人物3の画像上のサイズに基づいて、カメラ1の設置状況の適切な変更方法が、カメラ1をズームインさせることであるか、カメラ1をズームアウトさせることであるかを判定してもよい。これにより、情報処理装置10は、カメラ1が撮影する画像に適切なサイズで人物3が写るようにカメラ1のズームの設定をユーザに変更させることができる。
また、処理部11は、カメラ1の設置状況が領域2を撮影するのに適していないと判定した場合、人物3の画像上の範囲に基づいてカメラ1の撮影方向の設定について判定してもよい。処理部11は、検出画像5a,5b,5c,・・・に、人物3の画像上の範囲の少なくとも一部が第2の除外範囲に含まれる画像が含まれる場合、カメラ1の撮影方向の設定が領域2を撮影するのに適していないと判定してもよい。これにより、情報処理装置10は、カメラ1が撮影する画像上の適切な範囲に人物3が写るようにカメラ1の撮影方向の設定をユーザに見直させることができる。
また、処理部11は、カメラ1の撮影方向の設定が領域2を撮影するのに適していないと判定した場合、検出画像5a,5b,5c,・・・で検出された人物3に基づいて、カメラ1の撮影方向の設定を変更してもよい。これにより、情報処理装置10は、カメラ1が撮影する画像上の適切な範囲に人物3が写るようにカメラ1の撮影方向の設定を変更できる。
また、処理部11は、カメラ1の撮影方向の設定が領域2を撮影するのに適していないと判定した場合、検出画像5a,5b,5c,・・・で検出された人物3の画像上の範囲に基づいて変更方向を算出してもよい。そして、処理部11は、カメラ1の設置状況の適切な変更方法が、カメラ1を変更方向に向けることであると判定してもよい。これにより、情報処理装置10は、カメラ1が撮影する画像上の適切な範囲に人物3が写るようにカメラ1の撮影方向の設定をユーザに変更させることができる。
また、処理部11は、カメラ1の設置状況が領域2を撮影するのに適していないと判定した場合、検出画像5a,5b,5c,・・・のうちの少なくとも1の検出画像で検出された人物3の傾きを算出してもよい。そして、処理部11は、人物3の傾きに基づいて、撮影画像4a,4b,4c,・・・の傾きの補正値を算出してもよい。これにより、情報処理装置10は、カメラ1が傾いて設置されている場合にカメラ1の撮影した撮影画像を補正できる。
また、処理部11は、補正値によって撮影画像4a,4b,4c,・・・の傾きを補正した複数の補正後撮影画像と、複数の補正後撮影画像のうち人物3が検出された1以上の補正後検出画像とを用いてカメラ1の設置位置を判定してもよい。処理部11は、複数の補正後撮影画像それぞれから人物3を検出し、複数の補正後撮影画像に対する1以上の補正後検出画像の割合が所定の割合未満である場合、カメラ1の設置位置が領域2を撮影するのに適していないと判定してもよい。これにより、情報処理装置10は、カメラ1の撮影画像の傾きを補正しても、人物3の検出割合が所定の割合未満の場合にカメラ1の設置位置をユーザに見直させることができる。
〔第2の実施の形態〕
次に第2の実施の形態について説明する。第2の実施の形態は、点検者がカメラの設置状況が適切であるか確認する点検作業を支援するものである。
図2は、第2の実施の形態に係る情報処理システムの一例を示す図である。図2に示される情報処理システムは、例えば、店舗などの施設に設置される。領域21は、第2の実施の形態の情報処理システムが設置される施設内の所定の領域である。領域21は、画像処理による人物の判定を用いたサービスの導入が検討されている領域である。画像処理による人物の判定は、例えば、動画から不審人物を検出するものである。画像処理による人物の判定は、画像からの人物の検出処理と、検出された人物に対する判定処理を含むことがある。ここで、検出処理において動画から人物を検出できた秒数(フレーム数)が少ないと、判定処理において誤判定が発生する恐れがある。そこで、第2の実施の形態の情報処理システムは、画像処理による人物の判定に用いられる動画を撮影するためのカメラ23の設置状況の点検作業を支援する。
点検者22は、カメラ23の設置状況が適切であるかの点検作業をする。点検者22は、第1の実施の形態に示した人物3の一例である。カメラ23は、設置状況によって決定される撮影範囲の動画を撮影する。カメラ23の設置状況は、カメラ23のズーム等の設定、カメラ23の向き、カメラ23の設置位置等を含む。カメラ23は、領域21を含む撮影範囲を撮影可能に設置されている。カメラ23は、ハブ24を介して、AP(Access Point)25およびホストコンピュータ100に接続される。
ホストコンピュータ100は、カメラ23の設置状況を判定するコンピュータである。ホストコンピュータ100は、カメラ23が撮影した点検者22が写った動画を基に、カメラ23の設置状況を判定する。ホストコンピュータ100は、カメラ23の設置状況の判定結果に基づいて、カメラ23のズームの設定やカメラ23の向きを変更する。ホストコンピュータ100は、ハブ24およびAP25を介してタブレット200に接続される。
タブレット200は、点検者22が操作する端末装置である。タブレット200は、点検者22の操作に従って、ホストコンピュータ100によるカメラ23の設置状況の判定に用いられる動画を撮影するようカメラ23に指示する。また、タブレット200は、カメラ23の設置状況の点検作業における点検者22の立ち位置の指示を表示する。また、タブレット200は、ホストコンピュータ100によるカメラ23の設置状況の判定結果を表示する。なお、タブレット200は、スマートフォンなどの他の携帯型端末であってもよい。
図3は、カメラの設置状況の点検作業の一例を示す図である。カメラ23は、通路26の天井に設置され、カメラ23に対して通路26の通行方向にある領域21を含む撮影範囲を撮影する。点検者22は、通路26のカメラ23の撮影範囲で直立してカメラ23に動画を撮影させ、撮影させた動画を用いたホストコンピュータ100によるカメラ23の設置状況の判定を基に、カメラ23の設置状況を点検する。
例えば、ホストコンピュータ100は、点検者22が領域21内の所定の位置にいるときにカメラ23が撮影した動画を用いてカメラ23の設置状況を判定する。また、例えば、ホストコンピュータ100は、所定の位置よりもカメラ23から遠い位置に点検者22がいるときと所定の位置よりもカメラ23に近い位置に点検者22がいるときに、カメラ23が撮影した動画を用いてカメラ23の設置状況を判定する。
図4は、ホストコンピュータのハードウェアの一例を示す図である。ホストコンピュータ100は、プロセッサ101によって装置全体が制御されている。プロセッサ101には、バス110を介してメモリ102と複数の周辺機器が接続されている。プロセッサ101は、マルチプロセッサであってもよい。プロセッサ101は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)、またはDSP(Digital Signal Processor)である。プロセッサ101がプログラムを実行することで実現する機能の少なくとも一部を、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)などの電子回路で実現してもよい。
メモリ102は、ホストコンピュータ100の主記憶装置として使用される。メモリ102には、プロセッサ101に実行させるOS(Operating System)のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、メモリ102には、プロセッサ101による処理に利用する各種データが格納される。メモリ102としては、例えばRAM(Random Access Memory)などの揮発性の半導体記憶装置が使用される。
バス110に接続されている周辺機器としては、ストレージ装置103、グラフィック処理装置104、入力インタフェース105、光学ドライブ装置106、機器接続インタフェース107,109およびネットワークインタフェース108がある。
ストレージ装置103は、内蔵した記録媒体に対して、電気的または磁気的にデータの書き込みおよび読み出しを行う。ストレージ装置103は、コンピュータの補助記憶装置として使用される。ストレージ装置103には、OSのプログラム、アプリケーションプログラム、および各種データが格納される。なお、ストレージ装置103としては、例えばHDD(Hard Disk Drive)やSSD(Solid State Drive)を使用することができる。
グラフィック処理装置104には、モニタ31が接続されている。グラフィック処理装置104は、プロセッサ101からの命令に従って、画像をモニタ31の画面に表示させる。モニタ31としては、有機EL(Electro Luminescence)を用いた表示装置や液晶表示装置などがある。
入力インタフェース105には、キーボード32とマウス33とが接続されている。入力インタフェース105は、キーボード32やマウス33から送られてくる信号をプロセッサ101に送信する。なお、マウス33は、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。
光学ドライブ装置106は、レーザ光などを利用して、光ディスク34に記録されたデータの読み取りを行う。光ディスク34は、光の反射によって読み取り可能なようにデータが記録された可搬型の記録媒体である。光ディスク34には、DVD(Digital Versatile Disc)、DVD−RAM、CD−ROM(Compact Disc Read Only Memory)、CD−R(Recordable)/RW(ReWritable)などがある。
機器接続インタフェース107は、ホストコンピュータ100に周辺機器を接続するための通信インタフェースである。例えば機器接続インタフェース107には、メモリ装置35やメモリリーダライタ36を接続することができる。メモリ装置35は、機器接続インタフェース107との通信機能を搭載した記録媒体である。メモリリーダライタ36は、メモリカード37へのデータの書き込み、またはメモリカード37からのデータの読み出しを行う装置である。メモリカード37は、カード型の記録媒体である。
ネットワークインタフェース108は、ネットワーク30に接続されている。ネットワークインタフェース108は、ネットワーク30を介して、他のコンピュータまたは通信機器との間でデータの送受信を行う。機器接続インタフェース109は、ハブ24に接続されている。機器接続インタフェース109は、ハブ24を介して、カメラ23およびタブレット200との間でデータの送受信を行う。
カメラ23は、プロセッサ101からの命令に従って、カメラ23のレンズを向けた先の光景の静止画または動画のデータを生成し、メモリ102に格納する。また、カメラ23は、プロセッサ101からの命令に従って、水平回転によってレンズを向ける向きを変更可能である。また、カメラ23は、プロセッサ101からの命令に従って、ズームの設定を変更可能である。
ホストコンピュータ100は、以上のようなハードウェア構成によって、第2の実施の形態の処理機能を実現することができる。なお、第1の実施の形態に示した情報処理装置10も、図4に示したホストコンピュータ100と同様のハードウェアにより実現することができる。また、プロセッサ101は、第1の実施の形態に示した処理部11の一例である。
ホストコンピュータ100は、例えばコンピュータ読み取り可能な記録媒体に記録されたプログラムを実行することにより、第2の実施の形態の処理機能を実現する。ホストコンピュータ100に実行させる処理内容を記述したプログラムは、様々な記録媒体に記録しておくことができる。例えば、ホストコンピュータ100に実行させるプログラムをストレージ装置103に格納しておくことができる。プロセッサ101は、ストレージ装置103内のプログラムの少なくとも一部をメモリ102にロードし、プログラムを実行する。またホストコンピュータ100に実行させるプログラムを、光ディスク34、メモリ装置35、メモリカード37などの可搬型記録媒体に記録しておくこともできる。可搬型記録媒体に格納されたプログラムは、例えばプロセッサ101からの制御により、ストレージ装置103にインストールされた後、実行可能となる。またプロセッサ101が、可搬型記録媒体から直接プログラムを読み出して実行することもできる。
図5は、タブレットのハードウェアの一例を示す図である。タブレット200は、プロセッサ201によって装置全体が制御されている。プロセッサ201には、バス209を介してメモリ202と複数の周辺機器が接続されている。プロセッサ201は、マルチプロセッサであってもよい。プロセッサ201は、例えばCPU、MPU、またはDSPである。プロセッサ201がプログラムを実行することで実現する機能の少なくとも一部を、ASIC、PLDなどの電子回路で実現してもよい。
メモリ202は、タブレット200の主記憶装置として使用される。メモリ202には、プロセッサ201に実行させるOSのプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、メモリ202には、プロセッサ201による処理に利用する各種データが格納される。メモリ202としては、例えばRAMなどの揮発性の半導体記憶装置が使用される。
バス209に接続されている周辺機器としては、ストレージ装置203、ディスプレイ装置204、タッチパネル205、機器接続インタフェース206および無線通信部207,208がある。
ストレージ装置203は、内蔵した記録媒体に対して、電気的または磁気的にデータの書き込みおよび読み出しを行う。ストレージ装置203は、コンピュータの補助記憶装置として使用される。ストレージ装置203には、OSのプログラム、アプリケーションプログラム、および各種データが格納される。なお、ストレージ装置203としては、例えばフラッシュメモリなどを使用することができる。
ディスプレイ装置204は、プロセッサ201からの命令に従って、画像を表示する。ディスプレイ装置204としては、有機ELを用いた表示装置や液晶表示装置などがある。タッチパネル205は、ディスプレイ装置204の画面の前面に配置されており、画面上の押された位置を検知して、その位置を示す信号をプロセッサ201に送信する。
機器接続インタフェース206は、タブレット200に周辺機器を接続するための通信インタフェースである。例えば機器接続インタフェース206には、メモリカード41を接続することができる。メモリカード41は、機器接続インタフェース206との通信機能を搭載した、カード型の記録媒体である。
無線通信部207は、無線通信によるネットワークインタフェースである。無線通信部207は、ネットワーク40に接続されている。無線通信部207は、ネットワーク40を介して、他のコンピュータまたは通信機器との間でデータの送受信を行う。無線通信部208は、AP25に接続されている。無線通信部208は、AP25を介して、カメラ23およびホストコンピュータ100との間でデータの送受信を行う。
タブレット200は、以上のようなハードウェア構成によって、第2の実施の形態の処理機能を実現することができる。タブレット200は、例えばコンピュータ読み取り可能な記録媒体に記録されたプログラムを実行することにより、第2の実施の形態の処理機能を実現する。タブレット200に実行させる処理内容を記述したプログラムは、様々な記録媒体に記録しておくことができる。例えば、タブレット200に実行させるプログラムをストレージ装置203に格納しておくことができる。プロセッサ201は、ストレージ装置203内のプログラムの少なくとも一部をメモリ202にロードし、プログラムを実行する。またタブレット200に実行させるプログラムを、メモリカード41などの可搬型記録媒体に記録しておくこともできる。可搬型記録媒体に格納されたプログラムは、例えばプロセッサ201からの制御により、ストレージ装置203にインストールされた後、実行可能となる。またプロセッサ201が、可搬型記録媒体から直接プログラムを読み出して実行することもできる。
次に、第2の実施の形態の情報処理システムに含まれる各装置の機能について詳細に説明する。
図6は、ホストコンピュータおよびタブレットの機能例を示すブロック図である。ホストコンピュータ100は、人物検出部120、距離算出部130、傾き補正部140、判定部150およびカメラ設定部160を有する。人物検出部120、距離算出部130、傾き補正部140、判定部150およびカメラ設定部160は、メモリ102に記憶されたプログラムをプロセッサ101が実行することで実現される。人物検出部120は、カメラ23が撮影した所定時間(例えば、5秒)の動画の各フレームから点検者22を検出し、所定時間の動画の全フレームに対する点検者22が検出されたフレームの割合(検出割合)を算出する。
人物検出部120は、入力画像に写る人物を囲う検出枠を出力する学習済みモデル(人物検出モデル)に、カメラ23の撮影範囲に点検者22がいるときにカメラ23が撮影した所定時間の動画の各フレームを入力する。人物検出部120は、検出枠が出力されたフレーム(検出フレーム)のうち、各検出フレームの検出枠の位置に基づいて決定される検出基準範囲の範囲外に検出枠が位置するフレームを検出フレームから除外する。また、人物検出部120は、検出フレームのうち、検出枠があらかじめ設定された下限サイズ未満または上限サイズより大きいフレームを検出フレームから除外する。また、人物検出部120は、検出フレームのうち、検出枠の一部があらかじめ設定された除外範囲に含まれるフレームを検出フレームから除外する。そして、人物検出部120は、検出フレーム数を所定時間の動画の全フレーム数で除することで、検出割合を算出する。
距離算出部130は、ある地点に点検者22がいるときにカメラ23が撮影した動画の検出割合と、他の地点に点検者22がいるときにカメラ23が撮影した動画の検出割合とが所定の割合(例えば、9割)以上であった場合、2地点間の距離を算出する。例えば、距離算出部130は、ある地点に点検者22がいるときにカメラ23が撮影した動画について人物検出部120が算出した検出割合が所定の割合以上であった場合、3D(Dimensions)空間に点検者22の位置をマッピングする。そして、距離算出部130は、点検者22が他の地点にいるときにカメラ23が撮影した動画について人物検出部120が算出した検出割合が所定の割合以上であった場合、3D空間に点検者22の位置をマッピングする。距離算出部130は、点検者22の位置としてマッピングされた2点間の3D空間上の距離を算出する。
傾き補正部140は、フレームの傾きを検出し傾きを補正するための補正値を算出する。例えば、傾き補正部140は、検出フレームから点検者22の骨格を検出する。傾き補正部140は、検出した骨格から点検者22の傾きを算出する。そして、傾き補正部140は、点検者22の傾きを補正する補正値を算出する。
判定部150は、人物検出部120が算出した検出割合に基づいてカメラ23の設置状況を判定する。判定部150は、点検者22が領域21内にいるときにカメラ23が撮影した動画について、人物検出部120が算出した検出割合が所定の割合未満の場合、カメラ23の設置状況が不適切と判定する。
また、判定部150は、カメラ23の設置状況が不適切と判定し、検出枠のサイズが下限サイズ未満または上限サイズより大きいフレームが検出フレームに含まれる場合、カメラ23のズームの設定が不適切と判定する。
また、判定部150は、カメラ23の設置状況が不適切と判定し、検出枠の一部が除外範囲に含まれるフレームが検出フレームに含まれる場合、カメラ23の撮影方向の設定が不適切と判定する。また、判定部150は、補正値によって補正された動画について、人物検出部120が算出した検出割合が所定の割合未満の場合、カメラ23の設置位置が不適切と判定する。そして、判定部150は、カメラ23の設置位置が不適切であるという判定結果を、タブレット200に通知しタブレット200に判定結果を表示させる。
また、判定部150は、距離算出部130が算出した距離が適正範囲内であった場合、カメラ23の設置状況が適切と判定する。そして、判定部150は、カメラ23の設置状況が適切であるという判定結果を、タブレット200に通知しタブレット200に判定結果を表示させる。判定部150は、距離算出部130が算出した距離が適正範囲外であった場合、カメラ23のズームの設定が不適切と判定する。
カメラ設定部160は、判定部150による判定に基づいてカメラ23の設定を変更する。例えば、カメラ設定部160は、判定部150がカメラ23の撮影方向の設定が不適切と判定した場合、カメラ23を水平回転させ、カメラ23の向きを変更する。また、例えば、カメラ設定部160は、判定部150がカメラ23のズームの設定が不適切と判定した場合、カメラ23のズームの設定を変更する。
タブレット200は、入出力部220を有する。入出力部220は、メモリ202に記憶されたプログラムをプロセッサ201が実行することで実現される。入出力部220は、点検者22からの入力操作の受付および案内画面の表示出力を行う。例えば、入出力部220は、カメラ23に動画撮影を開始させる指示の入力を受け付ける。また、例えば、入出力部220は、カメラ23が撮影した動画をディスプレイ装置204に表示させる。また、例えば、入出力部220は、ホストコンピュータ100から通知された、カメラ23の設置状況の判定結果をディスプレイ装置204に表示させる。なお、図6に示した各要素間を接続する線は通信経路の一部を示すものであり、図示した通信経路以外の通信経路も設定可能である。
次に、検出割合の算出について説明する。
図7は、人物検出の一例を示す図である。人物検出部120は、カメラ23の撮影範囲に点検者22がいるときにカメラ23が撮影した所定時間の動画の各フレームに対し、人物検出処理を行う。
フレーム50−1,50−2,50−3,・・・は、カメラ23が撮影した所定時間の動画のフレームである。人物検出部120は、フレーム50−1,50−2,50−3,・・・を、人物検出モデルに入力して人物検出をする。
検出フレーム60−1,60−2,60−3,・・・は、フレーム50−1,50−2,50−3,・・・のうち、人物検出モデルによって検出枠が出力されたフレームである。検出枠61−1は、検出フレーム60−1から検出された人物(点検者22)を囲う枠である。左上座標62−1は、検出フレーム60−1における検出枠61−1の左上の位置座標である。
なお、フレーム50−1,50−2,50−3,・・・は、第1の実施の形態に示した撮影画像4a,4b,4c,・・・の一例である。また、検出フレーム60−1,60−2,60−3,・・・は、第1の実施の形態に示した検出画像5a,5b,5c,・・・の一例である。また、検出フレーム60−1,60−2,60−3,・・・の検出枠は、第1の実施の形態に示した、人物3の画像上の範囲の一例である。また、検出フレーム60−1,60−2,60−3,・・・の検出枠のサイズは、第1の実施の形態に示した、人物3の画像上のサイズの一例である。また、検出フレーム60−1,60−2,60−3,・・・の検出枠の左上座標は、第1の実施の形態に示した、人物3の検出位置の一例である。
次に、検出割合の算出において除外するフレームについて説明する。
図8は、検出位置に基づくフレームの除外処理の一例を示す図である。人物検出部120は、検出フレーム60−1,60−2,60−3,・・・のうち、検出枠の左上座標のずれが大きい検出フレームを除外して検出割合を算出する。検出フレーム60−2は、人物検出モデルによって検出枠61−2が出力されたフレームである。左上座標62−2は、検出フレーム60−2における検出枠61−2の左上の位置座標である。
人物検出部120は、左上座標が検出基準範囲63の範囲外である検出フレームを除外して検出割合を算出する。検出基準範囲63は、検出フレーム60−1,60−2,60−3,・・・のうちのいずれかの左上座標を中心とした所定の範囲であってもよい。また、検出基準範囲63は、検出フレーム60−1,60−2,60−3,・・・それぞれの左上座標の平均の座標を中心とした所定の範囲であってもよい。ここでは一例として、検出基準範囲63は、左上座標62−1から10pixel以内の範囲である。左上座標62−2は、左上座標62−1との距離が10pixelより大きいため、検出基準範囲63の範囲外である。よって、人物検出部120は、検出フレーム60−2を除外して検出割合を算出する。
検出枠61−2は、左上座標62−2が他の検出枠の左上座標とのずれが大きいことから、点検者22以外のものを人物として検出したものや、点検者22の一部を検出したもの等であると考えられる。人物以外のものや人物の一部に対して、画像処理による判定がされる場合、誤判定が発生する可能性が高い。人物検出部120は、左上座標が検出基準範囲63の範囲外である(検出枠の位置が不適切である)検出フレームを除外することで、画像処理による判定で誤判定が発生する恐れがある検出フレームを除外できる。
図9は、検出サイズに基づくフレームの除外処理の一例を示す図である。人物検出部120は、検出フレーム60−1,60−2,60−3,・・・のうち、検出枠のサイズが過度に小さい検出フレームと検出枠のサイズが過度に大きい検出フレームとを除外して検出割合を算出する。検出フレーム60−3は、人物検出モデルによって検出枠61−3が出力されたフレームである。
人物検出部120は、検出枠が下限サイズ64a未満または上限サイズ64bより大きい検出フレームを除外して検出割合を算出する。下限サイズ64aは、検出枠のサイズの下限値としてあらかじめ設定されたサイズを示す。下限サイズ64aは、例えば、横30pixel、縦100pixelである。なお、下限サイズ64aは、第1の実施の形態に示した第1のサイズおよび第3のサイズの一例である。上限サイズ64bは、検出枠のサイズの上限値としてあらかじめ設定されたサイズを示す。上限サイズ64bは、例えば、横50pixel、縦150pixelである。なお、上限サイズ64bは、第1の実施の形態に示した第2のサイズおよび第4のサイズの一例である。
人物検出部120は、検出枠の横または縦の長さが下限サイズ64a未満の検出フレームを除外する。また、人物検出部120は、検出枠の横または縦の長さが上限サイズ64bより大きい検出フレームを除外する。検出枠61−3は、横および縦の長さが上限サイズ64bより大きい。よって、人物検出部120は、検出フレーム60−3を除外して検出割合を算出する。
ここで、過度に小さい検出枠内の人物に対して画像処理による判定がされる場合、誤判定が発生する可能性が高い。また、検出枠が過度に大きい場合、すなわち、フレーム内の人物が過度に大きい場合、移動する人物がカメラ23の撮影範囲を通過する時間が短くなる。すると、移動する人物を写したフレーム数が少なくなる。少ないフレーム数で動画に写る人物に対して画像処理による判定がされる場合、誤判定が発生する可能性が高い。人物検出部120は、検出枠が下限サイズ64a未満または上限サイズ64bより大きい(検出枠のサイズが不適切である)検出フレームを除外することで、画像処理による判定で誤判定が発生する恐れがある検出フレームを除外できる。
図10は、検出範囲に基づくフレームの除外処理の一例を示す図である。人物検出部120は、検出フレーム60−1,60−2,60−3,・・・のうち、検出枠が過度に端に寄っている検出フレームを除外して検出割合を算出する。検出フレーム60−4は、人物検出モデルによって検出枠61−4が出力されたフレームである。
人物検出部120は、検出枠の少なくとも一部が除外範囲65に含まれる検出フレームを除外して検出割合を算出する。除外範囲65は、検出枠の範囲として不適切な範囲としてあらかじめ設定されたものである。除外範囲65は、例えば、フレームの上下左右の端から10pixelの範囲である。なお、除外範囲65は、第1の実施の形態に示した、第1の除外範囲および第2の除外範囲の一例である。検出枠61−4の一部は、検出フレーム60−4の下の端から10pixelの範囲に含まれる。よって、人物検出部120は、検出フレーム60−4を除外して検出割合を算出する。
このように、人物検出部120は、検出枠が過度に端に寄っている検出フレームを除外して検出割合を算出する。検出枠61−4が検出フレーム60−4の下の端に過度に寄っていることから、点検者22の一部(下の部分)が検出フレーム60−4に写っていないことが考えられる。人物の一部に対して、画像処理による判定がされる場合、誤判定が発生する可能性が高い。人物検出部120は、検出枠の少なくとも一部が除外範囲65に含まれる(検出枠の範囲が不適切である)検出フレームを除外することで、画像処理による判定で誤判定が発生する恐れがある検出フレームを除外できる。
上記のように、人物検出部120は、検出枠の位置、サイズまたは範囲が不適切な検出フレームを除外して検出割合を算出する。これにより、人物検出部120は、画像処理による判定に用いるのに好ましい検出フレームの割合を検出割合として算出できる。
次に、点検者22が点検作業を行うときに、タブレット200に表示される案内画面について説明する。
図11は、案内画面の画面遷移の一例を示す図(その1)である。タブレット200の入出力部220は、初期画面として案内画面601をディスプレイ装置204に表示させる。案内画面601は、カメラ23が撮影している動画を含む。また、案内画面601は、「撮影開始」のボタンイメージを含む。なお、以下では画面表示されるボタンイメージを単にボタンということがある。また、案内画面601は、「中央にまっすぐ立ってください」などの、カメラ23が撮影した動画の中央に写る位置(基準位置)で直立するよう点検者22に促すためのメッセージを含む。なお、基準位置は、領域21内である。入出力部220は、「撮影開始」ボタンの押下操作を受け付けると、案内画面602をディスプレイ装置204に表示させる。
案内画面602は、ホストコンピュータ100の人物検出部120による人物検出に用いる動画をカメラ23が撮影中であることを示す画面である。案内画面602は、カメラ23が撮影している動画を含む。また、案内画面602は、「動画撮影します」などの、人物検出に用いる動画をカメラ23が撮影中であることを示すメッセージを含む。撮影された動画についての検出割合が所定の割合以上であるとホストコンピュータ100の判定部150が判定した場合、入出力部220は、案内画面603をディスプレイ装置204に表示させる。
案内画面603は、案内画面602を表示中にカメラ23が撮影した動画についての検出割合が所定の割合以上であると判定部150が判定したことを点検者22に通知するための画面である。案内画面603は、カメラ23が撮影している動画を含む。また、案内画面603は、「OK」などの、案内画面602を表示中にカメラ23が撮影した動画についての検出割合が所定の割合以上であると判定されたことを示すメッセージを含む。
図12は、案内画面の画面遷移の一例を示す図(その2)である。入出力部220は、案内画面603をディスプレイ装置204に表示させた後、案内画面604をディスプレイ装置204に表示させる。案内画面604は、基準位置よりもカメラ23から遠い位置に移動して直立するよう点検者22に促すための画面である。
案内画面604は、カメラ23が撮影している動画を含む。また、案内画面604は、「撮影開始」ボタンを含む。また、案内画面604は、「カメラから遠ざかってください」などの、基準位置よりもカメラ23から遠い位置に移動して直立するよう点検者22に促すためのメッセージを含む。入出力部220は、「撮影開始」ボタンの押下操作を受け付けると、案内画面605をディスプレイ装置204に表示させる。
案内画面605は、人物検出部120による人物検出に用いる動画をカメラ23が撮影中であることを示す画面である。案内画面605は、カメラ23が撮影している動画を含む。また、案内画面605は、「動画撮影します」などの、人物検出に用いる動画をカメラ23が撮影中であることを示すメッセージを含む。撮影された動画についての検出割合が所定の割合以上であると判定部150が判定した場合、入出力部220は、案内画面606をディスプレイ装置204に表示させる。
案内画面606は、案内画面605を表示中にカメラ23が撮影した動画についての検出割合が所定の割合以上であると判定部150が判定したことを点検者22に通知するための画面である。案内画面606は、カメラ23が撮影している動画を含む。また、案内画面606は、「OK」などの、案内画面605を表示中にカメラ23が撮影した動画についての検出割合が所定の割合以上であると判定されたことを示すメッセージを含む。
ここで、ホストコンピュータ100の距離算出部130は、案内画面605を表示中(検出割合が所定の割合以上となった動画の撮影中)に点検者22のいた位置を第1の位置として記録する。例えば、距離算出部130は、3D空間に第1の位置をマッピングする。なお、第1の位置は、領域21内であってもよいし領域21外であってもよい。入出力部220は、記録された第1の位置の案内画面上の位置(すなわち、カメラ23が撮影した動画における位置)を画面表示してもよい。図では、距離算出部130が記録した第1の位置の案内画面上の位置は、黒い点で表される。
図13は、案内画面の画面遷移の一例を示す図(その3)である。入出力部220は、案内画面606をディスプレイ装置204に表示させた後、案内画面607をディスプレイ装置204に表示させる。案内画面607は、基準位置よりもカメラ23に近い位置に移動して直立するよう点検者22に促すための画面である。
案内画面607は、カメラ23が撮影している動画を含む。また、案内画面607は、「撮影開始」ボタンを含む。また、案内画面607は、「カメラに近づいてください」などの、基準位置よりもカメラ23に近い位置に移動して直立するよう点検者22に促すためのメッセージを含む。入出力部220は、「撮影開始」ボタンの押下操作を受け付けると、案内画面608をディスプレイ装置204に表示させる。
案内画面608は、人物検出部120による人物検出に用いる動画をカメラ23が撮影中であることを示す画面である。案内画面608は、カメラ23が撮影している動画を含む。また、案内画面608は、「動画撮影します」などの、人物検出に用いる動画をカメラ23が撮影中であることを示すメッセージを含む。撮影された動画についての検出割合が所定の割合以上であると判定部150が判定した場合、入出力部220は、案内画面609をディスプレイ装置204に表示させる。
案内画面609は、案内画面608を表示中にカメラ23が撮影した動画についての検出割合が所定の割合以上であると判定部150が判定したことを点検者22に通知するための画面である。案内画面609は、カメラ23が撮影している動画を含む。また、案内画面609は、「OK」などの、案内画面608を表示中にカメラ23が撮影した動画についての検出割合が所定の割合以上であると判定されたことを示すメッセージを含む。
ここで、ホストコンピュータ100の距離算出部130は、案内画面608を表示中(検出割合が所定の割合以上となった動画の撮影中)に点検者22のいた位置を第2の位置として記録する。例えば、距離算出部130は、3D空間に第2の位置をマッピングする。なお、第2の位置は、領域21内であってもよいし領域21外であってもよい。入出力部220は、記録された第2の位置の案内画面上の位置(すなわち、カメラ23が撮影した動画における位置)を画面表示してもよい。図では、距離算出部130が記録した第2の位置の案内画面上の位置は、黒い点で表される。通路26の第1の位置から第2の位置までの間の経路(第1の位置と第2の位置とを両端とする経路)は、第1の実施の形態に示した、経路の一例である。なお、通路26の第1の位置から第2の位置までの間の経路は、少なくとも一部が領域21に含まれる。
図14は、案内画面の画面遷移の一例を示す図(その4)である。入出力部220は、案内画面609をディスプレイ装置204に表示させた後、第1の位置と第2の位置との距離に応じたカメラ23の設置状況の判定結果を示す画面をディスプレイ装置204に表示させる。
距離算出部130は、第1の位置と第2の位置との距離を算出する。距離算出部130は、例えば、第1の位置と第2の位置とをマッピングした3D空間における第1の位置と第2の位置との距離を算出する。判定部150は、第1の位置と第2の位置との距離が適正範囲内(第1の距離以上第2の距離以下)であった場合、カメラ23の設置状況が領域21を撮影するのに適していると判定し、判定結果をタブレット200に通知する。
ここで適正範囲は、動画に写る人物に対して画像処理による判定がされる場合に人物が動画に写っている時間の好適な範囲(第1の時間以上第2の時間以下)と動画に写る人物の移動速度とを基にあらかじめ設定される。一例として、第1の距離は、第2の実施の形態の情報処理システムが設置された施設内を人物が歩く平均速度に、第1の時間を掛けたものである。また、第2の距離は、第2の実施の形態の情報処理システムが設置された施設内を人物が歩く平均速度に、第2の時間を掛けたものである。
また、判定部150は、第1の位置と第2の位置との距離が適正範囲外であった場合(第1の位置と第2の位置との距離が第1の距離未満または第2の距離より大きい場合)、カメラ23のズームの設定が領域21を撮影するのに適していないと判定する。そして、ホストコンピュータ100のカメラ設定部160は、カメラ23のズームの設定を変更する。
入出力部220は、判定部150がカメラ23の設置状況が領域21を撮影するのに適していると判定した場合、案内画面610をディスプレイ装置204に表示させる。案内画面610は、カメラ23の設置状況が領域21を撮影するのに適していると判定されたことを点検者22に通知するための画面である。案内画面610は、カメラ23が撮影している動画を含む。また、案内画面610は、「OK」などの、カメラ23の設置状況が領域21を撮影するのに適していると判定されたことを示すメッセージを含む。
また、入出力部220は、判定部150がカメラ23のズームの設定が領域21を撮影するのに適していないと判定した場合、案内画面611をディスプレイ装置204に表示させる。案内画面611は、カメラ23のズームの設定を変更することを点検者22に通知するための画面である。案内画面611は、カメラ23が撮影している動画を含む。また、案内画面611は、「ズームの調整をします」などの、カメラ23のズームの設定を変更することを示すメッセージを含む。
図15は、案内画面の画面遷移の一例を示す図(その5)である。入出力部220は、点検者22が基準位置にいる(案内画面602が表示されている)ときに撮影された動画についての検出割合が所定の割合未満であると判定された場合、カメラ23の設置状況が変更されることを示す画面をディスプレイ装置204に表示させる。
判定部150は、点検者22が基準位置にいるときに撮影された動画についての検出割合が所定の割合未満であると判定した場合、検出割合の算出において検出枠のサイズまたは範囲が不適切であるとして除外されたフレームがあるか否かを判定する。判定部150は、検出割合の算出において検出枠のサイズが不適切であるとして除外されたフレームがあった場合、カメラ23のズームの設定が領域21を撮影するのに適していないと判定する。そして、カメラ設定部160は、カメラ23のズームの設定を変更する。
また、判定部150は、検出割合の算出において検出枠の範囲が不適切であるとして除外されたフレームがあった場合、カメラ23の撮影方向の設定が領域21を撮影するのに適していないと判定する。そして、カメラ設定部160は、カメラ23の撮影方向の設定(カメラ23の向き)を変更する。また、検出割合の算出において検出枠のサイズまたは範囲が不適切であるとして除外されたフレームがなかった(検出枠のサイズと範囲は適切であった)場合、傾き補正部140は、カメラ23が撮影する動画の傾きの補正値を算出する。
入出力部220は、判定部150がカメラ23のズームの設定が領域21を撮影するのに適していないと判定した場合、案内画面612をディスプレイ装置204に表示させる。案内画面612は、カメラ23のズームの設定が変更されることを点検者22に通知するための画面である。案内画面612は、カメラ23が撮影している動画を含む。また、案内画面612は、「ズームの調整をします」などの、カメラ23のズームの設定を変更することを示すメッセージを含む。
また、入出力部220は、判定部150がカメラ23の撮影範囲の設定が領域21を撮影するのに適していないと判定した場合、案内画面613をディスプレイ装置204に表示させる。案内画面613は、カメラ23の向きが変更されることを点検者22に通知するための画面である。案内画面613は、カメラ23が撮影している動画を含む。また、案内画面613は、「カメラの向きの調整をします」などの、カメラ23の向きを変更することを示すメッセージを含む。
また、入出力部220は、傾き補正部140が傾きの補正値を算出する場合、案内画面614をディスプレイ装置204に表示させる。案内画面614は、傾きの補正をすることを点検者22に通知するための画面である。案内画面614は、カメラ23が撮影している動画を含む。また、案内画面614は、「再度確認中です」などの、カメラ23が撮影する動画の傾きの補正値を算出していることを示すメッセージを含む。
図16は、案内画面の画面遷移の一例を示す図(その6)である。入出力部220は、傾きを補正した動画についての検出割合が所定の割合未満と判定された場合、カメラ23の設置位置の変更を点検者22に促す画面をディスプレイ装置204に表示させる。
傾き補正部140は、傾きの補正値を用いて、点検者22が基準位置にいるときに撮影された動画を補正する。人物検出部120は、傾き補正部140が補正した動画についての検出割合を算出する。判定部150は、補正した動画についての検出割合が所定の割合未満の場合、カメラ23の設置位置が領域21を撮影するのに適していないと判定し、判定結果をタブレット200に通知する。
入出力部220は、判定部150がカメラ23の設置位置が領域21を撮影するのに適していないと判定した場合、案内画面615をディスプレイ装置204に表示させる。案内画面615は、カメラ23の設置位置の変更を点検者22に促す画面である。案内画面615は、カメラ23が撮影している動画を含む。また、案内画面615は、「今の環境では適切な検出ができないため、カメラの設置位置から再度検討してください」などの、カメラ23の設置位置の変更を点検者22に促すためのメッセージを含む。
このように、入出力部220は、図11〜図16に示した案内画面をディスプレイ装置204に表示させることで、点検者22のカメラ23の点検作業を支援できる。入出力部220は、案内画面601を表示することによって、基準位置に直立するよう点検者22に促す。これにより、入出力部220は、点検者22が領域21内にいる動画をカメラ23に撮影させることができる。
また、入出力部220は、案内画面604を表示することによって、カメラ23から遠ざかるよう点検者22に促す。これにより、入出力部220は、点検者22が基準位置よりカメラ23から遠い第1の位置にいる動画をカメラ23に撮影させることができる。また、入出力部220は、案内画面607を表示することによって、カメラ23に近づくよう点検者22に促す。これにより、入出力部220は、点検者22が基準位置よりカメラ23に近い第2の位置にいる動画をカメラ23に撮影させることができる。
また、入出力部220は、判定部150による判定結果をディスプレイ装置204に表示させる。判定部150は、カメラ23の設置状況が領域21を撮影するのに適していると判定した場合、判定結果をタブレット200に通知する。すると、入出力部220は、案内画面610をディスプレイ装置204に表示させる。これにより、判定部150は、カメラ23の設置状況が適切であることを点検者22に通知できる。また、判定部150は、カメラ23の設置位置が領域21を撮影するのに適していないと判定した場合、判定結果をタブレット200に通知する。すると、入出力部220は、案内画面615を、ディスプレイ装置204に表示させる。これにより、判定部150は、カメラ23の設置位置の変更を点検者22に促すことができる。
次に、第1の位置と第2の位置との距離の算出について説明する。
図17は、3次元空間へのマッピングの一例を示す図である。3D空間70は、第2の実施の形態の情報処理システムが設置された施設内の人物や物体の位置関係を表すための座標系である。3D空間70は、x軸、y軸およびz軸を有する。3D空間70におけるz軸は、実空間における鉛直方向を示す。また、3D空間70におけるz=0のxy平面は、実空間における床や地面を示す。3D空間70には、カメラ23の位置を示すカメラ位置70aがあらかじめマッピングされる。カメラ位置70aは、(xc,yc,zc)で示される。なお、3D空間70には、第2の実施の形態の情報処理システムが設置された施設内にあるカメラ23以外のものの位置もマッピングされていてもよい。距離算出部130は、3D空間70における第1の位置と第2の位置との距離を算出する。
距離算出部130は、点検者22が第1の位置にいるときにカメラ23が撮影した動画を基に、第1の位置を示す位置71を3D空間70にマッピングする。位置71は、(xp1,yp1,0)で示される。例えば、距離算出部130は、第1の位置にいる点検者22の足元のカメラ23との相対的な位置をカメラ23が撮影した動画を基に算出する。そして、距離算出部130は、点検者22の足元のカメラ23との相対的な位置とカメラ位置70aとに基づいて、位置71を3D空間70にマッピングする。
また、距離算出部130は、点検者22が第2の位置にいるときにカメラ23が撮影した動画を基に、第2の位置を示す位置72を3D空間70にマッピングする。位置72は、(xp2,yp2,0)で示される。例えば、距離算出部130は、第2の位置にいる点検者22の足元のカメラ23との相対的な位置をカメラ23が撮影した動画を基に算出する。そして、距離算出部130は、点検者22の足元のカメラ23との相対的な位置とカメラ位置70aとに基づいて、位置72を3D空間70にマッピングする。そして、距離算出部130は、位置71と位置72との距離((xp1−xp22+(yp1−yp221/2を算出する。
次に、カメラ23が撮影した動画の傾きの補正について説明する。
図18は、傾き補正の一例を示す図である。傾き補正部140は、動画の各フレーム(例えば、フレーム50−1,50−2,50−3,・・・)の傾きを動画に写った点検者22の傾きに基づいて補正する。
傾き補正部140は、検出フレーム60−1で検出された点検者22の骨格66を検出する。例えば、傾き補正部140は、検出枠61−1内から点検者22の体の各部位を検出し、検出した各部位をつないだ骨格66を特定する。検出される体の各部位は、例えば、頭、右目、左目、右耳、鼻、左耳、首、右肩、肩中央、左肩、右肘、背骨、左肘、右手首、左手首、右手、左手、右親指、左親指、右手先、左手先、右腰、腰中央、左腰、右膝、左膝、右足首、左足首、右足、左足などである。
傾き補正部140は、骨格66から点検者22の傾き具合を示す軸66aを算出する。軸66aは、例えば、骨格66に含まれる頭と腰中央とを通る直線である。傾き補正部140は、軸66aの基準軸67に対する傾きを基に補正値θを算出する。基準軸67は、検出フレーム60−1の縦方向を示す軸である。傾き補正部140は、軸66aと基準軸67とがなす角を補正値θとして算出する。
傾き補正部140は、補正値θによって、フレーム50−1,50−2,50−3,・・・の傾きを補正した補正後フレーム80−1,80−2,80−3,・・・を生成する。補正後フレーム80−1,80−2,80−3,・・・は、フレーム50−1,50−2,50−3,・・・をθだけ回転させたフレームである。なお、補正後フレーム80−1,80−2,80−3,・・・は、第1の実施の形態に示した、複数の補正後撮影画像の一例である。
上記の例では、傾き補正部140は、検出フレーム60−1を基に補正値θを算出していたが、検出フレーム60−1,60−2,60−3,・・・を基に補正値θを算出してもよい。例えば、傾き補正部140は、検出フレーム60−1,60−2,60−3,・・・それぞれから点検者22の傾きを算出し、算出した傾きの平均値を補正値θとして算出してもよい。
以下、ホストコンピュータ100による検出割合算出処理の手順について、詳細に説明する。
図19は、検出割合算出処理の手順の一例を示すフローチャートである。図19に示す処理は、動画(ここでは、フレーム50−1,50−2,50−3,・・・)を入力として実行される。以下、図19に示す処理をステップ番号に沿って説明する。
[ステップS11]人物検出部120は、フレーム50−1,50−2,50−3,・・・それぞれから点検者22を検出する。例えば、人物検出部120は、フレーム50−1,50−2,50−3,・・・を人物検出モデルに入力する。そして、人物検出部120は、フレーム50−1,50−2,50−3,・・・のうち、検出枠が出力されたフレームを検出フレーム60−1,60−2,60−3,・・・とする。
[ステップS12]人物検出部120は、検出フレーム60−1,60−2,60−3,・・・それぞれの検出枠の左上座標を特定する。人物検出部120は、検出フレーム60−1,60−2,60−3,・・・のうち、左上座標が検出基準範囲63の範囲外であるフレームを除外する。
[ステップS13]人物検出部120は、検出フレーム60−1,60−2,60−3,・・・のうち、検出枠が下限サイズ64a未満または上限サイズ64bより大きいフレームを除外する。
[ステップS14]人物検出部120は、検出フレーム60−1,60−2,60−3,・・・のうち、検出枠の一部が除外範囲65に含まれるフレームを除外する。
[ステップS15]人物検出部120は、(検出フレーム数)/(全フレーム数)を検出割合として算出する。人物検出部120は、検出フレーム60−1,60−2,60−3,・・・のうち、ステップS12〜S14で除外されなかったフレームの数を検出フレーム数とする。また、人物検出部120は、フレーム50−1,50−2,50−3,・・・の数を全フレーム数とする。
このように、人物検出部120は、動画の各フレームから点検者22を検出する。そして、人物検出部120は、検出枠の位置、サイズまたは範囲が不適切な検出フレームを除外して検出割合を算出する。これにより、人物検出部120は、画像処理による判定に用いるのに好ましい検出フレームの割合を検出割合として算出できる。
以下、ホストコンピュータ100およびタブレット200による設置状況判定処理の手順について、詳細に説明する。
図20は、設置状況判定処理の手順の一例を示すフローチャート(その1)である。以下、図20に示す処理をステップ番号に沿って説明する。
[ステップS21]タブレット200の入出力部220は、初期画面として案内画面601をディスプレイ装置204に表示させる。
[ステップS22]入出力部220は、案内画面601の「撮影開始」ボタンの押下を受け付ける。入出力部220は、カメラ23に所定時間(例えば、5秒間)の動画撮影を開始させる。入出力部220は、案内画面602をディスプレイ装置204に表示させる。
[ステップS23]ホストコンピュータ100の人物検出部120は、ステップS22でカメラ23が撮影した動画を取得する。
[ステップS24]人物検出部120は、ステップS23で取得した動画を入力として、図19に示した検出割合算出処理を実行する。
[ステップS25]ホストコンピュータ100の判定部150は、ステップS24で算出された検出割合が所定の割合(例えば、9割)以上であるか否かを判定する。判定部150は、ステップS24で算出された検出割合が所定の割合以上であると判定した場合、処理をステップS26に進める。また、判定部150は、ステップS24で算出された検出割合が所定の割合未満であると判定した場合、処理をステップS52に進める。
[ステップS26]入出力部220は、ステップS24で算出された検出割合が所定の割合以上であること(検出成功)を通知するための画面をディスプレイ装置204に表示させる。例えば、入出力部220は、案内画面603をディスプレイ装置204に表示させる。
[ステップS27]入出力部220は、カメラ23から遠ざかるよう点検者22に促すための画面をディスプレイ装置204に表示させる。例えば、入出力部220は、案内画面604をディスプレイ装置204に表示させる。
[ステップS28]入出力部220は、案内画面604の「撮影開始」ボタンの押下を受け付ける。入出力部220は、カメラ23に所定時間の動画撮影を開始させる。入出力部220は、案内画面605をディスプレイ装置204に表示させる。
[ステップS29]人物検出部120は、ステップS28でカメラ23が撮影した動画を取得する。
[ステップS30]人物検出部120は、ステップS29で取得した動画を入力として、図19に示した検出割合算出処理を実行する。
[ステップS31]判定部150は、ステップS30で算出された検出割合が所定の割合以上であるか否かを判定する。判定部150は、ステップS30で算出された検出割合が所定の割合以上であると判定した場合、処理をステップS33に進める。また、判定部150は、ステップS30で算出された検出割合が所定の割合未満であると判定した場合、処理をステップS32に進める。
[ステップS32]入出力部220は、カメラ23に近づくよう点検者22に促すための画面をディスプレイ装置204に表示させる。そして、処理がステップS28に進む。
図21は、設置状況判定処理の手順の一例を示すフローチャート(その2)である。以下、図21に示す処理をステップ番号に沿って説明する。
[ステップS33]距離算出部130は、第1の位置を記録する。例えば、距離算出部130は、ステップS29で取得した動画を基に、点検者22の位置を位置71として3D空間70にマッピングする。
[ステップS34]入出力部220は、ステップS30で算出された検出割合が所定の割合以上であること(検出成功)を通知するための画面をディスプレイ装置204に表示させる。例えば、入出力部220は、案内画面606をディスプレイ装置204に表示させる。
[ステップS35]入出力部220は、カメラ23に近づくよう点検者22に促すための画面をディスプレイ装置204に表示させる。例えば、入出力部220は、案内画面607をディスプレイ装置204に表示させる。
[ステップS36]入出力部220は、案内画面607の「撮影開始」ボタンの押下を受け付ける。入出力部220は、カメラ23に所定時間の動画撮影を開始させる。入出力部220は、案内画面608をディスプレイ装置204に表示させる。
[ステップS37]人物検出部120は、ステップS36でカメラ23が撮影した動画を取得する。
[ステップS38]人物検出部120は、ステップS37で取得した動画を入力として、図19に示した検出割合算出処理を実行する。
[ステップS39]判定部150は、ステップS38で算出された検出割合が所定の割合以上であるか否かを判定する。判定部150は、ステップS38で算出された検出割合が所定の割合以上であると判定した場合、処理をステップS41に進める。また、判定部150は、ステップS38で算出された検出割合が所定の割合未満であると判定した場合、処理をステップS40に進める。
[ステップS40]入出力部220は、カメラ23から遠ざかるよう点検者22に促すための画面をディスプレイ装置204に表示させる。そして、処理がステップS36に進む。
[ステップS41]距離算出部130は、第2の位置を記録する。例えば、距離算出部130は、ステップS37で取得した動画を基に、点検者22の位置を位置72として3D空間70にマッピングする。
[ステップS42]入出力部220は、ステップS38で算出された検出割合が所定の割合以上であること(検出成功)を通知するための画面をディスプレイ装置204に表示させる。例えば、入出力部220は、案内画面609をディスプレイ装置204に表示させる。
[ステップS43]距離算出部130は、第1の位置と第2の位置との距離を算出する。例えば、距離算出部130は、位置71と位置72との3D空間70における距離を第1の位置と第2の位置との距離として算出する。
図22は、設置状況判定処理の手順の一例を示すフローチャート(その3)である。以下、図22に示す処理をステップ番号に沿って説明する。
[ステップS44]判定部150は、第1の位置と第2の位置との距離が適正範囲内(第1の距離以上かつ第2の距離以下)であるか否かを判定する。判定部150は、第1の位置と第2の位置との距離が第1の距離以上かつ第2の距離以下であると判定した場合、処理をステップS45に進める。また、判定部150は、第1の位置と第2の位置との距離が第1の距離未満または第2の距離より大きいと判定した場合、処理をステップS47に進める。
[ステップS45]判定部150は、カメラ23の設置状況が領域21を撮影するのに適している(カメラ23の設置状況が適切)と判定する。判定部150は、カメラ23の設置状況が適切であるという判定結果をタブレット200に通知し、タブレット200に判定結果を表示させる。
[ステップS46]入出力部220は、カメラ23の設置状況が適切と通知するための画面をディスプレイ装置204に表示させる。例えば、入出力部220は、案内画面610をディスプレイ装置204に表示させる。そして、処理が終了する。
[ステップS47]判定部150は、カメラ23のズームの設定が領域21を撮影するのに適していない(カメラ23のズームの設定が不適切)と判定する。
[ステップS48]入出力部220は、カメラ23のズーム設定の変更を通知するための画面をディスプレイ装置204に表示させる。例えば、入出力部220は、案内画面611をディスプレイ装置204に表示させる。
[ステップS49]入出力部220は、第1の位置と第2の位置との距離が適正範囲より大きいか否か(第2の距離より大きいか第1の距離未満か)を判定する。判定部150は、第1の位置と第2の位置との距離が第2の距離より大きいと判定した場合、処理をステップS50に進める。また、判定部150は、第1の位置と第2の位置との距離が第1の距離未満と判定した場合、処理をステップS51に進める。
[ステップS50]ホストコンピュータ100のカメラ設定部160は、カメラ23が所定値だけズームインするように設定する。そして、処理がステップS21に進む。
[ステップS51]カメラ設定部160は、カメラ23が所定値だけズームアウトするように設定する。そして、処理がステップS21に進む。
図23は、設置状況判定処理の手順の一例を示すフローチャート(その4)である。以下、図23に示す処理をステップ番号に沿って説明する。
[ステップS52]判定部150は、カメラ23の設置状況が領域21を撮影するのに適していない(カメラ23の設置状況が不適切)と判定する。
[ステップS53]判定部150は、繰り返し回数が所定回数(例えば、5回)以内であるか否かを判定する。判定部150は、繰り返し回数が所定回数以内と判定した場合、処理をステップS54に進める。また、判定部150は、繰り返し回数が所定回数より多いと判定した場合、処理をステップS69に進める。
[ステップS54]判定部150は、ステップS24で行われた検出割合算出処理において、サイズが不適切な検出枠があったか否かを判定する。すなわち、判定部150は、ステップS24で行われた検出割合算出処理において、検出枠が下限サイズ64a未満または上限サイズ64bより大きいため除外されたフレームがあったか否かを判定する。判定部150は、ステップS24で行われた検出割合算出処理において、サイズが不適切な検出枠があったと判定した場合、処理をステップS55に進める。また、判定部150は、ステップS24で行われた検出割合算出処理において、サイズが不適切な検出枠がなかったと判定した場合、処理をステップS58に進める。
[ステップS55]判定部150は、カメラ23のズームの設定が領域21を撮影するのに適していない(カメラ23のズームの設定が不適切)と判定する。
[ステップS56]入出力部220は、カメラ23のズーム設定の変更を通知するための画面をディスプレイ装置204に表示させる。例えば、入出力部220は、案内画面612をディスプレイ装置204に表示させる。
[ステップS57]カメラ設定部160は、カメラ23のズームの設定を変更する。例えば、カメラ設定部160は、ステップS23で撮影した動画を基に点検者22の位置を3D空間70にマッピングする。そして、カメラ設定部160は、カメラ位置70aから3D空間70にマッピングされた点検者22の位置の人物をカメラ23が撮影した場合に、下限サイズ64a以上かつ上限サイズ64b以下のサイズで人物が撮影画像に写るズームの値を算出する。そして、カメラ設定部160は、算出した値にカメラ23のズームの設定を変更する。
また、例えば、カメラ設定部160は、ステップS24で行われた検出割合算出処理において、検出枠が下限サイズ64a未満のため除外されたフレームがあった場合、カメラ23が所定値だけズームインするように設定する。カメラ設定部160は、ステップS24で行われた検出割合算出処理において、検出枠が上限サイズ64bより大きいため除外されたフレームがあった場合、カメラ23が所定値だけズームアウトするように設定する。
[ステップS58]判定部150は、ステップS24で行われた検出割合算出処理において、範囲が不適切な検出枠があったか否かを判定する。すなわち、判定部150は、ステップS24で行われた検出割合算出処理において、検出枠の少なくとも一部が除外範囲65に含まれるため除外されたフレームがあったか否かを判定する。判定部150は、ステップS24で行われた検出割合算出処理において、範囲が不適切な検出枠があったと判定した場合、処理をステップS59に進める。また、判定部150は、ステップS24で行われた検出割合算出処理において、範囲が不適切な検出枠がなかったと判定した場合、処理をステップS62に進める。
[ステップS59]判定部150は、カメラ23の撮影方向の設定が領域21を撮影するのに適していない(カメラ23の撮影方向の設定が不適切)と判定する。
[ステップS60]入出力部220は、カメラ23の向きの変更を通知するための画面をディスプレイ装置204に表示させる。例えば、入出力部220は、案内画面613をディスプレイ装置204に表示させる。
[ステップS61]カメラ設定部160は、カメラ23の向きを変更する。例えば、カメラ設定部160は、ステップS23で撮影した動画を基に点検者22の位置を3D空間70にマッピングする。そして、カメラ設定部160は、カメラ位置70aから3D空間70にマッピングされた点検者22の位置の人物をカメラ23が撮影した場合に、撮影画像の中央に人物が写るカメラ23の向きを算出する。そして、カメラ設定部160は、算出した向きになるようカメラ23を水平回転させる。
また、例えば、カメラ設定部160は、ステップS24で行われた検出割合算出処理において、検出枠が検出フレームの左端から10pixelの範囲に含まれるため除外されたフレームがあった場合、カメラ23が左方向を向くように所定値だけ回転させる。カメラ設定部160は、ステップS24で行われた検出割合算出処理において、検出枠が検出フレームの右端から10pixelの範囲に含まれるため除外されたフレームがあった場合、カメラ23が右方向を向くように所定値だけ回転させる。
図24は、設置状況判定処理の手順の一例を示すフローチャート(その5)である。以下、図24に示す処理をステップ番号に沿って説明する。
[ステップS62]判定部150は、ステップS24で行われた検出割合算出処理において、検出枠のサイズと範囲とが適切であったか否かを判定する。判定部150は、ステップS24で行われた検出割合算出処理において、サイズが不適切な検出枠と範囲が不適切な検出枠とがなかった場合、ステップS24で行われた検出割合算出処理において、検出枠のサイズと範囲とが適切であったと判定する。判定部150は、ステップS24で行われた検出割合算出処理において、検出枠のサイズと範囲とが適切であったと判定した場合、処理をステップS63に進める。また、判定部150は、ステップS24で行われた検出割合算出処理において、検出枠のサイズと範囲とが適切でなかったと判定した場合、処理をステップS21に進める。
[ステップS63]傾き補正部140は、ステップS23で撮影された動画(例えば、フレーム50−1,50−2,50−3,・・・)に対する検出フレームのうちの1つ(例えば、検出フレーム60−1)から点検者22の骨格66を検出する。
[ステップS64]傾き補正部140は、傾きの補正値θを算出する。例えば、傾き補正部140は、ステップS63で検出した骨格66から軸66aを算出する。そして、傾き補正部140は、軸66aと基準軸67とがなす角を補正値θとして算出する。
[ステップS65]傾き補正部140は、ステップS23で撮影された動画の傾きを補正値θで補正する。例えば、傾き補正部140は、フレーム50−1,50−2,50−3,・・・をθだけ回転させて、補正後フレーム80−1,80−2,80−3,・・・を生成する。
[ステップS66]人物検出部120は、補正後フレーム80−1,80−2,80−3,・・・を入力として、図19に示した検出割合算出処理を実行する。ステップS66で算出される検出割合は、第1の実施の形態に示した、複数の補正後撮影画像に対する1以上の補正後検出画像の割合の一例である。
[ステップS67]判定部150は、ステップS66で算出された検出割合が所定の割合以上であるか否かを判定する。判定部150は、ステップS66で算出された検出割合が所定の割合以上であると判定した場合、処理をステップS68に進める。また、判定部150は、ステップS66で算出された検出割合が所定の割合未満であると判定した場合、処理をステップS69に進める。
[ステップS68]カメラ設定部160は、カメラ23に補正値θを設定する。例えば、カメラ設定部160は、ホストコンピュータ100がカメラ23から取得するフレームをθだけ回転するように設定する。そして、処理がステップS27に進む。
[ステップS69]判定部150は、カメラ23の設置位置が領域21を撮影するのに適していない(カメラ23の設置位置が不適切)と判定する。判定部150は、カメラ23の設置位置が不適切であるという判定結果をタブレット200に通知し、タブレット200に判定結果を表示させる。
[ステップS70]入出力部220は、カメラ23の設置位置が不適切と通知するための画面をディスプレイ装置204に表示させる。例えば、入出力部220は、案内画面615をディスプレイ装置204に表示させる。
上記のように、設置状況判定処理が実行される。人物検出部120は、点検者22が基準位置にいるときに撮影された動画の検出割合を算出する。判定部150は、算出された検出割合が所定の割合以上であるか否かを判定する。
算出された検出割合が所定の割合以上であると判定された場合、判定部150は、第1の位置と第2の位置との距離が適正範囲内であるか否かを判定する。第1の位置と第2の位置との距離が適正範囲内であると判定された場合、判定部150は、カメラ23の設置状況が適切であると判定し、判定結果をタブレット200に表示させる。これにより、判定部150は、移動する人物がカメラ23が撮影する動画に写る時間が適切である場合に、カメラ23の設置状況を変更しないよう点検者22に促すことができる。また、第1の位置と第2の位置との距離が適正範囲外であると判定された場合、第1の位置と第2の位置との距離に応じて、カメラ設定部160は、カメラ23をズームインまたはズームアウトするよう設定する。これにより、カメラ設定部160は、カメラ23のズームの設定を適切に変更できる。
また、点検者22が基準位置にいるときに撮影された動画の検出割合が所定の割合未満であると判定された場合、判定部150は、サイズまたは範囲が不適切な検出枠があるか否かを判定する。カメラ設定部160は、サイズが不適切な検出枠があった場合、カメラ23のズームの設定を変更する。これにより、カメラ設定部160は、カメラ23のズームの設定を適切に変更できる。また、カメラ設定部160は、範囲が不適切な検出枠があった場合、カメラ23の向きを変更する。これにより、カメラ設定部160は、カメラ23の向きを適切に変更できる。
また、傾き補正部140は、点検者22が基準位置にいるときに撮影された動画の傾きを補正する。人物検出部120は、傾きが補正された動画の検出割合を算出する。そして、判定部150は、傾きが補正された動画の検出割合が所定の割合以上であるか否かを判定する。判定部150は、傾きが補正された動画の検出割合が所定の割合未満であると判定した場合、カメラ23の設置位置が不適切であると判定し、判定結果をタブレット200に表示させる。これにより、判定部150は、カメラ23が撮影する動画の傾きを補正しても点検者22を適切に検出できない場合に、カメラ23の設置位置を変更するよう点検者22に促すことができる。
第2の実施の形態によれば、人物検出部120は、フレーム50−1,50−2,50−3,・・・それぞれから領域21内にいる点検者22を検出する。そして、判定部150は、検出割合が所定の割合以上であるか否かに基づいて、カメラ23の設置状況が領域21を撮影するのに適しているか否かを判定する。これにより、ホストコンピュータ100は、検出割合に応じてカメラ23の設置状況をユーザに見直させることができる。よって、ホストコンピュータ100は、画像処理に有用な画像をカメラ23に撮影させることができる。
また、人物検出部120は、検出フレーム60−1,60−2,60−3,・・・それぞれについて、検出枠の左上座標を特定する。そして、人物検出部120は、検出フレーム60−1,60−2,60−3,・・・のうち検出枠の左上座標が検出基準範囲63の範囲外である検出フレームを検出フレーム60−1,60−2,60−3,・・・から除外して、検出割合を算出する。これにより、ホストコンピュータ100は、適切に点検者22を検出できた割合を検出割合として算出することができる。
また、人物検出部120は、検出フレーム60−1,60−2,60−3,・・・のうち検出枠が下限サイズ64a未満または上限サイズ64bより大きい検出フレームを検出フレーム60−1,60−2,60−3,・・・から除外して、検出割合を算出する。これにより、ホストコンピュータ100は、適切なサイズで点検者22を検出できた割合を算出することができる。
また、人物検出部120は、検出フレーム60−1,60−2,60−3,・・・のうち検出枠の少なくとも一部が除外範囲65に含まれる検出フレームを検出フレーム60−1,60−2,60−3,・・・から除外して、検出割合を算出する。これにより、ホストコンピュータ100は、フレーム上の適切な範囲で点検者22を検出できた割合を算出することができる。
また、判定部150は、検出割合が所定の割合以上であるか否かの判定を、点検者22が撮影範囲内の複数の位置それぞれにいるときに、カメラ23が撮影範囲を撮影した動画について実行する。そして、判定部150は、複数の位置のうち、検出割合が所定の割合以上となる第1の位置と第2の位置との距離に基づいて、カメラ23の設置状況が領域21を撮影するのに適しているか否かを判定する。これにより、ホストコンピュータ100は、カメラ23が撮影する動画に移動する人物が写る場合に、当該人物が検出される時間に基づいてカメラ23の設置状況を判定できる。
また、判定部150は、第1の位置と第2の位置との距離が、第1の距離以上かつ第2の距離以下である場合、カメラ23の設置状況が領域21を撮影するのに適していると判定する。また、判定部150は、第1の位置と第2の位置との距離が第1の距離未満である場合または第1の位置と第2の位置との距離が第2の距離より大きい場合、カメラ23のズームの設定が領域21を撮影するのに適していないと判定する。これにより、ホストコンピュータ100は、カメラ23が撮影する動画に写る移動する人物が検出される時間が適切である場合に、カメラ23の設置状況を変更しないよう点検者22に促すことができる。また、ホストコンピュータ100は、カメラ23が撮影する動画に写る移動する人物が検出される時間が適切でない場合に、カメラ23のズームの設定を点検者22に見直させることができる。
また、カメラ設定部160は、第1の位置と第2の位置との距離が第1の距離未満である場合、カメラ23がズームアウトするよう設定し、第1の位置と第2の位置との距離が第2の距離より大きい場合、カメラ23がズームインするよう設定する。これにより、ホストコンピュータ100は、カメラ23のズームの設定を適切に変更できる。
また、第1の位置は、領域21に少なくとも一部が含まれる経路の両端のうちの一端であり、第2の位置は、当該両端のうちの他端である。これにより、ホストコンピュータ100は、カメラ23が撮影する動画に、所定の経路を移動する人物が写る場合に、当該人物が検出される時間に基づいてカメラ23の設置状況を判定できる。
また、判定部150は、領域21内にいる点検者22の検出割合が所定の割合未満である場合、カメラ23の設置状況が領域21を撮影するのに適していないと判定する。これにより、ホストコンピュータ100は、領域21内にいる点検者22を検出しづらい場合に、カメラ23の設置状況を点検者22に見直させることができる。
また、判定部150は、カメラ23の設置状況が領域21を撮影するのに適していないと判定した場合、検出枠のサイズに基づいてカメラ23のズームの設定について判定する。判定部150は、検出フレーム60−1,60−2,60−3,・・・に、検出枠が下限サイズ64a未満または上限サイズ64bより大きいフレームが含まれる場合、カメラ23のズームの設定が領域21を撮影するのに適していないと判定する。これにより、ホストコンピュータ100は、カメラ23の撮影する動画に適切なサイズで点検者22が写るようにカメラ23のズームの設定を点検者22に見直させることができる。
また、カメラ設定部160は、カメラ23のズームの設定が領域21を撮影するのに適していないと判定された場合、検出フレーム60−1,60−2,60−3,・・・で検出された点検者22に基づいて、カメラ23のズームの設定を変更する。これにより、ホストコンピュータ100は、カメラ23の撮影する動画に適切なサイズで点検者22が写るようにカメラ23のズームの設定を変更できる。
また、判定部150は、カメラ23の設置状況が領域21を撮影するのに適していないと判定した場合、検出枠の範囲に基づいてカメラ23の撮影方向の設定について判定する。判定部150は、検出フレーム60−1,60−2,60−3,・・・に、検出枠の少なくとも一部が除外範囲65に含まれるフレームが含まれる場合、カメラ23の撮影方向の設定が領域21を撮影するのに適していないと判定する。これにより、ホストコンピュータ100は、カメラ23の撮影する動画の適切な範囲に点検者22が写るようにカメラ23の撮影方向の設定を点検者22に見直させることができる。
また、カメラ設定部160は、カメラ23の撮影方向の設定が領域21を撮影するのに適していないと判定された場合、検出フレーム60−1,60−2,60−3,・・・で検出された点検者22に基づいて、カメラ23の撮影方向の設定を変更する。これにより、ホストコンピュータ100は、カメラ23の撮影する動画の適切な範囲に点検者22が写るようにカメラ23の撮影方向の設定を変更できる。
また、傾き補正部140は、カメラ23の設置状況が領域21を撮影するのに適していないと判定された場合、検出フレーム60−1,60−2,60−3,・・・のうちの少なくとも1の検出フレームで検出された点検者22の傾きを算出する。そして、傾き補正部140は、点検者22の傾きに基づいて、フレーム50−1,50−2,50−3,・・・の傾きの補正値を算出する。これにより、ホストコンピュータ100は、カメラ23が傾いて設置されている場合にカメラ23の撮影した動画を補正できる。
また、判定部150は、補正後フレーム80−1,80−2,80−3,・・・に対する検出割合が所定の割合未満である場合、カメラ23の設置位置が領域21を撮影するのに適していないと判定する。これにより、ホストコンピュータ100は、カメラ23の撮影画像の傾きを補正しても、点検者22の検出割合が所定の割合未満の場合にカメラ23の設置位置を点検者22に見直させることができる。
〔第3の実施の形態〕
次に、第3の実施の形態を説明する。第3の実施の形態については、第2の実施の形態との違いを中心に説明し、第2の実施の形態と同様の内容については説明を省略することがある。第3の実施の形態は、カメラの設置状況の点検作業において、カメラの設置状況が不適切である場合に、カメラの設置状況の変更方法を点検者に通知するものである。
図25は、第3の実施の形態の概要を示す図である。第2の実施の形態では、ホストコンピュータ100は、カメラ23の設置状況を判定し、カメラ23の設置状況の判定結果を基にカメラ23の設置状況を自動で変更していた。これに対して、第3の実施の形態では、ホストコンピュータ100aは、カメラ23aの設置状況を判定する。そして、ホストコンピュータ100aは、カメラ23aの設置状況が不適切であると判定した場合、カメラ23aの設置状況の適切な変更方法を判定する。ホストコンピュータ100aは、判定した変更方法を点検者22aが操作するタブレット200aに通知する。これにより、ホストコンピュータ100aは、カメラ23aの設置状況を点検者22aに変更させることができる。
ホストコンピュータ100aは、第2の実施の形態のホストコンピュータ100と同様に図4のハードウェア構成によって実現される。また、第3の実施の形態のホストコンピュータ100aは、ホストコンピュータ100と同様に図6で示される機能を有する。タブレット200aは、第2の実施の形態のタブレット200と同様に図5のハードウェア構成によって実現される。また、タブレット200aは、タブレット200と同様に図6で示される機能を有する。ただし、カメラ23aは、回転によって向きを変更可能でなくてもよく、ホストコンピュータ100aによってズームの設定が可能でなくてもよい。
以下では、ホストコンピュータ100aのハードウェアとしてホストコンピュータ100のハードウェアと同じ符号が用いられ、ホストコンピュータ100aの機能としてホストコンピュータ100の機能と同じ符号が用いられる。また、タブレット200aのハードウェアとしてタブレット200のハードウェアと同じ符号が用いられ、タブレット200aの機能としてタブレット200の機能と同じ符号が用いられる。
次に、タブレット200aの表示画面について説明する。
図26は、案内画面の画面遷移の一例を示す図(その7)である。第2の実施の形態では、第1の位置と第2の位置との距離が適正範囲外であった場合、入出力部220は、カメラ23のズームの設定を変更することを通知するための案内画面611をディスプレイ装置204に表示させた。これに対して第3の実施の形態では、第1の位置と第2の位置との距離が適正範囲外であった場合、タブレット200aの入出力部220は、カメラ23aのズームの設定の変更方法を示す画面をディスプレイ装置204に表示させる。
ホストコンピュータ100aの判定部150は、第1の位置と第2の位置との距離が適正範囲外である場合、第1の位置と第2の位置との距離が適正範囲より大きいか否かを判定する。判定部150は、第1の位置と第2の位置との距離が適正範囲より大きい(第2の距離より大きい)と判定した場合、カメラ23aの設置状況の適切な変更方法が、カメラ23aをズームインさせることであると判定する。また、判定部150は、第1の位置と第2の位置との距離が適正範囲より小さい(第1の距離より小さい)と判定した場合、カメラ23aの設置状況の適切な変更方法が、カメラ23aをズームアウトさせることであると判定する。判定部150は、変更方法の判定結果をタブレット200aに通知する。
入出力部220は、カメラ23aの設置状況の適切な変更方法がカメラ23aをズームインさせることであると判定部150が判定した場合、案内画面611aをディスプレイ装置204に表示させる。案内画面611aは、カメラ23aをズームインさせるよう点検者22aに促す画面である。案内画面611aは、カメラ23aが撮影している動画を含む。また、案内画面611aは、「ズームインしてください」などの、カメラ23aをズームインさせるよう点検者22aに促すためのメッセージを含む。
また、入出力部220は、カメラ23aの設置状況の適切な変更方法がカメラ23aをズームアウトさせることであると判定部150が判定した場合、案内画面611bをディスプレイ装置204に表示させる。案内画面611bは、カメラ23aをズームアウトさせるよう点検者22aに促す画面である。案内画面611bは、カメラ23aが撮影している動画を含む。また、案内画面611bは、「ズームアウトしてください」などの、カメラ23aをズームアウトさせるよう点検者22aに促すためのメッセージを含む。
このように、判定部150がカメラ23aをズームインさせることが適切であると判定すると、入出力部220は、案内画面611aをディスプレイ装置204に表示させることで、カメラ23aをズームインさせるよう点検者22aに促す。また、判定部150がカメラ23aをズームアウトさせることが適切であると判定すると、入出力部220は、案内画面611bをディスプレイ装置204に表示させることで、カメラ23aをズームアウトさせるよう点検者22aに促す。よって、判定部150は、点検者22aにカメラ23aのズームの設定を適切に変更させることができるようになる。
図27は、案内画面の画面遷移の一例を示す図(その8)である。第2の実施の形態では、点検者22が基準位置にいるときの人物検出において不適切なサイズの検出枠があった場合、入出力部220は、カメラ23のズームの設定を変更することを通知するための案内画面612をディスプレイ装置204に表示させた。これに対して第3の実施の形態では、点検者22aが基準位置にいるときの人物検出において不適切なサイズの検出枠があった場合、入出力部220は、カメラ23aのズームの設定の変更方法を示す画面をディスプレイ装置204に表示させる。
判定部150は、点検者22aが基準位置にいるときの人物検出において不適切なサイズの検出枠があった場合、下限サイズ64a未満の検出枠が上限サイズ64bより大きい検出枠より多いか否かを判定する。判定部150は、下限サイズ64a未満の検出枠が上限サイズ64bより大きい検出枠より多いと判定した場合、カメラ23aの設置状況の適切な変更方法が、カメラ23aをズームインさせることであると判定する。また、判定部150は、上限サイズ64bより大きい検出枠が下限サイズ64a未満の検出枠より多いと判定した場合、カメラ23aの設置状況の適切な変更方法が、カメラ23aをズームアウトさせることであると判定する。なお、動画の各フレームの検出枠は、それぞれ同程度のサイズで生成されるため、下限サイズ64a未満の検出枠と上限サイズ64bより大きい検出枠とが同数である場合はないものとする。判定部150は、変更方法の判定結果をタブレット200aに通知する。
入出力部220は、カメラ23aの設置状況の適切な変更方法がカメラ23aをズームインさせることであると判定部150が判定した場合、案内画面612aをディスプレイ装置204に表示させる。案内画面612aは、カメラ23aをズームインさせるよう点検者22aに促す画面である。案内画面612aは、カメラ23aが撮影している動画を含む。また、案内画面612aは、「ズームインしてください」などの、カメラ23aをズームインさせるよう点検者22aに促すためのメッセージを含む。
また、入出力部220は、カメラ23aの設置状況の適切な変更方法がカメラ23aをズームアウトさせることであると判定部150が判定した場合、案内画面612bをディスプレイ装置204に表示させる。案内画面612bは、カメラ23aをズームアウトさせるよう点検者22aに促す画面である。案内画面612bは、カメラ23aが撮影している動画を含む。また、案内画面612bは、「ズームアウトしてください」などの、カメラ23aをズームアウトさせるよう点検者22aに促すためのメッセージを含む。
このように、判定部150がカメラ23aをズームインさせることが適切であると判定すると、入出力部220は、案内画面612aをディスプレイ装置204に表示させることで、カメラ23aをズームインさせるよう点検者22aに促す。また、判定部150がカメラ23aをズームアウトさせることが適切であると判定すると、入出力部220は、案内画面612bをディスプレイ装置204に表示させることで、カメラ23aをズームアウトさせるよう点検者22aに促す。よって、判定部150は、点検者22aにカメラ23aのズームの設定を適切に変更させることができるようになる。
なお、上記の例では、判定部150は、下限サイズ64a未満の検出枠と上限サイズ64bより大きい検出枠とのどちらが多いかによって、カメラ23aをズームインさせることが適切であるかズームアウトさせることが適切であるかを判定していた。判定部150は、検出枠のサイズに基づいた他の方法によって、カメラ23aをズームインさせることが適切であるかズームアウトさせることが適切であるかを判定してもよい。例えば、判定部150は、検出枠の平均サイズが所定のサイズ未満であればカメラ23aをズームインさせることが適切であると判定し、平均サイズが所定のサイズ以上であればカメラ23aをズームアウトさせることが適切であると判定してもよい。
図28は、案内画面の画面遷移の一例を示す図(その9)である。第2の実施の形態では、点検者22が基準位置にいるときの人物検出において不適切な範囲の検出枠があった場合、入出力部220は、カメラ23の向きを変更することを通知するための案内画面613をディスプレイ装置204に表示させた。これに対して第3の実施の形態では、点検者22aが基準位置にいるときの人物検出において不適切な範囲の検出枠があった場合、入出力部220は、カメラ23aの向きの変更方法を示す画面をディスプレイ装置204に表示させる。
判定部150は、点検者22aが基準位置にいるときの人物検出において不適切な範囲の検出枠があった場合、検出枠の範囲に基づいて、カメラ23aの向きの変更方向を決定する。判定部150は、除外範囲65の左側(検出フレームの左端から10pixel以内)に含まれる検出枠が除外範囲65の右側(検出フレームの右端から10pixel以内)に含まれる検出枠より多いか否かを判定する。判定部150は、除外範囲65の左側に含まれる検出枠が除外範囲65の右側に含まれる検出枠より多いと判定した場合、カメラ23aの設置状況の適切な変更方法が、カメラ23aの向きを左方向に向けることであると判定する。
また、判定部150は、除外範囲65の右側に含まれる検出枠が除外範囲65の左側に含まれる検出枠より多いと判定した場合、カメラ23aの設置状況の適切な変更方法が、カメラ23aの向きを右方向に向けることであると判定する。なお、動画の各フレームの検出枠は、それぞれ同程度の範囲に生成されるため、除外範囲65の左側に含まれる検出枠と除外範囲65の右側に含まれる検出枠とが同数である場合はないものとする。判定部150は、変更方法の判定結果をタブレット200aに通知する。
入出力部220は、カメラ23aの設置状況の適切な変更方法がカメラ23aの向きを左方向に向けることであると判定部150が判定した場合、案内画面613aをディスプレイ装置204に表示させる。案内画面613aは、カメラ23aの向きを左方向に向けるよう点検者22aに促す画面である。案内画面613aは、カメラ23aが撮影している動画を含む。また、案内画面613aは、「左方向に向きを調整してください」などの、カメラ23aの向きを左方向に向けるよう点検者22aに促すためのメッセージを含む。なお、案内画面613aは、左方向の矢印などを含んでもよい。
また、入出力部220は、カメラ23aの設置状況の適切な変更方法がカメラ23aの向きを右方向に向けることであると判定部150が判定した場合、案内画面613bをディスプレイ装置204に表示させる。案内画面613bは、カメラ23aの向きを右方向に向けるよう点検者22aに促す画面である。案内画面613bは、カメラ23aが撮影している動画を含む。また、案内画面613bは、「右方向に向きを調整してください」などの、カメラ23aの向きを右方向に向けるよう点検者22aに促すためのメッセージを含む。なお、案内画面613aは、右方向の矢印などを含んでもよい。
このように、判定部150がカメラ23aの向きを左方向に向けることが適切であると判定すると、入出力部220は、案内画面613aをディスプレイ装置204に表示させることで、カメラ23aの向きを左方向に向けるよう点検者22aに促す。また、判定部150がカメラ23aの向きを右方向に向けることが適切であると判定すると、入出力部220は、案内画面613bをディスプレイ装置204に表示させることで、カメラ23aの向きを右方向に向けるよう点検者22aに促す。よって、判定部150は、点検者22aにカメラ23aの向きを適切に変更させることができるようになる。
なお、上記の例では、判定部150は、除外範囲65の左側に含まれる検出枠と除外範囲65の左側に含まれる検出枠とのどちらが多いかによって、カメラ23aの向きの変更方向を決定していた。判定部150は、検出枠の範囲に基づいた他の方法によって、カメラ23aの向きの変更方向を決定してもよい。また、判定部150は、カメラ23aの向きの変更方向を上方向や下方向に決定してもよい。
以下、ホストコンピュータ100aおよびタブレット200aによる設置状況判定処理の手順について、詳細に説明する。
図29は、設置状況判定処理の手順の他の一例を示すフローチャート(その1)である。第3の実施の形態では、図22に示した処理のステップS48〜ステップS51に代えて、ステップS48a〜ステップS48eの処理が実行される。以下、ステップS48a〜ステップS48eの処理をステップ番号に沿って説明する。
[ステップS48a]ホストコンピュータ100aの判定部150は、第1の位置と第2の位置との距離が適正範囲より大きいか否か(第2の距離より大きいか第1の距離未満か)を判定する。判定部150は、第1の位置と第2の位置との距離が第2の距離より大きいと判定した場合、処理をステップS48bに進める。また、判定部150は、第1の位置と第2の位置との距離が第1の距離未満と判定した場合、処理をステップS48dに進める。
[ステップS48b]判定部150は、カメラ23aの設置状況の適切な変更方法がカメラ23aをズームインさせることであると判定する。判定部150は、カメラ23aの設置状況の適切な変更方法の判定結果をタブレット200aに通知し、タブレット200aに判定結果を表示させる。
[ステップS48c]タブレット200aの入出力部220は、カメラ23aのズームインを促すための画面をディスプレイ装置204に表示させる。例えば、入出力部220は、案内画面611aをディスプレイ装置204に表示させる。そして、処理がステップS21に進む。
[ステップS48d]判定部150は、カメラ23aの設置状況の適切な変更方法がカメラ23aをズームアウトさせることであると判定する。判定部150は、カメラ23aの設置状況の適切な変更方法の判定結果をタブレット200aに通知し、タブレット200aに判定結果を表示させる。
[ステップS48e]入出力部220は、カメラ23aのズームアウトを促すための画面をディスプレイ装置204に表示させる。例えば、入出力部220は、案内画面611bをディスプレイ装置204に表示させる。そして、処理がステップS21に進む。
このように、判定部150は、第1の位置と第2の位置との距離が適正範囲より大きい場合、カメラ23aをズームインさせることが適切であると判定し、判定結果をタブレット200aに表示させる。また、判定部150は、第1の位置と第2の位置との距離が適正範囲より小さい場合、カメラ23aをズームアウトさせることが適切であると判定し、判定結果をタブレット200aに表示させる。これにより、判定部150は、カメラ23aのズームの設定を点検者22aに適切に変更させることができる。
図30は、設置状況判定処理の手順の他の一例を示すフローチャート(その2)である。第3の実施の形態では、図23に示した処理のステップS56〜ステップS57に代えて、ステップS56a〜ステップS56eの処理が実行される。以下、ステップS56a〜ステップS56eの処理をステップ番号に沿って説明する。
[ステップS56a]判定部150は、ステップS24で行われた検出割合算出処理において、下限サイズ64a未満の検出枠が上限サイズ64bより大きい検出枠より多かったか否かを判定する。すなわち、判定部150は、ステップS24で行われた検出割合算出処理において、検出枠が下限サイズ64a未満であるため除外されたフレームが検出枠が上限サイズ64bより大きいため除外されたフレームより多かったか否かを判定する。判定部150は、ステップS24で行われた検出割合算出処理において、下限サイズ64a未満の検出枠が上限サイズ64bより大きい検出枠より多かったと判定した場合、処理をステップS56bに進める。また、判定部150は、ステップS24で行われた検出割合算出処理において、上限サイズ64bより大きい検出枠が下限サイズ64a未満の検出枠より多かったと判定した場合、処理をステップS56dに進める。
[ステップS56b]判定部150は、カメラ23aの設置状況の適切な変更方法がカメラ23aをズームインさせることであると判定する。判定部150は、カメラ23aの設置状況の適切な変更方法の判定結果をタブレット200aに通知し、タブレット200aに判定結果を表示させる。
[ステップS56c]入出力部220は、カメラ23aのズームインを促すための画面をディスプレイ装置204に表示させる。例えば、入出力部220は、案内画面612aをディスプレイ装置204に表示させる。そして、処理がステップS58に進む。
[ステップS56d]判定部150は、カメラ23aの設置状況の適切な変更方法がカメラ23aをズームアウトさせることであると判定する。判定部150は、カメラ23aの設置状況の適切な変更方法の判定結果をタブレット200aに通知し、タブレット200aに判定結果を表示させる。
[ステップS56e]入出力部220は、カメラ23aのズームアウトを促すための画面をディスプレイ装置204に表示させる。例えば、入出力部220は、案内画面612bをディスプレイ装置204に表示させる。そして、処理がステップS58に進む。
このように、判定部150は、下限サイズ64a未満の検出枠が上限サイズ64bより大きい検出枠より多かった場合、カメラ23aをズームインさせることが適切であると判定し、判定結果をタブレット200aに表示させる。また、判定部150は、上限サイズ64bより大きい検出枠が下限サイズ64a未満の検出枠より多かった場合、カメラ23aをズームアウトさせることであると判定し、判定結果をタブレット200aに表示させる。これにより、判定部150は、カメラ23aのズームの設定を点検者22aに適切に変更させることができる。
図31は、設置状況判定処理の手順の他の一例を示すフローチャート(その3)である。第3の実施の形態では、図23に示した処理のステップS60〜ステップS61に代えて、ステップS60a〜ステップS60eの処理が実行される。以下、ステップS60a〜ステップS60eの処理をステップ番号に沿って説明する。
[ステップS60a]判定部150は、ステップS24で行われた検出割合算出処理において、除外範囲65の左側に含まれる検出枠が除外範囲65の右側に含まれる検出枠より多かったか否かを判定する。すなわち、判定部150は、ステップS24で行われた検出割合算出処理において、検出枠の一部が除外範囲65の左側に含まれるため除外されたフレームが、検出枠の一部が除外範囲65の右側に含まれるため除外されたフレームより多かったか否かを判定する。判定部150は、ステップS24で行われた検出割合算出処理において、除外範囲65の左側に含まれる検出枠が除外範囲65の右側に含まれる検出枠より多かったと判定した場合、処理をステップS60bに進める。また、判定部150は、ステップS24で行われた検出割合算出処理において、除外範囲65の右側に含まれる検出枠が除外範囲65の左側に含まれる検出枠より多かったと判定した場合、処理をステップS60dに進める。
[ステップS60b]判定部150は、カメラ23aの変更方向を左に決定する。そして、判定部150は、カメラ23aの設置状況の適切な変更方法がカメラ23aを左に向けることであると判定する。判定部150は、カメラ23aの設置状況の適切な変更方法の判定結果をタブレット200aに通知し、タブレット200aに判定結果を表示させる。
[ステップS60c]入出力部220は、カメラ23aを左に向けることを促すための画面をディスプレイ装置204に表示させる。例えば、入出力部220は、案内画面613aをディスプレイ装置204に表示させる。そして、処理がステップS62に進む。
[ステップS60d]判定部150は、カメラ23aの変更方向を右に決定する。そして、判定部150は、カメラ23aの設置状況の適切な変更方法がカメラ23aを右に向けることであると判定する。判定部150は、カメラ23aの設置状況の適切な変更方法の判定結果をタブレット200aに通知し、タブレット200aに判定結果を表示させる。
[ステップS60e]入出力部220は、カメラ23aを右に向けることを促すための画面をディスプレイ装置204に表示させる。例えば、入出力部220は、案内画面613bをディスプレイ装置204に表示させる。そして、処理がステップS62に進む。
このように、判定部150は、除外範囲65の左側に含まれる検出枠が除外範囲65の右側に含まれる検出枠より多かった場合、カメラ23aを左に向けることが適切であると判定し、判定結果をタブレット200aに表示させる。また、判定部150は、除外範囲65の右側に含まれる検出枠が除外範囲65の左側に含まれる検出枠より多かった場合、カメラ23aを右に向けることが適切であると判定し、判定結果をタブレット200aに表示させる。これにより、判定部150は、カメラ23aの向きを点検者22aに適切に変更させることができる。
第3の実施の形態によれば、第2の実施の形態と同様に、ホストコンピュータ100aは、画像処理に有用な画像をカメラ23aに撮影させることができるようになる。さらに第3の実施の形態では、判定部150は、第1の位置と第2の位置との距離が第1の距離未満である場合、カメラ23aの設置状況の適切な変更方法がカメラ23aをズームアウトさせることであると判定する。また、判定部150は、第1の位置と第2の位置との距離が第2の距離より大きい場合、カメラ23aの設置状況の適切な変更方法がカメラ23aをズームインさせることであると判定してもよい。これにより、ホストコンピュータ100aは、カメラ23aのズームの設定を点検者22aに適切に変更させることができる。
また、判定部150は、カメラ23aのズームの設定が領域21を撮影するのに適していないと判定した場合、検出枠のサイズに基づいて、カメラ23aの設置状況の適切な変更方法を判定する。判定部150は、検出枠のサイズに基づいて、カメラ23aの設置状況の適切な変更方法が、カメラ23aをズームインさせることであるか、カメラ23aをズームアウトさせることであるかを判定する。これにより、ホストコンピュータ100aは、カメラ23aが撮影する動画に適切なサイズで点検者22aが写るようにカメラ23aのズームの設定を点検者22aに変更させることができる。
また、判定部150は、カメラ23aの撮影方向の設定が領域21を撮影するのに適していないと判定した場合、検出枠の範囲に基づいて変更方向を算出する。そして、判定部150は、カメラ23aの設置状況の適切な変更方法が、カメラ23aを変更方向に向けることであると判定する。これにより、ホストコンピュータ100aは、カメラ23aが撮影する動画の適切な範囲に点検者22aが写るようにカメラ23aの撮影方向の設定を点検者22aに変更させることができる。
以上、実施の形態を例示したが、実施の形態で示した各部の構成は同様の機能を有する他のものに置換することができる。また、他の任意の構成物や工程が付加されてもよい。さらに、前述した実施の形態のうちの任意の2以上の構成(特徴)を組み合わせたものであってもよい。
〔他の実施の形態〕
第2の実施の形態では、ホストコンピュータ100が判定などの処理を実行し、タブレット200が点検者22への画面表示を行っていたが、他の端末が判定などの処理と画面表示の両方を行ってもよい。つまり、第2の実施の形態で、ホストコンピュータ100およびタブレット200に代えて、ホストコンピュータ100の機能とタブレット200の機能とを有する端末が用いられてもよい。また、第3の実施の形態でも同様に、ホストコンピュータ100aおよびタブレット200aに代えて、ホストコンピュータ100aの機能とタブレット200aの機能とを有する端末が用いられてもよい。
1 カメラ
2 領域
3 人物
4a,4b,4c,・・・ 撮影画像
5a,5b,5c,・・・ 検出画像
10 情報処理装置
11 処理部

Claims (20)

  1. 所定の領域を含む撮影範囲を撮影可能に設置されたカメラが前記撮影範囲を撮影した複数の撮影画像それぞれから前記所定の領域内にいる人物を検出し、前記複数の撮影画像に対する、前記複数の撮影画像のうち前記人物が検出された1以上の検出画像の割合が所定の割合以上であるか否かに基づいて、前記カメラの設置状況が前記所定の領域を撮影するのに適しているか否かを判定する処理部、
    を有する情報処理装置。
  2. 前記処理部は、前記1以上の検出画像それぞれについて、前記人物の画像上の位置である検出位置を特定し、前記1以上の検出画像のうち、前記検出位置が前記1以上の検出画像それぞれの前記検出位置に基づいて決定される検出基準範囲の範囲外である検出画像を前記1以上の検出画像から除外して、前記複数の撮影画像に対する前記1以上の検出画像の割合を算出する、
    請求項1記載の情報処理装置。
  3. 前記処理部は、前記1以上の検出画像のうち、前記人物の画像上のサイズが第1のサイズ未満または第2のサイズより大きい検出画像を前記1以上の検出画像から除外して、前記複数の撮影画像に対する前記1以上の検出画像の割合を算出する、
    請求項1または2記載の情報処理装置。
  4. 前記処理部は、前記1以上の検出画像のうち、前記人物の画像上の範囲の少なくとも一部が第1の除外範囲に含まれる検出画像を前記1以上の検出画像から除外して、前記複数の撮影画像に対する前記1以上の検出画像の割合を算出する、
    請求項1ないし3のいずれかに記載の情報処理装置。
  5. 前記処理部は、前記複数の撮影画像に対する前記1以上の検出画像の割合が前記所定の割合以上であるか否かの判定を、前記人物が前記撮影範囲内の複数の位置それぞれにいるときに、前記カメラが前記撮影範囲を撮影した前記複数の撮影画像について実行し、前記複数の位置のうち、前記複数の撮影画像に対する前記1以上の検出画像の割合が前記所定の割合以上となる第1の位置と第2の位置との距離に基づいて、前記カメラの設置状況が前記所定の領域を撮影するのに適しているか否かを判定する、
    請求項1ないし4のいずれかに記載の情報処理装置。
  6. 前記処理部は、前記第1の位置と前記第2の位置との距離が、第1の距離以上かつ第2の距離以下である場合、前記カメラの設置状況が前記所定の領域を撮影するのに適していると判定し、前記第1の位置と前記第2の位置との距離が前記第1の距離未満である場合または前記第1の位置と前記第2の位置との距離が前記第2の距離より大きい場合、前記カメラのズームの設定が前記所定の領域を撮影するのに適していないと判定する、
    請求項5記載の情報処理装置。
  7. 前記処理部は、前記第1の位置と前記第2の位置との距離が前記第1の距離未満である場合、前記カメラがズームアウトするよう設定し、前記第1の位置と前記第2の位置との距離が前記第2の距離より大きい場合、前記カメラがズームインするよう設定する、
    請求項6記載の情報処理装置。
  8. 前記処理部は、前記第1の位置と前記第2の位置との距離が前記第1の距離未満である場合、前記カメラの設置状況の適切な変更方法が前記カメラをズームアウトさせることであると判定し、前記第1の位置と前記第2の位置との距離が前記第2の距離より大きい場合、前記カメラの設置状況の適切な変更方法が前記カメラをズームインさせることであると判定する、
    請求項6記載の情報処理装置。
  9. 前記第1の位置は、前記所定の領域に少なくとも一部が含まれる経路の両端のうちの一端であり、
    前記第2の位置は、前記両端のうちの他端である、
    請求項5ないし8のいずれかに記載の情報処理装置。
  10. 前記処理部は、前記人物が前記所定の領域内にいるときに前記カメラが撮影した前記複数の撮影画像に対する前記1以上の検出画像の割合が前記所定の割合未満である場合、前記カメラの設置状況が前記所定の領域を撮影するのに適していないと判定する、
    請求項1ないし9のいずれかに記載の情報処理装置。
  11. 前記処理部は、前記カメラの設置状況が前記所定の領域を撮影するのに適していないと判定し、前記1以上の検出画像に、前記人物の画像上のサイズが第3のサイズ未満または第4のサイズより大きい画像が含まれる場合、前記カメラのズームの設定が前記所定の領域を撮影するのに適していないと判定する、
    請求項10記載の情報処理装置。
  12. 前記処理部は、前記カメラのズームの設定が前記所定の領域を撮影するのに適していないと判定した場合、前記1以上の検出画像で検出された前記人物に基づいて、前記カメラのズームの設定を変更する、
    請求項11記載の情報処理装置。
  13. 前記処理部は、前記カメラのズームの設定が前記所定の領域を撮影するのに適していないと判定した場合、前記1以上の検出画像で検出された前記人物の画像上のサイズに基づいて、前記カメラの設置状況の適切な変更方法が、前記カメラをズームインさせることであるか、前記カメラをズームアウトさせることであるかを判定する、
    請求項11記載の情報処理装置。
  14. 前記処理部は、前記カメラの設置状況が前記所定の領域を撮影するのに適していないと判定し、前記1以上の検出画像に、前記人物の画像上の範囲の少なくとも一部が第2の除外範囲に含まれる画像が含まれる場合、前記カメラの撮影方向の設定が前記所定の領域を撮影するのに適していないと判定する、
    請求項9ないし13のいずれかに記載の情報処理装置。
  15. 前記処理部は、前記カメラの撮影方向の設定が前記所定の領域を撮影するのに適していないと判定した場合、前記1以上の検出画像で検出された前記人物に基づいて、前記カメラの撮影方向の設定を変更する、
    請求項14記載の情報処理装置。
  16. 前記処理部は、前記カメラの撮影方向の設定が前記所定の領域を撮影するのに適していないと判定した場合、前記1以上の検出画像で検出された前記人物の画像上の範囲に基づいて変更方向を決定し、前記カメラの設置状況の適切な変更方法が、前記カメラを前記変更方向に向けることであると判定する、
    請求項14記載の情報処理装置。
  17. 前記処理部は、前記カメラの設置状況が前記所定の領域を撮影するのに適していないと判定した場合、前記1以上の検出画像のうちの少なくとも1の検出画像で検出された前記人物の傾きを算出し、前記人物の傾きに基づいて、前記複数の撮影画像の傾きの補正値を算出する、
    請求項10ないし16のいずれかに記載の情報処理装置。
  18. 前記処理部は、前記補正値によって前記複数の撮影画像の傾きを補正した複数の補正後撮影画像それぞれから前記人物を検出し、前記複数の補正後撮影画像に対する、前記複数の補正後撮影画像のうち前記人物が検出された1以上の補正後検出画像の割合が前記所定の割合未満である場合、前記カメラの設置位置が前記所定の領域を撮影するのに適していないと判定する、
    請求項17記載の情報処理装置。
  19. コンピュータに、
    所定の領域を含む撮影範囲を撮影可能に設置されたカメラが前記撮影範囲を撮影した複数の撮影画像それぞれから前記所定の領域内にいる人物を検出し、
    前記複数の撮影画像に対する、前記複数の撮影画像のうち前記人物が検出された1以上の検出画像の割合が所定の割合以上であるか否かに基づいて、前記カメラの設置状況が前記所定の領域を撮影するのに適しているか否かを判定する、
    処理を実行させるプログラム。
  20. カメラと、
    所定の領域を含む撮影範囲を撮影可能に設置された前記カメラが前記撮影範囲を撮影した複数の撮影画像それぞれから前記所定の領域内にいる人物を検出し、前記複数の撮影画像に対する、前記複数の撮影画像のうち前記人物が検出された1以上の検出画像の割合が所定の割合以上であるか否かに基づいて、前記カメラの設置状況が前記所定の領域を撮影するのに適しているか否かを判定する情報処理装置と、
    を有する情報処理システム。
JP2020068030A 2020-04-06 2020-04-06 情報処理装置、プログラムおよび情報処理システム Active JP6817527B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020068030A JP6817527B1 (ja) 2020-04-06 2020-04-06 情報処理装置、プログラムおよび情報処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020068030A JP6817527B1 (ja) 2020-04-06 2020-04-06 情報処理装置、プログラムおよび情報処理システム

Publications (2)

Publication Number Publication Date
JP6817527B1 JP6817527B1 (ja) 2021-01-20
JP2021166322A true JP2021166322A (ja) 2021-10-14

Family

ID=74164522

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020068030A Active JP6817527B1 (ja) 2020-04-06 2020-04-06 情報処理装置、プログラムおよび情報処理システム

Country Status (1)

Country Link
JP (1) JP6817527B1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022139871A (ja) * 2021-03-12 2022-09-26 大日本印刷株式会社 撮影システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007272320A (ja) * 2006-03-30 2007-10-18 Mitsubishi Electric Corp 入場管理システム
JP2008152512A (ja) * 2006-12-18 2008-07-03 Seiko Epson Corp 画像処理装置、電子機器、画像処理方法及び画像処理プログラム
JP2009094870A (ja) * 2007-10-10 2009-04-30 Omron Corp 監視装置および方法、並びにプログラム
JP2016143157A (ja) * 2015-01-30 2016-08-08 キヤノン株式会社 画像処理装置、画像処理方法、及び画像処理システム
WO2019003973A1 (ja) * 2017-06-26 2019-01-03 日本電気株式会社 顔認証装置、顔認証方法およびプログラム記録媒体
JP2019149006A (ja) * 2018-02-27 2019-09-05 富士通株式会社 画像選択プログラム、情報処理装置、システム、および画像選択方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007272320A (ja) * 2006-03-30 2007-10-18 Mitsubishi Electric Corp 入場管理システム
JP2008152512A (ja) * 2006-12-18 2008-07-03 Seiko Epson Corp 画像処理装置、電子機器、画像処理方法及び画像処理プログラム
JP2009094870A (ja) * 2007-10-10 2009-04-30 Omron Corp 監視装置および方法、並びにプログラム
JP2016143157A (ja) * 2015-01-30 2016-08-08 キヤノン株式会社 画像処理装置、画像処理方法、及び画像処理システム
WO2019003973A1 (ja) * 2017-06-26 2019-01-03 日本電気株式会社 顔認証装置、顔認証方法およびプログラム記録媒体
JP2019149006A (ja) * 2018-02-27 2019-09-05 富士通株式会社 画像選択プログラム、情報処理装置、システム、および画像選択方法

Also Published As

Publication number Publication date
JP6817527B1 (ja) 2021-01-20

Similar Documents

Publication Publication Date Title
US10165179B2 (en) Method, system, and computer program product for gamifying the process of obtaining panoramic images
US8350896B2 (en) Terminal apparatus, display control method, and display control program
KR100936816B1 (ko) 카메라와 마크 출력에의한 포인팅 장치
US8388146B2 (en) Anamorphic projection device
KR102539427B1 (ko) 화상 처리장치, 화상 처리방법, 및 기억매체
CN104364712A (zh) 用于捕获全景图像的方法和装置
US10083365B2 (en) Optical reading of external segmented display
JP2014188322A (ja) 視線検出装置、視線検出方法及びプログラム
JP6098873B2 (ja) 撮像装置および画像処理装置
TWI484285B (zh) 全景影像的拍攝方法
EP4186025A1 (en) Systems and methods for facilitating the identifying of correspondences between images experiencing motion blur
JP6817527B1 (ja) 情報処理装置、プログラムおよび情報処理システム
WO2021192906A1 (ja) 算出方法
CN110650284B (zh) 图像拍摄控制方法、装置、设备及存储介质
JP2021027584A (ja) 画像処理装置、画像処理方法およびプログラム
US20230245332A1 (en) Systems and methods for updating continuous image alignment of separate cameras
CN111142660A (zh) 一种显示装置、画面显示方法和存储介质
JP2014010227A (ja) 携帯電子機器、その制御方法及びプログラム
WO2021192908A1 (ja) 追跡方法
JP6686319B2 (ja) 画像投影装置及び画像表示システム
JP4340760B2 (ja) ハンズフリーポインティングシステム
JP6885127B2 (ja) 表示制御装置、表示制御方法およびプログラム
WO2021192907A1 (ja) 出力方法
WO2021192905A1 (ja) ガイド方法
WO2023275920A1 (ja) トリガー信号発生装置及び携帯端末

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200424

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200515

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200602

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201207

R150 Certificate of patent or registration of utility model

Ref document number: 6817527

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150