JP2022052193A - Image processing device and image processing program - Google Patents
Image processing device and image processing program Download PDFInfo
- Publication number
- JP2022052193A JP2022052193A JP2020158426A JP2020158426A JP2022052193A JP 2022052193 A JP2022052193 A JP 2022052193A JP 2020158426 A JP2020158426 A JP 2020158426A JP 2020158426 A JP2020158426 A JP 2020158426A JP 2022052193 A JP2022052193 A JP 2022052193A
- Authority
- JP
- Japan
- Prior art keywords
- image
- person
- unit
- touched
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 31
- 238000003384 imaging method Methods 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 6
- 238000010191 image analysis Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 abstract description 11
- 241000700605 Viruses Species 0.000 abstract description 6
- 238000004659 sterilization and disinfection Methods 0.000 abstract description 4
- 238000012544 monitoring process Methods 0.000 description 30
- 238000001514 detection method Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 10
- 230000009471 action Effects 0.000 description 9
- 206010011224 Cough Diseases 0.000 description 7
- 239000003550 marker Substances 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 241000711573 Coronaviridae Species 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000007717 exclusion Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 208000015181 infectious disease Diseases 0.000 description 3
- 240000004050 Pentaglottis sempervirens Species 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 208000025721 COVID-19 Diseases 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 239000000427 antigen Substances 0.000 description 1
- 102000036639 antigens Human genes 0.000 description 1
- 108091007433 antigens Proteins 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- OIQPTROHQCGFEF-UHFFFAOYSA-L chembl1371409 Chemical compound [Na+].[Na+].OC1=CC=C2C=C(S([O-])(=O)=O)C=CC2=C1N=NC1=CC=C(S([O-])(=O)=O)C=C1 OIQPTROHQCGFEF-UHFFFAOYSA-L 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000000249 desinfective effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 150000002500 ions Chemical class 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、撮像部により撮像された映像を処理する画像処理装置、及び画像処理プログラムに関する。 The present invention relates to an image processing device for processing an image captured by an image pickup unit and an image processing program.
２０２０年現在、ＣＯＶＩＤ－１９（以下、新型コロナウイルスという）の感染が世界的に拡大している。新型コロナウイルスの感染予防対策として、マスク、手洗い、ソーシャルディスタンスの確保などが挙げられている。また、物を介した感染を予防するために、人が触れた物をこまめに消毒することが求められている。 As of 2020, COVID-19 (hereinafter referred to as the new coronavirus) infection is spreading worldwide. Masks, hand washing, and securing social distance are mentioned as preventive measures against the infection of the new coronavirus. In addition, in order to prevent infection through objects, it is required to diligently disinfect the objects touched by humans.
車の中は狭い密閉空間であるため、換気が悪い状態で使用した場合、車内の備品に付着したウイルスが滞留しやすい。例えば、レンタカーやカーシェアリングなど、前に乗車した人の乗車時の様子が分からない場合、車内を念入りに清掃・消毒する必要がある。 Since the inside of the car is a narrow closed space, the virus attached to the equipment inside the car tends to stay when used in poor ventilation. For example, if you do not know the state of the person who got on the car before, such as renting a car or car sharing, you need to carefully clean and disinfect the inside of the car.
しかしながら、短時間で清掃・消毒する必要がある場合、車内全体を念入りに清掃・消毒することが難しい。車内を清掃・消毒する際、ウイルスが付着している可能性がある場所が分かれば、その場所を優先的に消毒することができ、消毒作業を効率化することができる。 However, when it is necessary to clean and disinfect in a short time, it is difficult to thoroughly clean and disinfect the entire interior of the vehicle. When cleaning and disinfecting the inside of a car, if the place where the virus may be attached is known, the place can be preferentially disinfected, and the disinfection work can be made more efficient.
本実施形態はこうした状況に鑑みてなされたものであり、その目的は、ウイルスがどこかに付着している可能性がある空間の効率的な消毒を支援する技術を提供することにある。 The present embodiment is made in view of such a situation, and an object thereof is to provide a technique for supporting efficient disinfection of a space where a virus may be attached somewhere.
上記課題を解決するために、本実施形態のある態様の画像処理装置は、撮像部により撮像された、人物が存在する空間の映像を取得する映像取得部と、取得された映像を解析して、前記空間内で前記人物が手で触った場所を検出する映像解析部と、前記撮像部による撮像開始から、前記人物が手で触った全ての接触場所を認識できる表示用画像を生成する画像生成部と、を備える。 In order to solve the above-mentioned problems, the image processing apparatus according to an embodiment of the present embodiment analyzes an image acquisition unit that acquires an image of a space in which a person exists and an acquired image captured by the image pickup unit. An image that generates a display image that can recognize all the contact locations touched by the person from the start of imaging by the image analysis unit and the image analysis unit that detects the place touched by the person in the space. It is provided with a generation unit.
なお、以上の構成要素の任意の組合せ、本実施形態の表現を、装置、方法、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本実施形態の態様として有効である。 It should be noted that any combination of the above components and the conversion of the expression of the present embodiment between devices, methods, systems, recording media, computer programs, and the like are also effective as aspects of the present embodiment.
本実施形態によれば、ウイルスがどこかに付着している可能性がある空間の効率的な消毒を支援することができる。 According to this embodiment, it is possible to support efficient disinfection of a space where a virus may be attached somewhere.
本発明の実施の形態１は、車室内に設置されたカメラで乗員を撮影し、乗員が手で触った場所を監視・記録する人物監視システムに関する。
図１は、車両Ｃ１内の撮像装置１０の設置例を示す図である。図１では撮像装置１０は、ルームミラーに取り付けられている。なお撮像装置１０は、センタバイザーやセンタコンソール上に設置されてもよい。また撮像装置１０は車室内の天井に、車室内を上から俯瞰するように設置されてもよい。例えば円周魚眼レンズを使用すれば、車室内の半球状の全周囲を画角に収めることができる。
FIG. 1 is a diagram showing an installation example of the
撮像装置１０として、専用のカメラを設置してもよいし、ドライブレコーダや車室内モニタリングシステムのカメラを使用してもよい。車室内モニタリングシステムは、助手席や後部座席を含む車室全体を監視するシステムであり、ドライバの居眠りや脇見に加えて、助手席や後部座席に座っている乗員の数、ドライバを含む乗員全員のシートベルトの着用の有無などを検知することができる。
As the
撮像装置１０は、レンズ、固体撮像素子、信号処理回路を備える。固体撮像素子には例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサまたはＣＣＤ（Charge Coupled Devices）イメージセンサを使用することができる。固体撮像素子は、レンズを介して入射される光を、電気的な映像信号に変換し、信号処理回路に出力する。信号処理回路は、固体撮像素子から入力される映像信号に対して、Ａ／Ｄ変換、ノイズ除去などの信号処理を施し、画像処理装置２０に出力する。
The
撮像装置１０は、距離画像を生成するための深度センサを備えていてもよい。深度センサとして例えば、３Ｄ－ＬｉＤＡＲ（Light Detection and Ranging）を使用することができる。ＬｉＤＡＲは撮影方向にレーザ光を照射し、その反射光を受光するまでの時間を計測して撮影方向にある物体までの距離を検出する。また撮像装置１０は２眼のステレオカメラで構成されていてもよい。この場合、深度センサを設けなくても、２つの画像の視差をもとに距離画像を生成することができる。
The
図２は、実施の形態１に係る人物監視システム１の構成例を示す図である。人物監視システム１は、画像処理装置２０、表示装置３０、記録媒体４０及び音声出力装置５０を備える。画像処理装置２０は、映像取得部２１、映像解析部２２、画像保持部２３、画像生成部２４、及び警告制御部２５を含む。これらの構成要素は、ハードウェア資源とソフトウェア資源の協働、またはハードウェア資源のみにより実現できる。ハードウェア資源として、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＩＳＰ(Image Signal Processor)、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、その他のＬＳＩを利用できる。ソフトウェア資源としてファームウェアなどのプログラムを利用できる。
FIG. 2 is a diagram showing a configuration example of the
画像処理装置２０は、専用のＩＣ基板上に実装されてもよいし、カーナビゲーションシステムやドライブレコーダシステムと統合されて実装されてもよい。また画像処理装置２０は、スマートフォン、タブレットなどの汎用の情報端末装置の一機能として構成されてもよい。撮像装置１０と画像処理装置２０間は有線または無線で接続される。画像処理装置２０が専用のＩＣ基板上に実装される場合、画像処理装置２０と撮像装置１０は、同じ筐体内に設置されてもよいし、別々の筐体内に設置されてもよい。
The
映像取得部２１は、撮像装置１０により撮像された映像を取得する。映像解析部２２は、映像取得部２１により取得された映像を解析する。実施の形態１では映像解析部２２は、車室内で乗員が手で触った場所を検出する。
The
映像解析部２２は、対象物認識部２２ａ、対象物追尾部２２ｂ及び三次元空間認識部２２ｃを含む。対象物認識部２２ａは、映像取得部２１により取得された映像のフレーム内において対象物を探索する。対象物認識部２２ａは辞書データとして、特定の対象物が写った多数の画像を学習して生成された特定の対象物の識別器を有する。実施の形態１では人物の手の識別器を用意する。人物の手の識別器は少なくとも、手の甲が開いた状態の識別器を含む。なお手の識別器として、様々な状態の手を様々な角度から見た複数の識別器を用意することが好ましい。
The
また人物の手の識別器に加えて、車室内に存在する様々な装備品の識別器を用意しておいてもよい。例えば、ステアリング、シートベルト、シフトレバーなどの識別器を用意しておいてもよい。 Further, in addition to the classifier of a person's hand, a classifier of various equipment existing in the vehicle interior may be prepared. For example, a classifier such as a steering wheel, a seat belt, and a shift lever may be prepared.
対象物認識部２２ａは、映像のフレーム内を各対象物の識別器を用いて探索する。対象物の認識には例えば、ＨＯＧ(Histograms of Oriented Gradients)特徴量を用いることができる。なお、Haar-like特徴量やＬＢＰ(Local Binary Patterns)特徴量などを用いてもよい。フレーム内に対象物が存在する場合、対象物認識部２２ａは、矩形の検出枠で当該対象物を補足する。
The
対象物追尾部２２ｂは、対象物認識部２２ａが認識した対象物を、後続するフレーム内において追尾する。対象物の追尾には、例えば、パーティクルフィルタやミーンシフト法を使用することができる。実施の形態１では追尾する対象物は、対象物認識部２２ａにより認識された人物の手である。
The
三次元空間認識部２２ｃは、撮像装置１０から取得された距離画像により特定される三次元空間内に、対象物認識部２２ａにより検出された対象物をマッピングする。実施の形態１では三次元空間認識部２２ｃは、三次元空間内で、乗員の手が触れた場所を検出する。車室内に存在する装備品も対象物として認識している場合、乗員の手が触れた装備品も特定することができる。
The three-dimensional space recognition unit 22c maps the object detected by the
三次元空間認識部２２ｃは、乗員の手が装備品に触れた状態のフレーム画像を検出すると、検出したフレーム画像を画像保持部２３に一時保存する。画像保持部２３は、フレーム画像を一時的に格納するための揮発性メモリである。
When the three-dimensional space recognition unit 22c detects a frame image in a state where the occupant's hand touches the equipment, the detected frame image is temporarily stored in the
画像生成部２４は、画像保持部２３に格納されたフレーム画像をもとに、撮像装置１０による撮像開始から、車室内で乗員が触った全ての接触場所をユーザが認識できる接触場所表示用の画像（以下、接触場所画像という）を生成する。画像生成部２４は、接触場所画像として、乗員が手で触った可能性が高い場所ほど目立つ色で表示されるヒートマップ画像を生成してもよい。例えば、接触可能性にもとづき３段階に分類されたヒートマップ画像を生成してもよい。例えば、乗員の手が接触した領域を赤色、接触した可能性がある領域を黄色、接触していない領域を緑色で表示したヒートマップ画像を生成してもよい。なお、接触していない領域は無色としてもよい。
The
画像生成部２４は、乗員の手が接触した領域の明るさを最も明るく表示させ、接触した可能性がある領域の明るさを次に明るく表示させ、接触していない領域の明るさを最も暗く表示した接触場所画像を生成してもよい。また乗員の手が接触した領域が点滅している接触場所画像を生成してもよい。
The
表示態様を目立たせる領域は装備品単位であってもよいし、実際に触った領域単位であってもよい。装備品単位で目立たせる場合、例えばシートベルトの一部しか触っていない場合でも、シートベルト全体を目立たせる。 The area where the display mode is conspicuous may be an equipment unit or an area unit actually touched. If you want to make the equipment stand out, for example, even if you are touching only a part of the seatbelt, make the whole seatbelt stand out.
画像生成部２４は、乗員が手で触った回数が多い接触場所ほど目立つ表示態様の接触場所画像を生成してもよい。例えば、接触回数が多い接触場所ほど彩度を高くしてもよい。
The
画像生成部２４は、画像保持部２３に格納された、乗員の手がどこかに触れている状態の複数のフレーム画像をつなぎ合わせて、接触場所表示用のダイジェスト動画を生成してもよい。また画像生成部２４は、乗員の手がどこかに触れている状態の複数のフレーム画像を重畳して、一枚の静止画を生成してもよい。
The
なお画像生成部２４は、車室内において乗員が手で触った装備品を、テキスト情報で単純に羅列した画像を生成してもよい。この場合、乗員の手が装備品に触れた状態のフレーム画像を画像保持部２３に蓄積する必要はなく、乗員の手が触れた装備品を特定するための管理情報を保持しておけばよい。
The
車室内を清掃・消毒しようとしているユーザにより操作部（不図示）に対して、接触場所画像の表示指示操作がなされると、画像生成部２４は、接触場所画像を生成し、生成した接触場所画像を表示装置３０に表示させる。
When a user who is trying to clean and disinfect the interior of the vehicle instructs the operation unit (not shown) to display a contact location image, the
表示装置３０は、車両Ｃ１内に設置されているカーナビゲーションシステム、ディスプレイオーディオシステムまたはドライブレコーダシステムのディスプレイ（例えば、液晶ディスプレイ、有機ＥＬディスプレイ）であってもよい。また表示装置３０は、カーナビゲーションシステム、ディスプレイオーディオシステムまたはドライブレコーダシステムと連携した、スマートフォンまたはタブレットのディスプレイであってもよい。また表示装置３０は、車両内に設置されているメータパネル内のディスプレイであってもよい。なお表示装置３０は、本実施の形態に係る人物監視システム１に専用のディスプレイであってもよい。
The
なお画像生成部２４は、車両Ｃ１の走行中にリアルタイムに接触場所画像を生成し、表示装置３０に表示させてもよい。この場合、乗員が車室内の何かを触ると、接触場所画像が更新される。画像生成部２４は、接触場所画像として、撮像装置１０により撮像されている映像上に、接触場所を示す注目マーカが重畳されたＡＲ画像を表示装置３０に表示させてもよい。
The
記録媒体４０は、撮像装置１０により撮像された映像を記録するための不揮発性の記録媒体である。例えば、半導体メモリカード（例えば、ＳＤカード）や光ディスクを使用することができる。画像生成部２４により生成された接触場所画像も記録媒体４０に記録することができる。
The
以上の説明では、映像解析部２２が撮像装置１０から距離画像を取得できることを前提とした。撮像装置１０に深度センサを設けたり、撮像装置１０を二眼構成としたりするとコストが上昇する。以下の説明では、映像解析部２２が撮像装置１０から距離画像を取得できない場合の処理例を説明する。この処理例では、三次元空間認識部２２ｃは設けられず、二次元の映像のみから車室内で乗員が手で触った場所を検出する。
In the above description, it is assumed that the
この処理例では、車室内において装備品ごとに、乗員が装備品を様々な格好で触っている多数の画像を学習して、乗員が装備品を触っている状態を認識するための複数の識別器を辞書データとして用意する。乗員が装備品を触っている状態を認識するための識別器のセットは、車種ごとに用意されてもよい。この場合、撮像された映像内において各装備品の位置を高精度に特定できるとともに、乗員が装備品を触っているか否かを高精度に判定することができる。 In this processing example, for each equipment in the vehicle interior, a plurality of identifications for recognizing a state in which the occupant is touching the equipment by learning a large number of images in which the occupant is touching the equipment in various appearances. Prepare the vessel as dictionary data. A set of classifiers for recognizing the state in which the occupant is touching the equipment may be prepared for each vehicle type. In this case, the position of each equipment can be specified with high accuracy in the captured image, and it can be determined with high accuracy whether or not the occupant is touching the equipment.
さらに辞書データとして、マスクをしている人物の顔を認識するための識別器を用意してもよい。また乗員が咳き込んでいる状態を認識するための識別器を用意してもよい。 Further, as dictionary data, a classifier for recognizing the face of a person wearing a mask may be prepared. In addition, a classifier may be provided for recognizing the state in which the occupant is coughing.
対象物認識部２２ａはフレーム画像内において、マスクをしていない乗員を検出した場合、マスク未着用の検出信号を警告制御部２５に出力する。対象物認識部２２ａはフレーム画像内において、咳き込んでいる乗員を検出した場合、咳の検出信号を警告制御部２５に出力する。対象物認識部２２ａはフレーム画像内において、後部座席に座っている二人の乗員間の距離が設定値以下のとき、距離接近の検出信号を警告制御部２５に出力する。警告制御部２５は、対象物認識部２２ａからマスク未着用、咳、または距離接近の検出信号を受けると、音声出力装置５０に警告音または警告メッセージを出力させる。
When the
音声出力装置５０は、車両Ｃ１内に設置されているカーナビゲーションシステムまたはディスプレイオーディオシステムのスピーカであってもよい。また音声出力装置５０は、カーナビゲーションシステム、ディスプレイオーディオシステムまたはドライブレコーダシステムと連携した、スマートフォンまたはタブレットのスピーカであってもよい。なお音声出力装置５０は、本実施の形態に係る人物監視システム１に専用のスピーカであってもよい。
The
警告制御部２５は、映像解析部２２からマスク未着用の検出信号が入力されると、「マスクを着用してください。」といった注意喚起メッセージを音声出力装置５０に出力させる。また警告制御部２５は、咳の検出信号が入力されると、「換気してください。」、「窓を開けてください。」、「エアコンを外気導入モードにしてください。」、「マイナスイオン発生器を稼働させてください。」といった注意喚起メッセージを音声出力装置５０に出力させる。なお本実施の形態に係る人物監視システム１と、車両Ｃ１内のエアーコンディショナシステムを連携させてもよい。その場合、警告制御部２５は咳の検出信号が入力されると、エアーコンディショナシステムを外気導入モードに自動的に切り替えることができる。
When the detection signal of not wearing a mask is input from the
警告制御部２５は、映像解析部２２から距離接近の検出信号が入力されると、「もう少し席の間隔を明けてください。」といった注意喚起メッセージを音声出力装置５０に出力させる。なお映像解析部２２が後部座席に三人の乗員を検出し、助手席に乗員を検出しない場合、席移動の指示信号を警告制御部２５に出力してよい。警告制御部２５は、映像解析部２２から席移動の指示信号が入力されると、「一人、助手席に移動してください。」といった注意喚起メッセージを音声出力装置５０に出力させる。
When the
特定の人物の画像を登録することにより、手で触った場所の監視処理の対象から特定の人物を除外することができる。具体的には、監視処理の対象から除外したい人物の顔を撮像装置１０で撮像し、対象物認識部２２ａの辞書データとして登録する。なお当該人物の顔が写った静止画を、外部から画像処理装置２０に入力してもよい。
By registering an image of a specific person, it is possible to exclude the specific person from the target of the monitoring process of the place touched by the hand. Specifically, the face of a person to be excluded from the monitoring process is imaged by the
対象物認識部２２ａは、フレーム画像内において人物の顔を認識した場合、当該人物の顔が、除外対象として登録されている人物の顔であるか否か判定する。除外対象の人物の顔である場合、対象物認識部２２ａまたは三次元空間認識部２２ｃは、当該人物の手を監視対象から除外する。フレーム画像内において認識した人物の顔が、除外対象の人物の顔でない場合、上述した手が触れた場所の検出・記録処理が適用される。
When the
除外対象として登録する人物として、車両Ｃ１の所有者、及びその家族が考えられる。また、ＰＣＲ検査、抗原検査または抗体検査の結果から、感染している可能性が低いと判定された人物を登録してもよい。例えば、車両Ｃ１の所有者、及びその家族を除外対象として登録することにより、画像処理装置２０の負荷を軽減することができる。
The owner of the vehicle C1 and his / her family can be considered as the person to be registered as the exclusion target. In addition, a person who is determined to have a low possibility of being infected from the results of a PCR test, an antigen test, or an antibody test may be registered. For example, by registering the owner of the vehicle C1 and its family as exclusion targets, the load on the
図３は、実施の形態１に係る、車両Ｃ１の走行中に撮像されたフレーム画像Ｆ１の一例を示す図である。このフレーム画像Ｆ１では人物として、運転者Ｐ１、助手席の同乗者Ｐ２、後部座席の二人の同乗者Ｐ３、Ｐ４が検出されている。車室内にある装備品として、ステアリングＯ１、センタコンソールＯ２上にあるボトルホルダＯ２ａなどが検出されている。また、運転者Ｐ１の手Ｄｈ１が監視対象として追尾されている。なお図示しないが、同乗者Ｐ２、Ｐ３、Ｐ４の手も監視対象となる。 FIG. 3 is a diagram showing an example of a frame image F1 captured while the vehicle C1 is traveling according to the first embodiment. In this frame image F1, the driver P1, the passenger P2 in the passenger seat, and the two passengers P3 and P4 in the rear seat are detected as persons. Steering O1 and bottle holder O2a on the center console O2 have been detected as equipment in the vehicle interior. Further, the hand Dh1 of the driver P1 is being tracked as a monitoring target. Although not shown, the hands of passengers P2, P3, and P4 are also monitored.
図４は、実施の形態１に係る接触場所画像Ｆｔ１の一例を示す図である。車室内を清掃・消毒しようとしているユーザにより接触場所画像Ｆｔ１の表示が指示されると、表示装置３０に接触場所画像Ｆｔ１が表示される。図４では、運転者Ｐ１が運転中に、ステアリングＯ１とボトルホルダＯ２ａを触った例を示している。図４ではステアリングＯ１と、ボトルホルダＯ２ａを含むセンタコンソールＯ２全体の領域が赤色でマークされている。
FIG. 4 is a diagram showing an example of the contact location image Ft1 according to the first embodiment. When the user who is trying to clean and disinfect the vehicle interior is instructed to display the contact location image Ft1, the contact location image Ft1 is displayed on the
図５は、実施の形態１に係る接触場所画像Ｆｔ２の別の例を示す図である。図５ではステアリングＯ１とボトルホルダＯ２ａが赤色でマークされ、ボトルホルダＯ２ａが設置されているセンタコンソールＯ２全体の領域（ボトルホルダＯ２ａの領域を除く）が黄色でマークされている。 FIG. 5 is a diagram showing another example of the contact location image Ft2 according to the first embodiment. In FIG. 5, the steering O1 and the bottle holder O2a are marked in red, and the entire area of the center console O2 (excluding the area of the bottle holder O2a) in which the bottle holder O2a is installed is marked in yellow.
なお接触場所画像Ｆｔは、実際に撮像された車室内の画像上に、ウイルスが存在する可能性がある領域を示す注意マーカが重畳されたものであってもよいし、簡略化された車室内の模式図上に注意マーカが重畳されたものであってもよい。なお乗員が必ず手で触れる装備品（例えば、ステアリング、シフトレバー、ウインカレバー、ドアノブなど）に関しては、デフォルトで注意マーカが重畳されていてもよい。なお接触場所画像Ｆｔは、ヒートマップ画像で生成されてもよい。 The contact location image Ft may be an image of the vehicle interior actually captured, on which a caution marker indicating a region where a virus may be present is superimposed, or a simplified vehicle interior. A caution marker may be superimposed on the schematic diagram of. For equipment that the occupant always touches by hand (for example, steering, shift lever, winker lever, doorknob, etc.), a caution marker may be superimposed by default. The contact location image Ft may be generated as a heat map image.
以上説明したように実施の形態１によれば、乗員が触った可能性がある領域を示す接触場所画像を生成して表示することにより、清掃・消毒しようとしているユーザがどこを優先的に消毒すればよいかを直感的に把握することができる。特に、レンタカー事業者の清掃担当者やガソリンスタンドの店員など、車両Ｃ１に乗車していなかった人で、短時間で効率的に車室内を清掃・消毒する必要がある人にとって有効である。もちろん、車両Ｃ１に乗車していた人にとっても、乗員全員分の触った場所を把握して記憶していることは困難であるため、接触場所画像を見ながら清掃・消毒することが有用である。 As described above, according to the first embodiment, by generating and displaying a contact location image showing an area that the occupant may have touched, the user who is trying to clean and disinfect preferentially disinfects where. You can intuitively understand what to do. This is particularly effective for people who have not boarded the vehicle C1, such as a person in charge of cleaning a car rental company or a clerk at a gas station, who need to efficiently clean and disinfect the interior of the vehicle in a short time. Of course, it is difficult for the person who was in the vehicle C1 to grasp and remember the touched place for all the occupants, so it is useful to clean and disinfect while looking at the contact place image. ..
次に、実施の形態２に係る人物監視システム１を説明する。実施の形態１では、車室内に設置されたカメラで乗員を撮影し、乗員の手を検出して、乗員が手で触った場所を監視・記録する人物監視システム１を説明した。これに対して実施の形態２は、建物内の部屋に設置されたカメラで部屋の中の人物を検出し、人物が滞在した場所を監視・記録する人物監視システム１に関する。
Next, the
実施の形態２に係る人物監視システム１は、会議室やコンベンションホールなど、広い室内空間の部屋を監視する例を想定している。一般的に屋内の監視カメラは部屋の天井に設置される。一台の監視カメラで広い部屋を監視する場合、広角に撮影する必要があり、フレーム画像内における人物のサイズが小さくなる。またフレーム画像内に大勢の人物が含まれる場合がある。これに対して実施の形態１では、狭い車室空間を撮影しているため、フレーム画像内の人物のサイズが一定サイズ以下になることがない。また普通車の場合、フレーム画像に含まれる人物の数は最大で５人である。
The
このように、会議室やコンベンションホールなどに設置される撮像装置１０で撮像されたフレーム画像から画像認識により各人物の手を検出し、検出した手を追尾することは難しい。そこで実施の形態２では、人物の頭部または全身を検出し、検出した頭部または全身を追尾する。
As described above, it is difficult to detect each person's hand by image recognition from the frame image captured by the
以下の説明では、撮像装置１０が部屋の天井の中央に設置され、部屋全体を俯瞰するように撮影する例を想定する。この場合、監視対象は上から見た人物の頭部となる。なお撮像装置１０が天井と壁の角に設置され、部屋全体を斜めに見下ろすように撮影してもよい。その場合、監視対象は斜めから見た人物の頭部または全身となる。
In the following description, it is assumed that the
画像処理装置２０は、ＰＣ、タブレット、スマートフォンなどの汎用の情報端末装置の一機能として構成される。画像処理装置２０と撮像装置１０は有線（例えば、ＬＡＮケーブルやＵＳＢケーブル）または無線（例えば、無線ＬＡＮ）で接続され、映像取得部２１は撮像装置１０から映像を取得する。
The
実施の形態２では映像解析部２２は、部屋の中で人物が滞在した場所を検出する。対象物認識部２２ａは辞書データとして、人物の頭部または全身の識別器を有している。また人物の頭部または全身の識別器に加えて、室内に存在する様々な備品の識別器を用意しておいてもよい。例えば、机、椅子などの識別器を用意しておいてもよい。
In the second embodiment, the
対象物認識部２２ａはフレーム画像内において、人物の検出領域の周囲に付随領域を設定してもよい。例えば、人物を中心として半径１ｍ～２ｍ程度の円に相当する、画像内の領域を付随領域に設定してもよい。以下、人物の検出領域と当該人物の周囲に設定される付随領域を合わせた領域を行動領域と呼ぶ。なお、実空間における距離と画像内における距離の換算比率、及び付随領域の設定範囲は、ユーザが変更可能である。
The
対象物追尾部２２ｂは、対象物認識部２２ａにより認識された人物の頭部または全身を追尾する。フレーム画像内において複数の人物が認識されている場合、人物ごとに追尾する。
The
三次元空間認識部２２ｃは、撮像装置１０から取得された距離画像により特定される三次元空間内で、人物が滞在した場所を検出する。室内に存在する備品も対象物として認識している場合、人物が触れたと推定される備品も特定することができる。例えば、人物の行動領域と備品の検出領域に重複部分が発生した場合、当該人物が当該備品に触れたと推定する。
The three-dimensional space recognition unit 22c detects the place where the person stays in the three-dimensional space specified by the distance image acquired from the
三次元空間認識部２２ｃは、人物が備品に触れたと推定される状態のフレーム画像を検出すると、検出したフレーム画像を画像保持部２３に一時保存する。なお実施の形態２では、人物が検出されている全てのフレーム画像を、画像保持部２３に一時保存するようにしてもよい。
When the three-dimensional space recognition unit 22c detects a frame image in a state in which it is presumed that a person has touched the equipment, the detected frame image is temporarily stored in the
画像生成部２４は、画像保持部２３に格納されたフレーム画像をもとに、撮像装置１０による撮像開始から、室内において人物が滞在した全ての滞在場所をユーザが認識できる滞在場所表示用の画像（以下、滞在場所画像という）を生成する。画像生成部２４は、室内における人物の移動軌跡を認識できる滞在場所画像を生成してもよい。また画像生成部２４は、室内における人物の移動に伴う、行動領域の軌跡を認識できる滞在場所画像を生成してもよい。
Based on the frame image stored in the
画像生成部２４は、滞在場所画像として、人物が滞在した場所に近い場所ほど目立つ色で表示されるヒートマップ画像を生成してもよい。例えば、人物が滞在した領域を赤色で表示し、付随領域を黄色で表示し、それ以外の領域を緑色（または無色）で表示したヒートマップ画像を生成してもよい。また、人物が滞在した領域を赤色で表示し、人物が滞在した領域から遠ざかるにつれ赤色→黄色→緑色（または無色）と徐々に変化していくヒートマップ画像を生成してもよい。
The
また画像生成部２４は、人物が滞在した領域の明るさを最も明るくし、人物が滞在した領域から遠ざかるにつれ明るさを暗くした滞在場所画像を生成してもよい。また人物が滞在した領域が点滅している滞在場所画像を生成してもよい。
Further, the
人物の行動領域と備品の検出領域に重複部分が発生した場合、画像生成部２４は、当該備品全体を目立つ表示態様としてもよいし、当該重複部分のみを目立つ表示態様としてもよい。当該備品の床からの高さが推定できる場合、画像生成部２４は当該備品の床からの高さが、人物が座った状態または立った状態の手の高さに近いほど、当該備品を目立つ表示態様としてもよい。
When an overlapping portion occurs in the action area of the person and the detection area of the equipment, the
画像生成部２４は、複数の人物の検出領域の重複が多い領域ほど、目立つ表示態様としてもよい。例えば、検出領域の重複数が多い領域ほど、彩度を高くしてもよい。なお画像生成部２４は、複数の人物の行動領域の重複が多い領域ほど、目立つ表示態様としてもよい。
The
画像生成部２４は、画像保持部２３に格納された、人物の行動領域と備品の検出領域に重複部分が発生している複数のフレーム画像をつなぎ合わせて、滞在場所表示用のダイジェスト動画を生成してもよい。また画像生成部２４は、人物の行動領域と備品の検出領域に重複部分が発生している複数のフレーム画像を重畳して、一枚の静止画を生成してもよい。
The
なお画像生成部２４は、室内において人物が触れたと推定される備品を、テキスト情報で単純に羅列した画像を生成してもよい。この場合、フレーム画像を画像保持部２３に蓄積する必要はなく、人物が触れたと推定される備品を特定するための管理情報を保持しておけばよい。
The
室内を清掃・消毒しようとしているユーザにより操作部（不図示）に対して、滞在場所画像の表示指示操作がなされると、画像生成部２４は、滞在場所画像を生成し、生成した滞在場所画像を表示装置３０に表示させる。
When the user who is trying to clean and disinfect the room instructs the operation unit (not shown) to display the stay location image, the
表示装置３０は、ＰＣ、タブレット、スマートフォンなどの汎用の情報端末装置のディスプレイであってもよい。また表示装置３０は当該情報端末装置に接続されたプロジェクタであってよい。その場合、プロジェクタは滞在場所画像をスクリーンに投影させる。また表示装置３０は当該情報端末装置に接続されたヘッドマウントディスプレイであってもよい。その場合、ヘッドマウントディスプレイは、滞在場所画像をＶＲ画像で表示させることができる。なお接触場所用の表示映像が立体映像で生成される場合、ヘッドマウントディスプレイは、立体ＶＲ映像を表示させることができる。
The
なお画像生成部２４は、部屋の使用中（例えば、会議中）に、リアルタイムに滞在場所画像を生成し、表示装置３０（例えば、プロジェクタ）に表示させてもよい。この場合、人物が入室または退室したり、部屋の中で人物が場所を移動したりすると滞在場所画像が更新される。画像生成部２４は、滞在場所画像として、撮像装置１０により撮像されている映像上に、人物の滞在場所を示す注目マーカが重畳されたＡＲ画像を表示装置３０に表示させてもよい。
The
実施の形態２においても、対象物認識部２２ａはフレーム画像内において、人物間の距離が設定値以下のとき、距離接近の検出信号を警告制御部２５に出力することができる。警告制御部２５は、対象物認識部２２ａから距離接近の検出信号を受けると、音声出力装置５０に警告音または警告メッセージを出力させる。なお、マスク未着用の人物、または咳き込んでいる人物を検出した場合も、音声出力装置５０に警告音または警告メッセージを出力させることができる。
Also in the second embodiment, the
また実施の形態２においても、特定の人物の画像を登録することにより、滞在場所の監視処理の対象から、登録した人物を除外することができる。 Further, also in the second embodiment, by registering an image of a specific person, the registered person can be excluded from the target of the monitoring process of the place of stay.
図６は、実施の形態２に係る滞在場所画像Ｆｓ１の第１の例を示す図である。室内を清掃・消毒しようとしているユーザにより滞在場所画像Ｆｓ１の表示が指示されると、表示装置３０に滞在場所画像Ｆｓ１が表示される。図６では、部屋の使用中に、三人の人物Ｐ１、Ｐ２、Ｐ３が左側の第１の机Ｄ１を使用していた場合の滞在場所画像Ｆｓ１を示している。右側の第２の机Ｄ２は使用されていない。図６では、左側の第１の机Ｄ１が注意領域として赤色でマークされる。
FIG. 6 is a diagram showing a first example of the staying place image Fs1 according to the second embodiment. When the user who is trying to clean and disinfect the room instructs to display the staying place image Fs1, the staying place image Fs1 is displayed on the
対象物認識部２２ａは各フレーム画像内において、各人物Ｐ１、Ｐ２、Ｐ３の検出領域と第１の机Ｄ１の検出領域が重複したか否か、及び各人物Ｐ１、Ｐ２、Ｐ３の検出領域と第２の机Ｄ２の検出領域が重複したか否かを判定する。対象物認識部２２ａは、重複がある机を使用された机（図６では第１の机Ｄ１）と判定する。
The
図７は、実施の形態２に係る滞在場所画像Ｆｓ２の第２の例を示す図である。図７では、室内における人物Ｐ１の移動軌跡を表示した滞在場所画像Ｆｓ２を示している。図７に示す画像において、部屋の出入口が右側にあり、人物Ｐ１が第２の机Ｄ２及び第１の机Ｄ１の下側を左に移動し、第１の机Ｄ１の左側を上に移動し、第１の机Ｄ１の上側を右に移動して、現在の場所に到達したことを示している。なお、人物Ｐ１の周囲に付随領域が付加された行動領域の移動軌跡を表示してもよい。 FIG. 7 is a diagram showing a second example of the staying place image Fs2 according to the second embodiment. FIG. 7 shows a staying place image Fs2 showing a movement locus of a person P1 in a room. In the image shown in FIG. 7, the doorway of the room is on the right side, the person P1 moves the lower side of the second desk D2 and the first desk D1 to the left, and the left side of the first desk D1 moves up. , The upper side of the first desk D1 is moved to the right to indicate that the current location has been reached. It should be noted that the movement locus of the action area to which the accompanying area is added around the person P1 may be displayed.
図８（ａ）－（ｃ）は、実施の形態２に係る滞在場所画像Ｆｓ３の第３の例を示す図である。第３の例は、試験会場や大教室など、机と椅子の位置が固定されている部屋の例である。図８（ａ）に示す滞在場所画像Ｆｓ３ａでは、左側の第１の椅子Ｓ１に第１の人物Ｐ１が座っている。右側の第２の椅子Ｓ２は空席である。この場合、左側の第１の椅子Ｓ１と第１の机Ｄ１が注意領域として赤色でマークされる。 8 (a)-(c) are views showing a third example of the staying place image Fs3 according to the second embodiment. The third example is an example of a room where the positions of desks and chairs are fixed, such as a test site or a large classroom. In the staying place image Fs3a shown in FIG. 8A, the first person P1 sits on the first chair S1 on the left side. The second chair S2 on the right side is vacant. In this case, the first chair S1 and the first desk D1 on the left side are marked in red as attention areas.
図８（ｂ）に示す滞在場所画像Ｆｓ３ｂでは、左側の第１の椅子Ｓ１に第１の人物Ｐ１が座っており、右側の第２の椅子Ｓ２に第２の人物Ｐ２が座っている。この場合、左側の第１の椅子Ｓ１と第１の机Ｄ１、及び右側の第２の椅子Ｓ２と第２の机Ｄ２の両方が注意領域として赤色でマークされる。 In the staying place image Fs3b shown in FIG. 8B, the first person P1 sits on the first chair S1 on the left side, and the second person P2 sits on the second chair S2 on the right side. In this case, both the first chair S1 and the first desk D1 on the left side and the second chair S2 and the second desk D2 on the right side are marked in red as attention areas.
図８（ｃ）に示す滞在場所画像Ｆｓ３ｃは、右側の第２の椅子Ｓ２に座っていた第２の人物Ｐ２が退席した後の状態を示している。第２の人物Ｐ２が右側の第２の椅子Ｓ２と第２の机Ｄ２の位置に滞在していたため、第２の人物Ｐ２が退席した後も、右側の第２の椅子Ｓ２と第２の机Ｄ２は注意領域として赤色でマークされる。 The staying place image Fs3c shown in FIG. 8C shows a state after the second person P2 sitting in the second chair S2 on the right side has left. Since the second person P2 stayed at the positions of the second chair S2 and the second desk D2 on the right side, even after the second person P2 left the seat, the second chair S2 and the second desk on the right side D2 is marked in red as a caution area.
図９は、実施の形態２に係る滞在場所画像Ｆｓ４の第４の例を示す図である。図６－図８（ａ）－（ｃ）に示した例では、人物が触れたと推定される机全体の領域を赤色でマークした。これに対して図９に示す第４の例では、机全体の領域のうち、人物が触れた可能性が高い領域のみを注意領域として赤色でマークする。図９では、第１の人物Ｐ１の位置から所定距離の第１範囲Ｒ１、及び第２の人物Ｐ２の位置から所定距離の第２範囲Ｒ２が注意領域として赤色でマークされる。このマークされる領域は、人物Ｐ１、Ｐ２の移動に伴い拡大する。 FIG. 9 is a diagram showing a fourth example of the staying place image Fs4 according to the second embodiment. In the example shown in FIGS. 6-8 (a)-(c), the area of the entire desk presumed to have been touched by a person is marked in red. On the other hand, in the fourth example shown in FIG. 9, only the area of the entire desk that is likely to be touched by a person is marked in red as a caution area. In FIG. 9, the first range R1 at a predetermined distance from the position of the first person P1 and the second range R2 at a predetermined distance from the position of the second person P2 are marked in red as attention areas. This marked area expands as the persons P1 and P2 move.
所定距離はソーシャルディスタンスを考慮して、例えば２ｍに設定される。この所定距離は、マスクの着用の有無により切り替えられてもよい。その場合、マスク未着用の人物の所定距離は、マスク着用の人物の所定距離より長く設定される。 The predetermined distance is set to, for example, 2 m in consideration of social distance. This predetermined distance may be switched depending on whether or not a mask is worn. In that case, the predetermined distance of the person who does not wear the mask is set longer than the predetermined distance of the person who wears the mask.
また対象物認識部２２ａが人物の手の動きを検出できる場合、机全体の領域の中で手が動いた範囲を注意領域として赤色でマークしてもよい。その際、机全体の領域の中でマークされる領域は、実際に手の動きを検出した範囲に所定のバッファ領域を加えた領域であってもよい。また机全体の領域の中でマークされる領域は、人物Ｐ１、Ｐ２の行動領域と重複する領域であってもよい。
Further, when the
なお、第１範囲Ｒ１と第２範囲Ｒ２の重複範囲Ｒ３を、よりレベルの高い注意領域として相対的に目立つ色でマークしてもよい。例えば、第１範囲Ｒ１と第２範囲Ｒ２のうち、両者が重複していない範囲を緑色でマークし、両者の重複範囲Ｒ３を赤色でマークしてもよい。また、一人の人物の所定距離の範囲を緑色でマークし、二人の人物の所定距離の範囲の重複領域を黄色でマークし、三人以上の人物の所定距離の範囲の重複領域を赤色でマークしてもよい。 The overlapping range R3 of the first range R1 and the second range R2 may be marked with a relatively conspicuous color as a higher level attention area. For example, of the first range R1 and the second range R2, the range in which both do not overlap may be marked in green, and the overlapping range R3 in both may be marked in red. In addition, the range of the predetermined distance of one person is marked in green, the overlapping area of the range of the predetermined distance of two people is marked in yellow, and the overlapping area of the range of the predetermined distance of three or more people is marked in red. You may mark it.
図１０は、実施の形態２に係る滞在場所画像Ｆｓ５の第５の例を示す図である。図１０に示す滞在場所画像Ｆｓ５では、部屋の中で人物の移動が多い通路の領域Ｒ５が注意領域として赤色でマークされている。なお、人物が通路を通った回数に応じて色を変えてもよい。例えば、１～５回は緑色でマークし、６～１０回は黄色でマークし、１１回以上は赤色でマークしてもよい。なお、図１０では通路全体の領域Ｒ５を注意領域としてマークしているが、実際に人物が通った移動軌跡、すなわち人物と通路が重複した部分のみをマークしてもよい。 FIG. 10 is a diagram showing a fifth example of the staying place image Fs5 according to the second embodiment. In the staying place image Fs5 shown in FIG. 10, the area R5 of the passage where people move frequently in the room is marked in red as a caution area. The color may be changed according to the number of times the person has passed through the passage. For example, it may be marked in green 1 to 5 times, marked in yellow 6 to 10 times, and marked in red 11 times or more. Although the area R5 of the entire passage is marked as a caution area in FIG. 10, only the movement trajectory actually passed by the person, that is, the portion where the person and the passage overlap may be marked.
以上説明したように実施の形態２によれば、人物が滞在した領域を示す滞在場所画像を生成して表示することにより、清掃・消毒しようとしているユーザがどこを優先的に消毒すればよいかを直感的に把握することができる。特に、外部の清掃業者など、部屋を使用していなかった（例えば、会議に参加していなかった）人で、短時間で効率的に部屋の中を清掃・消毒する必要がある人にとって有効である。もちろん、部屋を使用していた人にとっても、部屋の中にいた人全員分の動きを把握し記憶していることは困難であるため、滞在場所画像を見ながら清掃・消毒することが有用である。 As described above, according to the second embodiment, where should the user who is trying to clean and disinfect preferentially disinfect by generating and displaying a staying place image showing the area where the person stayed? Can be grasped intuitively. It is especially effective for people who have not used the room (for example, did not attend the meeting), such as an outside cleaner, who need to clean and disinfect the room efficiently in a short time. be. Of course, it is difficult for people who used the room to grasp and remember the movements of all the people in the room, so it is useful to clean and disinfect while looking at the image of the place of stay. be.
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。 The present invention has been described above based on the embodiments. It is understood by those skilled in the art that this embodiment is an example, and that various modifications are possible for each of these components and combinations of each processing process, and that such modifications are also within the scope of the present invention. be.
実施の形態１において、例えば運転者は運転中、基本的にステアリングを手で握っている。一方で、それ以外の動き（例えば、水を飲むためにボトルホルダを触る動きなど）をしている状態では、ステアリングを握っている通常の状態の画像とは大きく異なる画像となる。対象物認識部２２ａは、フレーム画像内において運転者がステアリングを手で握っていないフレーム画像を全て画像保持部２３に保存してもよい。画像生成部２４は、画像保持部２３に格納されている複数のフレーム画像をつなぎ合わせて、接触場所表示用のダイジェスト動画を生成してもよい。また画像生成部２４は、画像保持部２３に格納されている複数のフレーム画像を重畳して、一枚の静止画を生成してもよい。この場合、正確性は低下するが、簡易的に接触場所画像を生成することができる。
In the first embodiment, for example, the driver basically holds the steering wheel by hand while driving. On the other hand, in the state of other movements (for example, the movement of touching the bottle holder to drink water), the image is significantly different from the image in the normal state of holding the steering wheel. The
実施の形態２において、対象物認識部２２ａは、フレーム画像内で人物が検出されたフレーム画像を全て画像保持部２３に保存してもよい。画像生成部２４は、画像保持部２３に格納されている複数のフレーム画像をつなぎ合わせて、滞在場所表示用のダイジェスト動画を生成してもよい。また画像生成部２４は、画像保持部２３に格納されている複数のフレーム画像を重畳して、一枚の静止画を生成してもよい。この場合、正確性は低下するが、簡易的に滞在場所画像を生成することができる。
In the second embodiment, the
実施の形態１では、人物の手を監視対象とし、車室内を監視する例を説明した。この点、人物の手を検出しやすい狭い空間の監視であれば、車室内を監視する例に限定されるものではない。建物内の部屋であっても、数人しか入れない狭い部屋の監視であれば、実施の形態１に係る人物監視システム１が有効に機能する。
In the first embodiment, an example in which the hand of a person is monitored and the interior of the vehicle is monitored has been described. In this respect, the monitoring of a narrow space where a person's hand can be easily detected is not limited to the example of monitoring the vehicle interior. Even if it is a room in a building, the
実施の形態２では、人物自体を監視対象とし、建物内の部屋の中を監視する例を説明した。この点、電車、バス、飛行機、船舶などの移動体の中の室内空間の監視にも、実施の形態２に係る人物監視システム１を適用することができる。また一定範囲の屋外空間の監視にも適用可能である。
In the second embodiment, an example of monitoring the inside of a room in a building with a person itself as a monitoring target has been described. In this regard, the
また新型コロナウイルスは、付着している物質や環境条件に依存するが、最長で７日程度で死滅する。したがって、車両や部屋の使用終了後、設定時間以上が経過している場合は、画像内に注意領域を表示する必要はない。 In addition, the new coronavirus will die in about 7 days at the longest, depending on the attached substance and environmental conditions. Therefore, it is not necessary to display the attention area in the image when the set time or more has passed after the vehicle or the room has been used.
Ｃ１ 車両、 １ 人物監視システム、 １０ 撮像装置、 ２０ 画像処理装置、 ２１ 映像取得部、 ２２ 映像解析部、 ２２ａ 対象物認識部、 ２２ｂ 対象物追尾部、 ２２ｃ 三次元空間認識部、 ２３ 画像保持部、 ２４ 画像生成部、 ２５ 警告制御部、 ３０ 表示装置、 ４０ 記録媒体、 ５０ 音声出力装置。 C1 vehicle, 1 person monitoring system, 10 image pickup device, 20 image processing device, 21 image acquisition unit, 22 image analysis unit, 22a object recognition unit, 22b object tracking unit, 22c three-dimensional space recognition unit, 23 image holding unit. , 24 Image generator, 25 Warning control unit, 30 Display device, 40 Recording medium, 50 Audio output device.
Claims (5)
取得された映像を解析して、前記空間内で前記人物が手で触った場所を検出する映像解析部と、
前記撮像部による撮像開始から、前記人物が手で触った全ての接触場所を認識できる表示用画像を生成する画像生成部と、
を備える画像処理装置。 An image acquisition unit that acquires an image of a space in which a person exists, which is captured by the image pickup unit, and an image acquisition unit.
An image analysis unit that analyzes the acquired image and detects a place touched by the person in the space.
An image generation unit that generates a display image that can recognize all contact locations touched by the person from the start of imaging by the image pickup unit.
An image processing device comprising.
請求項１に記載の画像処理装置。 The image generation unit generates, as the display image, a heat map image that is displayed in a more conspicuous color in a place where the person is more likely to touch it.
The image processing apparatus according to claim 1.
請求項１または２に記載の画像処理装置。 The image generation unit generates a display image to be displayed in a more conspicuous display mode as the contact location is frequently touched by the person.
The image processing apparatus according to claim 1 or 2.
請求項１から３のいずれか１項に記載の画像処理装置。 The image pickup unit is installed in the vehicle and is an image pickup unit for imaging the vehicle interior space in the vehicle.
The image processing apparatus according to any one of claims 1 to 3.
取得された映像を解析して、前記空間内で前記人物が手で触った場所を検出する処理と、
前記撮像部による撮像開始から、前記人物が手で触った全ての接触場所を認識できる表示用画像を生成する処理と、
をコンピュータに実行させる画像処理プログラム。 The process of acquiring the image of the space where the person exists, which was captured by the image pickup unit,
A process of analyzing the acquired video to detect a place touched by the person in the space, and a process of detecting the place touched by the person.
From the start of imaging by the imaging unit, a process of generating a display image capable of recognizing all contact locations touched by the person.
An image processing program that lets your computer run.
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020158426A JP2022052193A (en) | 2020-09-23 | 2020-09-23 | Image processing device and image processing program |
| PCT/JP2021/020804 WO2022064774A1 (en) | 2020-09-23 | 2021-06-01 | Image processing device and image processing program |
| EP21871907.8A EP4220548A4 (en) | 2020-09-23 | 2021-06-01 | Image processing device and image processing program |
| CN202180061374.2A CN116157833A (en) | 2020-09-23 | 2021-06-01 | Image processing device and image processing program |
| US18/187,739 US20230230294A1 (en) | 2020-09-23 | 2023-03-22 | Picture processing device, picture processing method and non-transitory computer-readable recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020158426A JP2022052193A (en) | 2020-09-23 | 2020-09-23 | Image processing device and image processing program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022052193A true JP2022052193A (en) | 2022-04-04 |
Family
ID=80948839
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020158426A Pending JP2022052193A (en) | 2020-09-23 | 2020-09-23 | Image processing device and image processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2022052193A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220144200A1 (en) * | 2020-11-12 | 2022-05-12 | Toyoda Gosei Co., Ltd. | Vehicle occupant protection system |
-
2020
- 2020-09-23 JP JP2020158426A patent/JP2022052193A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220144200A1 (en) * | 2020-11-12 | 2022-05-12 | Toyoda Gosei Co., Ltd. | Vehicle occupant protection system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12061264B2 (en) | Imaging device and electronic device | |
| JP7173196B2 (en) | Image processing device, image processing method, and program | |
| JP6127659B2 (en) | Driving support device and driving support method | |
| US8599266B2 (en) | Digital processing of video images | |
| US10281721B2 (en) | System and method for augmented reality head up display for vehicles | |
| IT201900011403A1 (en) | DETECTING ILLEGAL USE OF PHONE TO PREVENT THE DRIVER FROM GETTING A FINE | |
| WO2011064831A1 (en) | Diagnosis device and diagnosis method | |
| EP1179958A4 (en) | Image processing device and monitoring system | |
| US20210350570A1 (en) | Image processing device, image processing method, and program | |
| JP2010191793A (en) | Alarm display and alarm display method | |
| US20180370461A1 (en) | Vehicle system for reducing motion sickness | |
| US20230230294A1 (en) | Picture processing device, picture processing method and non-transitory computer-readable recording medium | |
| Martin et al. | Real time driver body pose estimation for novel assistance systems | |
| JP2022052193A (en) | Image processing device and image processing program | |
| US11348347B2 (en) | In-vehicle device | |
| KR20150058881A (en) | Air circulation control method for vehicle based on image recognition | |
| KR20190119291A (en) | Method and apparatus for monitoring of vehicle | |
| JP7403196B2 (en) | Information processing systems and programs, etc. | |
| JP7540307B2 (en) | Image processing device and image processing program | |
| CN108073274A (en) | Gesture operation method and system based on depth value | |
| WO2023171068A1 (en) | Surveillance system | |
| US20210279486A1 (en) | Collision avoidance and pedestrian detection systems | |
| KR102288952B1 (en) | vehicle and control method thereof | |
| Chowdhury et al. | Designing an empirical framework to estimate the driver's attention | |
| JP2007148506A (en) | Driving support device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230630 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240312 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240422 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240716 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20241011 |