JP2020017265A - 表示装置、画像処理装置及び制御方法 - Google Patents

表示装置、画像処理装置及び制御方法 Download PDF

Info

Publication number
JP2020017265A
JP2020017265A JP2019108042A JP2019108042A JP2020017265A JP 2020017265 A JP2020017265 A JP 2020017265A JP 2019108042 A JP2019108042 A JP 2019108042A JP 2019108042 A JP2019108042 A JP 2019108042A JP 2020017265 A JP2020017265 A JP 2020017265A
Authority
JP
Japan
Prior art keywords
image
aerosol
space
type
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019108042A
Other languages
English (en)
Other versions
JP2020017265A5 (ja
JP7113375B2 (ja
Inventor
大山　達史
Tatsufumi Oyama
達史 大山
宮下　万里子
Mariko Miyashita
万里子 宮下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to CN201980029258.5A priority Critical patent/CN112041665B/zh
Priority to PCT/JP2019/024410 priority patent/WO2020012906A1/ja
Publication of JP2020017265A publication Critical patent/JP2020017265A/ja
Publication of JP2020017265A5 publication Critical patent/JP2020017265A5/ja
Priority to US17/120,085 priority patent/US11694659B2/en
Application granted granted Critical
Publication of JP7113375B2 publication Critical patent/JP7113375B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/0004—Gaseous mixtures, e.g. polluted air
    • G01N33/0009—General constructional details of gas analysers, e.g. portable test equipment
    • G01N33/0027—General constructional details of gas analysers, e.g. portable test equipment concerning the detector
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/06—Investigating concentration of particle suspensions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G01N21/49—Scattering, i.e. diffuse reflection within a body or fluid
    • G01N21/53—Scattering, i.e. diffuse reflection within a body or fluid within a flowing fluid, e.g. smoke
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/51—Display arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/06—Investigating concentration of particle suspensions
    • G01N15/075—Investigating concentration of particle suspensions by optical means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N2015/0042—Investigating dispersion of solids
    • G01N2015/0046—Investigating dispersion of solids in gas, e.g. smoke
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1793—Remote sensing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G01N2021/4792—Polarisation of scatter light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/06—Illumination; Optics
    • G01N2201/063—Illuminating optical parts
    • G01N2201/0631—Homogeneising elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Electromagnetism (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Combustion & Propulsion (AREA)
  • General Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Geometry (AREA)
  • Dispersion Chemistry (AREA)
  • Architecture (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】エアロゾルの正確な位置を精度良く提示する。【解決手段】本開示の一態様に係る表示装置の一例であるタブレット端末８０は、表示画面８２と、カメラ２０で空間を撮像することにより得られた第１画像と、空間に存在する少なくとも１種類のエアロゾルを表す第２画像とが合成された合成画像を表示画面８２に表示させる制御部８４と、を備え、第２画像には、少なくとも１種類のエアロゾルの、第１画像における奥行き方向の位置が反映されている。【選択図】図２

Description

本開示は、表示装置、画像処理装置及び制御方法に関する。
従来、花粉又は埃などの空気中を浮遊する物質、すなわち、エアロゾルを可視化して表示する端末装置が知られている（例えば、特許文献１及び２を参照）。
特開２０１４−２０６２９１号公報 国際公開第２０１６／１８１８５４号
しかしながら、上記従来技術では、エアロゾルの位置を精度良く提示することができないという問題がある。
そこで、本開示は、エアロゾルの位置を精度良く提示することができる表示装置、画像処理装置及び制御方法を提供する。
本開示の一態様に係る表示装置は、表示画面と、カメラで空間を撮像することにより得られた第１画像、及び前記空間に存在する少なくとも１種類のエアロゾルを表す第２画像が合成された合成画像を前記表示画面に表示させる制御部と、を備え、前記第２画像には、前記少なくとも１種類のエアロゾルの、前記第１画像における奥行き方向の位置が反映されている。
また、本開示の一態様に係る画像処理装置は、空間に存在する少なくとも１種類のエアロゾルの前記空間内の位置を表す三次元座標データを取得する取得回路と、プロセッサと、を備え、前記プロセッサは、前記三次元座標データに基づいて、カメラで前記空間を撮像することにより得られた第１画像と、前記空間に存在する少なくとも１種類のエアロゾルを表す第２画像とが合成された合成画像を生成し、前記第２画像には、前記少なくとも１種類のエアロゾルの、前記第１画像における奥行き方向の位置が反映されている。
また、本開示の一態様に係る制御方法は、空間中の少なくとも１種類の対象物に向けて照射光を出射する光源、及び、前記少なくとも１種類の対象物からの戻り光を検出する光検出器を含み、前記光検出器が前記戻り光を検出した結果を表すデータを出力するセンサと、表示装置と、を備えるシステムの制御方法であって、前記センサから前記データを取得すること、前記データに基づいて、前記少なくとも１種類の対象物の前記空間内の位置を表す三次元座標データを生成すること、前記三次元座標データに基づいて、カメラで前記空間を撮像することにより得られた第１画像と、前記空間に存在する前記少なくとも１種類の対象物を表す第２画像であって、前記少なくとも１種類の対象物の、前記第１画像における奥行き方向の位置が反映された第２画像とが合成された合成画像を生成すること、及び前記表示装置に、前記合成画像を表示させること、を含む。
また、本開示の一態様は、上記制御方法をコンピュータに実行させるプログラムとして実現することができる。あるいは、当該プログラムを格納したコンピュータ読み取り可能な非一時的な記録媒体として実現することもできる。
本開示によれば、エアロゾルの位置を精度良く提示することができる。
図１は、実施の形態に係る非接触センシングシステムが適用される空間を示す上面図である。 図２は、実施の形態に係る非接触センシングシステムの構成を示すブロック図である。 図３は、実施の形態に係るセンサ装置の一例を示す図である。 図４は、実施の形態に係るセンサ装置から出力されるセンサデータの例を示す図である。 図５は、実施の形態に係る非接触センシングシステムにおいて、管理レベルを決定するための条件式を示すブロック図である。 図６は、物質毎の基準値を示す基準値データベースの一例を示す図である。 図７は、実施の形態に係る非接触センシングシステムによるエアロゾルの輪郭の決定方法を説明するための図である。 図８は、実施の形態に係る非接触センシングシステムによって得られた空間内の対象物毎の管理レベルの代表値を示す図である。 図９は、実施の形態に係る表示装置の表示画面への表示例を示す図である。 図１０は、実施の形態に係る非接触センシングシステムの動作を示すシーケンス図である。 図１１は、実施の形態に係る非接触センシングシステムの動作のうち、撮影画像データの３Ｄデータベース化の処理を示すフローチャートである。 図１２は、実施の形態に係る非接触センシングシステムの動作のうち、センサデータの３Ｄデータベース化の処理を示すフローチャートである。 図１３は、実施の形態に係る非接触センシングシステムで生成された３Ｄデータベースの一例を示す図である。 図１４は、実施の形態に係る非接触センシングシステムの動作のうち、レベル分布の生成処理を示すフローチャートである。 図１５は、実施の形態に係る非接触センシングシステムの動作のうち、補助情報の生成処理を示すフローチャートである。 図１６は、実施の形態に係る表示装置の表示画面への表示の別の一例を示す図である。 図１７は、実施の形態に係る表示装置の表示画面への表示の別の一例を示す図である。 図１８は、実施の形態に係る表示装置の表示画面への表示の別の一例を示す図である。 図１９は、実施の形態に係る表示装置の表示画面への表示の別の一例を示す図である。 図２０は、実施の形態に係る表示装置の表示画面への表示の別の一例を示す図である。 図２１は、実施の形態に係る表示装置の表示画面への表示の別の一例を示す図である。 図２２は、実施の形態に係る非接触センシングシステムを一体的に備える表示装置を示す図である。
（本開示の概要）
本開示の一態様に係る表示装置は、表示画面と、カメラで空間を撮像することにより得られた第１画像、及び前記空間に存在する少なくとも１種類のエアロゾルを表す第２画像が合成された合成画像を前記表示画面に表示させる制御部と、を備え、前記第２画像には、前記少なくとも１種類のエアロゾルの、前記第１画像における奥行き方向の位置が反映されている。
このように、エアロゾルを表す第２画像には、奥行き方向のエアロゾルの位置が反映されている。このため、表示画面には、第１画像によって表される上下左右方向のエアロゾルの位置だけでなく、第１画像に対する奥行き方向のエアロゾルの位置も表示される。これにより、エアロゾルの位置を精度良く提示することができる。
また、例えば、前記第１画像は二次元空間を表しており、前記制御部は、さらに、前記二次元空間に、前記少なくとも１種類のエアロゾルの前記空間内の位置を表す三次元座標データを投影することで前記第２画像を生成し、前記第１画像と前記第２画像とを合成することで前記合成画像を生成してもよい。
これにより、二次元空間内でのエアロゾルの位置を精度良く提示することができる。
また、例えば、前記制御部は、さらに、前記少なくとも１種類のエアロゾルの前記空間内の位置を取得するセンサから前記三次元座標データを取得し、前記第１画像を擬似的に三次元画像に拡張し、前記三次元画像と前記三次元座標データとを対応付けて、前記二次元空間に前記三次元座標データを投影することで前記第２画像を生成してもよい。
これにより、擬似的な三次元空間内でのエアロゾルの位置を精度良く提示することができる。
また、例えば、前記第２画像は、前記少なくとも１種類のエアロゾルが存在する範囲を表す輪郭と、基準位置から前記輪郭内の代表位置までの距離を表す距離情報とを含んでもよい。
これにより、エアロゾルが存在する範囲を表示画面に表示することができ、かつ、エアロゾルの奥行き方向の位置を代表位置で代表させて表示させることができる。このため、エアロゾルの位置を簡潔に、すなわち、表示画面を見るユーザにとって分かりやすい表示態様で表示することができる。
また、例えば、前記代表位置は、前記輪郭内における前記少なくとも１種類のエアロゾルの濃度分布の重心であってもよい。
これにより、濃度分布に基づく演算により、容易に代表位置を決定することができる。また、エアロゾルの中心程、濃度が高いことが多いので、濃度分布の重心を代表位置とすることで、エアロゾルの位置を精度良く提示することができる。
また、例えば、前記距離情報は、前記距離を示す数値であってもよい。
これにより、距離を数値で表示することができるので、エアロゾルの位置をユーザにとって分かりやすい表示態様で表示することができる。
また、例えば、前記距離情報は、前記距離に応じて予め定められた、前記輪郭内に付された色であってもよい。
これにより、距離を色によって区別することができるので、エアロゾルの位置をユーザにとって分かりやすい表示態様で表示することができる。
また、例えば、前記合成画像は、前記空間と、前記少なくとも１種類のエアロゾルが存在する範囲を表す輪郭と含む三次元モデルを示していてもよい。
これにより、合成画像が三次元モデル化されるので、例えば複数の視点からの画像を表示画面に表示することができる。このため、エアロゾルの位置をユーザにとってより分かりやすい表示態様で表示することができる。
また、例えば、前記第２画像は、複数の画像が時間的に切り替わる動画像であり、前記複数の画像の各々は、基準位置からの距離に対応し、前記対応する距離における前記少なくとも１種類のエアロゾルが存在する範囲を表す輪郭を含んでもよい。
これにより、距離毎のエアロゾルを表す画像が順次表示されるので、エアロゾルの位置を精度良く提示することができる。
また、例えば、前記第２画像には、さらに、前記少なくとも１種類のエアロゾルの濃度が反映されていてもよい。
これにより、エアロゾルの位置だけでなく、濃度も提示することができる。ユーザに提示される情報量及び種類が増えるので、例えば換気を行うなどのエアロゾルに対する対策をするか否かの判断を支援することができる。
また、例えば、前記第２画像は、前記少なくとも１種類のエアロゾルの濃度のレベルを表すレベル情報を含んでもよい。
これにより、エアロゾルの濃度をレベル別に分類することで、エアロゾルの濃度を簡潔に、すなわち、表示画面を見るユーザにとって分かりやすい表示態様で表示することができる。
また、例えば、前記少なくとも１種類のエアロゾルは、複数種類のエアロゾルを含み、前記第２画像は、前記複数種類のエアロゾルをそれぞれ異なる表示態様で表してもよい。
これにより、複数の種類のエアロゾルが存在する場合であっても、種類毎に異なる表示態様で表示することができる。
また、例えば、前記制御部は、さらに、前記少なくとも１種類のエアロゾルの濃度が閾値を上回った場合に、ユーザの注意を喚起するための画像を前記表示画面に表示してもよい。
これにより、エアロゾルに対する対策などをユーザに促すことができる。
また、例えば、本開示の一態様に係る画像処理装置は、空間に存在する少なくとも１種類のエアロゾルの前記空間内の位置を表す三次元座標データを取得する取得回路と、プロセッサと、を備え、前記プロセッサは、前記三次元座標データに基づいて、カメラで前記空間を撮像することにより得られた第１画像と、前記空間に存在する少なくとも１種類のエアロゾルを表す第２画像とが合成された合成画像を生成し、前記第２画像には、前記少なくとも１種類のエアロゾルの、前記第１画像における奥行き方向の位置が反映されている。
このように、エアロゾルを表す第２画像には、奥行き方向のエアロゾルの位置が反映されている。このため、表示画面に表示される合成画像には、第１画像によって表される上下左右方向のエアロゾルの位置だけでなく、第１画像に対する奥行き方向のエアロゾルの位置も表れる。これにより、本態様に係る画像処理装置が生成した合成画像を表示画面に表示させた場合に、エアロゾルの位置を精度良く提示することができる。
また、例えば、本開示の一態様に係る制御方法は、空間中の少なくとも１種類の対象物に向けて照射光を出射する光源、及び、前記少なくとも１種類の対象物からの戻り光を検出する光検出器を含み、前記光検出器が前記戻り光を検出した結果を表すデータを出力するセンサと、表示装置と、を備えるシステムの制御方法であって、前記センサから前記データを取得すること、前記データに基づいて、前記少なくとも１種類の対象物の前記空間内の位置を表す三次元座標データを生成すること、前記三次元座標データに基づいて、カメラで前記空間を撮像することにより得られた第１画像と、前記空間に存在する前記少なくとも１種類の対象物を表す第２画像であって、前記少なくとも１種類の対象物の、前記第１画像における奥行き方向の位置が反映された第２画像とが合成された合成画像を生成すること、及び前記表示装置に、前記合成画像を表示させること、を含む。
このように、対象物を表す第２画像には、奥行き方向の対象物の位置が反映されている。このため、表示装置には、第１画像によって表される上下左右方向の対象物の位置だけでなく、第１画像に対する奥行き方向の対象物の位置も表示される。これにより、対象物の位置を精度良く提示することができる。
また、例えば、前記戻り光は、前記照射光によって前記少なくとも１種類の対象物が励起されて発する蛍光であり、前記合成画像の生成では、さらに、前記蛍光を分析することで、前記少なくとも１種類の対象物の種類を判別し、前記種類を前記第２画像に反映させてもよい。
これにより、対象物の位置だけでなく、種類も提示することができる。ユーザに提示される情報量及び種類が増えるので、例えば換気を行うなどの対象物に対する対策をするか否かの判断を支援することができる。
また、例えば、前記照射光は、所定の偏光成分を含み、前記合成画像の生成では、さらに、前記戻り光に含まれる前記偏光成分の偏光解消度に基づいて前記少なくとも１種類の対象物の種類を判別し、前記種類を前記第２画像に反映させてもよい。
これにより、対象物の位置だけでなく、種類も提示することができる。ユーザに提示される情報量及び種類が増えるので、例えば換気又は除菌を行うなどの対象物に対する対策をするか否かの判断を支援することができる。
また、例えば、前記三次元座標データは、前記照射光が出射される時間と前記戻り光が検出される時間との差に基づいて算出された、前記センサと前記少なくとも１種類の対象物との相対位置関係と、前記センサの前記空間中での座標とを用いて生成されてもよい。
これにより、対象物の検知と検知した対象物までの距離とを、同じ光源及び光検出器によって実行することができる。これにより、センサ装置の構成を簡潔にすることができる。
また、例えば、前記少なくとも１種類の対象物は、前記空間中に存在する物体に付着した有機物であってもよい。
これにより、例えば、嘔吐物又は花粉などの有機物を含む物質を検出し、その位置を精度良く提示することができる。
また、例えば、前記少なくとも１種類の対象物は、前記空間中に存在するエアロゾルであってもよい。
これにより、例えば、花粉又は埃などの空気中を浮遊する物質を検出し、その位置を精度良く提示することができる。
また、例えば、前記戻り光は、前記照射光が前記少なくとも１種類の対象物によって散乱されて発生する後方散乱光であってもよい。
これにより、エアロゾルを精度良く検出することができる。
また、例えば、本開示の一態様に係るプログラムは、空間中の少なくとも１種類の対象物に向けて照射光を出射する光源、及び、前記少なくとも１種類の対象物からの戻り光を検出する光検出器を含み、前記光検出器が前記戻り光を検出した結果を表すデータを出力するセンサと、表示装置と、を備えるシステムを制御するためのコンピュータ実行可能なプログラムであって、前記センサから前記データを取得すること、前記データに基づいて、前記少なくとも１種類の対象物の前記空間内の位置を表す三次元座標データを生成すること、前記三次元座標データに基づいて、カメラで前記空間を撮像することにより得られた第１画像と、前記空間に存在する前記少なくとも１種類の対象物を表す第２画像であって、前記少なくとも１種類の対象物の、前記第１画像における奥行き方向の位置が反映された第２画像とが合成された合成画像を生成すること、及び前記表示装置に、前記合成画像を表示させること、をコンピュータに実行させる。
以下では、実施の形態について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
また、各図は、模式図であり、必ずしも厳密に図示されたものではない。したがって、例えば、各図において縮尺などは必ずしも一致しない。また、各図において、実質的に同一の構成については同一の符号を付しており、重複する説明は省略又は簡略化する。
（実施の形態）
［１．概要］
本実施の形態に係る非接触センシングシステムは、空間を撮像し、かつ、当該空間内に存在する対象物を非接触で検出する。非接触センシングシステムは、撮像された空間を示す第１画像と、検出した対象物を表す第２画像とが合成された合成画像を表示画面に表示する。このとき、第２画像には、検出された対象物の、第１画像における奥行き方向の位置が反映されている。
まず、本実施の形態に係る非接触センシングシステムが適用される空間について、図１を用いて説明する。図１は、本実施の形態に係る非接触センシングシステムが適用される空間９５を示す上面図である。
空間９５は、例えば、住居、オフィス、介護施設又は病院などの建物の一部屋である。空間９５は、例えば、壁、窓、ドア、床及び天井などで仕切られた空間であり、閉じられた空間であるが、これに限らない。空間９５は、屋外の開放された空間であってもよい。また、空間９５は、バス又は飛行機などの移動体の内部空間であってもよい。
図１に示されるように、非接触センシングシステムによる検出の対象となる第１対象物９０は、空間９５内に存在している。第１対象物９０は、具体的には、空間９５内を浮遊しているエアロゾルである。エアロゾルには、塵若しくは埃などの粉塵、ＰＭ２．５などの浮遊粒子状物質、花粉などの生物系粒子、又は、微小水滴が含まれる。生物系粒子には、空中に浮遊するカビ又はダニなども含まれる。また、エアロゾルには、咳又はくしゃみなどの人体から動的に発生する物質が含まれてもよい。また、エアロゾルには、二酸化炭素（ＣＯ２）などの空気質の対象となる物質が含まれてもよい。
なお、検出の対象物は、エアロゾルに限定されない。具体的には、対象物は、有機物汚れであってもよい。有機物汚れは、例えば空間９５を構成する壁、床又は家具などの物体に付着した食品又は嘔吐物であり、空気中に浮遊したものでなくてよい。
［２．構成］
図２は、本実施の形態に係る非接触センシングシステム１０の構成を示すブロック図である。図２に示されるように、非接触センシングシステム１０は、カメラ２０と、第１センサ３０と、第２センサ４０と、第３センサ５０と、コンピュータ６０と、サーバ装置７０と、タブレット端末８０とを備える。
なお、非接触センシングシステム１０の構成は、図２に示される例には限らない。例えば、非接触センシングシステム１０は、第１センサ３０、第２センサ４０及び第３センサ５０のいずれか１つのみを備えてもよい。つまり、非接触センシングシステム１０が備えるセンサ装置の個数は、１個のみでもよく、あるいは、複数でもよい。また、非接触センシングシステム１０は、コンピュータ６０及びサーバ装置７０を備えていなくてもよい。また、例えば、非接触センシングシステム１０は、タブレット端末８０の代わりにコンピュータ６０に接続されたディスプレイを備えてもよい。
なお、図２には示されていないが、カメラ２０、第１センサ３０、第２センサ４０、第３センサ、サーバ装置７０及びタブレット端末８０はそれぞれ、通信インタフェースを備える。通信インタフェースを介して各種データ及び情報の送受信を行う。
以下では、非接触センシングシステム１０の構成要素の詳細について、図２を適宜参照しながら説明する。
［２−１．カメラ］
カメラ２０は、空間９５を撮像することで、撮影画像を生成する。撮影画像は、カメラ２０が空間９５を撮像することで生成される第１画像の一例である。カメラ２０は、例えば空間９５を撮像可能な位置に固定された定点カメラであるが、これに限らない。例えば、カメラ２０は、撮影方向及び撮影位置の少なくとも一方が可変である可動式のカメラであってもよい。カメラ２０は、複数の視点から空間９５を撮像することで、複数の撮影画像を生成してもよい。カメラ２０は、撮像によって得られた撮影画像データをコンピュータ６０に送信する。カメラ２０は、特に人間が視認できる空間を撮影する可視光カメラが好ましい。
［２−２．センサ装置］
第１センサ３０、第２センサ４０及び第３センサ５０は、各々が検出対象とする対象物を非接触で検出するセンサ装置の一例である。つまり、本実施の形態に係る非接触センシングシステム１０は、検出対象となる対象物の種類に応じて、３つのセンサ装置を備えている。例えば、図２に示される第１対象物９０は、第１センサ３０によって検出される花粉である。第２対象物９２は、第２センサ４０によって検出される埃である。第３対象物９４は、第３センサ５０によって検出される有機物汚れである。第１センサ３０、第２センサ４０及び第３センサ５０はそれぞれ、例えば、ＬＩＤＡＲ（Laser Imaging Detection and Ranging）を利用した非接触のセンサ装置である。
図３は、本実施の形態に係るセンサ装置の一例である第１センサ３０を示す図である。本実施の形態では、第１センサ３０は、自律移動式のセンサ装置である。なお、第２センサ４０及び第３センサ５０は、第１センサ３０と同様の構成を備える。
図３に示されるように、第１センサ３０は、空間９５の床面９６上を走行することができる。第１センサ３０は、床面９６上の所定の位置で照射光Ｌ１を出射した後、第１対象物９０から戻ってくる戻り光Ｌ２を受光する。第１センサ３０は、照射光Ｌ１の出射と戻り光Ｌ２の受光との時間差に基づいて第１対象物９０までの距離を計測する。また、第１センサ３０は、戻り光Ｌ２の強度に基づいて第１対象物９０の濃度を計測する。
具体的には、第１センサ３０は、図２に示されるように、光源３２と、光検出器３４と、信号処理回路３６とを備える。
光源３２は、空間９５中の第１対象物９０に向けて照射光Ｌ１を出射する光源である。光源３２は、例えばＬＥＤ（Light Emitting Diode）又はレーザ素子である。光源３２が出射する照射光Ｌ１は、第１対象物９０を励起させるための波長成分を含んでいる。具体的には、照射光Ｌ１は、２２０ｎｍ以上５５０ｎｍ以下の範囲においてピーク波長を有する光である。照射光Ｌ１は、例えばパルス光である。
光検出器３４は、第１対象物９０からの戻り光Ｌ２を検出する光検出器である。光検出器３４が検出する戻り光Ｌ２は、光源３２が出射した照射光Ｌ１によって第１対象物９０が励起されて発する蛍光である。蛍光は、照射光Ｌ１よりも長波長成分を多く含む光である。光検出器３４は、例えば、蛍光の波長成分に受光感度を有するフォトダイオードである。光検出器３４は、受光した蛍光の強度に応じた出力信号を信号処理回路３６に出力する。出力信号は、例えば、受光した蛍光の強度が大きい程、信号強度が大きくなる電気信号である。
信号処理回路３６は、光検出器３４から出力された出力信号を処理することにより、第１対象物９０までの距離、及び、第１対象物９０の濃度を決定する。図２に示されるように、信号処理回路３６は、位置情報取得部３７と、濃度情報取得部３８とを備える。
位置情報取得部３７は、第１対象物９０の空間９５内の三次元位置を示す位置情報を取得する。位置情報には、第１対象物９０までの距離と方向とが含まれる。例えば、位置情報取得部３７は、ＴＯＦ（Time Of Flight）方式で距離を算出する。具体的には、位置情報取得部３７は、光源３２による照射光Ｌ１の出射と光検出器３４による蛍光の検出との時間差に基づいて距離情報を取得する。距離情報には、第１対象物９０までの距離ｒｉ、並びに、第１対象物９０を検出した方向を示す水平角φｉ及び鉛直角θｉが含まれる。なお、第１対象物９０を検出した方向は、光源３２が照射光Ｌ１を出射した方向である。
濃度情報取得部３８は、第１対象物９０の濃度を示す濃度情報を取得する。具体的には、濃度情報取得部３８は、出力信号の信号強度に応じて第１対象物９０の濃度を決定する。例えば、信号強度をＳｉとした場合に、濃度Ｄｉは、以下の式（１）に基づいて算出される。
（１） Ｄｉ＝α×Ｓｉ
ここで、αは、定数である。また、Ｄｉ及びＳｉ、並びに、上述したｒｉ、φｉ及びθｉの添字“ｉ”は、センサデータのデータ番号を示している。なお、濃度情報取得部３８が用いる濃度Ｄｉの算出方法は、これに限らない。例えば、濃度情報取得部３８は、出力信号そのものの代わりに、出力信号からノイズ成分を除去した後の信号を用いてもよい。
また、信号処理回路３６は、蛍光を分析することで、第１対象物９０の種類を判別してもよい。具体的には、信号処理回路３６は、照射光の波長と蛍光の波長との組み合わせに基づいて第１対象物９０の種類を判別する。例えば、第１センサ３０では、光源３２が、複数の励起波長に対応する複数の照射光を照射し、光検出器３４が、複数の受光波長に対応する複数の蛍光を受光してもよい。信号処理回路３６は、励起波長と受光波長と受光強度との三次元マトリクス、いわゆる蛍光指紋を生成することで、蛍光を発生させた第１対象物９０の種類を精度良く判別することができる。
信号処理回路３６は、決定した濃度Ｄｉを示す濃度情報、及び、位置情報をセンサデータとしてコンピュータ６０に出力する。
なお、第１センサ３０とコンピュータ６０とは、例えば、データの送受信が可能なように無線で接続されている。第１センサ３０は、例えば、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＺｉｇＢｅｅ（登録商標）などの無線通信規格に基づく無線通信を行う。なお、第１センサ３０とコンピュータ６０とは、有線で接続されていてもよい。
第２センサ４０は、第２対象物９２に向けて照射光を出射し、第２対象物９２からの戻り光を受光することで、第２対象物９２を検出する。本実施の形態では、第２対象物９２は、蛍光を発しない物質であり、例えば埃である。
第２センサ４０は、光源４２と、光検出器４４と、信号処理回路４６とを備える。光源４２、光検出器４４及び信号処理回路４６はそれぞれ、第１センサ３０の光源３２、光検出器３４及び信号処理回路３６に相当する。
光源４２は、第２対象物９２に向けて照射光を出射する光源である。光源４２は、例えばＬＥＤ又はレーザ素子である。光源４２が出射する照射光は、第２対象物９２を励起させる必要がない。このため、照射光の波長成分としては、広い波長帯域から選択された波長成分を利用することができる。具体的には、光源４２が出射する照射光は、３００ｎｍ以上１３００ｎｍ以下の範囲においてピーク波長を有する光である。つまり、照射光は、紫外光でもよく、可視光でもよく、近赤外光でもよい。照射光は、例えばパルス光である。
光検出器４４は、第２対象物９２からの戻り光を検出する光検出器である。光検出器４４が検出する戻り光は、光源４２が出射した照射光が第２対象物９２によって散乱されて発生する後方散乱光である。後方散乱光は、例えばミー散乱による散乱光である。後方散乱光は、照射光と同じ波長成分を有する。光検出器４４は、照射光の波長成分に受光感度を有するフォトダイオードである。光検出器４４は、受光した後方散乱光の強度に応じた出力信号を信号処理回路４６に出力する。出力信号は、例えば、受光した後方散乱光の強度が大きい程、信号強度が大きくなる電気信号である。
なお、本実施の形態では、光源４２が出射する照射光は、所定の偏光成分を含んでいてもよい。信号処理回路４６は、戻り光に含まれる偏光成分の偏光解消度に基づいて第２対象物９２の種類を判別してもよい。偏光成分は、例えば直線偏光であるが、円偏光又は楕円偏光であってもよい。偏光成分が含まれる照射光が第２対象物９２に照射された場合、第２対象物９２からの戻り光である後方散乱光は、第２対象物９２の形状に応じて、その偏光解消度が異なる。
具体的には、第２対象物９２が球形の粒子である場合、その後方散乱光の偏光状態は保持される。つまり、後方散乱光の偏光状態は、照射光の偏光状態と同じになる。第２対象物９２が非球形の粒子である場合、粒子の形状に応じて偏光面が変化する。このため、信号処理回路４６は、後方散乱光の偏光解消度に基づいて、第２対象物９２の種類を判別することができる。例えば、黄砂の偏光解消度は１０％程度であり、花粉の偏光解消度は約１以上約４％以下である。
信号処理回路４６は、光検出器４４から出力された出力信号を処理することにより、第２対象物９２までの距離、及び、第２対象物９２の濃度を決定する。信号処理回路４６は、図２に示されるように、位置情報取得部４７と、濃度情報取得部４８とを備える。距離及び濃度の具体的な決定の動作は、第１センサ３０の信号処理回路３６と同じである。
第３センサ５０は、第３対象物９４に向けて照射光を出射し、第３対象物９４からの戻り光を受光することで、第３対象物９４を検出する。本実施の形態では、第３対象物９４は、励起光が照射された場合に蛍光を発する有機物汚れである。
第３センサ５０は、光源５２と、光検出器５４と、信号処理回路５６とを備える。信号処理回路５６は、位置情報取得部５７と、濃度情報取得部５８とを備える。
光源５２、光検出器５４及び信号処理回路５６はそれぞれ、第１センサ３０の光源３２、光検出器３４及び信号処理回路３６に相当する。第１センサ３０と第３センサ５０とでは、各々の光源が照射光を出射する方向が異なっている。例えば、光源３２が空間９５の空中に向けて照射光を出射するのに対して、光源５２は、空間９５の床面又は壁面に向けて照射光を出射する。光源５２、光検出器５４及び信号処理回路５６の各々の動作は、光源３２、光検出器３４及び信号処理回路３６の各々と同じである。
第１センサ３０、第２センサ４０及び第３センサ５０はそれぞれ、照射光を出射した方向に位置する対象物を検出する。このとき、照射光の出射方向に複数の対象物が存在する場合、対象物の位置に応じて異なる時刻で戻り光が返ってくる。したがって、戻り光を受光した時刻に基づいて、照射光の出射方向に位置する複数の対象物を一度に検出することができる。なお、照射光の出射方向に対象物が存在しない場合、戻り光が返ってこない。このため、戻り光が返ってこない場合、照射光の経路上には対象物が存在しないことが検出される。第１センサ３０、第２センサ４０及び第３センサ５０はそれぞれ、検出結果をセンサデータとしてコンピュータ６０に送信する。
図４は、本実施の形態に係るセンサ装置から出力されるセンサデータを含むデータベースの一例を示す図である。図４に示されるデータベースは、コンピュータ６０のプロセッサ６４によって管理されてメモリ６６に記憶される。
図４に示されるように、データベースでは、データ番号Ｎｏ．ｉ毎に物質名Ｍｉと、センサデータと、センサ基準位置とが対応付けられている。センサデータには、濃度Ｄｉ、距離ｒｉ、水平角φｉ及び鉛直角θｉが含まれる。
データ番号Ｎｏ．ｉは、コンピュータ６０が受信したセンサデータ毎に付されている。プロセッサ６４は、例えば、通信インタフェース６２がセンサデータを受信した順に、昇順でデータ番号を割り当てる。
物質名Ｍｉは、検出対象物の種類を示す情報である。本実施の形態では、センサ装置毎に対象物の種類が対応している。このため、プロセッサ６４は、通信インタフェース６２が受信したセンサデータの送信先を判別することで、当該センサデータに対応する物質名Ｍｉを判定することができる。例えば、図４に示される例では、データ番号１のセンサデータは、花粉を検出する第１センサ３０から送信されたことを表している。
濃度Ｄｉは、上述した式（１）に基づいて算出された値である。各センサ装置の信号処理回路３６、４６及び５６がそれぞれ、信号強度Ｓｉに基づいて算出する。
距離ｒｉ、水平角φｉ及び鉛直角θｉは、ＬＩＤＡＲを利用して得られる対象物の三次元位置を示すデータである。ＬＩＤＡＲで得られた位置データは、極座標系で示されているので、本実施の形態では、コンピュータ６０は、当該位置データを三次元直交座標系に座標変換する。座標変換の詳細については、後で説明する。
センサ基準位置は、例えば、第１センサ３０、第２センサ４０及び第３センサ５０のうち、センサデータを送信したセンサ装置の設置位置である。センサ装置が固定されている場合、センサ基準位置は変化しない。センサ装置が可動式である場合、センサ基準位置は、検出処理を行った時点、具体的には、照射光を出力した時点又は戻り光を受光した時点でのセンサ装置の位置である。なお、各センサが送信する水平角φｉ及び鉛直角θｉの基準方向、すなわちφｉ＝０かつθｉ＝０となる方向は、予めセンサ間で統一された方向に定められている。
［２−３．コンピュータ］
コンピュータ６０は、画像処理装置の一例であり、図２に示されるように、通信インタフェース６２と、プロセッサ６４と、メモリ６６とを備える。
通信インタフェース６２は、非接触センシングシステム１０を構成する各機器と通信を行うことで、データの送受信を行う。各機器との通信は、例えば、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＺｉｇＢｅｅ（登録商標）などの無線通信規格に基づいた無線通信であるが、有線通信であってもよい。
通信インタフェース６２は、三次元座標データを取得する取得部の一例である。通信インタフェース６２は、第１センサ３０、第２センサ４０及び第３センサ５０の各々と通信することで、第１センサ３０、第２センサ４０及び第３センサ５０の各々からセンサデータを取得する。センサデータは、少なくとも１種類の対象物の空間９５内の位置を表す三次元座標データの一例である位置情報を含んでいる。さらに、センサデータは、濃度情報を含んでいる。
三次元座標データは、照射光の出射と戻り光の検出との時間差に基づいて算出された、センサ装置と対象物との相対位置関係と、センサ装置の空間９５中での座標とを用いて生成される。相対位置関係は、図４に示される距離ｒｉに相当する。センサ装置の空間９５中での座標は、図４に示される基準位置を示す座標（ｘ０，ｙ０，ｚ０）に相当する。
また、通信インタフェース６２は、例えば、カメラ２０と通信することで、カメラ２０から撮影画像データを取得する。通信インタフェース６２は、カメラ２０、第１センサ３０、第２センサ４０及び第３センサ５０の少なくとも１つに、撮影指示又はセンシングの指示を含む制御信号を送信してもよい。通信インタフェース６２は、さらに、サーバ装置７０と通信することで、対象物の濃度分布に相当するレベル分布情報をサーバ装置７０に送信する。通信インタフェース６２は、タブレット端末８０と通信することで、合成画像データをタブレット端末８０に送信する。
プロセッサ６４は、通信インタフェース６２が取得したセンサデータに基づいて合成画像を生成する。合成画像は、カメラ２０で撮像された空間９５を表す撮影画像と対象物画像とが合成された合成画像である。対象物画像は、空間９５に存在する少なくとも１種類の対象物を表す第２画像の一例である。
本実施の形態では、プロセッサ６４は、センサデータに基づいて空間９５内の対象物の濃度分布を生成する。具体的には、プロセッサ６４は、空間９５を三次元直交座標系の座標で表し、座標毎に濃度を対応付けることで、濃度の三次元分布を生成する。図１に示されるｘ軸、ｙ軸及びｚ軸は、三次元直交座標系の三軸を示している。ｘ軸及びｙ軸が空間９５の床面に平行な二軸であり、ｚ軸が当該床面に垂直な一軸である。なお、三軸の設定例は、これに限らない。
具体的には、プロセッサ６４は、対象物の濃度分布の一例であるレベル分布を生成する。レベル分布は、濃度情報に基づいて決定された管理レベルＣｉの分布である。本実施の形態では、濃度Ｄｉは、その大きさに応じて複数のレベル値に分類される。管理レベルＣｉは、濃度情報が示す濃度Ｄｉが分類されたレベル値である。例えば、プロセッサ６４は、図５で示される条件式に基づいて管理レベルＣｉを決定する。図５は、本実施の形態に係る非接触センシングシステム１０において、管理レベルＣｉを決定するための条件式を示す図である。条件式は、例えばメモリ６６に記憶されている。
図５に示されるように、管理レベルＣｉは、“１”から“５”の５段階で表される。濃度Ｄｉと基準値Ｌｍとの関係に基づいて、プロセッサ６４は、管理レベルＣｉを決定する。基準値Ｌｍは、図６に示されるように、対象物の種類毎に予め定められた値である。図６は、物質毎の基準値を示す基準値データベースの一例を示す図である。基準値データベースは、例えばメモリ６６に記憶されている。管理レベルＣｉの段階は、５段階に限らず、２段階、３段階又は４段階などでもよく、６段階以上であってもよい。図５に示される条件式において、基準値Ｌｍに乗ずる係数（例えば“０．４”など）の値も一例に過ぎない。
本実施の形態では、プロセッサ６４は、さらに、生成した三次元分布に基づいて対象物の輪郭を決定する。また、プロセッサ６４は、決定した輪郭内の所定の位置を代表位置として決定する。対象物画像は、決定された輪郭と代表位置とを含んでいる。
例えば、プロセッサ６４は、座標毎の濃度Ｄｉに基づいて対象物の輪郭を決定する。具体的には、プロセッサ６４は、座標毎の濃度Ｄｉに基づいて算出された管理レベルＣｉに基づいて、空間９５に存在するエアロゾルの輪郭を決定する。
図７は、本実施の形態に係る非接触センシングシステム１０によるエアロゾルの輪郭の決定方法を説明するための図である。図７では、簡単のため、ｘ軸とｙ軸とで定義される二次元のレベル分布内での輪郭の決定方法について説明するが、三次元の場合も同様に行うことができる。
図７に示されるように、ｘ座標とｙ座標とで表される座標毎に、管理レベルＣｉが算出されている。プロセッサ６４は、例えば、管理レベルＣｉが設定値以上である領域を決定し、当該領域の輪郭をエアロゾルの輪郭として決定する。例えば、設定値が“２”である場合、プロセッサ６４は、管理レベルＣｉが“２”以上の領域の輪郭９０ａを、エアロゾルの輪郭として決定する。なお、図７では、管理レベルＣｉが“２”以上の領域にドットの網掛けを付している。図７に示される例では、空間内の２ヶ所にエアロゾルが検出されたことを示している。
輪郭を決定するための設定値は、変更可能であってもよい。例えば、設定値を大きくした場合、エアロゾルの濃度が十分に高い部分のみをエアロゾルの存在範囲として決定することができる。あるいは、設定値を小さくした場合は、エアロゾルの濃度が低い部分も含めてエアロゾルの存在範囲として決定することができる。
また、プロセッサ６４は、複数の設定値を用いて、設定値毎に輪郭を決定してもよい。例えば、図７に示される例では、設定値“２”に対応する輪郭９０ａと、設定値“３”に対応する輪郭９０ｂとが決定される。輪郭９０ａは、決定された複数の輪郭のうちの最も外側の輪郭であり、エアロゾルの存在範囲を示す輪郭に相当する。輪郭９０ｂは、エアロゾルの存在範囲内において、エアロゾルの濃度がより濃い領域を示す輪郭に相当する。このように、エアロゾルの存在範囲内において、エアロゾルの濃度差を輪郭によって表すことができる。
輪郭内の代表位置は、輪郭内におけるエアロゾルの濃度分布の重心である。具体的には、プロセッサ６４は、輪郭内に存在する座標毎の管理レベルＣｉに基づいて重心を決定する。例えば、重心の座標を（Ｘｃ，Ｙｃ，Ｚｃ）とした場合、プロセッサ６４は、以下の式（２）に基づいて重心の座標を決定する。
（２） Ｘｃ＝Σ（Ｄｉ×Ｘｉ）／Σ（Ｄｉ）
Ｙｃ＝Σ（Ｄｉ×Ｙｉ）／Σ（Ｄｉ）
Ｚｃ＝Σ（Ｄｉ×Ｚｉ）／Σ（Ｄｉ）
式（２）において、Σ（）は、（）内の和を表す算術記号である。ｉは、決定された輪郭内に位置する座標に対応している。
なお、代表位置は、決定された輪郭を外周とする立体図形の重心であってもよい。
メモリ６６は、撮影画像データ及びセンサデータを格納するための記憶装置である。メモリ６６は、プロセッサ６４が実行するプログラム及び当該プログラムの実行に必要なパラメータなどを記憶している。また、メモリ６６は、プロセッサ６４によるプログラムの実行領域としても機能する。メモリ６６は、例えば、ＨＤＤ（Hard Disk Drive）又は半導体メモリなどの不揮発性メモリ、及び、ＲＡＭ（Random Access Memory）などの揮発性メモリを有する。
［２−４．サーバ装置］
サーバ装置７０は、コンピュータ６０から送信されたレベル分布情報を受信し、受信したレベル分布情報を用いて所定の処理を行う。具体的には、サーバ装置７０は、レベル分布情報に基づいて、空間９５を使用する人に対する注意喚起を行う。例えば、サーバ装置７０は、注意喚起用の画像である注意画像を生成し、生成した注意画像をタブレット端末８０に送信する。
例えば、サーバ装置７０は、検出された少なくとも１種類の対象物の濃度が閾値を上回るか否かを判定する。具体的には、サーバ装置７０は、空間９５内の代表管理レベルＣが閾値を上回るか否かを判定する。サーバ装置７０は、代表管理レベルＣが閾値を上回っていると判定した場合、注意画像を生成する。閾値は、予め定められた固定値であるが、これに限らない。例えば、閾値は、機械学習によって適宜更新されてもよい。
代表管理レベルＣは、例えば、対象物毎の管理レベルの代表値Ｃｍに基づいて算出される。代表値Ｃｍは、対応する対象物の管理レベルを代表する値であり、例えば、対応する対象物のレベル分布において、管理レベルの最大値である。サーバ装置７０は、レベル分布に基づいて、対象物毎に代表値Ｃｍを算出する。
図８は、本実施の形態に係る非接触センシングシステム１０によって得られた空間９５内の対象物毎の管理レベルの代表値Ｃｍを示す図である。サーバ装置７０は、対象物毎の代表値を平均することで、代表管理レベルＣを算出する。例えば、図８に示される例では、代表管理レベルＣは“３．８”になる。
なお、代表管理レベルＣは、複数の代表値Ｃｍの平均値でなくてもよい。例えば、代表管理レベルＣは、複数の代表値Ｃｍの重み付け加算値であってもよい。例えば、花粉及び埃の重みを１とした場合に、ＣＯ２、水分、表面有機物汚れの重みをそれぞれ、０．３、０．１、０．１としてもよい。重みの値はこれらに限らず、ユーザなどの指示に基づいて変更可能であってもよい。
また、サーバ装置７０は、空間９５に設置された空調機器を制御してもよい。あるいは、サーバ装置７０は、例えば花粉又は埃などの濃度の上昇を抑制するための予防アドバイスを行ってもよい。予防アドバイスは、例えば、ユーザに空間９５の換気を促す指示、又は、空間９５内に配置された空気清浄機などの機器の駆動を促す指示などである。サーバ装置７０は、予防アドバイスを含む画像データ又は音声データなどをタブレット端末８０に出力する。例えば、サーバ装置７０は、気象観測データなどを参照することにより、注意喚起又は予防アドバイスに関する情報を取得する。また、サーバ装置７０は、濃度又は管理レベルの経時変化などに基づいた機械学習を行うことで、注意喚起又は予防アドバイスに関する情報を生成してもよい。
［２−５．タブレット端末］
タブレット端末８０は、携帯可能な情報処理端末である。タブレット端末８０は、例えば、タブレットＰＣ又はスマートフォンなどの多機能の情報端末であってもよく、非接触センシングシステム１０に専用の情報端末であってもよい。図２に示されるように、タブレット端末８０は、表示画面８２及び制御部８４を備える表示装置の一例である。
表示画面８２は、合成画像を表示する。表示画面８２は、例えば液晶表示パネルであるが、これに限らない。例えば、表示画面８２は、有機ＥＬ（Electroluminescence）素子を用いた自発光型の表示パネルであってもよい。表示画面８２は、例えばタッチパネルディスプレイであり、ユーザからの入力を受け付けることができてもよい。
制御部８４は、合成画像を表示画面８２に表示させる。制御部８４は、例えば、プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である揮発性メモリ、入出力ポート、プログラムを実行するプロセッサなどを備える。
本実施の形態では、制御部８４は、コンピュータ６０から送信された合成画像データを取得し、取得した合成画像データに基づいて合成画像を表示画面８２に表示させる。例えば、制御部８４は、図９に示される合成画像１００を表示画面８２に表示させる。
図９は、本実施の形態に係る表示装置の一例であるタブレット端末８０の表示画面８２への表示例を示す図である。図９に示されるように、表示画面８２には、合成画像１００が表示されている。
合成画像１００は、撮影画像１０１と、エアロゾル画像１０２とが合成された画像である。合成画像１００は、例えば静止画である。
撮影画像１０１は、カメラ２０で撮像された空間９５を表している。撮影画像１０１は、空間９５を水平方向から撮像することで得られた画像であるが、これに限らない。撮影画像１０１は、例えば、空間９５を上方から撮像することで得られた画像であってもよい。この場合、撮影画像１０１は、図１に示される上面図に相当する。
エアロゾル画像１０２は、空間９５に存在する少なくとも１種類の対象物を表す対象物画像の一例である。例えば、エアロゾル画像１０２は、エアロゾルの一例である花粉を表している。エアロゾル画像１０２は、少なくとも１種類の対象物の、撮影画像１０１における奥行き方向の位置が反映されている。
図９に示されるように、エアロゾル画像１０２は、輪郭１０２ａと、距離情報１０２ｂとを含んでいる。輪郭１０２ａは、例えば、第１センサ３０によって検出された第１対象物９０が存在する範囲を表している。距離情報１０２ｂは、基準位置から輪郭１０２ａ内の代表位置までの距離を示す数値である。
基準位置は、空間９５内に存在する位置である。例えば、基準位置は、カメラ２０の設置位置である。あるいは、基準位置は、空間９５内に存在する人又は空気清浄機などの機器の位置であってもよい。
詳細については、図１６から図１９に示される別の表示例を用いて後述するが、エアロゾル画像１０２は、エアロゾルの濃度が反映されていてもよい。具体的には、エアロゾル画像１０２は、エアロゾルの濃度の管理レベルＣｉを表すレベル情報が含まれてもよい。また、２種類以上のエアロゾルが検出された場合には、エアロゾル画像は、２種類以上のエアロゾルを異なる表示態様で表してもよい。また、エアロゾルの濃度が閾値を上回った場合に、表示画面８２には注意画像が表示されてもよい。
［３．動作］
続いて、本実施の形態に係る非接触センシングシステム１０の動作について図１０から図１５を用いて説明する。
図１０は、本実施の形態に係る非接触センシングシステム１０の動作を示すシーケンス図である。
図１０に示されるように、まず、カメラ２０が空間９５を撮像する（Ｓ１０）。カメラ２０は、撮像によって得られた撮影画像データをコンピュータ６０に送信する（Ｓ１２）。
また、第１センサ３０は、第１対象物９０の検出処理を行う（Ｓ１４）。具体的には、第１センサ３０では、光源３２が第１対象物９０に向けて照射光を出射し、光検出器３４が第１対象物９０からの戻り光を受光する。信号処理回路３６は、戻り光の信号強度に基づいて第１対象物９０の距離及び濃度を含むセンサデータを生成する。第１センサ３０は、生成したセンサデータをコンピュータ６０に送信する（Ｓ１６）。
第２センサ４０は、第２対象物９２の検出処理を行う（Ｓ１８）。具体的には、第２センサ４０では、光源４２が第２対象物９２に向けて照射光を出射し、光検出器４４が第２対象物９２からの戻り光を受光する。信号処理回路４６は、戻り光の信号強度に基づいて第２対象物９２の距離及び濃度を含むセンサデータを生成する。第２センサ４０は、生成したセンサデータをコンピュータ６０に送信する（Ｓ２０）。
第３センサ５０は、第３対象物９４の検出処理を行う（Ｓ２２）。具体的には、第３センサ５０では、光源５２が第３対象物９４に向けて照射光を出射し、光検出器５４が第３対象物９４からの戻り光を受光する。信号処理回路５６は、戻り光の信号強度に基づいて第３対象物９４の距離及び濃度を含むセンサデータを生成する。第３センサ５０は、生成したセンサデータをコンピュータ６０に送信する（Ｓ２４）。
なお、カメラ２０による撮像（Ｓ１０）、第１センサ３０による検出処理（Ｓ１４）、第２センサ４０による検出処理（Ｓ１８）及び第３センサ５０による検出処理（Ｓ２２）のいずれが先に行われてもよく、これらが同時に行われてもよい。撮像（Ｓ１０）及び検出処理（Ｓ１４、Ｓ１８及びＳ２２）が行われるタイミングは、コンピュータ６０又はサーバ装置７０などからの指示に基づいて行われてもよい。各機器は、撮影画像データ又はセンサデータが得られた場合に、撮影画像データ又はセンサデータを送信する。あるいは、各機器は、コンピュータ６０からの要求を受け付けた場合に、撮影画像データ又はセンサデータを送信してもよい。
次に、コンピュータ６０は、撮影画像データ及び各センサデータを受信し、受信した撮影画像データ及び各センサデータに基づいて３Ｄデータベース化の処理を行う（Ｓ２６）。具体的には、コンピュータ６０のプロセッサ６４は、二次元の撮影画像を擬似的な三次元画像に変換する。また、プロセッサ６４は、極座標系で得られたセンサデータを三次元直交座標系に座標変換する。
図１１は、本実施の形態に係る非接触センシングシステム１０の動作のうち、センサデータの３Ｄデータベース化の処理を示すフローチャートである。図１１は、図１０のステップＳ２６の詳細な動作の一例である。
図１１に示されるように、プロセッサ６４は、通信インタフェース６２を介して撮影画像データを取得する（Ｓ１０２）。撮影画像データに含まれる撮影画像は、二次元画像である。プロセッサ６４は、二次元画像を擬似的に三次元画像に変換する一般的に知られた手法を用いて、二次元の撮影画像を擬似的な三次元画像に変換する（Ｓ１０４）。
なお、撮影画像データには、空間９５を構成する壁、床及び天井、並びに、空間９５内に位置する人及び家具などまでの距離を示す距離画像が含まれてもよい。あるいは、撮影画像データには、互いに異なる複数の視点から撮影された複数の撮影画像が含まれていてもよい。例えば、プロセッサ６４は、撮影画像と距離画像とを用いて、又は、複数の撮影画像を用いて三次元画像を生成してもよい。これにより、三次元画像の確からしさを高めることができる。
図１２は、本実施の形態に係る非接触センシングシステム１０の動作のうち、センサデータの３Ｄデータベース化の処理を示すフローチャートである。図１２は、図１０のステップＳ２６の詳細な動作の一例である。
図１２に示されるように、プロセッサ６４は、メモリ６６に記憶されたデータベースからセンサデータを取得する（Ｓ１１２）。具体的には、プロセッサ６４は、距離ｒｉと、水平角φｉと、鉛直角θｉと、物質名Ｍｉとを取得する。プロセッサ６４は、以下の式（３）に基づいて、取得したセンサデータを三次元直交座標系に変換する（Ｓ１１４）。
（３） Ｘｉ＝ｘ０＋ｒｉ×ｃｏｓθｉ・ｓｉｎφｉ
Ｙｉ＝ｙ０＋ｒｉ×ｃｏｓθｉ・ｃｏｓφｉ
Ｚｉ＝ｚ０＋ｒｉ×ｓｉｎθｉ
図１１に示される撮影画像の擬似三次元化と、図１２に示されるセンサデータの三次元化とは、いずれが先に行われてもよく、同時に行われてもよい。センサデータの三次元化が行われることで、図１３に示されるように、三次元直交座標系で表された空間座標（Ｘｉ，Ｙｉ，Ｚｉ）がデータ番号Ｎｏ．ｉに対応付けられる。
ここで、図１３は、本実施の形態に係る非接触センシングシステム１０で生成された３Ｄデータベースの一例を示す図である。図１３に示されるように、データ番号Ｎｏ．ｉ毎に物質名Ｍｉ、濃度Ｄｉ、管理レベルＣｉ及び空間座標（Ｘｉ，Ｙｉ，Ｚｉ）が対応付けられている。
３Ｄデータベースが生成された後、図１０に示されるように、コンピュータ６０は、生成された３Ｄデータベースに基づいて、レベル分布を生成する（Ｓ２８）。コンピュータ６０は、生成したレベル分布を示すレベル分布情報をサーバ装置７０に送信する（Ｓ３０）。
ここで、レベル分布の生成処理の詳細について、図１４を用いて説明する。図１４は、本実施の形態に係る非接触センシングシステム１０の動作のうち、レベル分布の生成処理を示すフローチャートである。図１４は、図１０のステップＳ２８の詳細な動作の一例を示している。
図１４に示されるように、まず、プロセッサ６４は、メモリ６６から読み出すことで、濃度情報Ｄｉと空間座標（Ｘｉ，Ｙｉ，Ｚｉ）とを取得する（Ｓ１２２）。次に、プロセッサ６４は、物質毎の基準値Ｌｍとの比較に基づいて管理レベルＣｉを決定し、レベル分布を生成する（Ｓ１２４）。次に、プロセッサ６４は、生成したレベル分布に基づいて、輪郭及び輪郭内の代表位置を決定する（Ｓ１２６）。輪郭及び代表位置の決定処理は、例えば、図７を用いて上述した通りである。
レベル分布が生成された後、図１０に示されるように、コンピュータ６０は、合成画像を生成する（Ｓ３２）。具体的には、コンピュータ６０は、撮影画像に対してレベル分布をマッピングすることで、輪郭及び距離情報と撮影画像とを合成する。コンピュータ６０は、合成画像データをタブレット端末８０に送信する（Ｓ３４）。
なお、輪郭及び距離情報を含む画像が、撮影画像が表す二次元空間に、少なくとも１種類のエアロゾルの空間内の位置を表す三次元座標データを投影することで生成される第２画像の一例である。輪郭及び距離情報を含む画像は、例えば、図９に示されるエアロゾル画像１０２である。
具体的には、コンピュータ６０は、撮影画像が表す二次元空間に、少なくとも１種類のエアロゾルの空間内の位置を表す三次元座標データを投影することで、輪郭及び距離情報を含む画像を生成する。例えば、コンピュータ６０は、撮影画像を擬似的に三次元画像に拡張し、拡張した三次元画像と三次元座標データとを対応付けて投影を行うことで、輪郭及び距離情報を含む画像を生成する。三次元画像と三次元座標データとを対応付けとは、三次元画像の三次元座標の原点及び三軸と、三次元座標データの三次元座標の原点及び三軸とを空間内の同一の位置に合わせることである。コンピュータ６０は、輪郭及び距離情報を含む画像と撮影画像とを合成することで合成画像を生成する。
また、サーバ装置７０は、コンピュータ６０から送信されたレベル分布情報に基づいて補助情報を取得する（Ｓ３６）。補助情報は、例えば注意喚起又は予防アドバイスを含む情報である。サーバ装置７０は、取得した補助情報をタブレット端末８０に送信する（Ｓ３８）。
ここで、補助情報の生成処理の詳細について、図１５を用いて説明する。図１５は、本実施の形態に係る非接触センシングシステム１０の動作のうち、補助情報の生成処理を示すフローチャートである。図１５は、図１０のステップＳ３６の詳細な動作の一例を示している。
図１５に示されるように、まず、サーバ装置７０は、空間９５内の対象物毎の管理レベルの代表値Ｃｍを決定する（Ｓ１３２）。次に、サーバ装置７０は、空間９５内の代表管理レベルＣを決定する（Ｓ１３４）。代表管理レベルＣの具体的な決定方法は、図８を用いて上述した通りである。
次に、サーバ装置７０は、代表管理レベルＣと閾値とを比較する（Ｓ１３６）。代表管理レベルＣが閾値より大きい場合（Ｓ１３６でＹｅｓ）、サーバ装置７０は、注意画像を生成する（Ｓ１３８）。注意画像の代わりに予防アドバイスを生成してもよい。代表管理レベルＣが閾値以下である場合（Ｓ１３６でＮｏ）、補助情報の生成処理は終了する。
なお、サーバ装置７０は、代表管理レベルＣと閾値とを比較したが、対象物毎の管理レベルの代表値Ｃｍと閾値とを比較してもよい。つまり、サーバ装置７０は、代表管理レベルＣを決定しなくてもよい。例えば、花粉及び埃などの複数の対象物の各々の管理レベルの代表値Ｃｍのうち少なくとも１つの代表値Ｃｍが閾値より大きい場合に、サーバ装置７０は、注意画像を生成してもよい。
最後に、図１０に示されるように、タブレット端末８０は、コンピュータ６０から送信された合成画像データと、サーバ装置７０から送信された補助情報とを取得し、合成画像を表示画面８２に表示する（Ｓ４０）。表示画面８２に表示される合成画像には、補助情報が含まれなくてもよい。これにより、例えば、図９に示されるような合成画像１００が表示画面８２に表示される。なお、図９は、補助情報が含まれていない表示例を示している。補助情報が含まれている表示例については、図１９を用いて後で説明する。
［４．別の表示例］
以下では、本実施の形態に係るタブレット端末８０の表示画面８２に表示される合成画像の具体例について、図１６から図２１を用いて説明する。なお、以下では、図９に示される合成画像１００との相違点を中心に説明し、共通点の説明を省略又は簡略化する。
［４−１．静止画（対象物が１種類の場合）］
図１６は、本実施の形態に係るタブレット端末８０の表示画面８２への表示の別の一例を示す図である。図１６に示されるように、表示画面８２には、合成画像１１０が表示されている。
合成画像１１０は、撮影画像１０１と、エアロゾル画像１１２及び１１４とが合成された画像である。エアロゾル画像１１２及び１１４はそれぞれ、空間９５に存在する少なくとも１種類のエアロゾルを表す第２画像の一例である。図１６に示される例では、エアロゾル画像１１２及び１１４はそれぞれ、花粉を表している。
図１６に示されるように、エアロゾル画像１１２は、輪郭１１２ａと、距離情報１１２ｂとを含んでいる。同様に、エアロゾル画像１１４は、輪郭１１４ａと、距離情報１１４ｂとを含んでいる。
図１６に示される例では、距離情報１１２ｂは、距離に応じて予め定められた、輪郭１１２ａ内に付された色である。距離情報１１４ｂも同様である。例えば、距離に応じて色の種類又は濃淡が予め定められている。なお、図１６では、輪郭１１２ａ内に付されたドットの網掛けの密度によって色を表している。例えば、距離情報１１４ｂとして輪郭１１４ａ内に付された色は、距離情報１１２ｂとして輪郭１１２ａ内に付された色よりも濃い色である。このため、合成画像１１０では、エアロゾル画像１１４が表す花粉は、エアロゾル画像１１２が表す花粉よりも距離が短いことが表れている。
なお、距離情報１１２ｂ及び１１４ｂは、色ではなく、網掛けの濃淡で表されてもよい。例えば、輪郭１１２ａ又は１１４ａ内に付されたドットの粗密によって距離の遠近が表されてもよい。
また、エアロゾル画像１１２は、さらにレベル情報１１２ｃを含んでいる。エアロゾル画像１１４は、さらにレベル情報１１４ｃを含んでいる。レベル情報１１２ｃは、エアロゾル画像１１２が表すエアロゾルの種類及び濃度を示している。レベル情報１１２ｃが表す濃度は、例えば、輪郭１１２ａ内の各座標の管理レベルＣｉを代表する値である。例えば、レベル情報１１２ｃは、輪郭１１２ａ内の各座標の管理レベルＣｉの最大値又は平均値を示している。例えば、図１６に示される例では、レベル情報１１２ｃは、エアロゾルの種類である花粉を表す文字と、管理レベルＣｉを示す数値とを含んでいる。レベル情報１１４ｃも同様である。
このように、合成画像１１０では、エアロゾルまでの距離が、数値以外の表示態様で表示されるので、画像内に数値を含む文字が多くなり、複雑化することを抑制することができる。また、距離が数値以外の表示態様で表示されることで、数値及び文字を利用してエアロゾルの濃度を表すことができる。これにより、画像内の複雑化を抑制しつつ、ユーザに提示できる情報量を増やすことができる。
［４−２．静止画（対象物が複数種類の場合）］
次に、空間９５内に複数種類のエアロゾルが存在する場合の表示例について説明する。
図１７は、本実施の形態に係るタブレット端末８０の表示画面８２への表示の別の一例を示す図である。図１７に示されるように、表示画面８２には、合成画像１２０が表示されている。
合成画像１２０は、撮影画像１０１と、エアロゾル画像１２２、１２４、１２６及び１２８とが合成された画像である。エアロゾル画像１２２、１２４、１２６及び１２８はそれぞれ、空間９５に存在する少なくとも１種類のエアロゾルを表している。図１７に示される例では、エアロゾル画像１２２及び１２８は、花粉を表している。エアロゾル画像１２４及び１２６は、埃を表している。
図１７に示されるように、エアロゾル画像１２２は、輪郭１２２ａと、距離情報１２２ｂとを含んでいる。エアロゾル画像１２４は、輪郭１２４ａと、距離情報１２４ｂとを含んでいる。エアロゾル画像１２６は、輪郭１２６ａと、距離情報１２６ｂとを含んでいる。エアロゾル画像１２８は、輪郭１２８ａと、距離情報１２８ｂとを含んでいる。距離情報１２２ｂ、１２４ｂ、１２６ｂ及び１２８ｂはそれぞれ、図９で示される合成画像１００と同様に、距離を表す数値である。
図１７に示される合成画像１２０では、エアロゾル画像１２２は、さらにレベル情報１２２ｃを含んでいる。エアロゾル画像１２４は、さらにレベル情報１２４ｃを含んでいる。エアロゾル画像１２６は、さらにレベル情報１２６ｃを含んでいる。エアロゾル画像１２８は、さらにレベル情報１２８ｃを含んでいる。
レベル情報１２２ｃは、輪郭１２２ａ内に付された色又は網掛けである。具体的には、レベル情報１２２ｃは、色の濃淡又は網掛けの粗密によって管理レベルＣｉの大小を表している。例えば、レベル情報１２２ｃは、色が濃い程、又は、網掛けが密である程、管理レベルＣｉが大きいことを表している。レベル情報１２２ｃは、色が薄い程、又は、網掛けが疎である程、管理レベルが小さいことを表している。レベル情報１２４ｃ、１２６ｃ及び１２８ｃも同様である。
さらに、レベル情報１２２ｃは、色又は網掛けの種類によって、エアロゾルの種類を表している。つまり、同一の種類の色又は網掛けは、同一のエアロゾルであることを意味する。例えば、図１７に示される例では、ドットの網掛けが花粉を表し、格子状の網掛けが埃を表している。レベル情報１２４ｃ、１２６ｃ及び１２８ｃも同様である。
以上のことから、エアロゾル画像１２２は、エアロゾル画像１２８が表すエアロゾルと同じ種類であり、かつ、エアロゾル画像１２８が表すエアロゾルと比較して、その濃度は低く、距離が離れていることを表している。同様に、エアロゾル画像１２４は、エアロゾル画像１２６が表すエアロゾルと同じ種類であり、かつ、エアロゾル画像１２６が表すエアロゾルと比較して、その濃度は高く、距離が近いことを表している。
図１８は、本実施の形態に係るタブレット端末８０の表示画面８２への表示の別の一例を示す図である。図１８に示されるように、表示画面８２には、合成画像１３０が表示されている。
合成画像１３０は、撮影画像１０１と、エアロゾル画像１３２、１３４、１３６及び１３８とが合成された画像である。エアロゾル画像１３２、１３４、１３６及び１３８はそれぞれ、空間９５に存在する少なくとも１種類のエアロゾルを表している。図１８に示される例では、エアロゾル画像１３２及び１３８は、花粉を表している。エアロゾル画像１３４及び１３６は、埃を表している。
図１８に示されるように、エアロゾル画像１３２は、輪郭１３２ａと、距離情報１３２ｂと、レベル情報１３２ｃとを含んでいる。エアロゾル画像１３４は、輪郭１３４ａと、距離情報１３４ｂと、レベル情報１３４ｃとを含んでいる。エアロゾル画像１３６は、輪郭１３６ａと、距離情報１３６ｂと、レベル情報１３６ｃとを含んでいる。エアロゾル画像１３８は、輪郭１３８ａと、距離情報１３８ｂと、レベル情報１３８ｃとを含んでいる。
距離情報１３２ｂ、１３４ｂ、１３６ｂ及び１３８ｂはそれぞれ、図１６で示される合成画像１１０と同様に、距離に応じて予め定められた、輪郭内に付された色である。また、図１８に示される例では、距離情報１３２ｂ、１３４ｂ、１３６ｂ及び１３８ｂは、色又は網掛けの種類によって、エアロゾルの種類を表している。つまり、同一の種類の色又は網掛けは、同一のエアロゾルであることを意味する。例えば、図１８に示される例では、ドットの網掛けが花粉を表し、格子状の網掛けが埃を表している。
レベル情報１３２ｃ、１３４ｃ、１３６ｃ及び１３８ｃはそれぞれ、図１６で示される合成画像１１０と同様に、エアロゾルの種類である花粉を表す文字と、管理レベルＣｉを示す数値とを含んでいる。
このように、複数種類のエアロゾルが異なる表示態様で表示されるので、ユーザにエアロゾルの位置だけでなく、種類を提示することができる。これにより、画像内の複雑化を抑制しつつ、ユーザに提示できる情報量を増やすことができる。
［４−３．静止画（注意画像を含む場合）］
次に、エアロゾルの濃度が閾値を超えた場合の表示例について説明する。
図１９は、本実施の形態に係るタブレット端末８０の表示画面８２への表示の別の一例を示す図である。図１９に示されるように、表示画面８２には、合成画像１４０が表示されている。
合成画像１４０は、図１８に示される合成画像１３０と比較して、エアロゾル画像１３８の代わりにエアロゾル画像１４８が合成されている。エアロゾル画像１４８は、輪郭１４８ａと、距離情報１４８ｂと、レベル情報１４８ｃとを含んでいる。輪郭１４８ａと、距離情報１４８ｂと、レベル情報１４８ｃとはそれぞれ、図１８に示される輪郭１３８ａと、距離情報１３８ｂと、レベル情報１３８ｃと同様である。
エアロゾル画像１４８のレベル情報１４８ｃは、管理レベルＣｉが“３”である。管理レベルＣｉが閾値を超えているので、表示画面８２には、注意喚起を促すための注意画像１４１が表示されている。
注意画像１４１は、例えば、注意を促す文字であるが、これに限らない。注意画像１４１は、例えば、所定の図形などであってもよい。あるいは、ユーザの注意を惹くことができれば、表示態様は特に限定されない。例えば、表示画面８２に表示される合成画像１４０の全体を点滅表示させてもよく、色調を変化させてもよい。
また、注意画像１４１に加えて、又は、注意画像１４１の代わりに、予防アドバイスが表示画面８２に表示されてもよい。予防アドバイスは、例えば、文字情報として表示される。あるいは、予防アドバイスを表す文字情報の代わりに、予防アドバイスの詳細を記載したウェブページなどに接続するためのＵＲＬ（Uniform Resource Locator）又はＱＲコード（登録商標）などが表示されてもよい。
［４−４．擬似三次元画像］
次に、合成画像が擬似三次元画像である場合について説明する。
図２０は、本実施の形態に係るタブレット端末８０の表示画面８２への表示の別の一例を示す図である。図２０に示されるように、表示画面８２には、合成画像２００が表示されている。
合成画像２００は、空間９５と、少なくとも１種類のエアロゾルが存在する範囲を表す輪郭とを三次元モデル化した画像である。具体的には、合成画像２００は、視点変更が可能な擬似的な三次元画像である。
図２０に示されるように、合成画像２００は、撮影画像２０１と、エアロゾル画像２０２とが合成された画像である。エアロゾル画像２０２は、輪郭２０２ａと、レベル情報２０２ｃとを含んでいる。
図２０の（ａ）では、図９と同様に、空間９５を水平方向に見たときの合成画像２００が表示画面８２に表示されている。ユーザの指示又は時間の経過によって、表示画面８２には、図２０の（ｂ）に示されるように、空間９５を斜め上方から見たときの合成画像２００が表示画面８２に表示される。例えば、ユーザが表示画面８２をスワイプすることで、視点が自由に変更可能である。また、合成画像２００は、拡大及び縮小が自在に表示されてもよい。
視点が変更されることにより、エアロゾル画像２０２の輪郭２０２ａの表示位置及び形状が変化する。これにより、エアロゾルの空間９５内の位置が精度良く提示される。
［４−３．動画像］
次に、エアロゾルを表す画像が動画像である場合について説明する。
図２１は、本実施の形態に係るタブレット端末８０の表示画面８２への表示の別の一例を示す図である。図２１の（ａ）から（ｅ）はそれぞれ、表示画面８２の表示の時間変化を示している。表示画面８２に表示される合成画像３００は、例えば１秒間隔から数秒間隔で順に切り替わる。
合成画像３００は、撮影画像３０１と、複数のエアロゾル画像３１２、３２２、３３２及び３３４とが合成された画像である。複数のエアロゾル画像３１２、３２２、３３２及び３３４はそれぞれ、基準位置からの距離に対応している。
図２１に示されるように、表示画面８２には、距離情報３０２が表示される。距離情報３０２は、奥行き方向における距離を数値で表している。複数のエアロゾル画像３１２、３２２、３３２及び３３４は、距離が０．８ｍ、１．１ｍ、１．４ｍ、１．７ｍの位置におけるエアロゾルを表している。
なお、図２１の（ａ）に示されるように、距離が０．５ｍの場合には、エアロゾル画像が含まれていない。つまり、距離が０．５ｍの位置には、エアロゾルが存在していないことを表している。
エアロゾル画像３１２は、輪郭３１２ａと、レベル情報３１２ｃとを含んでいる。エアロゾル画像３２２は、輪郭３２２ａと、レベル情報３２２ｃとを含んでいる。エアロゾル画像３３２は、輪郭３３２ａと、レベル情報３３２ｃとを含んでいる。エアロゾル画像３４２は、輪郭３４２ａと、レベル情報３４２ｃとを含んでいる。
輪郭３１２ａ、３２２ａ、３３２ａ及び３４２ａはそれぞれ、対応する距離におけるエアロゾルの存在範囲を表している。同様に、レベル情報３１２ｃ、３２２ｃ、３３２ｃ及び３４２ｃは、対応する距離におけるエアロゾルの濃度を表している。例えば、レベル情報３１２ｃ、３２２ｃ、３３２ｃ及び３４２ｃは、対応する距離におけるエアロゾルの輪郭内の各座標の濃度の最大値を表している。図２１の（ｄ）に示されるように、距離が１．４ｍの場合に、エアロゾルの管理レベルＣｉ、すなわち、濃度が最も高いことが表れている。
なお、合成画像３００において、撮影画像３０１は静止画であるが、時間とともに変化してもよい。つまり、撮影画像３０１は、動画像であってもよい。
（他の実施の形態）
以上、１つ又は複数の態様に係る表示装置、画像処理装置及び制御方法について、実施の形態に基づいて説明したが、本開示は、これらの実施の形態に限定されるものではない。本開示の主旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、及び、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれる。
例えば、上記の実施の形態では、第１センサ３０、第２センサ４０及び第３センサ５０がそれぞれ、自律移動式のセンサである例を示したが、これに限らない。第１センサ３０、第２センサ４０及び第３センサ５０の少なくとも１つは、空間９５内の所定の位置に固定された据え置き型のセンサ装置であってもよい。所定の位置は、例えば、空間９５を構成する天井、床又は壁などである。
また、例えば、エアロゾル又はその他の対象物を表す画像に濃度を反映させる場合に、管理レベルではなく、濃度そのものの値を数値で表示させてもよい。また、複数種類のエアロゾルを異なる表示態様で表す場合に、輪郭の線種を異ならせてもよい。例えば、花粉を実線の輪郭で表し、埃を破線の輪郭で表してもよい。
また、例えば、非接触センシングシステム１０は、カメラ２０を備えなくてもよい。予め空間９５を撮影した撮影画像が、コンピュータ６０のメモリ６６に記憶されていてもよい。
また、例えば、第１センサ３０、第２センサ４０及び第３センサ５０の少なくとも１つは、接触式のセンサであってもよい。
また、上記実施の形態で説明した装置間の通信方法については特に限定されるものではない。装置間で無線通信が行われる場合、無線通信の方式（通信規格）は、例えば、ＺｉｇＢｅｅ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又は、無線ＬＡＮ（Local Area Network）などの近距離無線通信である。あるいは、無線通信の方式（通信規格）は、インターネットなどの広域通信ネットワークを介した通信でもよい。また、装置間においては、無線通信に代えて、有線通信が行われてもよい。有線通信は、具体的には、電力線搬送通信（ＰＬＣ：Power Line Communication）又は有線ＬＡＮを用いた通信などである。
また、上記実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよく、あるいは、複数の処理が並行して実行されてもよい。また、非接触センシングシステム１０が備える構成要素の複数の装置への振り分けは、一例である。例えば、一の装置が備える構成要素を他の装置が備えてもよい。また、非接触センシングシステム１０は、単一の装置として実現されてもよい。
図２２は、実施の形態に係る非接触センシングシステム１０を一体的に備えるタブレット端末４８０を示す図である。タブレット端末４８０は、板状のデバイスである。図２２の（ａ）及び（ｂ）はそれぞれ、タブレット端末４８０の一方の面及び他方の面を示す平面図である。
図２２の（ａ）に示されるように、タブレット端末４８０の一方の面には、表示画面４８２が設けられている。図２２の（ｂ）に示されるように、タブレット端末４８０の他方の面には、カメラ２０、光源３２及び光検出器３４が設けられている。また、図２２には示されていないが、タブレット端末４８０は、実施の形態におけるコンピュータ６０のプロセッサ６４及びメモリ６６を備える。このように、タブレット端末４８０は、表示画面４８２と、カメラ２０、センサ装置及びコンピュータ６０とが一体化されていてもよい。
また、例えば、サーバ装置７０が行う処理は、コンピュータ６０又はタブレット端末８０によって行われてもよい。あるいは、コンピュータ６０が行う処理は、サーバ装置７０又はタブレット端末８０によって行われてもよい。
例えば、上記の実施の形態では、コンピュータ６０が合成画像を生成する例を示したが、タブレット端末８０の制御部８４が合成画像を生成してもよい。具体的には、制御部８４は、図１１に示される撮影画像データの３Ｄデータベース化の処理、及び、センサデータの３Ｄデータベース化の処理を行ってもよい。制御部８４は、図１０に示される３Ｄデータベース化（Ｓ２６）、レベル分布の生成（Ｓ２８）及び合成画像の生成（Ｓ３２）を行ってもよい。
例えば、上記実施の形態において説明した処理は、単一の装置又はシステムを用いて集中処理することによって実現してもよく、又は、複数の装置を用いて分散処理することによって実現してもよい。また、上記プログラムを実行するプロセッサは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、又は分散処理を行ってもよい。
また、上記実施の形態において、制御部などの構成要素の全部又は一部は、専用のハードウェアで構成されてもよく、あるいは、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ（Central Processing Unit）又はプロセッサなどのプログラム実行部が、ＨＤＤ（Hard Disk Drive）又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
また、制御部などの構成要素は、１つ又は複数の電子回路で構成されてもよい。１つ又は複数の電子回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
１つ又は複数の電子回路には、例えば、半導体装置、ＩＣ（Integrated Circuit）又はＬＳＩ（Large Scale Integration）などが含まれてもよい。ＩＣ又はＬＳＩは、１つのチップに集積されてもよく、複数のチップに集積されてもよい。ここでは、ＩＣ又はＬＳＩと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（Very Large Scale Integration）、又は、ＵＬＳＩ（Ultra Large Scale Integration）と呼ばれるかもしれない。また、ＬＳＩの製造後にプログラムされるＦＰＧＡ（Field Programmable Gate Array）も同じ目的で使うことができる。
また、本開示の全般的又は具体的な態様は、システム、装置、方法、集積回路又はコンピュータプログラムで実現されてもよい。あるいは、当該コンピュータプログラムが記憶された光学ディスク、ＨＤＤ若しくは半導体メモリなどのコンピュータ読み取り可能な非一時的記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
また、上記の各実施の形態は、特許請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本開示は、エアロゾルの正確な位置を精度良く提示することができる表示装置などとして利用でき、例えば、空調制御又は空間の浄化処理の制御などに利用することができる。
１０ 非接触センシングシステム
２０ カメラ
３０ 第１センサ
３２、４２、５２ 光源
３４、４４、５４ 光検出器
３６、４６、５６ 信号処理回路
３７、４７、５７ 位置情報取得部
３８、４８、５８ 濃度情報取得部
４０ 第２センサ
５０ 第３センサ
６０ コンピュータ
６２ 通信インタフェース
６４ プロセッサ
６６ メモリ
７０ サーバ装置
８０、４８０ タブレット端末
８２、４８２ 表示画面
８４ 制御部
９０ 第１対象物
９０ａ、９０ｂ 輪郭
９２ 第２対象物
９４ 第３対象物
９５ 空間
９６ 床面
１００、１１０、１２０、１３０、１４０、２００、３００ 合成画像
１０１、２０１、３０１ 撮影画像
１０２、１１２、１１４、１２２、１２４、１２６、１２８、１３２、１３４、１３６、１３８、１４８、２０２、３１２、３２２、３３２、３４２ エアロゾル画像
１０２ａ、１１２ａ、１１４ａ、１２２ａ、１２４ａ、１２６ａ、１２８ａ、１３２ａ、１３４ａ、１３６ａ、１３８ａ、１４８ａ、２０２ａ、３１２ａ、３２２ａ、３３２ａ、３４２ａ 輪郭
１０２ｂ、１１２ｂ、１１４ｂ、１２２ｂ、１２４ｂ、１２６ｂ、１２８ｂ、１３２ｂ、１３４ｂ、１３６ｂ、１３８ｂ、１４８ｂ、３０２ 距離情報
１１２ｃ、１１４ｃ、１２２ｃ、１２４ｃ、１２６ｃ、１２８ｃ、１３２ｃ、１３４ｃ、１３６ｃ、１３８ｃ、１４８ｃ、２０２ｃ、３１２ｃ、３２２ｃ、３３２ｃ、３４２ｃ レベル情報
１４１ 注意画像

Claims (22)

  1. 表示画面と、
    カメラで空間を撮像することにより得られた第１画像、及び前記空間に存在する少なくとも１種類のエアロゾルを表す第２画像が合成された合成画像を前記表示画面に表示させる制御部と、を備え、
    前記第２画像には、前記少なくとも１種類のエアロゾルの、前記第１画像における奥行き方向の位置が反映されている、
    表示装置。
  2. 前記第１画像は二次元空間を表しており、
    前記制御部は、さらに、
    前記二次元空間に、前記少なくとも１種類のエアロゾルの前記空間内の位置を表す三次元座標データを投影することで前記第２画像を生成し、
    前記第１画像と前記第２画像とを合成することで前記合成画像を生成する、
    請求項１に記載の表示装置。
  3. 前記制御部は、さらに、
    前記少なくとも１種類のエアロゾルの前記空間内の位置を取得するセンサから前記三次元座標データを取得し、
    前記第１画像を擬似的に三次元画像に拡張し、
    前記三次元画像と前記三次元座標データとを対応付けて、前記二次元空間に前記三次元座標データを投影することで前記第２画像を生成する、
    請求項２に記載の表示装置。
  4. 前記第２画像は、前記少なくとも１種類のエアロゾルが存在する範囲を表す輪郭と、基準位置から前記輪郭内の代表位置までの距離を表す距離情報とを含む、
    請求項１から３のいずれか１項に記載の表示装置。
  5. 前記代表位置は、前記輪郭内における前記少なくとも１種類のエアロゾルの濃度分布の重心である、
    請求項４に記載の表示装置。
  6. 前記距離情報は、前記距離を示す数値である、
    請求項４又は５に記載の表示装置。
  7. 前記距離情報は、前記距離に応じて予め定められた、前記輪郭内に付された色である、
    請求項４又は５に記載の表示装置。
  8. 前記合成画像は、前記空間と、前記少なくとも１種類のエアロゾルが存在する範囲を表す輪郭とを含む三次元モデルを示す、
    請求項１から３のいずれか１項に記載の表示装置。
  9. 前記第２画像は、複数の画像が時間的に切り替わる動画像であり、
    前記複数の画像の各々は、
    基準位置からの距離に対応し、
    前記対応する距離における前記少なくとも１種類のエアロゾルが存在する範囲を表す輪郭を含む、
    請求項１から３のいずれか１項に記載の表示装置。
  10. 前記第２画像に、さらに、前記少なくとも１種類のエアロゾルの濃度が反映されている、
    請求項１から９のいずれか１項に記載の表示装置。
  11. 前記第２画像は、前記少なくとも１種類のエアロゾルの濃度のレベルを表すレベル情報を含む、
    請求項１０に記載の表示装置。
  12. 前記少なくとも１種類のエアロゾルは、複数種類のエアロゾルを含み、
    前記第２画像は、前記複数種類のエアロゾルをそれぞれ異なる表示態様で表す、
    請求項１から１１のいずれか１項に記載の表示装置。
  13. 前記制御部は、さらに、前記少なくとも１種類のエアロゾルの濃度が閾値を上回った場合に、ユーザの注意を喚起するための画像を前記表示画面に表示する、
    請求項１から１２のいずれか１項に記載の表示装置。
  14. 空間に存在する少なくとも１種類のエアロゾルの前記空間内の位置を表す三次元座標データを取得する取得回路と、
    プロセッサと、を備え、
    前記プロセッサは、前記三次元座標データに基づいて、カメラで前記空間を撮像することにより得られた第１画像と、前記空間に存在する少なくとも１種類のエアロゾルを表す第２画像とが合成された合成画像を生成し、
    前記第２画像には、前記少なくとも１種類のエアロゾルの、前記第１画像における奥行き方向の位置が反映されている、
    画像処理装置。
  15. 空間中の少なくとも１種類の対象物に向けて照射光を出射する光源、及び、前記少なくとも１種類の対象物からの戻り光を検出する光検出器を含み、前記光検出器が前記戻り光を検出した結果を表すデータを出力するセンサと、
    表示装置と、
    を備えるシステムの制御方法であって、
    前記センサから前記データを取得すること、
    前記データに基づいて、前記少なくとも１種類の対象物の前記空間内の位置を表す三次元座標データを生成すること、
    前記三次元座標データに基づいて、カメラで前記空間を撮像することにより得られた第１画像と、前記空間に存在する前記少なくとも１種類の対象物を表す第２画像であって、前記少なくとも１種類の対象物の、前記第１画像における奥行き方向の位置が反映された第２画像とが合成された合成画像を生成すること、及び
    前記表示装置に、前記合成画像を表示させること、を含む、
    制御方法。
  16. 前記戻り光は、前記照射光によって前記少なくとも１種類の対象物が励起されて発する蛍光であり、
    前記合成画像の生成では、さらに、前記蛍光を分析することで、前記少なくとも１種類の対象物の種類を判別し、前記種類を前記第２画像に反映させる、
    請求項１５に記載の制御方法。
  17. 前記照射光は、所定の偏光成分を含み、
    前記合成画像の生成では、さらに、前記戻り光に含まれる前記偏光成分の偏光解消度に基づいて前記少なくとも１種類の対象物の種類を判別し、前記種類を前記第２画像に反映させる、
    請求項１６に記載の制御方法。
  18. 前記三次元座標データは、前記照射光が出射される時間と前記戻り光が検出される時間との差に基づいて算出された、前記センサと前記少なくとも１種類の対象物との相対位置関係と、前記センサの前記空間中での座標とを用いて生成される、
    請求項１５から１７のいずれか１項に記載の制御方法。
  19. 前記少なくとも１種類の対象物は、前記空間中に存在する物体に付着した有機物である、
    請求項１５から１８のいずれか１項に記載の制御方法。
  20. 前記少なくとも１種類の対象物は、前記空間中に存在するエアロゾルである、
    請求項１５から１８のいずれか１項に記載の制御方法。
  21. 前記戻り光は、前記照射光が前記少なくとも１種類の対象物によって散乱されて発生する後方散乱光である、
    請求項２０に記載の制御方法。
  22. 空間中の少なくとも１種類の対象物に向けて照射光を出射する光源、及び、前記少なくとも１種類の対象物からの戻り光を検出する光検出器を含み、前記光検出器が前記戻り光を検出した結果を表すデータを出力するセンサと、
    表示装置と、
    を備えるシステムを制御するためのコンピュータ実行可能なプログラムであって、
    前記センサから前記データを取得すること、
    前記データに基づいて、前記少なくとも１種類の対象物の前記空間内の位置を表す三次元座標データを生成すること、
    前記三次元座標データに基づいて、カメラで前記空間を撮像することにより得られた第１画像と、前記空間に存在する前記少なくとも１種類の対象物を表す第２画像であって、前記少なくとも１種類の対象物の、前記第１画像における奥行き方向の位置が反映された第２画像とが合成された合成画像を生成すること、及び
    前記表示装置に、前記合成画像を表示させること、をコンピュータに実行させる、
    プログラム。
JP2019108042A 2018-07-11 2019-06-10 表示装置、画像処理装置及び制御方法 Active JP7113375B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201980029258.5A CN112041665B (zh) 2018-07-11 2019-06-20 显示装置、图像处理装置及控制方法
PCT/JP2019/024410 WO2020012906A1 (ja) 2018-07-11 2019-06-20 表示装置、画像処理装置及び制御方法
US17/120,085 US11694659B2 (en) 2018-07-11 2020-12-11 Display apparatus, image processing apparatus, and control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018131681 2018-07-11
JP2018131681 2018-07-11

Publications (3)

Publication Number Publication Date
JP2020017265A true JP2020017265A (ja) 2020-01-30
JP2020017265A5 JP2020017265A5 (ja) 2020-10-22
JP7113375B2 JP7113375B2 (ja) 2022-08-05

Family

ID=69580584

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019108042A Active JP7113375B2 (ja) 2018-07-11 2019-06-10 表示装置、画像処理装置及び制御方法

Country Status (3)

Country Link
US (1) US11694659B2 (ja)
JP (1) JP7113375B2 (ja)
CN (1) CN112041665B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6991621B1 (ja) 2021-02-24 2022-01-12 歩 長川 飛沫感染予防教育システム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6746744B1 (ja) * 2019-03-28 2020-08-26 浜松ホトニクス株式会社 検査装置及び検査方法
CN111857111B (zh) * 2019-04-09 2024-07-19 商汤集团有限公司 对象三维检测及智能驾驶控制方法、装置、介质及设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003294567A (ja) * 2002-03-29 2003-10-15 Osaka Gas Co Ltd 気体漏洩可視化および測距装置
US20060203248A1 (en) * 2005-03-11 2006-09-14 Reichardt Thomas A Natural gas leak mapper
JP2007232374A (ja) * 2006-02-27 2007-09-13 Shikoku Res Inst Inc ラマン散乱光による水素ガス可視化方法及びシステム
JP2013210990A (ja) * 2012-02-29 2013-10-10 Jvc Kenwood Corp 画像処理装置、画像処理方法及び画像処理プログラム
WO2015156037A1 (ja) * 2014-04-08 2015-10-15 三菱電機株式会社 浮遊粒子検出装置
US20170089800A1 (en) * 2015-09-30 2017-03-30 General Monitors, Inc. Ultrasonic gas leak location system and method
WO2018061816A1 (ja) * 2016-09-28 2018-04-05 パナソニックＩｐマネジメント株式会社 撮像装置
WO2019138641A1 (ja) * 2018-01-15 2019-07-18 コニカミノルタ株式会社 ガス監視システム及びガス監視方法

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SU1635158A1 (ru) * 1988-04-18 1991-03-15 Омский политехнический институт Иллюстрационна фотоформа крупнозернистой нерегул рной структуры дл глубокой печати и способ ее изготовлени
JP2767088B2 (ja) 1993-12-27 1998-06-18 三井化学株式会社 気体状物質の漏洩地点推定方法
US6414746B1 (en) * 1999-11-24 2002-07-02 Advanced Scientific Concepts, Inc. 3-D imaging multiple target laser radar
JP5115912B2 (ja) 2001-02-23 2013-01-09 独立行政法人日本原子力研究開発機構 高速ゲート掃引型３次元レーザーレーダー装置
US6650407B2 (en) 2001-09-04 2003-11-18 Rosemount Aerospace Inc. Wide field scanning laser obstacle awareness system
US7505604B2 (en) * 2002-05-20 2009-03-17 Simmonds Precision Prodcuts, Inc. Method for detection and recognition of fog presence within an aircraft compartment using video images
AU2004274855B2 (en) 2003-04-29 2010-05-27 S3I, Llc A multi-spectral optical method and system for detecting and classifying biological and non-biological particles
US7483201B2 (en) * 2004-04-09 2009-01-27 Bridgestone Corporation Particles for display media, information display panel and information display device, utilizing the particles for display media
JP5046076B2 (ja) * 2005-12-22 2012-10-10 独立行政法人日本原子力研究開発機構 特定物質を含むエアロゾルの遠隔選別画像計測法
JP2007303855A (ja) 2006-05-09 2007-11-22 Ｓｙｓｔｅｍ Ｂｏｘ Ｊａｐａｎ株式会社 地球情報分析システム
US8392418B2 (en) * 2009-06-25 2013-03-05 University Of Tennessee Research Foundation Method and apparatus for predicting object properties and events using similarity-based information retrieval and model
US8270689B2 (en) * 2006-09-12 2012-09-18 Carestream Health, Inc. Apparatus for caries detection
DE102010002488A1 (de) 2010-03-02 2011-09-08 Robert Bosch Gmbh Verfahren und Vorrichtung zur Nebelerkennung mittels Spektroskopie
US20120326993A1 (en) * 2011-01-26 2012-12-27 Weisman Jordan K Method and apparatus for providing context sensitive interactive overlays for video
WO2012141235A1 (ja) * 2011-04-13 2012-10-18 株式会社トプコン 三次元点群位置データ処理装置、三次元点群位置データ処理システム、三次元点群位置データ処理方法およびプログラム
JP5886435B2 (ja) 2011-10-07 2016-03-16 エンパイア テクノロジー ディベロップメント エルエルシー テラヘルツ時間領域分光法を用いた水銀ガスの感知
US20130215132A1 (en) * 2012-02-22 2013-08-22 Ming Fong System for reproducing virtual objects
US8830476B2 (en) * 2012-03-19 2014-09-09 The United States Of America As Represented By The Secretary Of The Army Methods and apparatuses for contact-free holographic imaging of aerosol particles
CN104662493B (zh) * 2012-09-28 2018-01-05 京瓷株式会社 显示装置、控制方法和存储介质
JP6167626B2 (ja) 2013-04-10 2017-07-26 ダイキン工業株式会社 端末装置および空調ユニット
JP2015119277A (ja) * 2013-12-17 2015-06-25 オリンパスイメージング株式会社 表示機器、表示方法及び表示プログラム
JP6227425B2 (ja) 2014-01-17 2017-11-08 アズビル株式会社 複数種類の粒子の蛍光強度の比較方法及び蛍光検出装置の評価方法
WO2015141214A1 (ja) * 2014-03-17 2015-09-24 パナソニックＩｐマネジメント株式会社 多視点画像に対するラベル情報の処理装置及びそのラベル情報の処理方法
DE102014219838A1 (de) * 2014-09-30 2016-03-31 Robert Bosch Gmbh Rauchdetektionsvorrichtung sowie Verfahren zur Detektion von Rauch eines Brandes und Computerprogramm
EP3741303A3 (en) * 2015-03-06 2020-12-30 Micromass UK Limited Chemically guided ambient ionisation mass spectrometry
WO2016181854A1 (ja) 2015-05-08 2016-11-17 コニカミノルタ株式会社 ガス濃度測定装置
US10365197B2 (en) 2015-06-12 2019-07-30 Koninklijke Philips N.V. Optical particle sensor and sensing method
JP6460938B2 (ja) 2015-07-30 2019-01-30 株式会社キーエンス 測定対象物計測プログラム、測定対象物計測方法および拡大観察装置
US10795337B2 (en) * 2016-06-01 2020-10-06 Incucomm, Inc. Predictive and prescriptive analytics for systems under variable operations
EP3474236A4 (en) * 2016-06-16 2019-12-11 Sony Interactive Entertainment Inc. IMAGING DEVICE
WO2018017626A2 (en) * 2016-07-18 2018-01-25 Patrick Baudisch System and method for editing 3d models
WO2018098395A1 (en) * 2016-11-25 2018-05-31 Glowforge Inc. Improved engraving in a computer numerically controlled machine
JP2018110615A (ja) * 2017-01-06 2018-07-19 キヤノン株式会社 画像処理装置および画像処理方法
US10754889B2 (en) * 2018-05-24 2020-08-25 Quotient Technology Inc. Computer system and method for dynamically generating an image from digital content items

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003294567A (ja) * 2002-03-29 2003-10-15 Osaka Gas Co Ltd 気体漏洩可視化および測距装置
US20060203248A1 (en) * 2005-03-11 2006-09-14 Reichardt Thomas A Natural gas leak mapper
JP2007232374A (ja) * 2006-02-27 2007-09-13 Shikoku Res Inst Inc ラマン散乱光による水素ガス可視化方法及びシステム
JP2013210990A (ja) * 2012-02-29 2013-10-10 Jvc Kenwood Corp 画像処理装置、画像処理方法及び画像処理プログラム
WO2015156037A1 (ja) * 2014-04-08 2015-10-15 三菱電機株式会社 浮遊粒子検出装置
US20170089800A1 (en) * 2015-09-30 2017-03-30 General Monitors, Inc. Ultrasonic gas leak location system and method
WO2018061816A1 (ja) * 2016-09-28 2018-04-05 パナソニックＩｐマネジメント株式会社 撮像装置
WO2019138641A1 (ja) * 2018-01-15 2019-07-18 コニカミノルタ株式会社 ガス監視システム及びガス監視方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6991621B1 (ja) 2021-02-24 2022-01-12 歩 長川 飛沫感染予防教育システム
JP2022129330A (ja) * 2021-02-24 2022-09-05 歩 長川 飛沫感染予防教育システム

Also Published As

Publication number Publication date
US20210097961A1 (en) 2021-04-01
JP7113375B2 (ja) 2022-08-05
CN112041665A (zh) 2020-12-04
US11694659B2 (en) 2023-07-04
CN112041665B (zh) 2024-08-02

Similar Documents

Publication Publication Date Title
US11694659B2 (en) Display apparatus, image processing apparatus, and control method
JP7462231B2 (ja) 照明空間を特性評価するための検知照明システム及び方法
JP2023134626A (ja) 少なくとも一つの幾何学情報を決定するためのレンジファインダ
JP6579450B2 (ja) スマート照明システム、照明を制御するための方法及び照明制御システム
US20180137369A1 (en) Method and system for automatically managing space related resources
US9117281B2 (en) Surface segmentation from RGB and depth images
US10909650B2 (en) System and method for sensing and computing of perceptual data in industrial environments
CN107449459A (zh) 自动调试系统和方法
US20150042645A1 (en) Processing apparatus for three-dimensional data, processing method therefor, and processing program therefor
US20150309174A1 (en) Method and handheld distance measuring device for creating a spatial model
US9295141B2 (en) Identification device, method and computer program product
EP3069100B1 (en) 3d mapping device
US11055841B2 (en) System and method for determining the quality of concrete from construction site images
JP2019101000A (ja) 測距点群データ測定システム、および制御プログラム
TW201724022A (zh) 對象辨識系統，對象辨識方法及電腦記憶媒體
JP6331566B2 (ja) 人物頭部検知装置及び姿勢推定装置
EP4310549A1 (en) Sensing system
Burbano et al. 3D cameras benchmark for human tracking in hybrid distributed smart camera networks
JP2020017265A5 (ja)
JP7160257B2 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2020012906A1 (ja) 表示装置、画像処理装置及び制御方法
JP2020135765A (ja) データ生成支援システム、データ生成支援方法、及びプログラム
WO2021199225A1 (ja) 情報処理システム、センサシステム、情報処理方法、及びプログラム
KR102645539B1 (ko) 구조적 깊이 카메라 시스템에서 인코딩 장치 및 방법
US20230375709A1 (en) Detection device, determination method, and non-transitory computer-readable medium

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200910

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220530

R151 Written notification of patent or utility model registration

Ref document number: 7113375

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151