JP2021131272A - 物質識別装置 - Google Patents

Abstract

【課題】超音波を用いて対象物を構成する物質に関する情報を取得できる物質識別装置を提供すること。【解決手段】物質識別装置１００は、超音波の送信波ＳＷを発生する超音波発信器と、超音波発信器３１からの超音波に対する反射波ＲＷを検出する超音波受信器４１〜４４と、反射波ＲＷの波形を分析し処理する処理装置８０とを備え、超音波発信器３１は、周波数が所定の規則で変化する送信波ＳＷを発生し、処理装置８０は、反射波ＲＷの波形に基づいて対象の硬さの程度を反映した物質識別指標を決定する。【選択図】図１

Description

本発明は、対象物を構成する物質に関する情報を取得することができる物質識別装置に関し、特に対象の硬さの程度を特定する物質識別装置に関する。

超音波送信器から定位超音波パルスを発射し、障害物からの反射を２チャンネルの超音波受信器で受ける頭部装着型の装置であって、定位超音波パルスとして降下ＦＭ超音波等を用いるとともに、反射音を時間的に５０倍に引き延ばして可聴音として聞き取れるようにした装置を用い、コウモリに模してヒトの反響定位に関する認識特性を調べる研究がなされている（非特許文献１）。

指向性のある超音波送受信器を用いて、物体からの反射音から反射係数の周波数特性を求め、このような特性が合板や石膏ボード壁とで変わることを示した研究もある（非特許文献２）。しかしながら、物体によって反射音の反射係数が変わるとしても、反射音から対象の材質を判定する手法についてまでは記載がない。また、超音波の指向性を前提としていることから、指向性のない超音波送信器を用いた測定を含めた反射音の反射係数の特性や傾向については何ら開示されていない。

最近では、カメラやレーザレーダを使って物体認識を行い、前方の物体の距離や位置を検知する技術も多数存在する（例えば特許文献１）。しかしながら、カメラやレーザレーダのように可視光等を用いる物体識別装置では、物体の材質を識別することができず、識別した物体の実体や材質を把握することが容易でない場合が生じ得る。また、可視光等を用いる物体認識装置については、個人情報の漏洩に配慮する用途では、画像の取り扱いに注意を要し、使用が望ましくない場合も生じ得る。

佐々木忠之、伊福部達「コウモリの反響定位をモデルとする障害物認識方式」(1987年1月30日)、騒音研究会資料番号H87-01-7、聴覚研究会資料番号H-87-7 原囿正博、野郷孝介「実環境における平面パネルの超音波反射係数の測定」日本音響学会誌、72(9), 544550 (2016)

特開２００７−１８７６１８号公報

本発明は、上記背景技術に鑑みてなされたものであり、超音波を用いて対象物を構成する物質に関する情報を取得できる物質識別装置を提供することを目的とする。

上記目的を達成するため、本発明に係る物質識別装置は、超音波の送信波を発生する超音波発信器と、超音波発信器からの超音波に対する反射波を検出する超音波受信器と、反射波の波形を分析し処理する処理装置とを備え、超音波発信器は、周波数が所定の規則で変化する送信波を発生し、処理装置は、反射波の波形に基づいて対象の硬さの程度を反映した物質識別指標を決定する。

上記物質識別装置では、超音波発信器が周波数が所定の規則で変化する送信波を発生するので、超音波受信器によって検出される反射波は、反射波を形成した対象を構成する物質に関する情報（例えば対象の硬さに関する情報）を多様な周波数に対する応答として含むものとなっている。処理装置は、反射波の波形に基づいて対象の硬さの程度を反映した物質識別指標を決定するが、このような物質識別指標は、対象を構成する物質の硬さ等に関する情報であり、対象の物質を特定する参考となる。

本発明の具体的な側面によれば、上記物質識別装置において、物質識別指標は、対象の硬さ、緻密さ、及び厚みの少なくとも１つ以上を反映した情報である。この場合、物質識別指標は、対象の硬度のような硬さだけでなく、緻密さや厚みに関する情報を含んだものとなり、物質識別指標を利用した対象の状態特定が正確なものとなる。

本発明のさらに別の側面によれば、処理装置は、反射波の波形パターンに関して、対象に対して得た対象波形パターンを既知の複数種の物質に対して得た複数の基準波形パターンと比較し、近似性の高さから、対象の物質識別指標として物質種を特定する。この場合、反射波を形成した対象が既知の複数種の物質のいずれであるかの判定が可能になる。

本発明のさらに別の側面によれば、処理装置は、反射波の波形パターンとして反射波の周波数スペクトルを比較する。この場合、多様な周波数に対する応答としての反射波を周波数分布パターンの観点で分類することができ、物質識別指標の信頼性を物質を特定する観点で高めることができる。

本発明のさらに別の側面によれば、処理装置は、送信波の時間幅の２倍以下の時間幅の１つの短時間スペクトルを取得し、あるいは、送信波の時間幅よりも狭い時間幅の短時間スペクトルを所定の時間差で複数収集し、複数の短時間スペクトルに共通する特徴を抽出する。この場合、短時間スペクトルに着目することで特徴抽出や分類が容易になり、判定処理の簡便化を図ることができる。

本発明のさらに別の側面によれば、処理装置は、物質識別指標に対応する対象までの距離と方位とを検出する。この場合、反射波の方位を特定する何らかの手法を用いることが前提となっている。物質識別指標を決定した対象について距離と方位とを確認することで、硬さ等に関する情報を付帯させた物体の配置に関する情報が得られる。

本発明のさらに別の側面によれば、処理装置は、方位が重なりつつも距離が異なる複数の対象の少なくとも１つについて物質識別指標を検出する。例えば背後の物体を覆う対象について、その硬さの程度に関する情報が得られ、あるいは、前方の物体によって覆われた対象について、その硬さの程度に関する情報が得られる。

本発明のさらに別の側面によれば、処理装置は、超音波を透過する対象とその背後の対象とについて、物質識別指標をそれぞれ検出する。

本発明のさらに別の側面によれば、超音波受信器は、超音波発信器から離間して複数配置され、処理装置は、複数の超音波受信器によって検出した複数の反射波について送信波との相関性の高いものを抽出する。この場合、反射波からノイズを低減することができ、物質識別指標の決定に関する信頼性を高めることができる。

本発明のさらに別の側面によれば、処理装置は、物質識別指標に対応する対象のマッピングによって空間配置パターンを決定する。この場合、着目する空間内における物質の配置状態を空間配置パターンとして把握することができる。

本発明のさらに別の側面によれば、処理装置は、空間配置パターンの経時的変化を追跡する。この場合、着目する対象の移動や静止といった状態変化や動的現象を把握することができ、事故、要支援状況、犯罪発生といった各種特殊事象の監視に応用することができる。

本発明の物質識別装置の構成を説明するブロック図である。 物質識別装置の設置例を説明する概念図である。 音波発信器及び超音波受信器の配置例を説明する斜視図である。 （Ａ）及び（Ｂ）は、音波発信器から発射する送信波を例示する図である。 （Ａ）は、超音波受信器で受ける反射波を例示し、（Ｂ）は、反射波に対して送信波との相互相関をとった波形を示す。（Ｃ）は、（Ａ）等に示す反射波を得た際の対象の具体的配置を示している。 （Ａ）〜（Ｃ）は、相関関数値の計算方法を説明する概念図である。 時間スペクトルパターンの計算方法を説明する概念図である。 （Ａ）〜（Ｄ）は、様々なサンプルに対して送信波を当て反射波を検出する実験を行って得た時間スペクトルパターンを示す。 （Ａ）は、別の実験を行って得た時間スペクトルパターンを示し、（Ｂ）は、鉄の場合との差分をとったパターンである。 図９（Ａ）に示す実験における超音波送受信ユニットやサンプルの配置状態を説明する図である。 （Ａ）〜（Ｃ）は、緻密性の低いウレタンフォームで時間スペクトルパターンを測定した結果を示すチャートである。 （Ａ）及び（Ｂ）は、検超音波送受信装置の透視性について行った実験を説明する図である。 物質識別装置の動作の概要を説明するフローチャートである。 物質検出動作の詳細を説明するフローチャートである。

以下、図面を参照して、本発明の一実施形態である物質識別装置について説明する。

図１は、実施形態の物質識別装置を示すブロック図である。物質識別装置１００は、超音波の送信及び受信を行う検超音波送受信装置２０と、検超音波送受信装置２０を動作させ送信波ＳＷに対する応答である反射波ＲＷの波形を分析し処理する処理装置８０とを備える。

検超音波送受信装置２０は、超音波発信器３１と、第１、第２、第３、及び第４超音波受信器４１，４２，４３，４４と、アンプ装置５０と、マイコン６０とを有する。超音波受信器４１〜４４は、詳細は後述するが、超音波発信器３１から所定方向に離間して配置されている。超音波発信器３１と超音波受信器４１〜４４とは、支持体２７に一体的に固定されており、超音波送受信ユニット２８を構成している。

図２に示すように、検超音波送受信装置２０は、超音波送受信ユニット２８が露出するようにケース２０ａに収められ、マウント装置その他の固定具２０ｂを介して監視対象に向けて設置される。図示の場合、検超音波送受信装置２０は、室内ＩＤの天井側に固定され、室内ＩＤに存在するヒトＯＢ１、家具その他の非生物的な物体ＯＢ２等を超音波によって解析しつつ観察できるように配置される。図示の場合、室内ＩＤに単一の検超音波送受信装置２０が設置されているが、例えば動作タイミングや超音波特性が異なる複数の検超音波送受信装置２０を設置することもできる。また、固定具２０ｂによって検超音波送受信装置２０の向きや配置を変化させることもできる。検超音波送受信装置２０は、図示のような室内ＩＤに限らず、屋外に設置できることはいうまでもない。

図１に戻って、超音波発信器３１は、指向性の広い超音波スピーカである。超音波発信器３１は、ボイスコイルとピエゾ素子とを組み合わせたものであり、電気信号から超音波への変換を行う。超音波発信器３１は、例えば２０Ｈｚ〜１００ｋＨｚの音波を発生することができるが、本実施形態では２５ｋＨｚ〜１００ｋＨｚ程度の範囲を使用して超音発信を行う。

第１超音波受信器４１は、指向性の広い超音波マイクである。第１超音波受信器４１は、ＭＥＭＳ技術を用いたマイクロフォンであり、超音波から電気信号への変換を行う。第１超音波受信器４１は、旧来のコンデンサ型のマイクであってもよく、ピエゾ素子を用いたものであってもよい。第２〜４超音波受信器４２〜４４は、第１超音波受信器４１と同様の構造を有する。第１〜第４超音波受信器４１〜４４は、例えば２０Ｈｚ〜１００ｋＨｚの音波を検出することができるが、本実施形態では２５ｋＨｚ〜７０ｋＨｚ程度の範囲を使用して超音波検出を行う。

図３を参照して、超音波発信器３１と第１〜第４超音波受信器４１〜４４との配置関係について説明する。超音波発信器３１の前面の中央は、便宜上ＸＹＺ座標の原点Ｏにあるものとする。第１及び第２超音波受信器４１，４２は、超音波発信器３１に対してＸ方向に所定距離だけ離間して配置され、第３及び第４超音波受信器４３，４４は、超音波発信器３１に対してＹ方向に所定距離だけ離間して配置されている。Ｘ方向は、紙面上で横方向に対応するが、検超音波送受信装置２０が傾斜して設置される場合、水平方向に対応するものではない。Ｘ方向は、紙面上で縦方向に対応するが、検超音波送受信装置２０が傾斜して設置される場合、鉛直方向に対応するものではない。ＸＹ面上で考えた場合、超音波発信器３１からの送信波ＳＷの発信時刻Ｔ０を基準として第１及び第２超音波受信器４１，４２で受けた同一対象からの反射波ＲＷ１，ＲＷ２の受信時刻ΔＴ１，ΔＴ２の平均値から音速を考慮して対象ＯＢまでの距離が分かり、受信時刻ΔＴ１，ΔＴ２の差や第１及び第２超音波受信器４１，４２の間隔といった情報から音速を考慮して対象ＯＢの方位が分かる。ＹＺ面上で考えた場合、超音波発信器３１からの送信波ＳＷの発信時刻Ｔ０を基準として第３及び第４超音波受信器４３，４４で受けた同一対象からの反射波ＲＷ３，ＲＷ４の受信時刻ΔＴ３，ΔＴ４の平均値から音速を考慮して対象ＯＢまでの距離が分かり、受信時刻ΔＴ３，ΔＴ４の差や第３及び第４超音波受信器４３，４４の間隔といった情報から音速を考慮して対象ＯＢの方位が分かる。現実の３次元的な空間の場合、超音波発信器３１と第１超音波受信器４１とを２焦点として、これら２焦点からの距離の和が受信時刻ΔＴ１に対応する距離に相当する第１楕円面と、超音波発信器３１と第２超音波受信器４２とを２焦点として、これら２焦点からの距離の和が受信時刻ΔＴ２に対応する距離に相当する第２楕円面とを考えて、これらの楕円面の交線又は円周上又はその近傍に対象ＯＢが存在することになる。同様に、超音波発信器３１と第３超音波受信器４３とを２焦点として、これら２焦点からの距離の和が受信時刻ΔＴ３に対応する距離に相当する第３楕円面と、超音波発信器３１と第４超音波受信器４４とを２焦点として、これら２焦点からの距離の和が受信時刻ΔＴ４に対応する距離に相当する第４楕円面とを考えて、これらの楕円面の交線又は円周上又はその近傍に対象ＯＢが存在することになる。結果的に、以上のような第１〜第４楕円面の交点上又はその近傍に対象ＯＢが存在することになる。なお、対象ＯＢが空間的広がりを有する場合、元の送信波ＳＷの時間幅よりも反射波ＲＷ１〜ＲＷ４の時間幅が広くなり、受信時刻ΔＴ１〜ΔＴ４が一定の幅を有することになり、その幅が対象ＯＢのサイズ又は大きさに関する情報を与えていることにもなる。以下では、説明を簡単にするため、超音波発信器３１と第１及び第２超音波受信器４１，４２とに着目してＸＹ面内での配置検出等について説明することもある。

図１に示すアンプ装置５０は、超音波発信器３１に入力される電気信号を増幅して所期の強度とする送信アンプ５５と、第１〜４超音波受信器４１〜４４から出力される電気信号を増幅する受信アンプ５１〜５４とを有する。なお、送信アンプ５５は、高パワーで高速のアンプであり、受信アンプ５１〜５４は、高速のアンプである。

マイコン６０は、ＤＡコンバータ６５と、第１〜４ＡＤコンバータ６１〜６４と、マイクロプロセッサ６８と、メモリ６９とを備える。ＤＡコンバータ６５は、マイクロプロセッサ６８から指令を受けて、送信波ＳＷに対応する所定フォーマットの一連のデジタル信号を対応するタイミングでアナログ信号に順次変換する。第１〜第４ＡＤコンバータ６１〜６４は、第１〜４超音波受信器４１〜４４から受信アンプ５１〜５４を経て受けた反射波ＲＷに相当する一連のアナログ信号を所定フォーマットのデジタル信号に順次変換する。この際、マイクロプロセッサ６８は、第１〜第４ＡＤコンバータ６１〜６４の出力を時刻に関する情報を付して一時的にメモリ６９に振り分けて保管し、適宜のタイミングで処理装置８０に出力する。

検超音波送受信装置２０において、超音波発信器３１と送信アンプ５５とＤＡコンバータ６５とを組み合わせたものを超音波送信装置２５と呼ぶ。また、第１超音波受信器４１と受信アンプ５１と第１ＡＤコンバータ６１とを組み合わせたものを第１超音波受信装置２１と呼び、第２超音波受信器４２と受信アンプ５２と第２ＡＤコンバータ６２とを組み合わせたものを第２超音波受信装置２２と呼び、第３超音波受信器４３と受信アンプ５３と第３ＡＤコンバータ６３とを組み合わせたものを第３超音波受信装置２３と呼び、第４超音波受信器４４と受信アンプ５４と第４ＡＤコンバータ６４とを組み合わせたものを第４超音波受信装置２４と呼ぶ。

処理装置８０は、例えばパーソナルコンピュータであり、演算装置８１と、記憶装置８２と、入出力装置８３と、通信装置８４と、ディスプレイ８６とを備える。処理装置８０は、通信ケーブル９１を介して検超音波送受信装置２０との間でデジタル通信可能に接続されている。処理装置８０は、図２に示す室内ＩＤから離れた位置に設置される。つまり、処理装置８０は、検超音波送受信装置２０を遠隔的に管理している。

演算装置８１は、処理装置８０の動作を統括する部分であり、検超音波送受信装置２０の動作を制御し、超音波を用いて監視対象に対する情報を得る。記憶装置８２は、処理装置８０自体や検超音波送受信装置２０を動作させるプログラムを保管する部分であり、監視対象について得た情報を保管することもできる。入出力装置８３は、処理装置８０のオペレータが操作する部分であり、演算装置８１による処理結果に関連する情報を出力することもできる。通信装置８４は、インターネットのような公衆通信ネットワークや独自に構築した専用通信ネットワークを通じて、外部の管理サーバとの間で監視情報、管理情報、指令情報等を送受信する。ディスプレイ８６は、演算装置８１の制御下で動作し、監視対象に対して得た後述する材質的空間配置情報等を表示する部分となっている。

演算装置８１は、マイコン６０を介して検超音波送受信装置２０を動作させ、周波数が所定の規則で変化する送信波（以下、ＦＭ型の超音波とも呼ぶ）ＳＷを超音波発信器３１から周囲に発生させる。送信波ＳＷの波形は、例えば時間とともに周波数が線形的に増加するものとするが、これに限らず、周波数が線形的に減少するもの、周波数が非線形的に変化するもの等を用いることができる。送信波ＳＷのパターンは、超音波送信データＵＳ０として記憶装置８２のデータ領域８２ａに保管されている。超音波送信データＵＳ０は、単一の波形に対応するものに限らず、複数の波形を予め準備しその中から用途や状況に応じた波形データを選択することができる。演算装置８１は、マイコン６０を介して検超音波送受信装置２０を動作させ、送信波ＳＷに対する応答としての反射波ＲＷを第１〜４超音波受信器４１〜４４ごとの超音波反射データＵＳ１〜ＵＳ４として取り込んで記憶装置８２のデータ領域８２ｂに保管する。演算装置８１は、超音波反射データＵＳ１〜ＵＳ４から送信波ＳＷと相関性が高い波形データを抽出し、対象までの距離及び方位（つまり空間配置）を決定して記憶装置８２のデータ領域８２ｃにラベリングした物体として保管するとともに、その波形データの周波数分布について解析を行って、対象の硬さの程度を反映した物質識別指標を決定し、この物質識別指標をラベリングした物体に付随する情報としてデータ領域８２ｃに保管する。データ領域８２ｃに保管された情報は、反射波ＲＷを形成する複数のラベリングされた物体について空間的配置と物質識別指標とを組み合わせた材質的空間配置情報となっている。つまり、演算装置８１は、物質識別指標に対応する対象のマッピングによって空間配置パターンを決定する。この場合、着目する空間内における物質の配置状態（実際には硬さの程度を反映した物質識別指標の配置状態）を空間配置パターンとして把握することができる。この際、複数のラベリングされた物体についての空間的配置は、空間的なサイズを含むものとなる場合もある。演算装置８１は、検超音波送受信装置２０に対して所定のタイミングで周期的に送信波ＳＷを射出する動作を行わせており、材質的空間配置情報は、経時的な監視情報としてデータ領域８２ｃに順次保管されていく。経時的な監視情報は、動画と同様に連続したフレームデータの集合体である。演算装置８１は、経時的な監視情報のフレームデータ間において、ラベリングされた物体の同一性を判断することができ、材質やサイズが近い物体が変位する量が所定以下であれば、その物体を同一物体としてラベリングし、そのラベリングされた物体の移動をフレームデータの変遷に従ってトラッキング又はトレースすることができ、そのようなトラッキングデータを物体移動情報としてデータ領域８２ｄに保管する。この際、演算装置８１は、トラッキングする物体の重要性をその物質識別指標やサイズによって区分し、監視対象から外すことができる。以上において、演算装置８１は、データ領域８２ｃに保管された物質識別指標によって特徴づけられた物体の空間配置パターンの経時的変化を追跡することになる。この場合、着目する対象の移動や静止といった状態変化や動的現象を把握することができる。演算装置８１は、監視対象のトラッキングする物体の移動が異常な挙動を示す場合や、許容されない場所に移動するものである場合、これをディスプレイ８６に表示し、必要と判断した場合、通信装置８４を介して外部の管理サーバに報告することがきる。物質識別装置１００は、公共施設の管理者不在エリアやプライベート空間に設置された場合において、事故、要支援状況、犯罪発生といった各種特殊事象の監視に応用することができる。

以上の説明では、マイコン６０とは別に処理装置８０を設けて超音波反射データＵＳ１〜ＵＳ４の処理を行わせ、材質的空間配置情報を得たり、ラベリングされた対象のトラキングを行たりしているが、処理装置８０におけるこれらの機能の全部又は一部をマイコン６０に組み込むことができ、例えばマイコン６０のみで動作を完結することもできる。

図４（Ａ）は、送信波ＳＷの発生例を説明する図であり、横軸は時間を示し、縦軸は周波数を示す。図示の例では、単一の送信波ＳＷが１ｍｓ程度の幅を有し、このような送信波ＳＷが１００ｍｓ周期で繰り返されている。一発の送信波ＳＷは、周波数が低下するようなＦＭ型の超音波であり、図示の例では、８０ｋＨｚから２５ｋＨｚまで周波数が急激であるが連続的に下降している。図４（Ｂ）は、単一の送信波ＳＷの波形を示しており、時間の経過に伴って周波数が低下していることが分かる。なお、送信波ＳＷは、図４（Ａ）等に示すような周波数が漸次下降するような超音波に限らず、周波数が漸次上昇するような超音波であってもよく、最初の時間帯や中間の時間帯で周波数が一定に保たれるような領域があってもよい。また、図４（Ａ）では、送信波ＳＷが１００ｍｓ周期で繰り返されているが、送信波ＳＷの繰返し周期は、図２に示すような監視対象やその空間のサイズに応じてエコーを取得するまでの時間に応じて適宜設定することができる。

図５（Ａ）は、第１及び第２超音波受信器４１，４２で受ける反射波ＲＷ１，ＲＷ２又はこれから得た超音波反射データＵＳ１，ＵＳ２を例示し、図５（Ｂ）は、反射波ＲＷ１，ＲＷ２又はこれから得た超音波反射データＵＳ１，ＵＳ２に対して送信波ＳＷの送信データとの相互相関をとった波形を示す。図５（Ｃ）は、図５（Ａ）等に示す反射波ＲＷ１，ＲＷ２を得た際の対象の配置、すなわち図３に示す超音波送受信ユニット２８の前方に配置される物体の例を示している。この場合、（０，０．７５）の位置に配置された第１の物体ＰＯ１は、Ｚ方向に延びる直径５ｍｍの円柱状で、（−０．５，１）の位置に配置された第２の物体ＰＯ２は、Ｚ方向に延びる直径３０ｍｍの円柱状で、（０．４，１．２）の位置に配置された第３の物体ＰＯ３は、Ｚ方向に延びる直径３０ｍｍの円柱状で、（０，１．６）の位置に配置された第４の物体ＰＯ４は、Ｚ方向に延びる直径５０ｍｍの円柱状である。図５（Ｂ）に示す相互相関をとった波形には、第１〜第４の物体ＰＯ１〜ＰＯ４に対応するピークＲＰ１１〜ＲＰ４が表れている。つまり、ピークＲＰ１１〜ＲＰ４を利用することで、第１〜第４の物体ＰＯ１〜ＰＯ４までの距離や方向が分かる。

図５（Ｂ）に示すように、反射波ＲＷ１又は反射波ＲＷ２に対して送信波ＳＷとの相互相関をとることにより、反射波ＲＷ１，ＲＷ２から送信波ＳＷと同じような波形を持つものが強調され、送信波ＳＷとは異なる波形は小さくなるという効果が得られる。つまり、反射波ＲＷ１，ＲＷ２におけるノイズは、送信波ＳＷと異なるので相関関数で求めた図５（Ａ）に示す波形から減少し、物体ＰＯ１〜ＰＯ４等の物体からの反射波ＲＷ１，ＲＷ２は、送信波ＳＷが似ているので増強される。

図６（Ａ）は、反射波ＲＷ又はこれから得た超音波反射データを説明する概念図であり、図６（Ｂ）は、送信波ＳＷ又はこれに対応する超音波送信データを説明する概念図である。反射波ＲＷは、点線で示すように、一定期間ごとにサンプリングが行われてデジタルデータ化されている（具体的には超音波反射データＵＳ１〜ＵＳ４のいずれか）。サンプリング周期は、例えば１μｓとされるが、これに限るものではない。送信波ＳＷは、アナログ化される前のデジタルデータ（具体的には超音波送信データＵＳ０）の段階で、サンプリング周期は、反射波ＲＷと一致している。反射波ＲＷについて送信波ＳＷとの相互相関をとる際には、反射波ＲＷのうち対象となる最初の区間ＩＤ０（送信波ＳＷの時間幅ＩＳ０に相当）で、区間ＩＤ０中の各時点の反射波ＲＷのサンプル値と、送信波ＳＷの各時点のサンプル値とについてＮ個の掛け算をして、そのＮ個の掛け算値を全て加算したものを各波形の二乗和平方根で正規化したものをｔ０時点での相関関数値とする。次に、図６（Ｃ）に示すように、送信波ＳＷを一点ずらして、区間ＩＤ１中の各時点の反射波ＲＷのサンプル値と、送信波ＳＷの各時点のサンプル値とについてＮ個の掛け算をして、そのＮ個の掛け算値を全て加算したものを各波形の二乗和平方根で正規化したものをｔ１時点での相関関数値とする。これを繰り返して次々に相関関数値を求めていって、その値を時間軸上にプロットすると相関関数の波形になる。以上は、反射波ＲＷについて送信波ＳＷとの相互相関をとる計算の一例であり、他の様々な演算方法で相関を求めることができる。

以上では、図５（Ｂ）に示すように、物体ＰＯ１〜ＰＯ４が多くない場合や物体ＰＯ１〜ＰＯ４が比較的離れている場合について、第１〜第４の物体ＰＯ１〜ＰＯ４までの距離や方向が分かるとしたが、観測対象の複数の物体が近い場合や多い場合は、混信が生じる可能性がある。そのため、距離や方向の算出では相関波形を用いている。例えば、受信器が左右にある場合、物体である円柱について発信波ＳＷと右受信波（ＲＷ１Ｒとする）の相関波形（ＲＰ１Ｒとする）、及び、発信波ＳＷと左受信波（ＲＷ１Ｌとする）の相関波形（ＲＰ１Ｌとする）から、円柱までの距離と方向を算出している。具体的には、物体からの距離については発信波ＳＷから右の相関波形ＲＰ１Ｒまでの時間差（ＴＲ）と発信波ＳＷから左の相関波形ＲＰ１Ｌまでの時間差（ＴＬ）の平均値（（ＴＲ＋ＴＬ）／２）から算出し、方向については右の時間差（ＴＲ）と左の時間差（ＴＬ）の差（ΔＴとする）から算出した。すなわち、ＴＲとＴＬが大きければ発信器から円柱までの距離は遠くなり、ＴＲとＴＬの差ΔＴが同じであれば円柱は正面方向にあり、差ΔＴが大きいほど正面方向から外れることになる。

以下、反射波ＲＷの波形データの周波数分布について解析する手法について説明する。反射波ＲＷ１が送信波ＳＷに対して相関性を有するとして抽出されたデータ領域については、このデータ領域における着目波形データに対してＦＦＴ（高速フーリエ変換）を行って、フーリエ変換スペクトルすなわち周波数分布について解析を行う。なお、受信波である反射波ＲＷのデータの全領域に対してＦＦＴを行うこともできる。周波数分布の解析については、ＦＦＴに限らず、ウェーブレット変換等の様々な手法を用いることができる。

図７（Ａ）に示すような波形を仮に反射波ＲＷとする。例えば、送信波ＳＷを発射してから直ぐに１μｓ周期で１００ｍｓの期間に亘って反射波ＲＷをサンプリングすると、１００×１０００点つまり１０万点のサンプル値が得られる。このサンプル値の中から、例えば最初から１００個（図中でフレーム長と表示）までのサンプル値に対してＦＦＴによりスペクトルＳＰ１を求め（図７（Ｂ）の最も左側）、次にフレーム長より短時間に相当する５０点（図中でフレーム周期と表示）ずらして、そこから１００個までのサンプル値に対してＦＦＴによりスペクトルＳＰ１を求め（図７（Ｂ）の次に左側）、次にさらに５０点ずらして、そこから１００個までのサンプル値に対してＦＦＴによりスペクトルを求め、・・・ということを繰り返す。ここで、具体的なフレーム周期は、例えば５０μｓであり、具体的なフレーム長は、例えば１００μｓ＝０．１ｍｓである。以上の手法によって、スペクトルを求めた場合、１０００００個のサンプル値を５０点ずつずらしてはスペクトルをとるので、２０００個の短時間のスペクトルが得られる。このような短時間のスペクトルを以下では短時間スペクトルと呼ぶ。短時間スペクトルを集めたものは、時間軸を横軸、周波数を手前から奥行軸、パワー（強度）を縦軸として、３次元図として表すこともできるが、パワー（強度）を「濃度」で表現することで、丁度「声紋」のように、２次元的なパターンとして表示できるようにし、このような可視的濃度付きのパターンを濃度型時間スペクトルパターンと呼ぶものとする。このような時間スペクトルパターンは、濃度の濃い所が物体からの反射音であろうと予測され、予測した１ｍｓ程度以上の長さを有する反射波ＲＷには、０．１ｍｓ間で５０μｓ毎に求めた、合計２０個以上の短時間スペクトルがある。この中から濃度の濃い部分を反射波ＲＷとみなして、そこの短時間スペクトルパターンをパターンマッチングのデータとする。このような短時間スペクトル又はこれらを平均化したものを局所的な時間スペクトルパターン又は単にスペクトルパターンとも呼ぶ。受信波の時間スペクトルの全てを計算すると計算量が多くなるので、ここでは簡略化のために相関性の高い所の波形（着目波形）を反射波ＲＷとみなし、その時間スペクトルだけをパターンマッチングのデータとしている。短時間スペクトルに着目することで特徴抽出や分類が容易になり、判定処理の簡便化を図ることができる。

時間スペクトルパターンとしては、１つの短時間スペクトルを用いることもできる。例えば、相関関数が極大となる点を算出しその点を起点とする送信波ＳＷの長さ分の波形を着目波形とする。その着目波形を中心とした、送信波ＳＷの１〜２倍の長さの範囲において、周波数スペクトルを解析又は算出し、このような周波数スペクトルを１つの短時間スペクトルとして用いることもできる。

短時間スペクトルは、送信波ＳＷの時間幅よりも狭い時間幅を有するものとなっている。短時間スペクトルについては、フレーム長（サンプル幅）が短いとスペクトルの精度（正確には周波数分解能）が落ちてしまい材質特定がしづらくなる傾向が生じる。逆に、フレーム長（サンプル幅）が長いと時間分解能は落ちるが、周波数分解能が高くなる。実際には、反射波ＲＷも１ｍｓ位であり、それよりもサンプル幅を広くしすぎると反射波以外の信号も拾ってしまうという事情もあり、フレーム長（サンプル幅）を２ｍｓ以下に設定している。

図８（Ａ）〜８（Ｄ）は、様々なサンプルに対して送信波ＳＷを当て反射波ＲＷを検出する実験を行って得た反射波ＲＷの周波数スペクトルつまり時間スペクトルパターンを示す。図８（Ａ）〜８（Ｄ）に示す時間スペクトルパターンを得るため、図３に示す超音波送受信ユニット２８（第３及び第４超音波受信器４３，４４を省略したもの）を水平方向に向け正面の前方６０ｃｍの位置に、２５ｃｍ×３０ｃｍサイズの様々な材質の板を配置した。図８（Ａ）は、厚さ１ｍｍの鉄板の場合を示し、図８（Ｂ）は、厚さ２．３ｍｍのスチレン板の場合を示し、図８（Ｃ）は、厚さ５ｍｍのラワン合板の場合を示し、図８（Ｄ）は、厚さ５ｍｍのウレタンスポンジの場合を示す。なお、図８（Ａ）〜８（Ｄ）は硬い物質から柔らかい物質の順になっている。図８（Ａ）〜８（Ｄ）から明らかなように、５０ｋＨｚの周辺に形成される周波数のピークパターンが材質ごとに異なることが分かる。図８（Ａ）の鉄板では、周波数５０ｋＨｚに最大のピークがあり、その前後の周波数３０ｋＨｚや７０ｋＨｚの辺りに比較的大きなピークがある。図８（Ｂ）のスチレン板では、周波数５０ｋＨｚ辺りの大きなピークに加えて、周波数７０ｋＨｚ辺りに最大のピークがあり、その下側の周波数３０ｋＨｚの辺りに比較的大きなピークがある。図８（Ｃ）のラワン合板では、周波数５０ｋＨｚ辺りのピークは無くなり、周波数３０ｋＨｚ〜７０ｋＨｚが平坦なピークとなっている。図８（Ｄ）のウレタンスポンジでは、周波数５０ｋＨｚ辺りは減弱し、周波数３０ｋＨｚ〜７０ｋＨｚにおいて全体として目立ったピークがないが、振幅の大きな変動がみられる。

図９（Ａ）は、様々なサンプルに対し別の実験を行って得た時間スペクトルパターンを示す。また、図１０は、図９（Ａ）に示す実験における超音波送受信ユニットやサンプルの配置状態を説明する図である。波送受信ユニット２８から出力する送信波ＳＷは、図４（Ａ）に示すようなパターンで、周波数を８０ｋＨｚ〜２０ｋＨｚに下降させた。波送受信ユニット２８は、床面ＦＬ上に設置した円筒状の支持体ＳＭ上にサンプルＳＡをセットし、その上方に超音波送受信ユニット２８（第３及び第４超音波受信器４３，４４を省略したもの）を配置した。超音波送受信ユニット２８からサンプルＳＡまでの距離を１ｍとし、サンプルＳＡのサイズは２０ｃｍ×３０ｃｍとした。サンプルＳＡの厚みは、１〜３ｍｍとした。サンプルＳＡは、具体的には、鉄板、合板、ビニル、エラストマ、スチレンボード、及びプレーンゴムであり、硬さの値は、それぞれ１００、９６．８５、８５、７２、及び２５であった。図９（Ａ）において、変化１〜６として示した周波数領域において硬さの差を示すピーク波形が得られていることが分かる。例えば、２５〜３０ｋＨｚでは、スチレンボードやプレーンゴムなどの軟材料ほどレベルが減少しており（変化１）、３５ｋＨｚ以上ではビニールなどの軟材料のレベルが増加している（変化２から６）。合板など硬い材料では４０〜５０ｋＨｚの範囲でレベルが減少している（変化３と４の間）が、鉄板ではそのような減少はみられない。なお、エラストマは図の中では埋没して見づらいが、硬軟の中間に位置するレベルである。図９（Ｂ） は、鉄板のスペクトルとの差を示すスペクトルパターンであり、軟材と硬材とで周波数に依存してレベルが増減しているのが読み取れる。ただし、材質は特定の周波数領域におけるレベルの局所的な増減だけで判定されるのではなく、その増減のパターン（周波数特性）全体の違いで判定されるべきである。

以上 の説明は単なる例示であり、上記材料以外であって各種硬さを有し、様々なサイズを有するサンプルＳＡに送信波ＳＷを当て反射波ＲＷを検出する実験を行って得た反射波ＲＷの時間スペクトルパターンを蓄積し、予め解析し学習することで、処理装置８０により、様々な対象ＯＢについて硬さやサイズ等の各種情報を判定することができる。

図１１（Ａ）〜１１（Ｃ）は、超音波発信器３１の１ｍ前方に置いた厚さ２ｃｍ〜１０ｃｍのウレタンフォーム（５０ｃｍ×５０ｃｍ）からの反射音スペクトルを示している。図１１（Ａ）は、厚さ２ｃｍのウレタンフォームの時間スペクトルパターンを示し、図１１（Ｂ）は、厚さ５ｃｍのウレタンフォームの時間スペクトルパターンを示し、図１１（Ｃ）は、厚さ１０ｍのウレタンフォームの時間スペクトルパターンを示す。全般的に超音波がタンフォームを透過してしまい反射音は僅かであったが、その中でも４６〜４７ｋＨｚの成分は厚さが大きくなるにつれて減弱していった。このことから、本実験で使用したウレタンフォームでは緻密性が少ないことから発射音は全般的に透過するものの、４６−４７ｋＨｚ付近では吸収が起きていることが推察される。このように注目点は材料によって異なることが推測され、逆に、その注目点の変化から材質の違いが予測される。

以上から明らかなように、多数の予測される材質について、反射波ＲＷの時間スペクトルパターンを予め測定し記憶装置８２にテンプレートとして登録しておけば、反射波ＲＷの時間スペクトルパターンの登録された多数のテンプレートに対する類似性から、超音波送受信ユニット２８の前方に存在する対象物又は対象ＯＢの材質又は材料を推定することができる。このようにして決定した材質又は材料は、対象ＯＢの硬さの程度を反映した物質識別指標である。言い換えるならば、反射波ＲＷの波形パターンにおいて、対象物又は対象ＯＢに対して得た局所的な時間スペクトルパターン（対象波形パターン）を既知の複数種の物質に対して得た複数のテンプレート（基準波形パターン）と比較し、近似性の高さから、対象物又は対象ＯＢの物質識別指標として物質種を特定することになる。上記のような局所的な時間スペクトルパターンの近似性又は類似性は、相関その他の各種統計的な手法によって判定が可能である。さらに、多層化したニューラルネットワークを構築するディープラーニングのような各種機械学習の手法を利用して上記のような局所的な時間スペクトルパターンの類似性を判断することもでき、ＡＩを用いたパターン識別も可能である。

物質識別指標は、対象ＯＢの材質又は材料を特定するものには限らない。物質識別指標は、硬さの程度を示す硬度のようなものであってもよい。物質識別指標は、硬さを複数段階に区分した硬さ分類であってもよい。例えば（１）鉄板や合板のように硬い板状体、（２）透明ビニール板や透明ビニール板のように中間程度の板状体、（３）スチレンボードやゴムのように柔らかい板状体について区分が可能である。これらの区分（１）〜（３）は、時間スペクトルパターン全体の傾斜（周波数の低い所（３０ｋＨｚ辺り）の強度と周波数の高い所（５０〜６０ｋＨｚ）の強度の比）が明らかに違うことを実験的に確認している。物質識別指標は、物質のカテゴリーを区別するようなものであってもよい。例えば、金属固体、セラミックス固体、有機物固体等を区別することができる可能性もある。有機物固体は、肉のような生体的物質も含むという観点で、生体とそれよりも硬い物を区別することもできると考えられる。物質識別指標は、多孔質や繊維といった緻密度に関する情報を含むものとすることができる。スポンジ、繊維といった緻密度が低いものには明らかに透過成分が大きくなり、緻密度の高いゴム板などとは時間スペクトルパターンが大きく相違するものとなる。

詳細な説明を省略するが、対象物又は対象ＯＢの厚みが増加するほど反射波ＲＷの時間スペクトルパターンのパワーが全体的に低下する下方シフトが生じると考えられ、対象ＯＢまでの距離によってパワー値に対して校正を行えば、対象ＯＢの厚みを推定することも可能になる。

図１２（Ａ）及び１２（Ｂ）は、検超音波送受信装置２０の透視性について行った実験を説明する図である。図１２（Ａ）は、超音波送受信ユニット２８の前方１００ｃｍの位置ガラス板を配置した場合の濃度型時間スペクトルパターンを示し、図１２（Ｂ）は、超音波送受信ユニット２８の前方１００ｃｍの位置にガラス板を配置し、かつ、ガラス板を覆うように超音波送受信ユニット２８の前方７０ｃｍの位置に薄い風呂敷布を配置した場合の濃度型時間スペクトルパターンを示している。図１２（Ｂ）から明らかなように、風呂敷布の存在とガラス板の存在とを同時に検出できていることが分かる。以上のことから、実施形態の物質識別装置１００により、薄いカーテンのような仕切り又は幕で隠れて視覚的には見えない物やヒトであってもその検出が可能であるといえる。また、実施形態の物質識別装置１００により、視覚的には透明で見えにくいガラス、鏡等の材質も検出可能である。

以上の現象を利用すれば、処理装置８０により、方位が重なりつつも距離が異なる複数の対象の少なくとも１つについて物質識別指標を検出することができ、超音波を透過する対象とその背後の対象とについて、送信波ＳＷ及び反射波ＲＷの対比から、物質識別指標をそれぞれ検出することができる。具体的には、上記した風呂敷の後ろのガラス面の存在の検出に限らず、ウレタン材フォームの後ろの硬いものの存在の検出、ウレタンフォームの背後の硬いモノからの反射波によるウレタンフォームの厚さの違いの検出などが可能である。

詳細な説明は省略するが、霧、煙などといった微粒子は超音波を基本的に遮らないので、実施形態の物質識別装置１００により、霧、煙などで見えにくい場所にある物やヒトの検出が可能であるといえる。

以上のように、実施形態の物質識別装置１００は、物質の可視的外観を利用した物体検出を行うものではないので、同じ柄で材質が違う物体についても別物として識別可能である。つまり、実施形態の物質識別装置１００を例えば移動体上に搭載した場合、移動体が前方物体に向かう場合において、前方物体に対する衝突の衝撃を事前に簡易に予測することができる。

実施形態の物質識別装置１００は、超音波を用いた計測を行うので、個室、医療設備といったプライベート空間におけるヒトの動きを観察する観点で、個人情報等の漏洩に関する信頼性が高いといえる。

以下、図１３を参照して物質識別装置１００の動作について説明する。処理装置８０は、検超音波送受信装置２０を用いて得たデータから、超音波送受信ユニット２８の前方に配置された１以上の対象ＯＢについて配置や材質に関する情報を得る（ステップＳ１）。つまり、処理装置８０は、材質的空間配置情報を得る。

次に、処理装置８０は、記憶装置８２を参照して、材質的空間配置情報によって特定される対象ＯＢについて過去のデータと比較しつつ同一性を判断し、同一物体と判断したものについてはラベリングし、ラベリングされた物体又は対象ＯＢの移動をトラッキング又はトレースする（ステップＳ２）。

処理装置８０は、例えばラベリングされた物体又は対象ＯＢの移動や停止が異常な挙動であるか否か、ラベリングされた物体又は対象ＯＢが許容されない場所に移動しつつあるか否かといった、警報その他の通報を要するような通報事態の発生の有無を判断する（ステップＳ３）。異常な挙動とは、例えば病院や介護施設であれば、病人や被介護者の転倒等を意味し、許容されない場所に移動するとは、例えば他のセキュリティチェック機構をすり抜けた外部からの侵入者の動作がこれに該当する。

処理装置８０は、ラベリングされた物体又は対象ＯＢの移動が異常な挙動と判断した場合、あるいは、ラベリングされた物体又は対象ＯＢが許容されない場所に移動すると判断した場合、ディスプレイ８６等に警報を表示し、通信装置８４を介して外部の管理サーバに対して異常事態を報告する（ステップＳ４）。

以下、図１４を参照して、図１３のステップＳ１の動作について詳細に説明する。処理装置８０は、検超音波送受信装置２０を動作させ、ＦＭ型の超音波である送信波ＳＷを超音波発信器３１から周囲に発生させ、送信波ＳＷに対する応答としての反射波ＲＷを第１〜４超音波受信器４１〜４４ごとの超音波反射データとして取り込む（ステップＳ１１）。その後、処理装置８０は、超音波反射データから送信波ＳＷと相関性がある波形データを抽出するための相関処理を行う（ステップＳ１２）。次に、処理装置８０は、ステップＳ１２で相関性があるとした波形データから、対象までの距離及び方位（つまり空間配置）を決定し、記憶装置８２に保管する（ステップＳ１３）。一方処理装置８０は、ステップＳ１２で相関性があるとした波形データからＦＦＴ等の手法を用いて周波数分布について解析を行って、スペクトルパターンを得る（ステップＳ１４）。次に、処理装置８０は、ステップＳ１４でスペクトルパターンを得た対象について、記憶装置８２に保管されている登録されたテンプレートと比較するパターンの照合を行い（ステップＳ１５）、対象ＯＢの材質の推定、対象ＯＢの硬さレベルの推定といった、対象の硬さの程度を反映した物質識別指標を決定する（ステップＳ１６）。最後に、処理装置８０は、反射波ＲＷに対応する１つ以上の対象ＯＢについてラベリングしつつ空間的配置と物質識別指標とを組み合わせる統合を行って、材質的空間配置情報を構成する（ステップＳ１７）。

以上の説明から明らかなように、上記実施形態の物質識別装置１００では、超音波発信器３１が周波数が所定の規則で変化する送信波ＳＷを発生するので、超音波受信器４１〜４４によって検出される反射波ＲＷは、反射波ＲＷを形成した対象ＯＢを構成する物質に関する情報（例えば対象ＯＢの硬さに関する情報）を多様な周波数に対する応答として含むものとなっている。処理装置８０は、反射波ＲＷの波形に基づいて対象ＯＢの硬さの程度を反映した物質識別指標を決定するが、このような物質識別指標は、対象ＯＢを構成する物質の硬さ等に関する情報であり、対象ＯＢの物質を特定する参考となる。

この発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することが可能である。例えば、図３に示す４つの超音波受信器４１〜４４の配置は単なる例示であり、超音波発信器３１からの距離や方向は適宜変更することができる。また、４つの超音波受信器４１〜４４を設けないで３つの超音波受信器によって、対象ＯＢの空間的な配置を決定することができる。

超音波発信器３１は、指向性を持たせたものとすることができ、超音波受信器４１〜４４も、単独として指向性を持たせたものとすることができる。この場合、超音波発信器３１や超音波受信器４１を走査するように移動させて対象ＯＢの方向を決定することができる。

ＯＢ…対象、 ＯＢ１…ヒト、 ＯＢ２…物体、 ＰＯ１-ＰＯ４…物体、 ＲＷ…反射波、 ＲＷ１-ＲＷ４…反射波、 ＳＷ…送信波、 １-４ＡＤ…第、 ４１-４４…超音波受信器、 ５１-５４…受信アンプ、 ６１-６４…ＡＤコンバータ、 ２０…検超音波送受信装置、 ２１〜２４…超音波受信装置、 ２５…超音波送信装置、 ２７…支持体、 ２８…超音波送受信ユニット、 ３１…超音波発信器、 ４１〜４４…超音波受信器、 ５０…アンプ装置、 ６０…マイコン、 ６８…マイクロプロセッサ、 ６９…メモリ、 ８０…処理装置、 ８１…演算装置、 ８２…記憶装置、 ８３…入出力装置、 ８４…通信装置、 ８６…ディスプレイ、 ９１…通信ケーブル、 １００…物質識別装

Claims (11)

1. 超音波の送信波を発生する超音波発信器と、
   前記超音波発信器からの超音波に対する反射波を検出する超音波受信器と、
   前記反射波の波形を分析し処理する処理装置とを備え、
   前記超音波発信器は、周波数が所定の規則で変化する前記送信波を発生し、
   前記処理装置は、前記反射波の波形に基づいて対象の硬さの程度を反映した物質識別指標を決定する、物質識別装置。
2. 前記物質識別指標は、対象の硬さ、緻密さ、及び厚みの少なくとも１つ以上を反映した情報である、請求項１に記載の物質識別装置。
3. 前記処理装置は、前記反射波の波形パターンに関して、対象に対して得た対象波形パターンを既知の複数種の物質に対して得た複数の基準波形パターンと比較し、近似性の高さから、対象の前記物質識別指標として物質種を特定する、請求項１及び２のいずれか一項に記載の物質識別装置。
4. 前記処理装置は、前記反射波の波形パターンとして前記反射波の周波数スペクトルを比較する、請求項３に記載の物質識別装置。
5. 前記処理装置は、前記送信波の時間幅の２倍以下の時間幅の１つの短時間スペクトルを取得し、あるいは、前記送信波の時間幅よりも狭い時間幅の短時間スペクトルを所定の時間差で複数収集し、複数の前記短時間スペクトルに共通する特徴を抽出する、請求項４に記載の物質識別装置。
6. 前記処理装置は、物質識別指標に対応する対象までの距離と方位とを検出する、請求項１〜５のいずれか一項に記載の物質識別装置。
7. 前記処理装置は、方位が重なりつつも距離が異なる複数の対象の少なくとも１つについて物質識別指標を検出する、請求項６に記載の物質識別装置。
8. 前記処理装置は、超音波を透過する対象とその背後の対象とについて、物質識別指標をそれぞれ検出する、請求項７に記載の物質識別装置。
9. 前記超音波受信器は、前記超音波発信器から離間して複数配置され、
   前記処理装置は、複数の前記超音波受信器によって検出した複数の前記反射波について前記送信波との相関性の高いものを抽出する、請求項６〜８のいずれか一項に記載の物質識別装置。
10. 前記処理装置は、物質識別指標に対応する対象のマッピングによって空間配置パターンを決定する、請求項６〜９のいずれか一項に記載の物質識別装置。
11. 前記処理装置は、前記空間配置パターンの経時的変化を追跡する、請求項１０に記載の物質識別装置。

Images