JP2012154787A - 電子装置、硬さ算出方法、及びプログラム - Google Patents

Abstract

【課題】音波を用いることにより、物体の硬さを検出する。
【解決手段】発振部１１０は、センサ用音波を発振する。検出部１２０は、物体で反射したセンサ用音波を検出する。距離算出部１３０は、発振部１１０がセンサ用音波を発振してから検出部１２０がセンサ用音波を検出するまでの時間に基づいて、物体までの距離を算出する。硬さ算出部１４０は、検出部１２０が検出したセンサ用音波の強度、及び距離算出部１３０が算出した距離に基づいて、物体の硬さを算出する。
【選択図】図１

Description

本発明は、音波を用いて物体を検出する電子装置、硬さ算出方法、及びプログラムに関する。

障害物などの物体を検出する技術としては、例えば特許文献１に記載の技術、及び特許文献２に記載の技術がある。

特許文献１に記載の技術は、ロボットが障害物を検出し、その障害物を避けるようにルートを再構築するものである。ここで特許文献１に記載の技術では、赤外線センサ及び触覚センサを用いて障害物を検出している。特に赤外線センサは、前方、側面、後方の障害物を検出できるように、複数設けられている。

特許文献２に記載の技術は、圧電素子が発振した超音波を用いて障害物を検出するものである。

特開２００４−３３３４０号公報 特開２００９−１７５００７号公報

上記したように、音波を用いることにより障害物を検出することができる。しかし、その障害物の硬さについて検出する技術はなかった。

本発明の目的は、音波を用いることにより、物体の硬さを検出することができる電子装置、硬さ算出方法、及びプログラムを提供することにある。

本発明によれば、周囲にセンサ用音波を発振する発振手段と、
物体で反射した前記センサ用音波を検出する検出手段と、
前記発振手段が前記センサ用音波を発振してから前記検出手段が前記センサ用音波を検出するまでの時間に基づいて、前記物体までの距離を算出する距離算出手段と、
前記検出した前記センサ用音波の強度、及び前記距離算出手段が算出した前記距離に基づいて、前記物体の硬さを算出する硬さ算出手段と
を備える電子装置が提供される。

本発明によれば、発振手段を用いて、周囲にセンサ用音波を発振し、
物体で反射した前記センサ用音波を検出し、
前記発振手段が前記センサ用音波を発振してから前記センサ用音波を検出するまでの時間に基づいて、前記物体までの距離を算出し、
前記検出した前記センサ用音波の強度、及び前記算出した前記距離に基づいて、前記物体の硬さを算出する硬さ算出方法が提供される。

本発明によれば、コンピュータに硬さ算出機能を持たせるためのプログラムであって、
前記コンピュータに、
発振手段がセンサ用音波を発振したタイミングと、物体で反射した前記センサ用音波が検出されたタイミングとを取得する機能と、
前記発振手段が前記センサ用音波を発振してから前記センサ用音波を検出するまでの時間に基づいて、前記物体までの距離を算出する機能と、
前記検出した前記センサ用音波の強度、及び前記算出した前記距離に基づいて、前記物体の硬さを算出する機能と、
を実現させるプログラムが提供される。

本発明によれば、音波を用いることにより、物体の硬さを検出することができる。

第１の実施形態に係る電子装置の機能構成を示すブロック図である。 硬さ算出部の動作の詳細を示すフローチャートである。 電子装置の斜視概略図である。 第２の実施形態に係る電子装置の機能構成を示すブロック図である。 図４に示した電子装置の第１の動作例を示すフローチャートである。 図４に示した電子装置の第２の動作例を示すフローチャートである。 図４に示した電子装置の第３の動作例を示すフローチャートである。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

（第１の実施形態）
図１は、第１の実施形態に係る電子装置の機能構成を示すブロック図である。この電子装置は、発振部１１０、検出部１２０、距離算出部１３０、及び硬さ算出部１４０を備えている。発振部１１０は、センサ用音波を発振する。検出部１２０は、物体で反射したセンサ用音波を検出する。距離算出部１３０は、発振部１１０がセンサ用音波を発振してから検出部１２０がセンサ用音波を検出するまでの時間に基づいて、物体までの距離を算出する。硬さ算出部１４０は、検出部１２０が検出したセンサ用音波の強度、及び距離算出部１３０が算出した距離に基づいて、物体の硬さを算出する。以下、詳細に説明する。

発振部１１０が発振するセンサ用音波は、例えば超音波である。発振部１１０は、例えば音波をパルス発振する。発振部１１０がセンサ用音波を発振したタイミングは、距離算出部１３０に出力される。発振部１１０は、例えば圧電素子を有しており、この圧電素子に音波発信用の信号が入力されることにより、センサ用音波を発振する。

検出部１２０は、センサ用音波と同じ周波数の音波及びその強度を検出する。検出部１２０がセンサ用音波を検出したタイミングは、距離算出部１３０に出力される。また検出部１２０が検出したセンサ用音波の強度は、硬さ算出部１４０に出力される。

距離算出部１３０は、発振部１１０からセンサ用音波を発振したタイミングを受信するとともに、検出部１２０からセンサ用音波を取得したタイミングを受信する。距離算出部１３０は、これら２つのタイミングの差を算出し、算出した差に音速を乗じて２で割ることにより、電子装置から物体までの距離を算出する。距離算出部１３０が算出した距離は、硬さ算出部１４０に出力される。

硬さ算出部１４０は、検出部１２０が検出したセンサ用音波の強度を検出部１２０から受信する。また硬さ算出部１４０は、電子装置から物体までの距離を距離算出部１３０から受信する。そして硬さ算出部１４０は、これらを用いて物体の硬さを算出する。硬さ算出部１４０が行う処理の詳細は、フローチャートを用いて後述する。

なお、図１に示した電子装置の各構成要素は、ハードウエア単位の構成ではなく、機能単位のブロックを示している。この電子装置のうち距離算出部１３０及び硬さ算出部１４０は、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされた本図の構成要素を実現するプログラム、そのプログラムを格納するハードディスクなどの記憶ユニット、ネットワーク接続用インタフェースを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置には様々な変形例がある。

図２は、硬さ算出部１４０の動作の詳細を示すフローチャートである。上記したように、硬さ算出部１４０は検出部１２０からセンサ用音波の検出強度を受信する（ステップＳ１）とともに、電子装置から物体までの距離を距離算出部１３０から受信する（ステップＳ２）。
ステップＳ１で受信した強度は、電子装置から物体までの距離が長くなるにつれて減衰し、また、物体の硬さによっても減衰量が変化する。

これを踏まえ、硬さ算出部１４０は、検出部１２０から受信したセンサ用音波の強度から、センサ用音波の減衰量を算出する（ステップＳ３）。次いで硬さ算出部１４０は、センサ用音波の減衰量のうち物体までの距離に起因した成分を、距離算出部１３０から受信した距離を用いて算出する（ステップＳ４）。

次いで硬さ算出部１４０は、ステップＳ３で算出した減衰量からステップＳ４で算出した減衰量を引くことにより、センサ用音波の減衰量のうち物体での反射に起因した成分を算出する（ステップＳ５）。次いで硬さ算出部１４０は、ステップＳ５で算出した値に基づいて、物体の硬さを算出する（ステップＳ６）。例えば硬さ算出部１４０は、予めステップＳ５で算出される値と物体の硬さとの関係を示す関係式又はテーブルを記憶しておき、この関係式又はテーブルを用いて物体の硬さを算出する。

図３は、電子装置の斜視概略図である。本図に示すように、電子装置には、発振部１１０及び検出部１２０の組が複数組設けられている。詳細には、発振部１１０及び検出部１２０は、組ごとに互いに異なる向き（例えば、前後左右及び上方向）を向いている。そして電子装置は、上記した処理を、発振部１１０及び検出部１２０の組別に行う。これにより、電子装置は、その周囲にどのような物体が存在するかを把握することができる。

なお、検出結果は、電子装置が有する出力部（例えば可聴音出力部又はディスプレイ）を介して、電子装置のユーザに認識させるために出力されてもよい。

以上、本実施形態によれば、音波を用いて物体の硬さを算出することができる。

（第２の実施形態）
図４は、第２の実施形態に係る電子装置の機能構成を示すブロック図である。この電子装置は、物体抽出部１５０、入力部１５５、光学系２００、撮像部２１０、画像処理部２２０、及び制御部２３０を備えている点を除いて、第１の実施形態に係る電子装置と同様の構成である。

上記した各部のうち、撮像部２１０は、撮像ユニットを有しており、電子装置の外部を撮像して画像データを生成する。画像処理部２２０は、撮像部２１０が生成した画像データを処理する。光学系２００はレンズ等を含んでおり、撮像部２１０に入射する画像の倍率やフォーカスを制御する。光学系２００は、制御部２３０により制御される。これら各部の動作の詳細については、フローチャートを用いて後述する。

なお、図４に示した電子装置の各構成要素は、ハードウエア単位の構成ではなく、機能単位のブロックを示している。この電子装置のうち距離算出部１３０、硬さ算出部１４０、物体抽出部１５０、画像処理部２２０、及び制御部２３０は、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされた本図の構成要素を実現するプログラム、そのプログラムを格納するハードディスクなどの記憶ユニット、ネットワーク接続用インタフェースを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置には様々な変形例がある。

図５は、図４に示した電子装置の第１の動作例を示すフローチャートである。本図に示す例において制御部２３０は、硬さ算出部１４０が算出した硬さが基準を満たす物体に対してフォーカスが合うように、光学系２００を制御する。

まずユーザは、入力部１５５に硬さの基準を入力する（ステップＳ１０）。ユーザは、人にフォーカスを当てたいときには、例えば硬さが基準値以下である旨の入力を行う。
またユーザは、建物などの構造物にフォーカスを当てたいときには、例えば硬さが基準値以上である旨の入力を行う。ここでいう入力には、撮影モードの選択も含まれる。具体的には、例えば撮影モードで「人物」が選択されたとき、人物撮影モードに対応して予め設定されている、硬さが基準値以下である旨の設定が読み出される。また、撮影モードで「建物」が選択されたとき、建物撮影モードに対応して予め設定されている、硬さが基準値以上である旨の設定が読み出される。次いで発振部１１０は、特定の方向にセンサ用音波を発振する（ステップＳ２０）。検出部１２０は、物体で反射したセンサ用音波及びその強度を受信することにより、その方向に物体が存在すると判断する（ステップＳ３０）。次いで距離算出部１３０は、物体までの距離を算出し（ステップＳ４０）、硬さ算出部１４０は、その物体の硬さを算出し、算出した値をその方向に対応付けて記憶する（ステップＳ５０）。発振部１１０、検出部１２０、距離算出部１３０、及び硬さ算出部１４０は、撮像部２１０が撮像しようとしているエリアの全域に対して、ステップＳ２０〜Ｓ５０に示した処理を行う（ステップＳ６０）。

そして物体抽出部１５０は、ステップＳ５０で入力部１５５に入力された硬さの基準を満たす物体の方向を、硬さ算出部１４０が記憶している情報から抽出する（ステップＳ７０）。次いで物体抽出部１５０は、抽出結果を画像処理部２２０に出力する。

制御部２３０は、物体抽出部１５０から出力された情報（方向）を受信するとともに、撮像部２１０が生成している画像データを受信する。そして制御部２３０は、撮像部２１０から受信した画像データに含まれる物体のうち、物体抽出部１５０から受信した方向に位置する物体を特定する。そして制御部２３０は、特定した物体にフォーカスが合うように、光学系２００を制御する（ステップＳ７５）。ここでズーム処理を行う場合、制御部２３０は、特定した物体からフォーカスがずれないようにする。またデジタルズームを行う場合、制御部２３０は、特定した物体が外れないようにズーム処理を行う。また画角を合わせる処理を行う場合、制御部２３０は、特定した物体が外れないようにする。そして撮像部２１０は、光学系２００がフォーカスをあわせた後の画像データを撮像データとして画像処理部２２０に出力する（ステップＳ８０）。

図６は、図４に示した電子装置の第２の動作例を示すフローチャートである。本図に示す例において、画像処理部２２０は、硬さが基準を満たす物体を、撮像データから削除する処理を行う。

本図に示す例において、ステップＳ１０〜Ｓ７０に示す処理は、図５に示した第１例と同様である。ただしユーザは、ステップＳ１０において、建物が邪魔だと感じるときには、例えば硬さが基準値以上である旨の入力を行う。またユーザは、人物が邪魔だと感じるときには、例えば硬さが基準値以下である旨の入力を行う。また、物体抽出部１５０は、抽出した物体の方向を、画像処理部２２０に出力する。

次いで撮像部２１０は、撮像データを生成し、生成した撮像データを画像処理部２２０に出力する（ステップＳ８０）。次いで画像処理部２２０は、撮像データから、物体抽出部１５０から受信した方向に位置する物体を削除する処理を行う（ステップＳ９０）。なお、物体を削除した領域には、削除された周囲に位置する画素データと同様の画素データを埋め込む。

図７は、図４に示した電子装置の第３の動作例を示すフローチャートである。本図に示す例において、硬さ算出部１４０は、硬さの分布を算出する。そして画像処理部２２０は、硬さ算出部１４０が算出した硬さの分布を用いて、物体を切り出す。

まず撮像部２１０は撮像データを生成する（ステップＳ２１０）。次いで発振部１１０は、センサ用音波のスキャンを開始する（ステップＳ２２０）。検出部１２０は、物体で反射したセンサ用音波及びその強度を受信することにより、その方向に物体が存在すると判断する（ステップＳ２３０）。次いで距離算出部１３０は、物体までの距離を算出する（ステップＳ２４０）。硬さ算出部１４０は、その物体の硬さを算出し、算出した値をその方向に対応付けて記憶する（ステップＳ２５０）。発振部１１０、検出部１２０、距離算出部１３０、及び硬さ算出部１４０は、撮像部２１０が撮像したエリアの全域に対して、ステップＳ２２０〜Ｓ２５０に示した処理を行う（ステップＳ２６０）。

次いで撮像部２１０は、撮像エリア内における物体の硬さ分布を算出する（ステップＳ２７０）。そして画像処理部２２０は、ステップＳ２７０で算出された物体の硬さ分布を用いて物体の輪郭を算出し、算出した輪郭を用いて、撮像データから物体を切り出す（ステップＳ２８０）。ここで画像処理部２２０は、硬さの変化率が基準を超えている部分を、物体の輪郭として認識する。

本実施形態によっても、第１の実施形態と同様の効果を得ることができる。また、硬さを用いて画像処理を行うことができる。

なお、上記した実施形態に示した電子装置は、拡張現実（Augmented Reality）に適用することができる。例えば電子装置が撮像部２１０を備えている場合を考える。撮像部２１０、発振部１１０、及び検出部１２０は街の予め定められた場所に設置されている。撮像部２１０は画像データを生成し、生成した画像データをユーザ端末に送信する。このとき、画像データ内に含まれている人物や建物については、サーバ、又は撮像部２１０と同じ場所に設置されている演算処理装置によって、硬さ及び距離が算出される。また、サーバには、予め、建物や人物であることを判断するために、硬さの閾値が設定されている。そして、ユーザが、ユーザ端末に、例えば建物に関する情報がほしい旨の選択入力を行ったとき、その情報がサーバに送信される。そしてサーバは、画像データから、その入力に対応する硬さに対応する物体を選択する。そしてサーバは、選択さした物体に関する情報を、画像データとともにユーザ端末に送信する。

ここで、選択された物体に関する情報としては、以下の情報が考えられる。例えば選択された物体が人物であった場合、サーバは、画像処理により算出されたその人物の属性（性別や年齢など）を、ユーザ端末に送信する。また、選択された物体が建物であった場合、サーバは、撮像部２１０、発振部１１０、及び検出部１２０が設置されている場所を示す情報と、撮像部２１０が撮像している方向から、その建物の位置情報を算出する。そしてサーバは、算出された位置情報に基づいて、建物の位置情報とその建物に関する情報とを互いに対応付けて記憶している記憶装置から、その建物の情報を読み出してユーザ端末に送信する。

発振部１１０及び検出部１２０を用いなかった場合、サーバは、撮像部２１０に映っている建物のうち遠方に位置している建物（このような建物は、一般的にユーザ端末のユーザは認識していない）を誤って選択し、この選択した建物に関する情報をユーザ端末に送信する可能性がある。これに対して発振部１１０及び検出部１２０を用いると、サーバは、撮像部２１０、発振部１１０、及び検出部１２０が設置された場所の近くの建物（すなわちユーザ端末のユーザが認識している建物）に関する情報のみをユーザ端末に送信するようになる。また、ユーザ端末上に建物の情報を表示させるとき、その情報を、ユーザ端末上に表示されている建物の位置に精度よく合わせることができる。また、撮像部２１０に映っている人の情報（例えば属性情報）をユーザ端末に表示させることもできる。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

１１０ 発振部
１２０ 検出部
１３０ 距離算出部
１４０ 算出部
１５０ 物体抽出部
１５５ 入力部
２００ 光学系
２１０ 撮像部
２２０ 画像処理部
２３０ 制御部

Claims (10)

1. 周囲にセンサ用音波を発振する発振手段と、
   物体で反射した前記センサ用音波を検出する検出手段と、
   前記発振手段が前記センサ用音波を発振してから前記検出手段が前記センサ用音波を検出するまでの時間に基づいて、前記物体までの距離を算出する距離算出手段と、
   前記検出した前記センサ用音波の強度、及び前記距離算出手段が算出した前記距離に基づいて、前記物体の硬さを算出する硬さ算出手段と
   を備える電子装置。
2. 請求項１に記載の電子装置において、
   前記センサ用音波は超音波である電子装置。
3. 請求項１又は２に記載の電子装置において、
   前記検出手段は、反射してきた前記センサ用音波の方向に基づいて前記物体の方向を検出し、
   さらに、
   画像データを生成する撮像手段と、
   前記硬さ算出手段が算出した硬さが基準を満たす前記物体を抽出する物体抽出手段と、
   前記検出手段が検出したデータを用いることにより、前記物体抽出手段が抽出した前記物体の方向を認識し、認識した方向に基づいて、前記画像データにおける前記物体の位置を特定する画像処理手段と、
   を備える電子装置。
4. 請求項３に記載の電子装置において、
   撮像手段に入射する画像のフォーカスを調節する光学系と、
   前記光学系を制御する制御手段を有しており、
   前記制御手段は、前記画像処理手段が特定した前記物体にフォーカスが合うように前記光学系を制御する電子装置。
5. 請求項３に記載の電子装置において、
   前記画像処理手段は、当該画像処理手段が特定した前記物体を前記画像データから削除する電子装置。
6. 請求項１又は２に記載の電子装置において、
   画像データを生成する撮像手段を備え、
   前記発振手段は、前記画像データが示すエリアに向けて前記センサ用音波を発振し、
   前記硬さ算出手段は、前記画像データが示すエリア内における硬さ分布を算出し、
   さらに、前記硬さ分布を用いて前記画像データから前記物体を抽出する画像処理手段を備える電子装置。
7. 請求項１〜６のいずれか一項に記載の電子装置において、
   互いに異なる方向に前記センサ用音波を発信する複数の前記発振手段を備える電子装置。
8. 請求項１〜７のいずれか一項に記載の電子装置において、
   前記発振手段は圧電素子を有する電子装置。
9. 発振手段を用いて、周囲にセンサ用音波を発振し、
   物体で反射した前記センサ用音波を検出し、
   前記発振手段が前記センサ用音波を発振してから前記センサ用音波を検出するまでの時間に基づいて、前記物体までの距離を算出し、
   前記検出した前記センサ用音波の強度、及び前記算出した前記距離に基づいて、前記物体の硬さを算出する硬さ算出方法。
10. コンピュータに硬さ算出機能を持たせるためのプログラムであって、
    前記コンピュータに、
    発振手段がセンサ用音波を発振したタイミングと、物体で反射した前記センサ用音波が検出されたタイミングとを取得する機能と、
    前記発振手段が前記センサ用音波を発振してから前記センサ用音波を検出するまでの時間に基づいて、前記物体までの距離を算出する機能と、
    前記検出した前記センサ用音波の強度、及び前記算出した前記距離に基づいて、前記物体の硬さを算出する機能と、
    を実現させるプログラム。
    

Images