JP2017011454A - ウェアラブルデバイス - Google Patents

Abstract

【課題】 ユーザーが興味のある対象物の画像を採取しつつ、保持する画像データのサイズが小さくて済むウェアラブルデバイスを得る。
【解決手段】 このウェアラブルデバイスは、ユーザーの視認画像を撮影する撮影装置２１と、ユーザーの生体情報を取得する生体情報取得部２２，２３と、取得されたユーザーの生体情報に基づいて撮影タイミングを検出したときに、その撮影タイミングの視認画像の画像データを撮影装置２１から取得して所定の記憶装置に格納するコントローラー２６とを備える。
【選択図】 図２

Description

本発明は、ウェアラブルデバイスに関するものである。

あるウェアラブルデバイスは、耳かけ型の撮影装置、頭部装着型の撮影装置などを備える（例えば特許文献１〜３参照）。

さらに、あるウェアラブルデバイスは、同期信号に沿って、視認映像、眼球運動映像、音声データなどを採取していき、解析することで、視認者の特定の対象物に対する感情を解析している（例えば特許文献３参照）。

特表２００７−５２３５４号公報 特開２００３−０４６８３８号公報 国際公開第２０１１／０４２９８９号

しかしながら、上述のウェアラブルデバイスは、継続的に視認映像を採取しているため、保持すべき視認映像の画像データのサイズが非常に大きくなってしまう。

本発明は、上記の問題に鑑みてなされたものであり、ユーザーが興味のある対象物の画像を採取しつつ、保持する画像データのサイズが小さくて済むウェアラブルデバイスを得ることを目的とする。

本発明に係るウェアラブルデバイスは、ユーザーの視認画像を撮影する撮影装置と、前記ユーザーの生体情報を取得する生体情報取得部と、取得された前記ユーザーの生体情報に基づいて撮影タイミングを検出したときに、前記撮影タイミングの前記視認画像の画像データを前記撮影装置から取得して所定の記憶装置に格納するコントローラーとを備える。

本発明によれば、ユーザーが興味のある対象物の画像を採取しつつ、保持する画像データのサイズが小さくて済むウェアラブルデバイスが得られる。

本発明の上記又は他の目的、特徴および優位性は、添付の図面とともに以下の詳細な説明から更に明らかになる。

図１は、本発明の実施の形態に係るウェアラブルデバイスの構成を示す斜視図である。 図２は、本発明の実施の形態に係るウェアラブルデバイスの電気的な構成を示すブロック図である。 図３は、実施の形態１に係るウェアラブルデバイスの動作について説明するフローチャートである。 図４は、本発明の実施の形態２に係るウェアラブルデバイスを含むシステムの一例を示すブロック図である。 図５は、実施の形態２におけるデータ処理について説明するフローチャートである。

以下、図に基づいて本発明の実施の形態を説明する。

実施の形態１．

図１は、本発明の実施の形態に係るウェアラブルデバイスの構成を示す斜視図である。図１に示すウェアラブルデバイス１は、耳かけ型のウェアラブルデバイスであって、メイン筐体１１と耳かけ部１２とイヤーフォン１３とを備える。

メイン筐体１１には、ユーザーの視認画像を撮影する撮影装置２１、音声、脈拍、血圧などのユーザーの生体情報を取得する生体情報取得部などが内蔵されている。

図２は、本発明の実施の形態に係るウェアラブルデバイスの電気的な構成を示すブロック図である。

ウェアラブルデバイス１は、イヤーフォン１３および撮影装置２１の他に、生体情報取得部としてのマイクロフォン２２、生体情報取得部としてのセンサー２３、無線通信装置２４、メモリー２５、およびコントローラー２６を備える。マイクロフォン２２、センサー２３、無線通信装置２４、メモリー２５、およびコントローラー２６は、メイン筐体１１に内蔵されている。

撮影装置２１は、ウェアラブルデバイス１がユーザーに装着されたときに、撮影装置２１の視野がユーザーの視野に略一致するように設定されている

マイクロフォン２２は、ユーザーの音声を取得する。センサー２３は、ユーザーの身体に接触する位置に配置され、ユーザーの脈拍、血圧などを取得する。

無線通信装置２４は、外部の通信装置（端末装置など）と無線通信を行う装置である。

メモリー２５は、フラッシュメモリーなどの不揮発性の記憶装置である。

コントローラー２６は、コンピューター、ＡＳＩＣ（Application Specific Integrated Circuit）などを内蔵し、各部の制御、データ処理などを行う。

コントローラー２６は、マイクロフォン２２、センサー２３などで取得されたユーザーの生体情報に基づいて撮影タイミングを検出したときに、ただちに、その撮影タイミングのユーザーの視認画像の画像データを撮影装置２１から取得して所定の記憶装置（メモリー２５または外部の記憶装置）に格納する。なお、この所定の記憶装置として外部の記憶装置を使用する場合には、コントローラー２６は、無線通信装置２４を介して、外部の記憶装置を有する通信装置（端末装置、サーバーなど）との間でデータ通信を行い、その記憶装置に、画像データを格納する。また、取得された生体情報は、撮影タイミングの検出に使用された後、格納されずに破棄される。

なお、無線通信装置２４は、所定の通信プロトコルに従って、ウェアラブルデバイス１近傍（つまり、無線通信装置２４の通信可能範囲内）の端末装置を検出し、検出した端末装置へ画像データを転送するようにしてもよい。

例えば、コントローラー２６は、音声認識技術を使用して、マイクロフォン２２により取得された音声情報から単語を抽出し、マイクロフォン２２により取得された音声情報から感嘆語などの所定の登録単語が抽出されたタイミングを上述の撮影タイミングとして検出する。また、例えば、コントローラー２６は、マイクロフォン２２により取得された音声情報が示す音量が所定の閾値を超えたタイミングを上述の撮影タイミングとして検出する。

また、例えば、コントローラー２６は、センサー２３によりユーザーの身体から取得された生体情報（脈拍、血圧など）が示す数値が所定の閾値を超えたタイミングを上述の撮影タイミングとして検出する。

次に、上記実施の形態１に係るウェアラブルデバイスの動作について説明する。図３は、実施の形態１に係るウェアラブルデバイスの動作について説明するフローチャートである。

コントローラー２６は、マイクロフォン２２およびセンサー２３を使用して、ユーザーの生体情報を監視している（ステップＳ１）。

ユーザー（特に子供）は、例えば興味がある対象物を視認した場合などに、感嘆語を発したり、音声が大きくなったり、脈拍がはやくなったり、血圧が高くなったりする。

コントローラー２６は、マイクロフォン２２およびセンサー２３によって取得された生体情報に基づいて、ユーザーが興味のある対象物を視認したと判定した場合（ステップＳ２）、このタイミングで撮影された視認画像の画像データを撮影装置２１から取得し（ステップＳ３）、メモリー２５などに格納する（ステップＳ４）。なお、視認画像は、静止画でもよいし、所定時間（例えば１０秒）の動画でもよい。

なお、その際、撮影装置２１がフォーカス調整機能を有している場合、コントローラー２６は、撮影装置２１の視野の中心の被写体でフォーカスを合わせるように、撮影装置２１を制御した上で視認画像の画像データを取得する。

例えばメモリー２５に格納された視認画像の画像データは、コントローラー２６によって、無線通信装置２４を使用して外部の端末装置へ送信される。これにより、外部の端末装置によって、その画像データに基づいて、視認画像が表示されたり印刷される。

以上のように、上記実施の形態１に係るウェアラブルデバイス１では、撮影装置２１が、ユーザーの視認画像を撮影するとともに、マイクロフォン２２、センサー２３などの生体情報取得部が、ユーザーの生体情報を取得する。そして、コントローラー２６は、取得されたユーザーの生体情報に基づいて撮影タイミングを検出したときに、その撮影タイミングの視認画像の画像データを撮影装置２１から取得して所定の記憶装置に格納する。

これにより、ユーザーが興味のある対象物の画像を採取しつつ、保持する画像データのサイズが小さくて済む。ひいては、ウェアラブルデバイス１の装置規模も小さくできるため、装着時の違和感を小さくすることができる。

例えば、親が、子供の通学時に、このウェアラブルデバイス１を子供に装着させることで、自宅で親が視認画像を確認することで、子供が日常生活において興味を持っているものを知ることができる。

実施の形態２．

実施の形態２では、取得された視認画像から対象物が抽出され、その対象物の関連情報がユーザーに提供される。さらに、実施の形態２に係るウェアラブルデバイス１は、取得した視認画像から抽出された対象物が特定の対象物である場合、その特定の対象物が含まれていることをイヤーフォン１３による音声や、図示せぬバイブレーターによる振動によってユーザーに報知する。

なお、実施の形態２に係るウェアラブルデバイス１の基本的な構成は実施の形態１のものと同様である。ただし、コントローラー２６は、以下のように動作する。

コントローラー２６は、視認画像に特定の対象物が含まれている場合、視認画像に特定の対象物が含まれていることをユーザーに報知する。この特定の対象物は、例えば、過去の視認画像から検出されたものである。

また、実施の形態２では、コントローラー２６は、視認画像に含まれる対象物の関連情報の音声をイヤーフォン１３でユーザーに対して出力するようにしてもよい。

視認画像における特徴点が抽出され、その特徴点に基づいて、視認画像に含まれる対象物の種別（花、ボール、自動車などの日常生活において視認され得る物体）が特定される。また、特定された対象物の種別に関連して予め蓄積されている関連情報（対象物の種別についての説明、注意事項など）が特定される。視認画像における特徴点の抽出および対象物の特定には、例えば特開２０１５−９２３０２号公報に記載の既存の技術を使用すればよい。

なお、この処理は、この実施の形態２では、外部の管理サーバーにおいて行われるが、コントローラー２６などによって、ウェアラブルデバイス１内部で行われるようにしてもよい。

図４は、本発明の実施の形態２に係るウェアラブルデバイスを含むシステムの一例を示すブロック図である。実施の形態２では、管理サーバー４が、視認画像における特徴点の抽出および対象物の特定を行う。

次に、上記実施の形態２に係るシステムのデータ処理について説明する。図５は、実施の形態２におけるデータ処理について説明するフローチャートである。

実施の形態２では、ウェアラブルデバイス１のコントローラー２６は、視認画像の画像データを取得すると（ステップＳ２１）、無線通信装置２４を使用して、端末装置２でネットワーク３を中継して、管理サーバー４に、視認画像の画像データを送信する。なお、ウェアラブルデバイス１の無線通信装置２４に管理サーバー４の識別子を登録しておき、その識別子に基づいて無線通信装置２４が管理サーバー４と直接通信できるようにしてもよい。

管理サーバー４では、通信装置４１が、視認画像の画像データを受信し、画像解析部４２が、視認画像の画像データに基づいて、視認画像内の対象物を抽出する（ステップＳ２２）。

管理サーバー４のデータベース４３は、対象物の種別に関連付けて、その対象物の関連情報を格納しており、指定された対象物の種別に関連付けられている関連情報を出力する。また、管理サーバー４のデータベース４３には、特定種別の対象物が登録されている。特定種別の対象物は、例えば、過去において視認画像から抽出された対象物の種別である。

画像解析部４２は、視認画像から抽出した対象物が特定種別の対象物であるか否かをデータベース４３に問い合せ、視認画像から抽出した対象物が特定種別の対象物である場合には、報知信号を、通信装置４１で、ウェアラブルデバイス１へ送信する。ウェアラブルデバイス１では、コントローラー２６が、無線通信装置２４を使用して、その報知信号を受信すると、その特定の対象物が含まれていることをイヤーフォン１３による音声や、図示せぬバイブレーターによる振動によってユーザーに報知する（ステップＳ２４）。

また、画像解析部４２は、視認画像から抽出した対象物の種別に関連付けられている関連情報がデータベース４３において存在する場合（ステップＳ２５）、その関連情報をデータベース４３から取得し、通信装置４１で、ウェアラブルデバイス１へ送信する。ウェアラブルデバイス１では、コントローラー２６が、無線通信装置２４を使用して、その関連情報を受信すると、その関連情報の音声をイヤーフォン１３で出力する（ステップＳ２６）。

以上のように、上記実施の形態２によれば、特定の対象物が視野に入ったことをユーザーに報知したり、視野内の対象物の関連情報をユーザーに提供することができる。したがって、単に視認画像を取得するだけではなく、視認画像内の対象物に対して、ユーザーの注意を喚起することができる。

なお、上述の実施の形態に対する様々な変更および修正については、当業者には明らかである。そのような変更および修正は、その主題の趣旨および範囲から離れることなく、かつ、意図された利点を弱めることなく行われてもよい。つまり、そのような変更および修正が請求の範囲に含まれることを意図している。

例えば、上記実施の形態１，２において、ウェアラブルデバイス１は、耳かけ型のウェアラブルデバイスであるが、頭部固定型のウェアラブルデバイスでもよいし、帽子に装着して使用するウェアラブルデバイスでもよい。

また、上記実施の形態１，２において、視野画像を撮影する撮影装置２１の他に、ユーザーを撮影する撮影装置を設け、視野画像を撮影した時点の、その撮影装置により撮影されたユーザー画像の画像データを、視野画像の画像データとともに取得し、所定の記憶装置に、視野画像の画像データに関連付けて格納するようにしてもよい。

また、上記実施の形態１，２において、ウェアラブルデバイス１に、無線通信で、プロジェクター装置などの投影装置を接続し、その投影装置で、ウェアラブルデバイス１に格納されている視認画像を投影するようにしてもよい。

本発明は、例えば、ウェアラブルデバイスに適用可能である。

１ ウェアラブルデバイス
１３ イヤーフォン
２１ 撮影装置
２２ マイクロフォン（生体情報取得部の一例）
２３ センサー（生体情報取得部の一例）
２４ 無線通信装置
２６ コントローラー

Claims (10)

1. ユーザーの視認画像を撮影する撮影装置と、
   前記ユーザーの生体情報を取得する生体情報取得部と、
   取得された前記ユーザーの生体情報に基づいて撮影タイミングを検出したときに、前記撮影タイミングの前記視認画像の画像データを前記撮影装置から取得して所定の記憶装置に格納するコントローラーと、
   を備えることを特徴とするウェアラブルデバイス。
2. 前記生体情報取得部は、マイクロフォンを含み、
   前記コントローラーは、前記マイクロフォンにより取得された音声情報に基づいて撮影タイミングを検出すること、
   を特徴とする請求項１記載のウェアラブルデバイス。
3. 前記コントローラーは、前記マイクロフォンにより取得された音声情報から所定の単語が抽出されたタイミングを前記撮影タイミングとして検出することを特徴とする請求項２記載のウェアラブルデバイス。
4. 前記コントローラーは、前記マイクロフォンにより取得された音声情報が示す音量が所定の閾値を超えたタイミングを前記撮影タイミングとして検出することを特徴とする請求項２記載のウェアラブルデバイス。
5. 前記生体情報取得部は、前記ユーザーの身体から生体情報を取得するセンサーを含み、
   前記コントローラーは、前記センサーにより取得された生体情報に基づいて撮影タイミングを検出すること、
   を特徴とする請求項１記載のウェアラブルデバイス。
6. 前記コントローラーは、前記センサーにより取得された生体情報が示す数値が所定の閾値を超えたタイミングを前記撮影タイミングとして検出することを特徴とする請求項５記載のウェアラブルデバイス。
7. 近傍の端末装置を検出し、検出した前記端末装置へ前記画像データを転送する無線通信装置をさらに備えることを特徴とする請求項１記載のウェアラブルデバイス。
8. イヤーフォンをさらに備え、
   前記コントローラーは、前記視認画像に含まれる対象物の関連情報の音声を前記イヤーフォンで出力すること、
   を特徴とする請求項１記載のウェアラブルデバイス。
9. 前記コントローラーは、前記視認画像に特定の対象物が含まれている場合、前記視認画像に特定の対象物が含まれていることを前記ユーザーに報知することを特徴とする請求項１記載のウェアラブルデバイス。
10. 前記特定の対象物は、過去の前記視認画像から検出されたものであることを特徴とする請求項９記載のウェアラブルデバイス。

Images