JP2023023756A - ジェスチャ検知装置及び仮想現実処理装置 - Google Patents

Abstract

【課題】人物のジェスチャを高精度に検出する。【解決手段】ジェスチャ検知装置は、所定の検出領域に周波数変調された電磁波を送信波として送信し、送信波が検出領域に存在する物体に反射されることにより発生する反射波を受信するセンサと、反射波の強度分布に基づいて検出領域における物体の位置を示す三次元マップ情報を生成するマップ情報生成部と、反射波のドップラシフトに基づいて物体の速度を示す速度情報を生成する速度情報生成部と、三次元マップ情報と速度情報とに基づいて検出領域に存在する人物を検知する人物検知部と、人物検知部により検知された人物の特定部位の位置を示す位置情報を生成する位置情報生成部と、特定部位の位置と特定部位の速度とに基づいて人物のジェスチャを判定するジェスチャ判定部と、を備える。【選択図】図２

Description

本発明は、ジェスチャ検知装置及び仮想現実処理装置に関する。

所定の領域に送信波を送信し、送信波が当該領域に存在する物体に反射されることにより発生する反射波を受信することにより、物体の位置や動きを検知する技術がある。例えば、所定の周波数範囲のマイクロ波を放出することによりレーダフィールドを形成し、レーダフィールド内に存在する人物のジェスチャを検知する技術が開示されている（特許文献１）。

特表２０１７－５２４１７０号公報

本発明が解決しようとする課題の一つは、人物のジェスチャを高精度に検出可能なジェスチャ検知装置及び仮想現実処理装置を提供することである。

本発明の一実施形態としてのジェスチャ検知装置は、所定の検出領域に周波数変調された電磁波を送信波として送信し、送信波が検出領域に存在する物体に反射されることにより発生する反射波を受信するセンサと、反射波の強度分布に基づいて検出領域における物体の位置を示す三次元マップ情報を生成するマップ情報生成部と、反射波のドップラシフトに基づいて物体の速度を示す速度情報を生成する速度情報生成部と、三次元マップ情報と速度情報とに基づいて検出領域に存在する人物を検知する人物検知部と、人物検知部により検知された人物の特定部位の位置を示す位置情報を生成する位置情報生成部と、特定部位の位置と特定部位の速度とに基づいて人物のジェスチャを判定するジェスチャ判定部と、を備える。

上記構成によれば、人物のジェスチャが人物の特定部位の位置及び速度に基づいて検知される。これにより、人物のジェスチャを高精度に検知できる。

また、上記ジェスチャ検知装置において、特定部位は、人物の手又は腕を含んでもよい。

これにより、人物の手や腕の細かい動きに応じたジェスチャを高精度に検知できる。

また、本発明の他の実施形態としての仮想現実処理装置は、所定の検出領域に周波数変調された電磁波を送信波として送信し、送信波が検出領域に存在する物体に反射されることにより発生する反射波を受信するセンサと、反射波の強度分布に基づいて検出領域における物体の位置を示す三次元マップ情報を生成するマップ情報生成部と、反射波のドップラシフトに基づいて物体の速度を示す速度情報を生成する速度情報生成部と、三次元マップ情報と速度情報とに基づいて検出領域に存在する人物を検知する人物検知部と、人物検知部により検知された人物の特定部位の位置を示す位置情報を生成する位置情報生成部と、特定部位の位置と特定部位の速度とに基づいて人物のジェスチャを判定するジェスチャ判定部と、仮想物体を人物に視認可能にする可視化部と、を備え、ジェスチャ判定部は、人物が仮想物体に対して行う仮想操作を判定し、可視化部は、仮想操作に応じて仮想物体を変化させるものである。

上記構成によれば、人物が仮想物体に対して行う仮想操作が人物の特定部位の位置及び速度に基づいて検知される。これにより、人物の仮想操作を高精度に検知でき、仮想操作に応じた高品質な仮想現実を提供できる。

また、上記仮想現実処理装置において、特定部位は、人物の手又は腕を含んでもよい。

これにより、人物の手や腕の細かい動きに応じた仮想操作を高精度に検知できる。

また、上記仮想現実処理装置において、仮想操作は、人物が仮想物体の一部を指し示すポインティング操作を含んでもよい。

これにより、ポインティング操作に応じた仮想現実の処理を高精度に行うことができる。

また、上記仮想現実処理装置において、仮想操作は、人物が仮想物体を移動させる移動操作を含んでもよい。

これにより、移動操作に応じた仮想現実の処理を高精度に行うことができる。

また、上記仮想現実処理装置において、仮想操作は、人物が仮想物体の大きさを変化させる拡縮操作を含んでもよい。

これにより、拡縮操作に応じた仮想現実の処理を高精度に行うことができる。

また、上記仮想現実処理装置において、仮想操作は、人物が冊子状の仮想物体のページを捲るページ捲り操作を含んでもよい。

これにより、ページ捲り操作に応じた仮想現実の処理を高精度に行うことができる。

また、上記仮想現実処理装置において、速度情報生成部は、人物が保持又は装着しているアイテムの速度を示す情報を含む速度情報を生成し、位置情報生成部は、アイテムの位置を示す情報を含む位置情報を生成し、ジェスチャ判定部は、アイテムの位置とアイテムの速度とに基づいてアイテムの動きを判定し、可視化部は、アイテムの動きに応じて仮想物体を変化させてもよい。

これにより、人物が保持又は装着しているアイテムの動きがアイテムの位置及び速度に基づいて検知される。これにより、人物がアイテムに与えた動きを高精度に検知でき、アイテムの動きに応じた高品質な仮想現実を提供できる。

図１は、第１実施形態に係るジェスチャ検知装置の構成の一例を示す図である。 図２は、第１実施形態に係るジェスチャ検知装置の機能構成の一例を示すブロック図である。 図３は、実施形態におけるＦＭＣＷ方式による信号処理の概要を示す図である。 図４は、第１実施形態に係るジェスチャ検知装置における処理の一例を示すフローチャートである。 図５は、第２実施形態に係る仮想現実処理装置の構成の一例を示す図である。 図６は、第２実施形態に係る仮想現実処理装置を構成するジェスチャ検知装置及びＨＭＤの機能構成の一例を示すブロック図である。 図７は、第２実施形態に係る仮想現実処理装置における処理の一例を示すフローチャートである。 図８は、第３実施形態に係る仮想現実処理装置の構成の一例を示す図である。 図９は、第３実施形態に係る仮想現実処理装置を構成するジェスチャ検知装置及びＨＭＤの機能構成の一例を示すブロック図である。 図１０は、第３実施形態に係る仮想現実処理装置における処理の一例を示すフローチャートである。 図１１は、第１変形例に係るジェスチャ検知装置の構成の一例を示す図である。 図１２は、第２変形例に係るジェスチャ検知装置の構成の一例を示す図である。 図１３は、第３変形例に係るジェスチャ検知装置の構成の一例を示す図である。

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、並びに当該構成によってもたらされる作用、結果、及び効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や派生的な効果のうち、少なくとも一つを得ることが可能である。

（第１実施形態）
図１は、第１実施形態に係るジェスチャ検知装置１の構成の一例を示す図である。本実施形態では、車両Ｃの室内（検出領域の一例）に存在する人物Ｍのジェスチャを検知するジェスチャ検知装置１を例示する。

車両Ｃは、ジェスチャ検知装置１及び車両制御装置１０を備えている。ジェスチャ検知装置１は、座席Ｓに着座している人物Ｍのジェスチャを検知する装置であり、ＬｉＤＡＲセンサ２（センサの一例）及び制御装置３を含む。本実施形態においては、ＬｉＤＡＲセンサ２は室内の天井部分に設置され、制御装置３は室内の前端部に設けられているダッシュボード内に設置されている。

車両制御装置１０は、車両Ｃに対する各種制御を実行する装置であり、例えばＥＣＵ（Electronic Control Unit）、ＣＡＮ（Controller Area Network）等を利用して構成される。本実施形態に係る車両制御装置１０は、ジェスチャ検知装置１による検知結果に基づいて、車両Ｃに対する各種制御、例えばナビゲーションシステム、オーディオシステム、空調装置、サンルーフ等の車載装備品の制御、走行状態の制御等を実行する。

図２は、第１実施形態に係るジェスチャ検知装置１の機能構成の一例を示すブロック図である。ＬｉＤＡＲセンサ２は、送信部２１及び受信部２２を備える。送信部２１は、車両Ｃの室内に、周波数変調したレーザ光（電磁波の一例）を送信波として広範囲に送信（照射）する。受信部２２は、送信波が室内の物体に反射されることにより発生する反射波を受信する。

制御装置３は、例えば、ハードウェアプロセッサ、メモリ等が搭載された集積回路を有するＭＣＵ（Micro Controller Unit）等により構成される。制御装置３は、ＡＤＣ（Analog-to-Digital Converter）３１、処理部３２、及び記憶部３３を備える。

ＡＤＣ３１は、ＬｉＤＡＲセンサ２の受信部２２から取得したアナログ信号をデジタル信号に変換して処理部３２に出力する。

記憶部３３は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＳＳＤ（Solid State Drive）、ＨＤＤ（Hard Disk Drive）等の記憶装置である。記憶部３３は、処理部３２が実行するプログラム、プログラムの実行に必要なデータ、プログラムの実行によって生成されたデータ等を記憶する。本実施形態に係る記憶部３３は、設定情報３３１、三次元マップ情報３３２、速度情報３３３、位置情報３３４、ジェスチャ情報３３５等を記憶する。

設定情報３３１は、ジェスチャ検知装置１の機能を実現するための各種閾値を含む。閾値は、例えば、人物Ｍとその他の物体（座席Ｓ等）とを識別するための閾値等であり得る。

三次元マップ情報３３２は、マップ情報生成部３２１によって反射波の強度分布に基づいて生成される、室内の三次元の物体配置状態を示す情報である。強度分布とは、検出領域となる三次元空間（本実施形態では車両Ｃの室内）における反射源の位置と反射波の強度との対応関係を示す情報である。

速度情報３３３は、速度情報生成部３２２によって反射波のドップラシフトに基づいて生成される、室内に存在する物体の速度を示す情報である。速度情報３３３には、物体の動きの方向を示す情報が含まれる。

位置情報３３４は、位置情報生成部３２４によって生成される、人物Ｍの位置に関する情報である。位置情報３３４には、人物Ｍの特定部位の位置を示す情報が含まれる。特定部位とは、ジェスチャに関連する人体の部分であり、例えば、手、腕、頭部等であり得る。

ジェスチャ情報３３５は、ジェスチャ判定部３２５によって生成される、人物Ｍのジェスチャに関する情報である。ジェスチャ情報３３５には、ジェスチャの種類や内容を特定する情報等が含まれる。

ここで、ＦＭＣＷ方式による信号処理の概要について説明する。図３は、実施形態におけるＦＭＣＷ方式による信号処理の概要を示す図である。（Ａ）に示すように、まず、ＬｉＤＡＲセンサ２の送信部２１から、車両Ｃの室内にＦＭＣＷ変調したレーザ光が送信される。そして、ＬｉＤＡＲセンサ２の受信部２２が反射波を受信する。

次に、（Ｂ）に示すように、室内における反射波の強度分布に基づいて室内の三次元マップ情報３３２が作成される。この三次元マップ情報３３２には、室内に存在する物体（人物Ｍ、座席Ｓ等）の位置や大きさを示すラベリング領域Ｄが含まれる。

次に、（Ｃ）に示すように、上記のような三次元マップ情報３３２と、反射波のドップラシフトに基づく速度情報３３３とに基づいて、人物Ｍが検知される。例えば、室内に存在する複数の物体のうち、所定の速度（動き）を有する物体を人物Ｍと判定できる。また、検知された人物Ｍに対応するラベリング領域Ｄから人物Ｍの特定部位（図３では手又は腕を含む部分）に対応する特定領域Ｒｓを推定できる。また、反射波のドップラシフトに基づいて人物Ｍの生体情報（心拍数等）を算出することもできる。

以下に、図２を参照して処理部３２の処理の詳細について説明する。

処理部３２は、例えば、ＣＰＵ（Central Processing Unit）等のハードウェアプロセッサによって構成される。処理部３２は、記憶部３３に格納されたプログラムを読み込んで演算処理を実行する。処理部３２は、機能部として、マップ情報生成部３２１、速度情報生成部３２２、人物検知部３２３、位置情報生成部３２４、ジェスチャ判定部３２５、及び出力部３２６を備える。なお、各部３２１～３２６の一部又は全部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）を含む回路等のハードウェアによって構成してもよい。

マップ情報生成部３２１は、ＡＤＣ３１から取得した反射波情報に基づいて室内の三次元マップ情報３３２を生成し、記憶部３３に保存する。

速度情報生成部３２２は、ＡＤＣ３１から取得した反射波情報に基づいて室内の存在する物体の速度を示す速度情報３３３を生成し、記憶部３３に保存する。

人物検知部３２３は、設定情報３３１、三次元マップ情報３３２、速度情報３３３等に基づいて車両Ｃの室内に存在する人物Ｍを検知する。また、人物検知部３２３は、人物Ｍのタイプ（大人、子供、体格等）を推定してもよい。

位置情報生成部３２４は、人物Ｍの位置に関する位置情報３３４を生成する。位置情報３３４には、人物Ｍの特定部位（特定領域Ｒｓ）の位置を示す情報が含まれる。特定部位は、例えば、手、腕、頭部等であり得る。位置情報３３４は、記憶部３３に保存される。

ジェスチャ判定部３２５は、速度情報３３３及び位置情報３３４から人物Ｍの特定部位の位置及び速度を取得し、当該特定部位の位置及び速度に基づいて当該人物Ｍのジェスチャを判定する。すなわち、本実施形態においては、人物Ｍの特定部位の位置の変化だけでなく、当該特定部位の速度にも基づいて、人物Ｍのジェスチャが判定される。これにより、特定部位の細かい動きを認識でき、ジェスチャを高精度に検知できる。ジェスチャ判定部３２５は、このように判定したジェスチャの種類や内容を示す情報を含むジェスチャ情報３３５を生成し、記憶部３３に保存する。

出力部３２６は、上記のようなジェスチャ情報３３５を他の機構（本実施形態では車両制御装置１０）に出力する。

図４は、第１実施形態に係るジェスチャ検知装置１における処理の一例を示すフローチャートである。ＬｉＤＡＲセンサ２の駆動により車両Ｃの室内の反射波情報が取得されると（Ｓ１０１）、マップ情報生成部３２１は反射波の強度分布に基づいて三次元マップ情報３３２を生成し（Ｓ１０２）、速度情報生成部３２２は反射波のドップラシフトに基づいて速度情報３３３を生成する（Ｓ１０３）。

人物検知部３２３は三次元マップ情報３３２と速度情報３３３とに基づいて車両Ｃの室内に人物Ｍが存在するか否かを判定する（Ｓ１０４）。人物Ｍが存在しない場合（Ｓ１０４：Ｎｏ）、本ルーチンは終了し、人物Ｍが存在する場合（Ｓ１０４：Ｙｅｓ）、位置情報生成部３２４は、人物Ｍの特定部位の位置を示す情報を含む位置情報３３４を生成する（Ｓ１０５）。

ジェスチャ判定部３２５は速度情報３３３及び位置情報３３４から特定部位の位置及び速度を取得し、当該特定部位の位置及び速度に基づいて人物Ｍのジェスチャを判定する（Ｓ１０６）。出力部３２６は上記のように判定されたジェスチャを示す情報を含むジェスチャ情報３３５を車両制御装置１０等に出力する（Ｓ１０７）。車両制御装置１０はジェスチャ情報３３５に基づいて所定の処理（車載装備品の操作等）を実行する。

上記実施形態によれば、人物Ｍのジェスチャが人物Ｍの特定部位の位置の変化だけでなく、当該特定部位の速度にも基づいて判定される。これにより、人物Ｍのジェスチャを高精度に検知することが可能となる。

以下に、他の実施形態について図面を参照して説明するが、第１実施形態と同一又は同様の箇所については同一の符号を付してその説明を省略する場合がある。

（第２実施形態）
図５は、第２実施形態に係る仮想現実処理装置５１の構成の一例を示す図である。本実施形態の仮想現実処理装置５１は、車両Ｃに搭乗している人物Ｍに仮想現実（拡張現実を含む）を利用したサービスを提供するものである。

図５に示すように、仮想現実処理装置５１は、ジェスチャ検知装置１及びＨＭＤ（Head Mounted Display）５２（可視化部の一例）を含む。ＨＭＤ５２は、人物Ｍに所定の仮想物体を視認可能にする装置であり、例えば、映像を出力するディスプレイ、音声を出力するスピーカ、プログラムに従って各種処理を行うプロセッサ等を含んで構成され得る。本実施形態の仮想現実処理装置５１は、ジェスチャ検知装置１から出力されるジェスチャ情報３３５等に基づいて各種処理を行う。

図６は、第２実施形態に係る仮想現実処理装置５１を構成するジェスチャ検知装置１及びＨＭＤ５２の機能構成の一例を示すブロック図である。ＨＭＤ５２は、位置情報取得部４１１、外部映像取得部４１２、及び仮想現実生成部４１３を備える。

位置情報取得部４１１は、ＨＭＤ５２の位置（本実施形態では人物Ｍの頭部の位置）を示す情報を取得するものであり、例えば加速度センサ等を利用して構成され得る。

外部映像取得部４１２は、ＨＭＤ５２の外部の映像（本実施形態では人物Ｍの視野に対応する外部映像）を取得するものであり、例えばデジタルカメラ等を利用して構成され得る。

仮想現実生成部４１３は、外部映像取得部４１２により取得された外部映像に所定の仮想物体を重畳させた仮想現実を生成するものであり、例えばディスプレイ、プロセッサ等を利用して構成され得る。仮想物体としては様々なものが考えられるが、例えば、仮想ディスプレイ、仮想コントロールパネル等であり得る。

本実施形態に係るジェスチャ検知装置１は、ジェスチャ判定部３２５が仮想操作判定部４０１を備える点で第１実施形態と相違する。

仮想操作判定部４０１は、人物Ｍの特定部位（例えば手、腕等）の位置及び速度に基づいて、人物Ｍが仮想物体に対して行う仮想操作を判定する。仮想操作は、使用環境、仮想物体の形態等に応じて様々な操作であり得るが、例えば、仮想物体の一部を指し示すポインティング操作、仮想物体を移動させる移動操作、仮想物体の大きさを変化させる拡縮動作、冊子状の仮想物体のページを捲るページ捲り操作等であり得る。仮想操作判定部４０１（ジェスチャ判定部３２５）は、人物Ｍがどのような仮想操作を行ったかを示す仮想操作情報を含むジェスチャ情報３３５を生成し、記憶部３３に保存する。

ＨＭＤ５２の仮想現実生成部４１３は、仮想操作判定部４０１により判定された仮想操作（ジェスチャ情報３３５に含まれる仮想操作情報）に応じて、人物Ｍが視認している仮想現実における仮想物体を変化させる。

図７は、第２実施形態に係る仮想現実処理装置５１における処理の一例を示すフローチャートである。ＬｉＤＡＲセンサ２の駆動により車両Ｃの室内の反射波情報が取得されると（Ｓ２０１）、マップ情報生成部３２１は反射波の強度分布に基づいて三次元マップ情報３３２を生成し（Ｓ２０２）、速度情報生成部３２２は反射波のドップラシフトに基づいて速度情報３３３を生成する（Ｓ２０３）。

人物検知部３２３は三次元マップ情報３３２と速度情報３３３とに基づいて車両Ｃの室内に人物Ｍが存在するか否かを判定する（Ｓ２０４）。人物Ｍが存在しない場合（Ｓ２０４：Ｎｏ）、本ルーチンは終了し、人物Ｍが存在する場合（Ｓ２０４：Ｙｅｓ）、ＨＭＤ５２は当該人物ＭがＨＭＤ５２を装着しているかを判定する（Ｓ２０５）。人物ＭがＨＭＤ５２を装着していない場合（Ｓ２０５：Ｎｏ）、本ルーチンは終了し、人物ＭがＨＭＤ５２を装着している場合（Ｓ２０５：Ｙｅｓ）、位置情報生成部３２４は人物Ｍの特定部位の位置を示す情報を含む位置情報３３４を生成する（Ｓ２０６）。

ジェスチャ判定部３２５は速度情報３３３及び位置情報３３４から特定部位の位置及び速度を取得し、当該特定部位の位置及び速度に基づいて人物Ｍが行った仮想操作を判定する（Ｓ２０７）。出力部３２６は上記のように判定された仮想操作の種類や内容を示す仮想操作情報を含むジェスチャ情報３３５をＨＭＤ５２等に出力し、ＨＭＤ５２は当該仮想操作に応じた映像を出力する（Ｓ２０８）。

なお、図７においてはジェスチャ情報３３５が仮想現実処理に利用される部分のみが記載されているが、ジェスチャ情報３３５は第１実施形態と同様に車両制御等に利用されてもよい。

以上のように、本実施形態によれば、人物Ｍが仮想物体に対して行う仮想操作が人物Ｍの特定部位の位置の変化だけでなく、当該特定部位の速度にも基づいて判定される。これにより、人物Ｍの仮想操作を高精度に検知することが可能となり、仮想操作に応じた高品質な仮想現実を提供することが可能となる。

（第３実施形態）
図８は、第３実施形態に係る仮想現実処理装置５１の構成の一例を示す図である。本実施形態の仮想現実処理装置５１は、人物Ｍが保持又は装着しているアイテム５３の動きに応じて、人物Ｍが視認している仮想現実（仮想物体）を変化させる機能を有する。

図９は、第３実施形態に係る仮想現実処理装置５１を構成するジェスチャ検知装置１及びＨＭＤ５２の機能構成の一例を示すブロック図である。本実施形態に係るジェスチャ検知装置１は、ジェスチャ判定部３２５がアイテム判定部５０１を備える点で第２実施形態と相違する。

本実施形態に係る速度情報生成部３２２は、人物Ｍが保持又は装着しているアイテム５３の速度を示す情報を含む速度情報３３３を生成する。また、本実施形態に係る位置情報生成部３２４は、アイテム５３の位置を示す情報を含む位置情報３３４を生成する。

アイテム判定部５０１は、上記のような速度情報３３３及び位置情報３３４からアイテム５３の位置及び速度を取得し、当該アイテム５３の位置及び速度に基づいてアイテム５３の動きを判定する。アイテム５３の動きは、使用環境、アイテム５３の形態等に応じて様々な動きであり得るが、例えば、ディスプレイ状のアイテム５３を変位させる動き、スティック状のアイテム５３を変位させる動き等であり得る。アイテム判定部５０１（ジェスチャ判定部３２５）は、アイテム５３がどのように動いたかを示すアイテム情報を含むジェスチャ情報３３５を生成し、記憶部３３に保存する。

本実施形態に係るＨＭＤ５２の仮想現実生成部４１３は、アイテム判定部５０１により判定されたアイテム５３の動き（ジェスチャ情報３３５に含まれるアイテム情報）に応じて、人物Ｍが視認している仮想現実における仮想物体を変化させる。

図１０は、第３実施形態に係る仮想現実処理装置５１における処理の一例を示すフローチャートである。ＬｉＤＡＲセンサ２の駆動により車両Ｃの室内の反射波情報が取得されると（Ｓ３０１）、マップ情報生成部３２１は反射波の強度分布に基づいて三次元マップ情報３３２を生成し（Ｓ３０２）、速度情報生成部３２２は反射波のドップラシフトに基づいて速度情報３３３を生成する（Ｓ３０３）。

人物検知部３２３は三次元マップ情報３３２と速度情報３３３とに基づいて車両Ｃの室内に人物Ｍが存在するか否かを判定する（Ｓ３０４）。人物Ｍが存在しない場合（Ｓ３０４：Ｎｏ）、本ルーチンは終了し、人物Ｍが存在する場合（Ｓ３０４：Ｙｅｓ）、ＨＭＤ５２は当該人物ＭがＨＭＤ５２を装着しているかを判定する（Ｓ３０５）。人物ＭがＨＭＤ５２を装着していない場合（Ｓ３０５：Ｎｏ）、本ルーチンは終了し、人物ＭがＨＭＤ５２を装着している場合（Ｓ３０５：Ｙｅｓ）、ジェスチャ判定部３２５（アイテム判定部５０１）は当該人物Ｍがアイテム５３を保持等しているか否かを判定する（Ｓ３０６）。

人物Ｍがアイテム５３を保持等していない場合（Ｓ３０６：Ｎｏ）、位置情報生成部３２４は人物Ｍの特定部位の位置を示す情報を含む位置情報３３４を生成する（Ｓ３０７）。ジェスチャ判定部３２５は速度情報３３３及び位置情報３３４から特定部位の位置及び速度を取得し、当該特定部位の位置及び速度に基づいて人物Ｍが行った仮想操作を判定する（Ｓ３０８）。出力部３２６は上記のように判定された仮想操作の種類や内容を示す仮想操作情報を含むジェスチャ情報３３５をＨＭＤ５２等に出力し、ＨＭＤ５２は当該仮想操作に応じた映像を出力する（Ｓ３０９）。

一方、人物Ｍがアイテム５３を保持等している場合（Ｓ３０６：Ｙｅｓ）、位置情報生成部３２４は人物Ｍの特定部位の位置を示す情報とアイテム５３の位置を示す情報とを含む位置情報３３４を生成する（Ｓ３１０）。ジェスチャ判定部３２５は速度情報３３３及び位置情報３３４から特定部位の位置及び速度を取得し、当該特定部位の位置及び速度に基づいて人物Ｍが行った仮想操作を判定する（Ｓ３１１）。また、ジェスチャ判定部３２５は速度情報３３３及び位置情報３３４からアイテム５３の位置及び速度を取得し、当該アイテム５３の位置及び速度に基づいてアイテム５３の動作を判定する（Ｓ３１２）。出力部３２６は上記のように判定された仮想操作の種類や内容を示す仮想操作情報と、アイテム５３の動作の種類や内容を示すアイテム情報とを含むジェスチャ情報３３５をＨＭＤ５２等に出力し、ＨＭＤ５２は当該仮想操作に応じた映像を出力する（Ｓ３１３）。

なお、図１０においてはジェスチャ情報３３５が仮想現実処理に利用される部分のみが記載されているが、ジェスチャ情報３３５は第１実施形態と同様に車両制御等に利用されてもよい。

以上のように、本実施形態によれば、人物Ｍが保持等しているアイテム５３の動きがアイテム５３の位置の変化だけでなく、アイテム５３の速度にも基づいて判定される。これにより、人物Ｍがアイテム５３に与えた動きを高精度に検知することが可能となり、アイテム５３の動きに応じた高品質な仮想現実を提供することが可能となる。

上述したようなジェスチャ検知装置１又は仮想現実処理装置５１の機能を実現するための処理をコンピュータに実行させるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、ＣＤ－Ｒ、メモリカード、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータプログラムプロダクトとして提供されるようにしてもよい。また、当該プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、当該プログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。

以下に、実施形態の変形例を示す。

（第１変形例）
図１１は、第１変形例に係るジェスチャ検知装置の構成の一例を示す図である。上記実施形態においては、ＬｉＤＡＲセンサ２が車両Ｃの天井部に設置される例を示したが、図１１に示されるように、ＬｉＤＡＲセンサ２は車両Ｃのフロント部分に設置されてもよい。このように、ＬｉＤＡＲセンサ２はあらゆる場所に設置され得るものである。

（第２変形例）
図１２は、第２変形例に係るジェスチャ検知装置の構成の一例を示す図である。上記実施形態においては、車両Ｃの室内を検出領域とする例を示したが、図１２に示されるように、ジェスチャ検知装置は、建物の室内Ｒを検出領域とし、当該室内Ｒに存在する人物Ｍのジェスチャやアイテム５３の動きを検知するものであってもよい。この場合、ＬｉＤＡＲセンサ２は天井Ｃｅ、壁Ｗ等に設置され得る。このような構成とすることにより、例えば、人物Ｍやアイテム５３の動きに応じた仮想現実を表現するスポーツシミュレータのような仮想現実処理装置を提供できる。

（第３変形例）
図１３は、第３変形例に係るジェスチャ検知装置の構成の一例を示す図である。上記実施形態においては、車両Ｃの室内を検出領域とする例を示したが、図１３に示されるように、ジェスチャ検知装置は、浴室を検出領域とし、浴槽Ｂ内の人物Ｍのジェスチャを検知するものであってもよい。この場合、ＬｉＤＡＲセンサ２は浴槽Ｂの上部の天井Ｃｅ等に設置され得る。このような構成とすることにより、例えば、入浴中の人物Ｍのジェスチャによる各種操作（例えば水量、温度、換気等の調整等）や、人物Ｍの健康状態の監視等を行うシステム等を提供できる。

以上、本発明の実施形態及び変形例について説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…ジェスチャ検知装置、２…ＬｉＤＡＲセンサ、３…制御装置、１０…車両制御装置、２１…送信部、２２…受信部、３１…ＡＤＣ、３２…処理部、３３…記憶部、５１…仮想現実処理装置、５２…ＨＭＤ、５３…アイテム、３２１…マップ情報生成部、３２２…速度情報生成部、３２３…人物検知部、３２４…位置情報生成部、３２５…ジェスチャ判定部、３２６…出力部、３３１…設定情報、３３２…三次元マップ情報、３３３…速度情報、３３４…位置情報、３３５…ジェスチャ情報、４０１…仮想操作判定部、４１１…位置情報取得部、４１２…外部映像取得部、４１３…仮想現実生成部、５０１…アイテム判定部、Ｂ…浴槽、Ｃ…車両、Ｃｅ…天井、Ｄ…ラベリング領域、Ｍ…人物、Ｒ…室内、Ｒｓ…特定領域、Ｓ…座席、Ｗ…壁

Claims (9)

1. 所定の検出領域に周波数変調された電磁波を送信波として送信し、前記送信波が前記検出領域に存在する物体に反射されることにより発生する反射波を受信するセンサと、
   前記反射波の強度分布に基づいて前記検出領域における前記物体の位置を示す三次元マップ情報を生成するマップ情報生成部と、
   前記反射波のドップラシフトに基づいて前記物体の速度を示す速度情報を生成する速度情報生成部と、
   前記三次元マップ情報と前記速度情報とに基づいて前記検出領域に存在する人物を検知する人物検知部と、
   前記人物検知部により検知された前記人物の特定部位の位置を示す位置情報を生成する位置情報生成部と、
   前記特定部位の位置と前記特定部位の速度とに基づいて前記人物のジェスチャを判定するジェスチャ判定部と、
   を備えるジェスチャ検知装置。
2. 前記特定部位は、前記人物の手又は腕を含む、
   請求項１に記載のジェスチャ検知装置。
3. 所定の検出領域に周波数変調された電磁波を送信波として送信し、前記送信波が前記検出領域に存在する物体に反射されることにより発生する反射波を受信するセンサと、
   前記反射波の強度分布に基づいて前記検出領域における前記物体の位置を示す三次元マップ情報を生成するマップ情報生成部と、
   前記反射波のドップラシフトに基づいて前記物体の速度を示す速度情報を生成する速度情報生成部と、
   前記三次元マップ情報と前記速度情報とに基づいて前記検出領域に存在する人物を検知する人物検知部と、
   前記人物検知部により検知された前記人物の特定部位の位置を示す位置情報を生成する位置情報生成部と、
   前記特定部位の位置と前記特定部位の速度とに基づいて前記人物のジェスチャを判定するジェスチャ判定部と、
   仮想物体を前記人物に視認可能にする可視化部と、
   を備え、
   前記ジェスチャ判定部は、前記人物が前記仮想物体に対して行う仮想操作を判定し、
   前記可視化部は、前記仮想操作に応じて前記仮想物体を変化させる、
   仮想現実処理装置。
4. 前記特定部位は、前記人物の手又は腕を含む、
   請求項３に記載の仮想現実処理装置。
5. 前記仮想操作は、前記人物が前記仮想物体の一部を指し示すポインティング操作を含む、
   請求項４に記載の仮想現実処理装置。
6. 前記仮想操作は、前記人物が前記仮想物体を移動させる移動操作を含む、
   請求項４に記載の仮想現実処理装置。
7. 前記仮想操作は、前記人物が前記仮想物体の大きさを変化させる拡縮操作を含む、
   請求項４に記載の仮想現実処理装置。
8. 前記仮想操作は、前記人物が冊子状の前記仮想物体のページを捲るページ捲り操作を含む、
   請求項４に記載の仮想現実処理装置。
9. 前記速度情報生成部は、前記人物が保持又は装着しているアイテムの速度を示す情報を含む前記速度情報を生成し、
   前記位置情報生成部は、前記アイテムの位置を示す情報を含む前記位置情報を生成し、
   前記ジェスチャ判定部は、前記アイテムの位置と前記アイテムの速度とに基づいて前記アイテムの動きを判定し、
   前記可視化部は、前記アイテムの動きに応じて前記仮想物体を変化させる、
   請求項３又は４に記載の仮想現実処理装置。

Images