JP2019008393A - センサ、ハーフミラー及びディスプレイ装置を備えた装置 - Google Patents
センサ、ハーフミラー及びディスプレイ装置を備えた装置 Download PDFInfo
- Publication number
- JP2019008393A JP2019008393A JP2017121226A JP2017121226A JP2019008393A JP 2019008393 A JP2019008393 A JP 2019008393A JP 2017121226 A JP2017121226 A JP 2017121226A JP 2017121226 A JP2017121226 A JP 2017121226A JP 2019008393 A JP2019008393 A JP 2019008393A
- Authority
- JP
- Japan
- Prior art keywords
- user
- content
- sensor
- display device
- mirror
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
【課題】コンテンツの提供において、よりインタラクティブな体験をユーザに提供する。【解決手段】ユーザ120の少なくとも一部を感知する一又は二以上のセンサ110と、コンテンツの少なくとも一部を表示するとともに、一又は二以上のセンサが感知したユーザの少なくとも一部を表示するディスプレイ装置105と、ユーザとディスプレイとの間に設置されて、ユーザの少なくとも一部を反射により映すとともに、ディスプレイ装置に表示されているコンテンツの少なくとも一部とユーザの少なくとも一部とをユーザ側に透かすミラー115とを備える。装置100は、所定の時間間隔に渡って所定の部位のユーザ120及び動画データのオブジェクトの動きを比較し、ユーザ120が動画データの動きにしたがって動いているか否かを判定する。【選択図】図1
Description
本発明は、センサ、ハーフミラー及びディスプレイ装置を備えた装置に関する。
ダンスやゴルフなどのスポーツ、装置の操作方法などの所定の動作などを提供する動画コンテンツは、インターネットの普及により、トレーニングブックや、文字や絵に基づくテキスト、及び取扱説明書などに代わって、よく用いられるようになっている。現在多くの動画コンテンツは、ユーザへ一方向的に情報を提供している。情報の方向性という観点において、現在の動画コンテンツは、従来のテキストや取扱説明書と同様にユーザへ一方向であるという点で同じである。
コンテンツの提供において、よりインタラクティブな体験をユーザに提供することが望まれている。
本発明の実施例による装置は、ユーザの少なくとも一部を感知する一又は二以上のセンサと、コンテンツの少なくとも一部を表示するとともに、前記一又は二以上のセンサが感知したユーザの少なくとも一部を表示するディスプレイ装置と、前記ユーザと前記ディスプレイとの間に設置されているミラーであって、前記ユーザの少なくとも一部を反射により映すとともに、前記ディスプレイ装置に表示されている前記コンテンツの少なくとも一部と前記ユーザの少なくとも一部とを前記ユーザ側に透かすミラーとを備えている。
装置の基本構成
図1は、本発明の実施例による装置を示す。装置100は、ディスプレイ装置105、センサ110及びミラー115を有する。ディスプレイ装置105は、ブラウン管ディスプレイ、液晶ディスプレイ、プラズマディスプレイ、有機ELディスプレイ、プロジェクタ、LEDディスプレイ、その他適切な表示装置を用いたディスプレイとすることができる。これは例示であり、ディスプレイ装置105は、少なくともコンテンツなどを表示できる装置であればよい。ミラー115は、ユーザ120を反射により表示する。また、ミラー115は、所定の透過率を有しており、ディスプレイ装置105に表示されている内容を透過させることによってユーザ120側に提供する。ミラー115の所定の透過率は、30%から50%であり、好ましくは33%である。これにより、ユーザ120は、ユーザ自身の姿をミラー115を用いて見ることができ、ディスプレイ装置105に表示されている内容をミラー115を介して見ることができる。図1において、センサ110の設置場所やサイズは例示である。当業者であれば、図1におけるセンサ110の設置場所やサイズなどを変更することができることが理解されるであろう。
図1は、本発明の実施例による装置を示す。装置100は、ディスプレイ装置105、センサ110及びミラー115を有する。ディスプレイ装置105は、ブラウン管ディスプレイ、液晶ディスプレイ、プラズマディスプレイ、有機ELディスプレイ、プロジェクタ、LEDディスプレイ、その他適切な表示装置を用いたディスプレイとすることができる。これは例示であり、ディスプレイ装置105は、少なくともコンテンツなどを表示できる装置であればよい。ミラー115は、ユーザ120を反射により表示する。また、ミラー115は、所定の透過率を有しており、ディスプレイ装置105に表示されている内容を透過させることによってユーザ120側に提供する。ミラー115の所定の透過率は、30%から50%であり、好ましくは33%である。これにより、ユーザ120は、ユーザ自身の姿をミラー115を用いて見ることができ、ディスプレイ装置105に表示されている内容をミラー115を介して見ることができる。図1において、センサ110の設置場所やサイズは例示である。当業者であれば、図1におけるセンサ110の設置場所やサイズなどを変更することができることが理解されるであろう。
一実施例において、ミラー115は、ユーザの全体、又は、上半身部分、腕部分などのユーザの一部を反射により表示することができる。ディスプレイ装置105は、コンテンツ全体又はコンテンツの一部、又は、それらの組み合わせを表示することができる。
センサ110は、カメラ、ステレオカメラ、深度センサ、赤外線センサ、骨格センサ、マイク、光センサ、モーションセンサ、及び、他の手段によって実現されるオブジェクトの動きを感知できるセンサの一つ又はそれら一又は二以上の組み合わせとすることができる。センサ110は、有線及び/又は無線を介してディスプレイ装置105に接続されている。一実施例において、センサ110及びディスプレイ装置105は、少なくともプロセッサを有する制御装置、例えば、マザーボードなどに接続され、制御される。一実施例において、センサ110は、ユーザ120の動きを感知することができる。センサ110は、感知した情報をディスプレイ装置105に向けて送信することができる。ディスプレイ装置105は、さらに、感知した情報を表示することができる。例えば、制御装置は、センサ110から感知した情報を取得し、取得した情報をディスプレイ装置105に表示することができる。一実施例において、ディスプレイ装置105は、感知した情報全て又は感知した情報の一部、又は、それらの組み合わせを表示することができる。例えば、センサは、マイクロソフト社製のKinect V2 Sensorなどが知られている。
装置の内部構成
図2は、装置の構成を示す図である。装置100は、ディスプレイ装置105を制御するディスプレイ装置コントローラ205、センサ110を制御するセンサコントローラ210及び/又は入出力インタフェース225、RAM及びROMの少なくとも一方を含む記憶装置215、プロセッサ220を有する。ディスプレイ装置コントローラ205、センサコントローラ210、記憶装置215、プロセッサ220及び入出力インタフェース225は、互いにバス260を介して接続されており、互いに通信することができる。
図2は、装置の構成を示す図である。装置100は、ディスプレイ装置105を制御するディスプレイ装置コントローラ205、センサ110を制御するセンサコントローラ210及び/又は入出力インタフェース225、RAM及びROMの少なくとも一方を含む記憶装置215、プロセッサ220を有する。ディスプレイ装置コントローラ205、センサコントローラ210、記憶装置215、プロセッサ220及び入出力インタフェース225は、互いにバス260を介して接続されており、互いに通信することができる。
プロセッサ220は、記憶装置215に記憶されているコンピュータプログラムに基づいてディスプレイ装置105に表示するコンテンツの表示制御や、センサ110が感知した情報を受信し、その情報を加工してディスプレイ装置105に表示する制御処理などを実行することができる。ディスプレイ装置コントローラ205は、ディスプレイ装置105に有線及び/又は無線を介して接続されており、記憶装置215に記憶されているコンテンツ、及び/又は、外部装置から入出力インタフェース225を介して供給されるコンテンツをディスプレイ装置105に表示することができる。センサコントローラ210及び/又は入出力インタフェース225は、センサ110に有線及び/又は無線を介して接続されており、センサ110が感知した情報及び/又はその情報を加工した加工情報をバス260を介して、プロセッサ220や記憶装置215などの他のハードウエアに送信することができる。
一実施例において、装置100は、センサ110が取得したユーザ120の動きの少なくとも一部を、ディスプレイ装置105に表示されているコンテンツ内のオブジェクトの少なくとも一部に関連付けすることができる。例えば、図3に示すように、人体の部位ごとにセンサ110の感知部分が与えられる。センサ110は、これら感知部分の動きを感知できる。コンテンツは、動画データと、当該動画データのオブジェクトに関する図3に示すような感知部分についての動きに関する情報とを予め有することができる。これにより、装置100は、センサ110が感知した情報と動画データのオブジェクトにおける動きに関する情報であるコンテンツが予め有する情報とを関連付けすることができる。例えば、感知部分ごとに識別子が与えられており、装置100は、識別子に基づいてセンサ110の情報と動画データのオブジェクトとを関連付けすることができる。これにより、装置100は、所定の部位(例えば、右肩、左肩、頭)について、ユーザ120の動きと動画データのオブジェクトの動きを関連付けすることができる。一実施例において、関連付けは、所定の部位を特定することによって行えるため、動いていない画像、すなわち、静止画及びユーザについて行われてもよい。
装置100は、前記関連付けによって、所定の時間間隔に渡って所定の部位のユーザ120及び動画データのオブジェクトの動きを比較することができる。これにより、装置100は、ユーザ120が動画データの動きにしたがって動いているか否かを判定することができる。例えば、コンテンツが、ダンスや、ゴルフなどのインストラクションを目的とするものである場合、装置100は、ユーザ120が動画データの動きにしたがって動いていることを示すスコアを作成し、ユーザに提供してもよい。上述のダンスや、ゴルフは、例示であり、コンテンツは、フォーム矯正を必要とする様々な動きのトレーニングを含むことができる。より具体的には、コンテンツは、ダンス、ヨガ、ウェイトトレーニング、ゴルフ、テニス、空手など格闘技の型、野球、サッカー、弓道、剣道、バスケなどのスポーツのフォームトレーニングで用いることができる。一実施例において、所定の時間間隔は、一つのインストラクションの間隔、複数のインストラクションの間隔、一つのインストラクションの一部分の間隔などとすることができる。一実施例において、スコアは、所定の部位のユーザ120及び動画データのオブジェクトの動きの一致点に基づいて計算されてもよい。一実施例において、スコアの計算に関し、インストラクションの内容に基づいて、重み付けを所定の部位に行ってもよい。例えば、ゴルフは、腰の動きが重要であることから、腰の部位に重み付けしてスコアの計算を行ってもよい。例えば、ダンスの場合は、腰及び手足がダンスの表現力を向上させることから、腰及び手足の部位に重み付けしてスコアの計算を行ってもよい。
他の実施例において、装置100は、コンテンツとセンサ110が感知したユーザの情報とに基づいて、ディスプレイ装置105に表示されるコンテンツ内のオブジェクトの大きさを拡大又は縮小することができる。一実施例において、センサ110が感知したユーザの情報に基づいて生成されたユーザの画像がディスプレイ装置110に表示される場合、装置100は、コンテンツとセンサ110が感知したユーザの情報とに基づいて、当該ユーザの画像の大きさを拡大又は縮小することができる。
装置の処理フロー
図4は、本発明の実施例による処理フローを示す。装置100は、最初に初期化処理を実行する(ステップ410)。初期化処理は、例えば、センサ110や、ディスプレイ装置105などの起動、上述のコンテンツなどの拡大又は縮小の処理を含むことができる。装置100は、ディスプレイ装置105においてコンテンツの表示を開始する(ステップ415)。コンテンツの表示は、コンテンツ全体の表示又はコンテンツの一部の表示とすることができる。コンテンツの表示開始は、ユーザ入力、タイマ起動などによって行われる。ユーザ入力は、ボタン入力や、ディスプレイ装置105へのタッチパネル入力(この場合、装置100又はディスプレイ装置105は、ミラー115を介したタッチパネル機能を有する)、音声入力、センサ110が感知したユーザの特定の動き、当該ユーザの特定部位の特定(例えば、顔認識)などによる入力などがとすることができる。コンテンツは、記憶装置215から、及び/又は、入出力インタフェース225を介して外部装置からディスプレイ装置105に供給される。
図4は、本発明の実施例による処理フローを示す。装置100は、最初に初期化処理を実行する(ステップ410)。初期化処理は、例えば、センサ110や、ディスプレイ装置105などの起動、上述のコンテンツなどの拡大又は縮小の処理を含むことができる。装置100は、ディスプレイ装置105においてコンテンツの表示を開始する(ステップ415)。コンテンツの表示は、コンテンツ全体の表示又はコンテンツの一部の表示とすることができる。コンテンツの表示開始は、ユーザ入力、タイマ起動などによって行われる。ユーザ入力は、ボタン入力や、ディスプレイ装置105へのタッチパネル入力(この場合、装置100又はディスプレイ装置105は、ミラー115を介したタッチパネル機能を有する)、音声入力、センサ110が感知したユーザの特定の動き、当該ユーザの特定部位の特定(例えば、顔認識)などによる入力などがとすることができる。コンテンツは、記憶装置215から、及び/又は、入出力インタフェース225を介して外部装置からディスプレイ装置105に供給される。
装置100は、センサ110を用いてユーザ120を感知する(ステップ420)。ユーザ120の感知は、動いていないユーザの感知及び動いているユーザの感知の一方又は両方とすることができる。一実施例において、ユーザ120の感知は、ユーザ全体又はユーザの一部(例えば、頭部分、胴体部分など)とすることができる。装置100は、センサ110が感知した情報に基づいて、ユーザの全体又は一部であるセンサ画像をディスプレイ装置105に表示する(ステップ425)。一実施例において、センサ画像は、センサ110が感知した情報に基づいて生成や加工された画像とすることができる。一実施例において、センサ画像は、ディスプレイ装置105に表示されなくてもよい。
装置100は、コンテンツ又はコンテンツ内のオブジェクト(以下、特に指定が無い場合は「コンテンツ」とする)とセンサ画像との関連付けを行う(ステップ430)。例えば、コンテンツ及びセンサ画像は、図3に示したような感知部分を有しており、装置100は、コンテンツの感知部分をセンサ画像の感知部分に関連付けすることができる。図3の例では、25か所の感知部分が示されているが、これは例示であり、感知部分は、これよりも多くても又は少なくてもよい。
装置100は、コンテンツをセンサ画像と比較する(ステップ435)。関連付けされた感知部分の一部又は全てのそれぞれについて、コンテンツとセンサ画像とを比較する。これにより、ディスプレイ装置105は、コンテンツの全体又は一部とセンサ画像とを重畳的に表示することができる。このとき、ミラー115は、映し出されたユーザ120の姿をユーザに供給している。したがって、ユーザ120は、ミラー115を用いて自分の姿を見ることができ、さらに、ディスプレイ装置105を用いてコンテンツを見ることができる。装置100は、ディスプレイ装置105に表示されているコンテンツとユーザ120の姿であるセンサ画像との比較画像を生成することができる。一実施例において、ユーザ120は、ミラー115を用いて自分の姿を見ることができ、さらに、ディスプレイ装置105を用いてコンテンツと自分の姿であるセンサ画像との比較画像を見ることができるようにしてもよい。一実施例において、装置100は、コンテンツ及びセンサ画像の感知部分に関する情報に基づいて、コンテンツ及びセンサ画像の一方又は両方を拡大又は縮小することによって、コンテンツ及びセンサ画像のサイズを調整した比較画像を生成してもよい。ユーザ120は、比較画像を見ることによって、例えばコンテンツが静止画である場合、静止した姿勢が正しいか否か(すなわち、正しいポーズを維持できているか否か)を判断することができ、例えばコンテンツが動画である場合、コンテンツが示す動きをフォローできているか否かを判断することができる。
一実施例において、装置100は、所定の時間の間、上記の通り、関連付けされた感知部分の一部又は全てのそれぞれについて、コンテンツとセンサ画像とを比較することによって、コンテンツ及びセンサ画像の一致点及び/又は相違点、又は、それらに関する情報をユーザに通知してもよい。通知は、音声出力装置を用いた音声による通知や、ディスプレイ装置105を用いが通知の表示などによって実現されてもよい。例えば、装置100は、関連付けされた感知部分の一部又は全てのそれぞれの一致点及び/又は相違点の数、又は、当該数に基づくスコアなどを通知してもよい。このスコアは、ユーザ120がコンテンツのインストラクションにしたがって動作しているか否かを表すことができる。一実施例において、感知部分は、身体の部位などによって重み付けしてもよい。このような通知により、ユーザ120は、コンテンツが示すポーズや動作などをより効果的に学ぶことができる。
ミラー及びディスプレイ装置の配置
図5は、装置100を正面から示した図である。装置100の前面には、ミラー115が設置されており、ミラー115の後ろにディスプレイ装置105及びセンサ110が設置されている。本実施例において、センサ110は、ディスプレイ装置105の上に配置しているが、ディスプレイ装置105の、左、右又は下部分であってもよい。また、センサ110は、複数の場所に配置されていてもよい。
図5は、装置100を正面から示した図である。装置100の前面には、ミラー115が設置されており、ミラー115の後ろにディスプレイ装置105及びセンサ110が設置されている。本実施例において、センサ110は、ディスプレイ装置105の上に配置しているが、ディスプレイ装置105の、左、右又は下部分であってもよい。また、センサ110は、複数の場所に配置されていてもよい。
本実施例において、ユーザ120の全身をミラーに映す場合、ミラーのサイズは、高さ約180cm(図5におけるa510の長さ)、幅約100cm(図5におけるc520の長さ)程度が好ましい。当業者であれば理解されるように、ミラーのサイズは、この値より大きくてもよい又小さくてもよい。好ましい実施例において、ミラーのサイズは、高さ約200cm、幅約110cmである。ユーザの目線の入射角及び反射角を計算すると、ミラーにおける頭及び足元が写る高さは以下の通りとなる。
ミラーにユーザが映るサイズのディスプレイ装置を用いることによって、センサ画像及びコンテンツをミラーに映るユーザの全身画像としてディスプレイ装置105に再現することができる。したがって、ディスプレイ装置105の表示領域の下部は、所定の身長のユーザの足元が映るミラー上の高さとする必要があり、上部は頭が映るミラー上の高さとする必要がある。
例えば、身長が110cmのユーザを対象とする場合、ディスプレイ装置105の表示領域の下部の高さ(図5におけるe530の長さ)は地上から47.5cmとなり、身長が120cmの場合、下部の高さは地上から52.5cmとなる。したがって、対象ユーザの足元が映るミラー上の高さをディスプレイ装置105の表示領域の下部の高さとすることができる。
例えば、身長が190cmのユーザを対象とする場合、ディスプレイ装置105の表示領域の上部の高さは地上から182.5cmとなり、身長が180cmの場合、下部の高さは地上から172.5cmとなる。したがって、対象ユーザの頭が映るミラー上の高さをディスプレイ装置105の表示領域の上部の高さとすることができる。
表示領域の下部の高さは、想定する最も背の低いユーザの足元が映るミラー上の高さ以上にすることができ、表示領域の上部の高さは、想定する最も背の高いユーザの頭が映るミラー上の高さ以下にすることができる。ディスプレイ装置105の表示領域の上下方向における長さ(図5におけるb515の長さ)は、表示領域の上部の高さから表示領域の下部の高さを引いた値とすることができる。
表示領域の横方向の幅は、ユーザの肩幅や、コンテンツ、装置100の設置場所などに応じて決定することができる。一般に、人間の横方向の長さは、肩幅が一番長い。ミラーが全身を映す場合、肩幅の半分の長さの横幅を有するミラーが少なくとも必要となる。例えば、表示領域の幅(図5におけるd525の長さ)を、対象ユーザの肩幅の半分(日本人の肩幅に平均は約45cm程度なので、約22.5cm)以上とすることができる。これにより、装置100は、反射によりユーザの全体をミラーに写すとともに、この映された大きさとユーザのサイズとほぼ同じサイズの画像をディスプレイ装置105に表示することができる。
装置100を使用するユーザの身長が120cmであると想定すると、表示領域の下部の高さは、地上から約50cmが望ましい。したがって、装置100を使用するユーザの身長が120cm〜190cmであると想定した場合、好ましい実施例において、表示領域のサイズは、約1400mm×800mm(より詳細には、1435mm×808mm)とすることができる。これは、65インチテレビのサイズとほぼ同じである。通常のテレビのサイズのディスプレイ装置を用いることによって、汎用性を向上させることができる。当業者であれば理解されるように、ディスプレイ装置115のサイズは、65インチテレビのサイズより小さくても、大きくてもよい。
センサの配置
(センサ100を装置100の上部に設置する例)
センサ110は、ディスプレイ装置105の上(地上からの高さ約2m)に位置し、センサ110の横方向の中心がミラー115の横方向の中心に位置するように配置される。センサ110は、その感知部が水平方向から下向きに約30度傾いて配置される。このような配置により、センサ110の左右視野角が約70度、上下視野角が約60度である場合、センサ110はミラー115から約1m程度(より具体的には、117cm)離れた身長110cmから190cm程度のユーザの全身を感知することができる。ユーザは、動作をするとき、ミラーが近すぎると動作をしにくいことから、ユーザはミラー115から約1.5〜3m離れて装置100を用いることが望ましい。
(センサ100を装置100の上部に設置する例)
センサ110は、ディスプレイ装置105の上(地上からの高さ約2m)に位置し、センサ110の横方向の中心がミラー115の横方向の中心に位置するように配置される。センサ110は、その感知部が水平方向から下向きに約30度傾いて配置される。このような配置により、センサ110の左右視野角が約70度、上下視野角が約60度である場合、センサ110はミラー115から約1m程度(より具体的には、117cm)離れた身長110cmから190cm程度のユーザの全身を感知することができる。ユーザは、動作をするとき、ミラーが近すぎると動作をしにくいことから、ユーザはミラー115から約1.5〜3m離れて装置100を用いることが望ましい。
(センサ100を装置100の下部に設置する例)
上記の各実施例において、センサ110は装置100の上部に設置した実施例を説明したが、センサ110を装置100の下部に設置してもよい。例えば、センサ110は、ディスプレイ装置105の下(地上からの高さ約0.5m)に位置し、センサ110の横方向の中心がミラー115の横方向の中心に位置するように配置される。センサ110は、その感知部が水平方向から上向きに約30度傾いて配置される。このような配置により、センサ110の左右視野角が約70度、上下視野角が約60度である場合、センサ110はミラー115から約1m程度(より具体的には、117cm)離れた身長110cmから190cm程度のユーザの全身を感知することができる。ユーザは、動作をするとき、ミラーが近すぎると動作をしにくいことから、ユーザはミラー115から約1.5〜3m離れて装置100を用いることが望ましい。
上記の各実施例において、センサ110は装置100の上部に設置した実施例を説明したが、センサ110を装置100の下部に設置してもよい。例えば、センサ110は、ディスプレイ装置105の下(地上からの高さ約0.5m)に位置し、センサ110の横方向の中心がミラー115の横方向の中心に位置するように配置される。センサ110は、その感知部が水平方向から上向きに約30度傾いて配置される。このような配置により、センサ110の左右視野角が約70度、上下視野角が約60度である場合、センサ110はミラー115から約1m程度(より具体的には、117cm)離れた身長110cmから190cm程度のユーザの全身を感知することができる。ユーザは、動作をするとき、ミラーが近すぎると動作をしにくいことから、ユーザはミラー115から約1.5〜3m離れて装置100を用いることが望ましい。
その他の実施例
(コンテンツのループ再生)
装置100は、ユーザ120がコンテンツのインストラクションにしたがって動作しているか否かを表すスコア(すなわち、ユーザ及びコンテンツの一致点及び/又は相違点に関する情報)を、所定の時間間隔(例えば、10秒、30秒、1分又はユーザが設定した間隔)で分析することができる。装置100は、スコアが低い時間間隔のコンテンツ部分を取得し、コンテンツ部分をループ再生することができる。
(コンテンツのループ再生)
装置100は、ユーザ120がコンテンツのインストラクションにしたがって動作しているか否かを表すスコア(すなわち、ユーザ及びコンテンツの一致点及び/又は相違点に関する情報)を、所定の時間間隔(例えば、10秒、30秒、1分又はユーザが設定した間隔)で分析することができる。装置100は、スコアが低い時間間隔のコンテンツ部分を取得し、コンテンツ部分をループ再生することができる。
(コンテンツのカスタマイズ)
装置100は、コンテンツを複数の人に提供し、複数の人のセンサ画像を取得し、記憶することができる。装置100は、それらのセンサ画像を分析し、センサ画像の感知部分(図3に示すような感知部分)の動きの取得、比較、記憶などを行うことができる。あるユーザが装置100を2回以上利用した場合、装置100は、当該ユーザの動きの複数の比較結果を所定の部位ごとに蓄積できる。比較結果の蓄積は、同じコンテンツに渡って行うことができ、また、比較結果の蓄積は、2以上の異なるコンテンツに渡って行うこともできる。装置100は、各比較結果を分析することによって、部位ごとに重み付けを行うことができる。例えば、比較結果の蓄積が2以上の異なるコンテンツに渡って行われる場合、装置100は、第1のユーザが様々なコンテンツを通して「右膝を曲げる動作が甘い」と言う「クセ」を取得することができ、第2のユーザが様々なコンテンツを通して「腰の動きが硬い」と言うクセを取得することができる。したがって、第1及び第2のユーザが同じコンテンツを利用した場合であっても、装置100は、異なる重み付の結果を各ユーザに提示することができる。各ユーザがあるコンテンツを初めて利用する場合であっても、装置100は、比較結果の蓄積に基づいて、各ユーザへの重み付けを行うことができることから、コンテンツをユーザごとにカスタマイズすることができる。
装置100は、コンテンツを複数の人に提供し、複数の人のセンサ画像を取得し、記憶することができる。装置100は、それらのセンサ画像を分析し、センサ画像の感知部分(図3に示すような感知部分)の動きの取得、比較、記憶などを行うことができる。あるユーザが装置100を2回以上利用した場合、装置100は、当該ユーザの動きの複数の比較結果を所定の部位ごとに蓄積できる。比較結果の蓄積は、同じコンテンツに渡って行うことができ、また、比較結果の蓄積は、2以上の異なるコンテンツに渡って行うこともできる。装置100は、各比較結果を分析することによって、部位ごとに重み付けを行うことができる。例えば、比較結果の蓄積が2以上の異なるコンテンツに渡って行われる場合、装置100は、第1のユーザが様々なコンテンツを通して「右膝を曲げる動作が甘い」と言う「クセ」を取得することができ、第2のユーザが様々なコンテンツを通して「腰の動きが硬い」と言うクセを取得することができる。したがって、第1及び第2のユーザが同じコンテンツを利用した場合であっても、装置100は、異なる重み付の結果を各ユーザに提示することができる。各ユーザがあるコンテンツを初めて利用する場合であっても、装置100は、比較結果の蓄積に基づいて、各ユーザへの重み付けを行うことができることから、コンテンツをユーザごとにカスタマイズすることができる。
他の実施例において、装置100は、コンテンツが有する感知部分の動きを、取得したセンサ画像の感知部分に基づいて更新することができる。一実施例において、分析は、人によって重み付けを行ってもよい。例えば、レッスンを受けている人のセンサ画像よりインストラクターによるセンサ画像が、コンテンツが有する感知部分の動きの更新により多くの影響を与える。
(コンテンツ検索)
装置100は、センサ110が検知したユーザ120の動きに基づいて、ユーザ120が興味を有するであろうコンテンツを記憶装置215又はインターネットから検索することができる。
装置100は、センサ110が検知したユーザ120の動きに基づいて、ユーザ120が興味を有するであろうコンテンツを記憶装置215又はインターネットから検索することができる。
他の実施例において、装置100は、ユーザ120が身に着けている道具(例えば、手に持つ、着る、履く、付けるなど)をセンサ110を用いて検知することができる。装置100は、検知した道具に基づいてユーザ120が興味を有するであろうコンテンツを記憶装置215又はインターネットから検索することができる。
以上に説明した処理又は処理順序において、ある処理において、その処理ではまだ利用することができないはずのデータを利用しているなどの処理又は処理順序上の矛盾が生じない限りにおいて、処理又は処理順序を自由に変更することができる。
以上に説明してきた各実施例に関し、各実施例の一部又は全部を組み合わせて一つの実施例として実現されてもよい。
参照により明細書に組み込むことが許されている国おいて、上記の説明で参照した特許文献及び非特許文献は本明細書に組み込まれる。
以上に説明してきた各実施例は、本発明を説明するための例示であり、本発明はこれらの実施例に限定されるものではない。本発明は、その要旨を逸脱しない限り、種々の形態で実施することができる。
100 装置
105 ディスプレイ装置
110 センサ
115 ミラー
105 ディスプレイ装置
110 センサ
115 ミラー
Claims (9)
- ユーザの少なくとも一部を感知する一又は二以上のセンサと、
コンテンツの少なくとも一部を表示するとともに、前記一又は二以上のセンサが感知したユーザの少なくとも一部を表示するディスプレイ装置と、
前記ユーザと前記ディスプレイとの間に設置されているミラーであって、前記ユーザの少なくとも一部を反射により映すとともに、前記ディスプレイ装置に表示されている前記コンテンツの少なくとも一部と前記ユーザの少なくとも一部とを前記ユーザ側に透かすミラーとを備えた、装置。 - 前記装置は、プロセッサをさらに備え、
前記プロセッサは、前記コンテンツの前記オブジェクトの少なくとも一部を前記センサが感知したユーザの少なくとも一部に関連付けするよう構成されている、請求項1に記載の装置。 - 前記装置は、プロセッサをさらに備え、
前記コンテンツは、動きを有するオブジェクトを含み、
前記一又は二以上のセンサは、前記ユーザの動きの少なくとも一部を感知するよう構成され、
前記プロセッサは、前記コンテンツの前記オブジェクトの動きの少なくとも一部を前記センサが感知した前記ユーザの動きの少なくとも一部に関連付けし、関連付けされた前記ユーザの動きの少なくとも一部と前記コンテンツにおける前記オブジェクトの動きの少なくとも一部とを比較するよう構成されている、請求項1に記載の装置。 - 前記比較に基づいて、前記ユーザ及び前記オブジェクトの動きの一致点及び/又は相違点に関する情報を取得する、請求項3に記載の装置。
- 前記一致点及び/又は相違点に関する情報に基づいて、コンテンツをループ再生する、請求項4に記載の装置。
- 前記センサが感知した前記ユーザの動きに関する情報を蓄積して記憶し、前記蓄積した情報を分析し、前記ユーザの動きにおける所定の部位に関して重み付けを行う、請求項3ないし5のいずれか1項に記載の装置。
- 前記センサは、前記ユーザの動き又は前記ユーザが身に着けている道具を検知し、前記装置は、前記動き又は前記道具に基づいてコンテンツを検索する、請求項1ないし6のいずれか1項に記載の装置。
- 前記ディスプレイ装置の表示領域の下部の高さは、前記ミラーが映すユーザの足元の高さ以上である、請求項1ないし7のいずれか1項に記載の装置。
- 前記ディスプレイ装置の表示領域の上部の高さは、前記ミラーが映すユーザの頭の高さ以下である、請求項1ないし8のいずれか1項に記載の装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017121226A JP2019008393A (ja) | 2017-06-21 | 2017-06-21 | センサ、ハーフミラー及びディスプレイ装置を備えた装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017121226A JP2019008393A (ja) | 2017-06-21 | 2017-06-21 | センサ、ハーフミラー及びディスプレイ装置を備えた装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019008393A true JP2019008393A (ja) | 2019-01-17 |
Family
ID=65026821
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017121226A Pending JP2019008393A (ja) | 2017-06-21 | 2017-06-21 | センサ、ハーフミラー及びディスプレイ装置を備えた装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019008393A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110917604A (zh) * | 2019-11-14 | 2020-03-27 | 西安优信机电工程有限公司 | 一种室内瑜伽姿势矫正系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007188175A (ja) * | 2006-01-11 | 2007-07-26 | Yamaha Corp | サーバ装置、端末装置およびプログラム |
JP2009277195A (ja) * | 2008-04-18 | 2009-11-26 | Panasonic Electric Works Co Ltd | 情報表示システム |
WO2012039467A1 (ja) * | 2010-09-22 | 2012-03-29 | パナソニック株式会社 | 運動支援システム |
JP2012081089A (ja) * | 2010-10-12 | 2012-04-26 | Canon Inc | 映像情報処理装置および方法 |
JP2014131245A (ja) * | 2012-12-28 | 2014-07-10 | Casio Comput Co Ltd | 表示制御装置、表示制御方法及びプログラム |
JP2015146980A (ja) * | 2014-02-07 | 2015-08-20 | セイコーエプソン株式会社 | 運動支援システム、運動支援装置及び運動支援方法 |
-
2017
- 2017-06-21 JP JP2017121226A patent/JP2019008393A/ja active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007188175A (ja) * | 2006-01-11 | 2007-07-26 | Yamaha Corp | サーバ装置、端末装置およびプログラム |
JP2009277195A (ja) * | 2008-04-18 | 2009-11-26 | Panasonic Electric Works Co Ltd | 情報表示システム |
WO2012039467A1 (ja) * | 2010-09-22 | 2012-03-29 | パナソニック株式会社 | 運動支援システム |
JP2012081089A (ja) * | 2010-10-12 | 2012-04-26 | Canon Inc | 映像情報処理装置および方法 |
JP2014131245A (ja) * | 2012-12-28 | 2014-07-10 | Casio Comput Co Ltd | 表示制御装置、表示制御方法及びプログラム |
JP2015146980A (ja) * | 2014-02-07 | 2015-08-20 | セイコーエプソン株式会社 | 運動支援システム、運動支援装置及び運動支援方法 |
Non-Patent Citations (1)
Title |
---|
吉藤 大貴: "ユーザ調理環境の自動登録に向けた調理道具の認識と登録", 第7回データ工学と情報マネジメントに関するフォーラム (第13回日本データベース学会年次大会) [O, JPN6021012015, 4 March 2015 (2015-03-04), JP, ISSN: 0004628481 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110917604A (zh) * | 2019-11-14 | 2020-03-27 | 西安优信机电工程有限公司 | 一种室内瑜伽姿势矫正系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9599821B2 (en) | Virtual reality system allowing immersion in virtual space to consist with actual movement in actual space | |
KR101860753B1 (ko) | 사용자 인식 컨텐츠 제공 시스템 및 그 동작방법 | |
KR20190113265A (ko) | 헬스케어를 위한 증강현실 디스플레이 장치 및 이를 이용한 헬스케어 시스템 | |
CN114078190B (zh) | 健身运动的引导设备 | |
US11027195B2 (en) | Information processing apparatus, information processing method, and program | |
JPWO2019043928A1 (ja) | 練習支援プログラム、練習支援方法および練習支援システム | |
JP2019024550A (ja) | 検出装置、検出システム、処理装置、検出方法、及び検出プログラム | |
CN104353240A (zh) | 基于Kinect的跑步机系统 | |
US20220245836A1 (en) | System and method for providing movement based instruction | |
KR102481501B1 (ko) | 스마트 골프 운동 장치, 시스템 및 제어방법 | |
KR20170010157A (ko) | 인터랙티브 운동프로그램을 통한 사용자의 운동동작 유도 방법 및 그 장치 | |
CN111052044B (zh) | 信息处理装置、信息处理方法和程序 | |
US20160372002A1 (en) | Advice generation method, advice generation program, advice generation system and advice generation device | |
KR20180058139A (ko) | 스마트 헬스 서비스 시스템 및 스마트 헬스 서비스 방법 | |
JP6377674B2 (ja) | リハビリテーション支援制御装置及びコンピュータプログラム | |
JP2009018127A (ja) | 学習支援装置および学習支援方法 | |
JP2019008393A (ja) | センサ、ハーフミラー及びディスプレイ装置を備えた装置 | |
US11775055B2 (en) | Rehabilitation support apparatus, method therefor, and program | |
JP5049819B2 (ja) | 運動支援装置及びコンピュータプログラム | |
CN111279410B (zh) | 显示设备和显示设备控制方法 | |
JP2019024579A (ja) | リハビリテーション支援システム、リハビリテーション支援方法及びプログラム | |
KR101567859B1 (ko) | 사용자 동작을 이용한 재활운동 시스템 | |
JP2009089744A (ja) | 動画表示システム、動画表示方法、およびコンピュータプログラム | |
US20240185497A1 (en) | Motion improvement device, motion improvement method, motion improvement program, and motion improvement system | |
TWI533238B (zh) | 動作偵測與判斷裝置及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200622 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210317 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210405 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20211101 |