JP2015052895A - 情報処理装置及び情報処理方法 - Google Patents
情報処理装置及び情報処理方法 Download PDFInfo
- Publication number
- JP2015052895A JP2015052895A JP2013185107A JP2013185107A JP2015052895A JP 2015052895 A JP2015052895 A JP 2015052895A JP 2013185107 A JP2013185107 A JP 2013185107A JP 2013185107 A JP2013185107 A JP 2013185107A JP 2015052895 A JP2015052895 A JP 2015052895A
- Authority
- JP
- Japan
- Prior art keywords
- information processing
- information
- processing apparatus
- image
- imaged
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
Abstract
示しているのかユーザーにより分かり易い技術を提供する。
【解決手段】撮像対象を撮像するカメラと、この撮像対象の映像を情報処理装置へ送信す
る送信手段と、前記情報処理装置から前記撮像対象の映像の座標情報を受信する受信手段
と、前記情報処理装置からの前記座標情報に基づいて前記撮像対象の映像の一部を示す情
報を獲得する獲得手段と、前記獲得された情報を用いて前記撮像対象の映像の一部をユー
ザーが把握できるよう表示を行なう表示手段とを備えた情報処理装置。
【選択図】 図8
Description
の部位認識に基づく姿勢推定に用いる距離画像センサに代表されるような手の位置を検出
できる入力デバイスや、 タブレットやPC(Personal Computer)におけるタッチディス
プレイなどの入力方法が一般化している。他に研究の分野では小型プロジェクターを使っ
たAR(拡張現実)による手元やテーブルにボタンを投影するなどのUI(User Interfac
e)が提案されている。
インティング)した場合にどの場所を示しているのか分かりにくいという問題がある。
場合にどの場所を示しているのかユーザーにより分かり易い技術を提供することを目的と
する。
メラと、この撮像対象の映像を情報処理装置へ送信する送信手段と、前記情報処理装置か
ら前記撮像対象の映像の座標情報を受信する受信手段と、前記情報処理装置からの前記座
標情報に基づいて前記撮像対象の映像の一部を示す情報を獲得する獲得手段と、前記獲得
された情報を用いて前記撮像対象の映像の一部をユーザーが把握できるよう表示を行なう
表示手段とを備える。
えばタブレット端末、スレート端末や電子書籍リーダ等として実現されている。大画面で
支持台を備えたTV(Television Set)のような外観をしていてもよい。
ing Unit)116、システムコントローラ117、グラフィックスコントローラ118
、タッチパネルコントローラ119、不揮発性メモリ120、RAM(Random Access
Memory)121、音声処理部122、マイク104、スピーカ105、カメラ(103a
)/投影手段(小型プロジェクター103b)103、(無線)通信モジュール123及
びセンサ群106を備える。
わゆるタッチスクリーンとして構成される。ディスプレイ102aは、例えば、LCD(
Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイなどで
ある。タッチパネル102bは、ユーザーの指やスタイラスペンなどによってタッチされ
たディスプレイ102aの表示画面上の位置(タッチ位置)を検知する。
ム、プログラムの実行に必要な各種データなどを記憶する。CPU116は、情報処理装
置100の動作を制御するプロセッサであり、システムコントローラ117を介して情報
処理装置100の各コンポーネントを制御する。CPU116は、不揮発性メモリ120
からRAM121にロードされる、オペレーティングシステム、各種アプリケーションプ
ログラムを実行することで、後述する各機能部(図2参照)を実現する。RAM121は
、情報処理装置100のメインメモリとして、CPU116がプログラムを実行する際の
作業領域を提供する。
レーションシステムや各種のアプリケーションプログラムを実行することにより、情報処
理装置100の各部を制御するための機能を実現する。
クセスを制御するメモリコントローラを内蔵する。また、システムコントローラ117は
、グラフィックスコントローラ118、タッチパネルコントローラ119、音声処理部1
22との通信を実行する機能を有する。また、システムコントローラ117は、カメラ/
投影手段103からの撮像画像を入力する機能を有する。また、システムコントローラ1
17は、通信モジュール123を利用して情報処理装置100の外部から各種情報を取得
する機能を有する。
る表示コントローラである。タッチパネルコントローラ119は、タッチパネル102b
を制御し、ユーザーによるタッチ位置を示す座標データをタッチパネル102bから取得
する。
03は、ユーザーにより撮影対象にかざして、撮像対象を撮像して撮像画像を出力する。
して生成した音声ガイダンスなどをスピーカ105から出力させる処理を行うとともに、
マイク104で集音した音声に対する処理を行う。
信や、インターネット等のネットワークによる通信を実行する。
センサ群106は、情報処理装置100に対する外部からのポインティング動作を静電
または電磁結合などで検出するポインティングセンサ、情報処理装置100の画面(表示
部102)からの奥行方向への対象物(指など)の移動量を検出する光学センサである奥
行センサ103c等である。各センサの検出信号はCPU116に出力される。
(オペレーティングシステム、各種アプリケーションプログラム)との協働により、図2
に示す機能部210の各部を実現する。
手段103、表示部102、タッチパネルコントローラ119、グラフィックコントロー
ラ118、通信モジュール123に加え、CPU116で実行されるプログラムによる機
能部210として、操作者が画面どの位置にいる(立っている)かを判断する立ち位置検
出部131、操作者の指先を検出する指先検出部133、過去の(操作者の)指先位置情
報を用いて最終的な指先位置などを出力する指先追跡部135、操作情報生成部141と
を備えている。以下、本実施形態では、操作者とそのポインティング対象をカメラ/投影
手段103による撮像と投影の対象とする。
部135、操作情報生成部141とを含んで成る。機能部210は、画像解析処理、顔認
識処理、物体認識処理、関連各部の状態に基づいた関連情報を取得し、RAM121に保
存する。
合もあるが)画像認識により人物検出して、次の指先検出部133の精度をサポートする
。立ち位置でなく人物は座っていたり寝そべっていたりしてもよい。人物検出はまず顔検
出をして、この検出の位置に連なる人体の部位を推定するなどすることもできる。
、撮影された映像からこれらの特徴と一致する映像内の部分を顔として検出する。
置を特定する。そして、この顔検出部は、顔の位置、より具体的には顔の中心位置のx軸
およびy軸上の位置、ならびに、情報処理装置100との距離zを視聴者の顔の位置(x
,y,z)として特定する。映像表示装置100との距離zは、例えば検出された顔の幅
や右目と左目との距離から推測できる。
からの距離であり、遠いか近いかを示す。上記顔検出部は例えば、撮像画像の指示領域の
人物の顔を顔認識したり、物体を物体認識して、顔や物体の大きさにより、顔や物体が小
さければ距離が遠い、顔や物体が大きければ距離が近いと判断する。
処理を行い、認識された顔や物体の面内回転方向により情報処理装置100の表示部10
2の向きを判断する。
として検出する。
指先が検出されると、指先追跡部135において、ノイズを除去するために過去の指先
位置情報を加味したフィルタ処理を、適宜行い、最終指先位置Pfinalを出力する。
例として、二次元座標位置を状態変数とするカルマンフィルタを用いて、ノイズ除去のた
めのフィルタ処理を行うことで、最終指先位置Pfinalが得られる。
報を通信モジュール123へ送る。あるいは指先位置が円を描く履歴があればこの円を用
いる。あるいは指先位置が一定方向に動く履歴があれば、Pfinalの位置にある物体
を囲む円をこの方向分大きくした楕円を用いる。
るテレビ電話装置100aにおいて、ポインティング対象を電話相手の画面に重ねて表示
する例を示している。
の後ろにある椅子Oを指差すと、ユーザーBが画面上のどの部分をポインティングしてい
るのかを機能部210は検出して、この座標をユーザーAのテレビ電話装置100aに通
信モジュール123は送る。指し示す手段としては、タッチスクリーンや、画面を触らな
くても指定された距離よりも前に手を出すとその位置を検出するようなセンサ103c(
例えばセンサ群106による)がある。
な方法(指先位置が円を描く履歴を用いる)も採られる。ユーザーAが見ているテレビ電
話装置100aの画面にはユーザーA自身を映した映像からユーザーBがポインティング
した領域Arをくり抜き、ユーザーBの指差している部分に重ね合わせて表示する。くり
抜いた映像はユーザーBの指差している部分に重ね合わせるのではなく、画面の任意の場
所に表示してもよい。
いる際はユーザー設定などの手段で任意に指定可能な履歴分もくり抜いてより広い領域を
くり抜いて画面上に合わせて表示する様子を示している。
能な大きさのポインティング位置周辺を示す枠または照明を実際の物に投影する例を示し
ている。プロジェクターで枠Frを投影することや、単なる照明であって照明の方向を変
えて投光するようなものであってもよい。
映像を画像認識により顔検出を行って顔の周辺Fxに投影または投光されることを防ぐ様
子を示している。
ステップS81: ユーザーBがテレビ電話装置100aの画面に対してポインティング
を行なうことにより、このテレビ電話装置100aにおいてこのポインティング動作に対
応する座標の入力が行なわれる。この座標の入力は、カメラ103aからの画像を機能部
210が処理することにより成される。
信モジュール123で行なわれることにより、相手側即ちユーザーA側のテレビ電話装置
100aでこの座標の受信が通信モジュール123で行なわれる。
スプレイ102aによる表示または投影手段103bによる照射が行なわれる。
った。本実施形態の言わばポインタ表示付きテレビ電話の方法により、画面上に指示して
いるものを重ね合わせて画面表示したり、実際の指示しているものにプロジェクターなど
によってポインタ枠を表示することでどこを指し示しているのかが分かりやすくなり、よ
り自然な会話ができるようになった。またプロジェクターなどでポインタ枠を表示する際
にも、顔認識をして顔の周辺を避けることによりまぶしく感じないようになった。
い範囲で種々変形して実施することができる。
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせること
により、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素
から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる
構成要素を適宜組み合わせても良いものである。
102 表示部
102a ディスプレイ
102b タッチパネル
104 マイク
105 スピーカ
117 システムコントローラ
118 グラフィックスコントローラ
119 タッチパネルコントローラ
122 音声処理部
123 通信モジュール
131 立ち位置検出部
133 指先検出部
135 指先追跡部
141 操作情報生成部
210 機能部
Claims (7)
- 撮像対象を撮像するカメラと、
この撮像対象の映像を情報処理装置へ送信する送信手段と、
前記情報処理装置から前記撮像対象の映像の座標情報を受信する受信手段と、
前記情報処理装置からの前記座標情報に基づいて前記撮像対象の映像の一部を示す情報
を獲得する獲得手段と、
前記獲得された情報を用いて前記撮像対象の映像の一部をユーザーが把握できるよう表
示を行なう表示手段とを
備えた情報処理装置。 - 更に前記撮像対象の映像を表示するディスプレイを備え、前記表示はこの映像へ関連付
けされたものである請求項1に記載の情報処理装置。 - 前記座標情報は、概円座標である請求項1に記載の情報処理装置。
- 前記座標情報は、概楕円座標である請求項1に記載の情報処理装置。
- 更に投影手段を備え、この投影手段は前記表示として撮像対象へ前記座標情に基づいて
投影する請求項1に記載の情報処理装置。 - 更に顔認識手段を備え、この顔認識手段は前記投影手段に顔認識対象を避けて投影させ
る請求項5に記載の情報処理装置。 - 撮像対象を撮像するカメラと、この撮像対象の映像を他の情報処理装置へ送信する送信
手段とを備えた情報処理装置における情報処理方法であって、
この撮像対象の映像を前記他の情報処理装置へ送信し、
前記他の情報処理装置から前記撮像対象の映像の座標情報を受信し、
前記他の情報処理装置からの前記座標情報に基づいて前記撮像対象の映像の一部を示す
情報を獲得し、
前記獲得された情報を用いて前記撮像対象の映像の一部をユーザーが把握できるよう表
示を行なう情報処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013185107A JP2015052895A (ja) | 2013-09-06 | 2013-09-06 | 情報処理装置及び情報処理方法 |
US14/479,138 US9300908B2 (en) | 2013-09-06 | 2014-09-05 | Information processing apparatus and information processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013185107A JP2015052895A (ja) | 2013-09-06 | 2013-09-06 | 情報処理装置及び情報処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015052895A true JP2015052895A (ja) | 2015-03-19 |
Family
ID=52625206
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013185107A Pending JP2015052895A (ja) | 2013-09-06 | 2013-09-06 | 情報処理装置及び情報処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9300908B2 (ja) |
JP (1) | JP2015052895A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018074262A1 (ja) * | 2016-10-20 | 2018-04-26 | ソニー株式会社 | 通信装置および通信方法、並びにプログラム |
JP6890868B1 (ja) * | 2021-01-29 | 2021-06-18 | 株式会社toraru | 遠隔地間で意思疎通を行うための端末装置 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
PT2296595T (pt) | 2008-05-15 | 2019-05-30 | Wyeth Llc | Sistema de calor húmido portátil |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0946776A (ja) * | 1995-07-26 | 1997-02-14 | Sony Corp | 遠隔指示装置および方法 |
EP0865207A2 (en) * | 1997-03-13 | 1998-09-16 | Kabushiki Kaisha Toshiba | Image telecommunication system |
JPH11317936A (ja) * | 1997-12-22 | 1999-11-16 | Nortel Networks Corp | ビデオ会議システム |
JP2002132487A (ja) * | 2000-10-25 | 2002-05-10 | Oki Electric Ind Co Ltd | 遠隔作業支援システム |
JP2003269981A (ja) * | 2002-03-14 | 2003-09-25 | Fujitsu Ten Ltd | 情報処理装置 |
JP2004110769A (ja) * | 2003-06-09 | 2004-04-08 | Canon Inc | 端末及びポインティングデバイス |
JP2006221550A (ja) * | 2005-02-14 | 2006-08-24 | Nippon Telegr & Teleph Corp <Ntt> | インタフェース方法、装置、プログラム、および記録媒体 |
US20100238194A1 (en) * | 2009-03-20 | 2010-09-23 | Roach Jr Peter | Methods And Apparatuses For Using A Mobile Device To Provide Remote Assistance |
JP2011193123A (ja) * | 2010-03-12 | 2011-09-29 | Sony Corp | 情報処理装置、情報処理方法、およびプログラム |
WO2012046432A1 (en) * | 2010-10-04 | 2012-04-12 | Sony Corporation | Information processing apparatus, information processing system and information processing method |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004056405A (ja) | 2002-07-19 | 2004-02-19 | Nippon Telegr & Teleph Corp <Ntt> | 応対支援システム、応対支援方法、応対支援プログラム及びそのプログラムを記録した記録媒体 |
JP2005303360A (ja) | 2004-04-06 | 2005-10-27 | Nec Saitama Ltd | 携帯電話端末及びその画像合成方法 |
JP4221445B1 (ja) | 2008-06-11 | 2009-02-12 | 株式会社ベイビッグ | テレビ電話端末、テレビ電話端末制御方法及びプログラム |
CN101893964A (zh) * | 2010-07-21 | 2010-11-24 | 中兴通讯股份有限公司 | 移动终端远程控制方法及移动终端 |
-
2013
- 2013-09-06 JP JP2013185107A patent/JP2015052895A/ja active Pending
-
2014
- 2014-09-05 US US14/479,138 patent/US9300908B2/en not_active Expired - Fee Related
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0946776A (ja) * | 1995-07-26 | 1997-02-14 | Sony Corp | 遠隔指示装置および方法 |
EP0865207A2 (en) * | 1997-03-13 | 1998-09-16 | Kabushiki Kaisha Toshiba | Image telecommunication system |
JPH11317936A (ja) * | 1997-12-22 | 1999-11-16 | Nortel Networks Corp | ビデオ会議システム |
JP2002132487A (ja) * | 2000-10-25 | 2002-05-10 | Oki Electric Ind Co Ltd | 遠隔作業支援システム |
JP2003269981A (ja) * | 2002-03-14 | 2003-09-25 | Fujitsu Ten Ltd | 情報処理装置 |
JP2004110769A (ja) * | 2003-06-09 | 2004-04-08 | Canon Inc | 端末及びポインティングデバイス |
JP2006221550A (ja) * | 2005-02-14 | 2006-08-24 | Nippon Telegr & Teleph Corp <Ntt> | インタフェース方法、装置、プログラム、および記録媒体 |
US20100238194A1 (en) * | 2009-03-20 | 2010-09-23 | Roach Jr Peter | Methods And Apparatuses For Using A Mobile Device To Provide Remote Assistance |
JP2011193123A (ja) * | 2010-03-12 | 2011-09-29 | Sony Corp | 情報処理装置、情報処理方法、およびプログラム |
WO2012046432A1 (en) * | 2010-10-04 | 2012-04-12 | Sony Corporation | Information processing apparatus, information processing system and information processing method |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018074262A1 (ja) * | 2016-10-20 | 2018-04-26 | ソニー株式会社 | 通信装置および通信方法、並びにプログラム |
JP6890868B1 (ja) * | 2021-01-29 | 2021-06-18 | 株式会社toraru | 遠隔地間で意思疎通を行うための端末装置 |
WO2022163185A1 (ja) * | 2021-01-29 | 2022-08-04 | 株式会社toraru | 遠隔地間で意思疎通を行うための端末装置 |
US11915482B2 (en) | 2021-01-29 | 2024-02-27 | Toraru Co., Ltd. | Terminal apparatus for performing communication between remote locations |
Also Published As
Publication number | Publication date |
---|---|
US20150070459A1 (en) | 2015-03-12 |
US9300908B2 (en) | 2016-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10444908B2 (en) | Virtual touchpads for wearable and portable devices | |
US10318011B2 (en) | Gesture-controlled augmented reality experience using a mobile communications device | |
US9395821B2 (en) | Systems and techniques for user interface control | |
JP6090140B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
EP2677398A2 (en) | Virtual touch device without pointer on display surface | |
KR102568708B1 (ko) | 가상 현실 헤드셋에서 손 동작들을 인식하기 위한 방법 및 장치 | |
US11714540B2 (en) | Remote touch detection enabled by peripheral device | |
JP2013258614A (ja) | 画像生成装置および画像生成方法 | |
US20140267004A1 (en) | User Adjustable Gesture Space | |
JP2011081506A (ja) | 映像表示装置、および、その表示制御方法 | |
KR102147430B1 (ko) | 가상 공간 멀티 터치 인터랙션 장치 및 방법 | |
US10754446B2 (en) | Information processing apparatus and information processing method | |
JPWO2017057107A1 (ja) | 入力装置、入力方法、及びプログラム | |
WO2019033322A1 (zh) | 手持式控制器、跟踪定位方法以及系统 | |
WO2020080107A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2015052895A (ja) | 情報処理装置及び情報処理方法 | |
WO2021004413A1 (zh) | 一种手持输入设备及其指示图标的消隐控制方法和装置 | |
JP6374203B2 (ja) | 表示システム及びプログラム | |
CN111901518A (zh) | 显示方法、装置和电子设备 | |
US20130271371A1 (en) | Accurate extended pointing apparatus and method thereof | |
US20220244788A1 (en) | Head-mounted display | |
JP6308842B2 (ja) | 表示システム及びプログラム | |
JP7155242B2 (ja) | 携帯情報端末 | |
JP6679083B2 (ja) | 情報処理システム、情報処理方法、ウェアラブル端末、及びプログラム | |
JP2013218423A (ja) | 指向性映像コントロール装置及びその方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20150218 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160222 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20160222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161202 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161220 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170620 |