JP2019050047A - 情報処理装置 - Google Patents
情報処理装置 Download PDFInfo
- Publication number
- JP2019050047A JP2019050047A JP2018227095A JP2018227095A JP2019050047A JP 2019050047 A JP2019050047 A JP 2019050047A JP 2018227095 A JP2018227095 A JP 2018227095A JP 2018227095 A JP2018227095 A JP 2018227095A JP 2019050047 A JP2019050047 A JP 2019050047A
- Authority
- JP
- Japan
- Prior art keywords
- application
- information
- unit
- imaging
- photographing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 17
- 238000003384 imaging method Methods 0.000 abstract description 82
- 238000000034 method Methods 0.000 description 33
- 230000008569 process Effects 0.000 description 22
- 238000001514 detection method Methods 0.000 description 14
- 230000003993 interaction Effects 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 11
- 238000009434 installation Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Stored Programmes (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】撮影装置から得た情報に基づいて、その撮影装置と連携して動作するアプリケーションの起動・設定などを自動的に行う。【解決手段】情報処理装置において、取得部は、撮影部によって撮影された画像の情報である第1情報、及び、前記撮影部が撮影する撮影範囲に関する情報である第2情報の少なくとも一方を取得する。アプリケーション制御部は、前記撮影部によって撮影された画像の情報を利用する複数のアプリケーションのうち、前記取得部が取得した情報に対応したアプリケーションをユーザに提供する。よって、撮影部から得られる画像又は撮影範囲に関する情報に基づいて、その撮影部と連携して実行されるアプリケーションの起動やそのアプリケーションの実行に必要な設定が自動的に行われる。【選択図】図5
Description
本発明は、撮影装置と接続された端末装置において、アプリケーションの起動や設定を自動的に行う技術に関する。
PCにカメラを接続し、その撮影画像を用いて実行される様々なアプリケーションが存在する。例えば、テレビ電話はその一例である。また、特許文献1には、PCユーザの手の動きを検出することにより、検出した手の動きに応じた操作(クリック、選択、実行など)を可能とするアプリケーションが開示されている。
1つのカメラに対して、それと連携して動作可能な複数のアプリケーションが存在する場合がある。この場合、1つのアプリケーションから他のアプリケーションに切り替えを行うには、ユーザはカメラの設置位置などを変更した後、手動でそのアプリケーションを立ち上げたり、そのアプリケーションのための設定を行ったりする必要があり、煩わしいという課題があった。
本発明の解決しようとする課題としては、上記のものが一例として挙げられる。本発明は、撮影装置から得た情報に基づいて、その撮影装置と連携して動作するアプリケーションの起動・設定などを自動的に行うことを目的とする。
請求項に記載の発明は、情報処理装置であって、撮影部によって撮影された画像の情報である第1情報、及び、前記撮影部が撮影する撮影範囲に関する情報である第2情報の少なくとも一方を取得する取得部と、前記撮影部によって撮影された画像の情報を利用する複数のアプリケーションのうち、前記取得部が取得した情報に対応したアプリケーションをユーザに提供するアプリケーション制御部と、を備えることを特徴とする。
本発明の好適な実施形態では、情報処理装置は、撮影部によって撮影された画像の情報である第1情報、及び、前記撮影部が撮影する撮影範囲に関する情報である第2情報の少なくとも一方を取得する取得部と、前記撮影部によって撮影された画像の情報を利用する複数のアプリケーションのうち、前記取得部が取得した情報に対応したアプリケーションをユーザに提供するアプリケーション制御部と、を備える。
上記の情報処理装置は、カメラなどの撮影部によって撮影された画像の情報である第1情報と、その撮影範囲に関する第2情報の少なくとも一方を取得し、取得した情報に対応するアプリケーションをユーザに提供する。よって、撮影部から得られる画像又は撮影範囲に関する情報に基づいて、その撮影部と連携して実行されるアプリケーションを自動的に提供することができる。ここで、アプリケーションを提供するとは、アプリケーションを起動すること、アプリケーションに対する必要な設定を行うことの少なくとも一方を含む。
上記の情報処理装置の一態様では、前記アプリケーション制御部は、前記撮影部によって撮影された画像に情報出力装置が含まれている場合には第1のアプリケーションをユーザに提供し、前記撮影部によって撮影された画像に情報入力装置が含まれている場合には第2のアプリケーションをユーザに提供する。この態様では、撮影画像に情報出力装置が含まれるか、情報入力装置が含まれるかによって、異なるアプリケーションが提供される。
上記の情報処理装置の他の一態様では、前記第2情報は、前記撮影部の撮影方向に関する情報を含み、前記アプリケーション制御部は、前記撮影部が固定されている位置に対して上方を撮影している場合には第3のアプリケーションをユーザに提供し、前記固定部が固定されている位置に対して上方を撮影していない場合には第4のアプリケーションをユーザに提供する。この態様では、撮影部が上方、下方のいずれを撮影しているかに応じて、異なるアプリケーションが提供される。
上記の情報処理装置の他の一態様では、前記アプリケーション制御部は、前記取得部が取得した情報に対応したアプリケーションの起動、及び、そのアプリケーションに対する設定の少なくとも一方を実行する。さらに他の一態様では、前記アプリケーション制御部は、前記取得部が取得した情報に対応したアプリケーションを実行する場合の前記撮影部に対する設定を行う。これにより、撮影した画像の情報又は撮影範囲に関する情報に基づいて、アプリケーションの起動や必要な設定が自動的に実行される。
上記の情報処理装置の好適な例では、前記撮影部は、赤外線発光機能と、赤外線を透過するとともに可視光をカットする光学フィルタと、を備え、前記アプリケーション制御部は、前記赤外線発光機能のオンとオフ、及び、前記光学フィルタのオンとオフを設定する。
他の好適な例では、情報処理装置は、情報入力装置又は情報出力装置を備え、前記第2の情報は、前記撮影部と、前記情報入力装置又は前記情報出力装置との相対的位置関係を示す情報を含み、前記取得部は、前記第1情報の画像解析により、前記相対的位置関係を示す情報を生成する。
本発明の他の好適な実施形態では、撮影部と接続された情報処理装置によって実行される情報処理方法は、前記撮影部によって撮影された画像の情報である第1情報、及び、前記撮影部が撮影する撮影範囲に関する情報である第2情報の少なくとも一方を取得する取得工程と、前記撮影部によって撮影された画像の情報を利用する複数のアプリケーションのうち、前記取得部が取得した情報に対応したアプリケーションをユーザに提供するアプリケーション制御工程と、を有する。この方法によっても、撮影部から得られる画像又は撮影範囲に関する情報に基づいて、その撮影部と連携して実行されるアプリケーションを自動的に提供することができる。
本発明の他の好適な実施形態では、撮影部と接続され、コンピュータを備える情報処理装置によって実行される情報処理プログラムは、撮影部によって撮影された画像の情報である第1情報、及び、前記撮影部が撮影する撮影範囲に関する情報である第2情報の少なくとも一方を取得する取得手段、前記撮影部によって撮影された画像の情報を利用する複数のアプリケーションのうち、前記取得部が取得した情報に対応したアプリケーションをユーザに提供するアプリケーション制御手段、として前記コンピュータを機能させる。このプログラムをコンピュータで実行することにより、上記の情報処理装置を実現することができる。このプログラムは記憶媒体に記憶することができる。
以下、図面を参照して本発明の好適な実施例について説明する。
[構成]
図1は、本発明の実施例に係るインタラクションシステムの構成を示す。インタラクションシステムは、撮影装置10と、情報処理装置としてのPC20とを備える。撮影装置10とPC20は、信号ケーブルなどにより有線接続されるか、又は無線通信により接続される。インタラクションシステムでは、撮影装置10が撮影した撮影画像がPC20へ送信される。PC20には、撮影装置10と連携して動作する複数のアプリケーションがインストールされている。ユーザが撮影装置10を所定の位置に設置し、撮影装置10からPC20へ撮影画像が送信されると、PC20は、受信した撮影画像に基づいて、内部にインストールされている複数のアプリケーションから、ユーザが実行しようと考えているアプリケーションを推定し、そのアプリケーションの起動、そのアプリケーションの実行のために必要な設定などを自動的に行う。
[構成]
図1は、本発明の実施例に係るインタラクションシステムの構成を示す。インタラクションシステムは、撮影装置10と、情報処理装置としてのPC20とを備える。撮影装置10とPC20は、信号ケーブルなどにより有線接続されるか、又は無線通信により接続される。インタラクションシステムでは、撮影装置10が撮影した撮影画像がPC20へ送信される。PC20には、撮影装置10と連携して動作する複数のアプリケーションがインストールされている。ユーザが撮影装置10を所定の位置に設置し、撮影装置10からPC20へ撮影画像が送信されると、PC20は、受信した撮影画像に基づいて、内部にインストールされている複数のアプリケーションから、ユーザが実行しようと考えているアプリケーションを推定し、そのアプリケーションの起動、そのアプリケーションの実行のために必要な設定などを自動的に行う。
図2は、撮影装置10の外観を示す。撮影装置10は、本体部11と、可動部12と、固定部14と、を備える。固定部14は、撮影装置10を何らかの形で固定するための部分である。本実施例では、固定部14はクリップとして構成されており、PC20の画面端部に挟んで固定したり、スタンドとしてデスクの上に置いたりできるようになっている。
可動部12は、ユーザが本体部11の向きや位置を調整するための部分であり、回転部12aと、支持部12bと、回転軸12cとを備える。回転部12aは、支持部12bに対して回転軸12cの回りに回転可能である。回転部12aは本体部11に固定されており、支持部13は固定部14に固定されている。これにより、本体部11は、固定部14に対して回転可能となっている。なお、本実施例では、回転部12は一軸の回転のみが可能に構成されているが、これ以外に多軸の回転機構やスライド機構を備えていても構わない。
本体部11は、複数の発光部15と、一対のカメラモジュール16とを備える。本体部11は、PC20側で実行されるアプリケーションに応じて、様々な撮影機能を有するものとする。本実施例では、本体部11は、一対のカメラモジュール16を設けてステレオカメラとし、さらに3つの赤外線LEDの発光部15を備えている。また、カメラモジュール16には、オン/オフの切替えが可能な、図示しない赤外線透過・可視光カットフィルタ(以下、単に「光学フィルタ」と呼ぶ。)が設けられている。光学フィルタのオン/オフは、PC20から供給される制御信号により切替えられる。
図3は、可動部12による回転の様子を示す。図3(A)は、固定部14に対して本体部11をほぼ垂直に起立させた状態を示し、本体部11のカメラモジュール16は矢印の方向を撮影する。図3(B)は、本体部11を固定部14に対して回転軸12c周りに180度回転させた様子を示しており、本体部11のカメラモジュール16は、回転状態(回転角度)に応じて矢印の方向を撮影する。なお、可動部12には図示しない回転エンコーダなどの回転角検出機構が設けられており、ユーザが設定した状態における回転部12aの回転角度を検出する。
図4は、PC20の機能構成を示すブロック図である。PC20は、通信部21と、入力部22と、表示部23と、制御部24とを備える。通信部21は、有線又は無線通信により、撮影装置10との間で制御信号や撮影画像の送受信を行う。入力部22はキーボードやマウスなどの情報入力装置であり、本実施例ではラップトップPCの本体に設けられたキーボード及び図示しないマウスである。表示部23は液晶ディスプレイなどの情報出力装置であり、本実施例ではラップトップPCの本体に設けられた液晶ディスプレイである。
制御部24は、PC20の構成全体を統括的に制御するものであり、具体的にはPC20のCPUなどにより構成される。制御部24は、自動設定ソフトウェアと、カメラと連携して動作するカメラアプリケーション(以下、単に「アプリケーション」とも呼ぶ。)A1〜A4とを実行する。
自動設定ソフトウェアは、撮影装置10による撮影画像、撮影装置10の可動部12の状態などに基づいて、ユーザが使用したいインタラクション方法に対応するアプリケーションを推定し、そのアプリケーションを自動で起動したり、そのアプリケーションに必要な設定を自動で行ったりするものである。
カメラアプリケーションA1〜A4は、インタラクションシステムが提供するインタラクション方法を実現するソフトウェアであり、本実施例ではそれぞれ以下のようになっている。
(A1):画面に対するジェスチャ操作アプリケーション
(A2):キーボード付近でのジェスチャ操作アプリケーション
(A3):視線入力アプリケーション
(A4):Webカメラアプリケーション
(A1):画面に対するジェスチャ操作アプリケーション
(A2):キーボード付近でのジェスチャ操作アプリケーション
(A3):視線入力アプリケーション
(A4):Webカメラアプリケーション
具体的に、アプリケーションA1は、ユーザが画面に対して指差しなどのジェスチャを行うことにより、表示部23の画面に表示されたメニューやアイコンなどの操作を行うアプリケーションである。なお、この場合のユーザによるジェスチャは、指を画面に接触させる必要はなく、空中で行えばよい。このアプリケーションにより、タッチパネルのような操作が可能となる。また、指などが画面に触れなくても、撮影画像から指の位置や軌跡を取得することができるので、タッチパネルでは不可能なインタラクションも実現することができる。
アプリケーションA2は、ユーザがキーボード付近で例えば特定の手形状を作ったり、指をキーボードから浮かせて振るなどのジェスチャを行うことにより操作を行うアプリケーションである。このアプリケーションでは、キーボードから手を離す必要が無いので、キー入力をしながらスムーズな操作を行うことができる。
アプリケーションA3は、ユーザの視線によりポインタを操作するアプリケーションである。具体的には、ユーザの顔の撮影画像からユーザの目の部分を抽出して視線の方向を検出し、検出された視線の方向に対応する操作入力を有効とする。
アプリケーションA4は、遠隔地と動画付きで対話を行う、いわゆるテレビ電話のようなアプリケーションである。対話を行わない時は、撮影装置10による撮影画像が表示部23に表示するのみとなる。
なお、各アプリケーションは、自身に対する設定を、自動設定ソフトウェアから受け取ることができる。
[自動設定処理]
次に、自動設定ソフトウェアによる自動設定処理について説明する。図5は、自動設定処理のフローチャートである。自動設定処理は、PC20のCPUなどの制御部24が自動設定ソフトウェアを実行することにより、繰り返し実行される。
次に、自動設定ソフトウェアによる自動設定処理について説明する。図5は、自動設定処理のフローチャートである。自動設定処理は、PC20のCPUなどの制御部24が自動設定ソフトウェアを実行することにより、繰り返し実行される。
まず、制御部24は、撮影装置10による撮影画像を取得する(ステップS11)。具体的には、制御部24が通信部21を通じて、撮影装置10から撮影画像を受信する。
次に、制御部24は、撮影装置10の可動部12の回転角度を取得する(ステップS12)。即ち、撮影装置10の可動部12に設けられた回転角検出機構により検出された回転角度が撮影装置10から送信され、制御部24は通信部21を介してその回転角度を取得する。
次に、制御部24は撮影装置10の移動検知を行う(ステップS13)。具体的には、制御部24は、撮影装置10全体の移動や、可動部12の回転により、カメラモジュール16の撮影範囲が変化したことを検知する。即ち、制御部24は、撮影装置10から取得した撮影画像を分析し、撮影画像が大きく変化した場合に、撮影装置10が移動されたと判定する。より詳しくは、制御部24は、撮影画像や可動部の回転角度の時間的な変動量に基づいて、移動の有無を判定する。なお、移動が連続的に検知されている間は、制御部24は未だ撮影装置10の移動中であると判定し、撮影画像や可動部12の回転角度の変化が終了した時点で、移動が完了したものと判定するのが好ましい。
撮影装置10の移動が検知されない場合(ステップS13:No)、処理は終了する。一方、撮影装置10の移動が検知された場合(ステップS13:Yes)、制御部24は、アプリケーション推定処理を行う(ステップS14)。なお、自動設定処理の開始直後、即ち、自動設定処理の最初の実行時には、ステップS13の移動検知を行わず、ステップS14のアプリケーション推定処理に進むものとする。
アプリケーション推定処理は、ユーザが意図するインタラクション方法を推定する処理である。前提として、各インタラクション方法に対応するアプリケーションと撮影装置10の設置状態(置き方)とが予め関連付けられているものとする。ここでは、前述の4つのアプリケーションA1〜A4がPC20にインストールされているものとする。以下に、各アプリケーションと、撮影装置10の設置状態の関係を説明する。
(A1)画面に対するジェスチャ操作アプリケーション
このアプリケーションを実行する際には、図6(A)に例示するように、撮影装置10はPC20の表示部23の画面を撮影する位置に配置される。より具体的には、撮影装置10は、デスク上などのPC20の画面から数十cm離れた位置に、画面を見上げるように配置されることが想定される。この場合、撮影装置10の撮影画像は、PC20の画面を含むことになる。
このアプリケーションを実行する際には、図6(A)に例示するように、撮影装置10はPC20の表示部23の画面を撮影する位置に配置される。より具体的には、撮影装置10は、デスク上などのPC20の画面から数十cm離れた位置に、画面を見上げるように配置されることが想定される。この場合、撮影装置10の撮影画像は、PC20の画面を含むことになる。
(A2)キーボード付近でのジェスチャ操作アプリケーション
このアプリケーションでは、ユーザはキーボード上でジェスチャを行い、撮影装置10はその際のユーザの手や指を撮影する。よって、図6(B)に例示するように、撮影装置10は、PC20の画面の上部に、キーボードの領域を見下ろすように配置されると想定される。この場合、撮影装置10の撮影画像は、キーボードを含むことになる。
このアプリケーションでは、ユーザはキーボード上でジェスチャを行い、撮影装置10はその際のユーザの手や指を撮影する。よって、図6(B)に例示するように、撮影装置10は、PC20の画面の上部に、キーボードの領域を見下ろすように配置されると想定される。この場合、撮影装置10の撮影画像は、キーボードを含むことになる。
(A3)視線入力アプリケーション
このアプリケーションは、ユーザの顔を撮影し、目(瞳孔)の動きに基づいて視線方向を検出する。よって、図7(A)に例示するように、撮影装置10は人物の正面から顔を見上げるように設置されると想定される。なお、視線検出を行う場合には、人物の瞳孔が瞼によって遮られないように撮影するために、下から見上げるように撮影装置10を設置するのが一般的である。よってこの場合、撮影装置10はその撮影方向が、撮影装置10自身が固定されている位置に対して上方に向くように固定されることになり、撮影装置10の可動部12は下から上を見上げるような回転角度となる。
このアプリケーションは、ユーザの顔を撮影し、目(瞳孔)の動きに基づいて視線方向を検出する。よって、図7(A)に例示するように、撮影装置10は人物の正面から顔を見上げるように設置されると想定される。なお、視線検出を行う場合には、人物の瞳孔が瞼によって遮られないように撮影するために、下から見上げるように撮影装置10を設置するのが一般的である。よってこの場合、撮影装置10はその撮影方向が、撮影装置10自身が固定されている位置に対して上方に向くように固定されることになり、撮影装置10の可動部12は下から上を見上げるような回転角度となる。
(A4)Webカメラアプリケーション
このアプリケーションの使用時には、人物の顔全体を撮影することになる。よって、図7(B)に例示するように、撮影装置10はPC20の画面の上部などに、人物と正対するような角度で配置されると想定される。この場合、撮影装置10の可動部12は、正面を撮影するための回転角度、例えば図3(A)の状態における回転角度となる。
このアプリケーションの使用時には、人物の顔全体を撮影することになる。よって、図7(B)に例示するように、撮影装置10はPC20の画面の上部などに、人物と正対するような角度で配置されると想定される。この場合、撮影装置10の可動部12は、正面を撮影するための回転角度、例えば図3(A)の状態における回転角度となる。
以上のように、アプリケーション毎に撮影装置10の設置状態が異なってくる。よって、アプリケーション推定処理により、制御部24は、撮影装置10による撮影画像、及び、撮影装置10の可動部12の回転角度に基づいて、ユーザが想定しているインタラクション方法、即ち、ユーザが実行しようとしているアプリケーションを判別することができる。
図8は、アプリケーション推定処理のフローチャートである。まず、制御部24は、撮影装置10から取得した撮影画像にPC20の画面が含まれているか否かを判定する(ステップS21)。ここでは、例えばPC20の画面の四隅に赤外線LEDが設定されており、撮影装置10の光学フィルタをオンにして撮影を行うことにより、PC20の画面が含まれているか否かが容易に判定できるものとする。
撮影画像にPC20の画面が含まれている場合(ステップS21:Yes)、制御部24はユーザがアプリケーションA1を使用するつもりであると推定してアプリケーションA1を選択する(ステップS22)。
一方、撮影画像にPC20の画面が含まれていない場合(ステップS21:No)、制御部24は、撮影画像にPC20のキーボードが含まれているか否かを判定する(ステップS23)。この場合も、PC20の画面の検出と同様に、例えば赤外線LEDをキーボードの四隅を含む周囲6〜8か所に設置し、光学フィルタをオンにして撮影を行うことにより、撮影画像からキーボードの有無を検出できるものとする。なお、この例では、赤外線LEDの数によりPC20の画面とキーボードを判別できる。
撮影画像にキーボードが含まれている場合(ステップS23:Yes)、制御部24は、ユーザがアプリケーションA2を使用するつもりであると推定してアプリケーションA2を選択する(ステップS24)。
一方、撮影画像にキーボードが含まれていない場合(ステップS23:No)、制御部24は、撮影装置10から取得した可動部12の回転角度に基づいて、撮影装置10が下から見上げる角度になっているか否かを判定する(ステップS25)。例えば、図7(A)のように、撮影装置10がデスク上に置かれている場合、可動部12の回転角度は図3(B)に示すように180度に近い角度となる。よって、撮影装置10から取得した回転角度が180度に近い場合、制御部24は見上げる角度であると判定することができる。
撮影装置10が見上げる角度になっている場合(ステップS25:Yes)、制御部24は、ユーザがアプリケーションA3を使用するつもりであると推定してアプリケーションA3を選択する(ステップS26)。
一方、撮影装置10が見上げる角度になっていない場合(ステップS25:No)、制御部24は、ユーザが残りのアプリケーションA4を使用するつもりであると推定してアプリケーションA4を選択する(ステップS27)。
そして、制御部24は、ステップS22、S24、S26、S27のいずれかで選択されたアプリケーションを起動する(ステップS28)。こうして、アプリケーション推定処理は終了し、処理は図5のステップS15へ進む。
ステップS15では、制御部24は、アプリケーション推定処理で選択されたアプリケーションに応じて、アプリケーション別の設定を行う。
ステップS15では、制御部24は、アプリケーション推定処理で選択されたアプリケーションに応じて、アプリケーション別の設定を行う。
(1)アプリケーション推定処理でアプリケーションA1が選択された場合、PC20の制御部24は、撮影装置10に制御信号を送り、カメラモジュール16の赤外線発光をオンにするとともに、光学フィルタをオンにする。これにより、カメラモジュール16は、アプリケーションA1の実行中に、撮影画像として、自身から発光した赤外線の反射を撮影することができるため、背景の影響を比較的受けずに撮影画像からユーザの指などを検出することができるようになる。
さらに、制御部24は、撮影画像から、赤外線LEDの検出を利用して画面の位置情報を取得する。そして、撮影画像の座標から、画面を基準とした座標への座標変換パラメータを算出し、アプリケーションA1に設定する。これにより、制御部24は、アプリケーションA1の実行中に、撮影画像から検出したユーザの指などの位置を、画面に対する位置に変換することが可能となる。
(2)アプリケーション推定処理でアプリケーションA2が選択された場合、PC20の制御部24は、撮影装置10に制御信号を送り、カメラモジュール16の赤外線発光をオフにするとともに、光学フィルタをオフにする。アプリケーションA2の場合、ジェスチャが行われる領域の背景はキーボードであるとわかっているため、比較的簡単な処理で撮影画像からユーザの指などを検出することができる。具体的には、撮影画像中の肌色領域をユーザの指などとして検出したり、キーボードの画像を既知の固定背景として撮影画像から除去したりすることができる。このため、赤外線発光や光学フィルタの機能は不要となる。
さらに、制御部24は、赤外線LEDの位置に基づいてキーボードの四隅の位置を算出し、アプリケーションA2に設定しておく。これにより、ユーザによるジェスチャ操作の検出領域をキーボード内に限定することができる。さらに、キーボードの位置(撮影装置10との距離)を予め把握しておくことにより、アプリケーションA2の実行中に指を検出したときに、指の位置(撮影装置10との距離)を算出し、指がキーボードから浮いた状態であるか否かを判定することができる。これは、指によるジェスチャの開始を判定するために有効である。
(3)アプリケーション推定処理でアプリケーションA3が選択された場合、制御部24は、撮影装置10に制御信号を送り、カメラモジュール16の赤外線発光をオンにするとともに、光学フィルタをオンにする。また、カメラモジュール16を解像度優先の設定とする。これにより、アプリケーションA3の実行中に、照射した赤外線を反射している瞳孔を撮影することができる。また、高解像度の画像を使うことで、視線方向の検出の精度を高めることができる。
(4)アプリケーション推定処理でアプリケーションA4が選択された場合、制御部24は、撮影装置10に制御信号を送り、カメラモジュール16の赤外線発光をオフにするとともに、光学フィルタをオフにする。これにより、アプリケーションA4の実行中に、撮影装置10で撮影したユーザの顔などの画像を可視光撮影し、テレビ電話の相手に送信することができる。
[変形例]
(変形例1)
上記のアプリケーション推定処理では、アプリケーションA1〜A4のいずれかが選択されると、ステップS28で制御部24が自動的にそのアプリケーションを起動している。その代わりに、制御部24はアプリケーションの起動を行わず、ユーザがそのアプリケーションを起動するのを待つこととしてもよい。この場合、ユーザがそのアプリケーションを起動したときに、制御部24は図5のステップS15に示すアプリケーション別の設定行えばよい。また、アプリケーションの起動前に行うことができる設定であれば、ユーザがそのアプリケーションを起動するのに先立って、予めアプリケーション別の設定を実施しておいてもよい。
(変形例1)
上記のアプリケーション推定処理では、アプリケーションA1〜A4のいずれかが選択されると、ステップS28で制御部24が自動的にそのアプリケーションを起動している。その代わりに、制御部24はアプリケーションの起動を行わず、ユーザがそのアプリケーションを起動するのを待つこととしてもよい。この場合、ユーザがそのアプリケーションを起動したときに、制御部24は図5のステップS15に示すアプリケーション別の設定行えばよい。また、アプリケーションの起動前に行うことができる設定であれば、ユーザがそのアプリケーションを起動するのに先立って、予めアプリケーション別の設定を実施しておいてもよい。
(変形例2)
上記の実施例では、PC20の所定箇所に設けたLEDを撮影画像から検出したり、撮影装置10の可動部12の回転角度を取得することにより、撮影装置10とPC20との位置関係を算出しているが、以下のような他の方法により撮影装置10の設置状態を検知しても良い。
上記の実施例では、PC20の所定箇所に設けたLEDを撮影画像から検出したり、撮影装置10の可動部12の回転角度を取得することにより、撮影装置10とPC20との位置関係を算出しているが、以下のような他の方法により撮影装置10の設置状態を検知しても良い。
一つの方法として、撮影画像を解析することにより、撮影装置10の設置状態を検知しても良い。具体的には、撮影画像の特徴により、PCの画面やキーボードを検出する。例えば、4辺の直線検出により画面を検出したり、多数の矩形を検出することによりキーボードを検出してもよい。また、画面表示の制御手段を設け、画面に検出が可能なマーカーを表示し、撮影画像からマーカーの有無やその位置を検出して、撮影装置10の画面に対する位置を算出してもよい。
他の方法として、撮影装置10の固定部14にセンサを設け、物を挟んでいることや立てていることを検出しても良い。
また、PCとの関係に限らず、人物との位置関係を利用して、撮影装置10の設置状態を検知してもよい。例えば、撮影画像から顔検出を行い、所定時間(例えば10秒)以上にわたって人物の顔の位置・サイズの変動が無い又は小さい場合に、撮影装置10の人物に対する位置を把握できたものとする。また、顔の位置・サイズの他に、向きを検出しても良い。これにより、例えば顔が正面向きで所定サイズ以上の場合にはWebアプリケーションを選択し、顔を見上げる角度の場合には視線入力アプリケーションを選択しても良い。
また、撮影装置10の設置状態の検知状況をユーザに知らせてもよい。少なくとも、撮影装置10の移動を検知したときに、撮影画像からの画面やキーボードの検知状況をPC20の表示部23に表示してもよい。例えば、撮影画像にLEDやマーカーの検出状態をスーパーインポーズしたものを表示部23に表示しても良い。これにより、ユーザは、移動させた撮影装置10が意図した被写体を含んでいるか否かを確認したり、撮影装置10の位置を微調整したりすることができる。
(変形例3)
上記の実施例では、撮影装置10の設定として、解像度、赤外線透過・可視光カットフィルタのオン/オフ、赤外線発光のオン/オフを行い、アプリケーションの設定としては撮影装置10に対する画面やキーボードの位置算出を行っているが、他にも機能を備え、自動設定ソフトウェアから設定を行うようにしてもよい。
上記の実施例では、撮影装置10の設定として、解像度、赤外線透過・可視光カットフィルタのオン/オフ、赤外線発光のオン/オフを行い、アプリケーションの設定としては撮影装置10に対する画面やキーボードの位置算出を行っているが、他にも機能を備え、自動設定ソフトウェアから設定を行うようにしてもよい。
具体的には、撮影装置10がパン・チルト・ズームなどの機構を備える場合、アプリケーションに応じてこれらの機構を制御する。例えば視線入力アプリケーションでは、人物の目の周辺の高解像度画像を撮影するために顔付近にズームインする。一方、画面に対するジェスチャ操作アプリケーションを実行する場合には、ジェスチャが行われる領域全体を撮影するためにズームアウトする。
また、赤外線発光の範囲や方向を制御可能としても良い。例えば、視線入力アプリケーションを実行する場合には顔付近を中心に赤外線を照射し、画面に対するジェスチャ操作アプリケーションを実行する場合には広く赤外線を照射する。
また、ステレオ撮影が不要なアプリケーションを使用するときには、一方のカメラモジュール16のみで撮影するように設定しても良い。
さらに、状況に応じて、露出制御方法を切り替えてもよい。例えば、赤外線透過・可視光カットフィルタをオンにし、赤外線照射して撮影を行う場合には、通常の可視光撮影の露出制御ではなく、赤外線撮影による被写体検出に適した露出制御としてもよい。
10 撮影装置
11 本体部
12 可動部
14 固定部
16 カメラモジュール
20 PC
24 制御部
11 本体部
12 可動部
14 固定部
16 カメラモジュール
20 PC
24 制御部
Claims (1)
- 撮影部によって撮影された画像の情報である第1情報、及び、前記撮影部が撮影する撮影範囲に関する情報である第2情報の少なくとも一方を取得する取得部と、
前記撮影部によって撮影された画像の情報を利用する複数のアプリケーションのうち、前記取得部が取得した情報に対応したアプリケーションをユーザに提供するアプリケーション制御部と、
を備えることを特徴とする情報処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018227095A JP2019050047A (ja) | 2018-12-04 | 2018-12-04 | 情報処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018227095A JP2019050047A (ja) | 2018-12-04 | 2018-12-04 | 情報処理装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014172235A Division JP2016045918A (ja) | 2014-08-27 | 2014-08-27 | 情報処理装置、情報処理方法及び情報処理プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020178874A Division JP2021036440A (ja) | 2020-10-26 | 2020-10-26 | 情報処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019050047A true JP2019050047A (ja) | 2019-03-28 |
Family
ID=65905792
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018227095A Pending JP2019050047A (ja) | 2018-12-04 | 2018-12-04 | 情報処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019050047A (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000341680A (ja) * | 1999-03-23 | 2000-12-08 | Canon Inc | 情報制御装置及び情報制御方法及びカメラクライアント装置及びそのカメラ制御方法及びカメラサーバ装置及びそのカメラ制御方法及び記憶媒体 |
JP2007089093A (ja) * | 2005-09-26 | 2007-04-05 | Canon Inc | クレードル装置と端末装置及び、カメラ制御システムとのその方法 |
JP2009077092A (ja) * | 2007-09-20 | 2009-04-09 | Hitachi Ltd | マルチカメラシステム |
-
2018
- 2018-12-04 JP JP2018227095A patent/JP2019050047A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000341680A (ja) * | 1999-03-23 | 2000-12-08 | Canon Inc | 情報制御装置及び情報制御方法及びカメラクライアント装置及びそのカメラ制御方法及びカメラサーバ装置及びそのカメラ制御方法及び記憶媒体 |
JP2007089093A (ja) * | 2005-09-26 | 2007-04-05 | Canon Inc | クレードル装置と端末装置及び、カメラ制御システムとのその方法 |
JP2009077092A (ja) * | 2007-09-20 | 2009-04-09 | Hitachi Ltd | マルチカメラシステム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11470377B2 (en) | Display apparatus and remote operation control apparatus | |
US20150109437A1 (en) | Method for controlling surveillance camera and system thereof | |
KR102449593B1 (ko) | 카메라 장치를 제어하기 위한 방법 및 그 전자 장치 | |
US20150143283A1 (en) | Information processing device, display control method, and program | |
US20140145941A1 (en) | Computer vision gesture based control of a device | |
CN112099618B (zh) | 电子设备、电子设备的控制方法和存储介质 | |
KR20120105201A (ko) | 휴대 단말, 원격 카메라, 및 휴대 단말에 의한 원격 카메라의 팬/틸트/줌 제어 방법 | |
US20140053115A1 (en) | Computer vision gesture based control of a device | |
US11928291B2 (en) | Image projection device | |
TW201205182A (en) | Information processing apparatus, information processing method, and program | |
JP2017182110A (ja) | 表示システム、表示装置、情報処理装置及び情報処理方法 | |
JP2017182109A (ja) | 表示システム、情報処理装置、プロジェクター及び情報処理方法 | |
JP2024137998A (ja) | ウェアラブル端末装置、プログラム及び表示方法 | |
JP2016126687A (ja) | ヘッドマウントディスプレイ、操作受付方法および操作受付プログラム | |
JP2018018308A (ja) | 情報処理装置、及びその制御方法ならびにコンピュータプログラム | |
JP2019050047A (ja) | 情報処理装置 | |
JP5229928B1 (ja) | 注視位置特定装置、および注視位置特定プログラム | |
JP2017033195A (ja) | 透過型ウェアラブル端末、データ処理装置、及びデータ処理システム | |
JP2021036440A (ja) | 情報処理装置 | |
JP6439398B2 (ja) | プロジェクター、及び、プロジェクターの制御方法 | |
KR101492832B1 (ko) | 영상 제어 방법 및 이를 이용한 영상 표시 장치 | |
JP2016045918A (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
JP7500866B2 (ja) | ウェアラブル端末装置、プログラムおよび表示方法 | |
JP2018173907A (ja) | 情報処理装置、および情報処理装置の制御方法、プログラム | |
JP7537023B2 (ja) | ウェアラブル端末装置、プログラムおよび表示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181204 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200204 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200728 |