JP2021149527A - 操作システム、操作方法、及びプログラム - Google Patents

Abstract

【課題】一つの携帯端末で指定した機器を操作できる操作システムを提供する。【解決手段】一つ以上の機器と該機器を操作する携帯端末１０とから成る操作システムであって、携帯端末１０は、機器を撮影するカメラ１１と、カメラ１１で撮影した機器画像を取得し、該機器画像の基準点に位置する機器を指定する機器指定部１２と、指定した機器を操作する操作信号を生成する操作信号生成部１３とを備える。【選択図】図２

Description

本発明は、指定した機器を操作する操作システム、操作方法、及びプログラムに関する。

操作者の視線を画像認識して推定し、操作者の視線上にあるオブジェクト（指定した機器）を操作する方法が、例えば非特許文献１に開示されている。

Xucong Zhang,Yusuke Sugano,Andreas Bulling, Evaluation of Appearance-Based Methods and Implications for Gaze-Based Applications.〔令和2年2月25日検索〕、インターネット（URL:https://perceptual.mpi-inf.mpg.de/opengaze-toolkit-released）

非特許文献１に開示された技術では、例えばテーブル上に置かれた機器を操作する場合、操作者の顔とテーブル上の機器を同時に撮影するカメラが必要である。また、死角や遮蔽が生じないようにするために複数のカメラが必要である。複数のカメラは、操作者の移動を阻害する場合がある。また、カメラ間の時刻同期及び座標変換に伴う処理が増加するので操作システムのコストを高くしてしまう。このように従来の操作者の視線を利用した操作方法は、複数のカメラ（機器）が必要であり、システムの構成が複雑でコストが高くなるという課題がある。

本発明は、この課題に鑑みてなされたものであり、一つの携帯端末で指定した機器を操作できる操作システム、操作方法、及びプログラムを提供することを目的とする。

本発明の一態様に係る操作システムは、一つ以上の機器と該機器を操作する携帯端末とから成る操作システムであって、前記携帯端末は、前記機器を撮影するカメラと、前記カメラで撮影した機器画像を取得し、該機器画像の基準点に位置する前記機器を指定する機器指定部と、指定した前記機器を操作する操作信号を生成する操作信号生成部とを備えることを要旨とする。

また、本発明の一態様に係る操作方法は、上記の操作システムが行う操作方法であって、一つ以上の機器を撮影して機器画像を取得する撮影ステップと、前記機器画像の基準点に位置する前記機器を指定する機器指定ステップと、指定した前記機器を操作する操作信号を生成する操作信号生成ステップとを行うことを要旨とする。

また、本発明の一態様に係るプログラムは、上記の操作システムとしてコンピュータを機能させるためのプログラムであることを要旨とする。

本発明によれば、一つの携帯端末で指定した機器を操作することができる。よって、システムの構成が簡単でコストを安くすることができる。

本発明の実施形態に係る操作システムの構成例を示す構成図である。 図１に示す携帯端末の機能構成例を示すブロック図である。 図２に示すカメラで操作対象の機器を撮影した機器画像を模式的に示す図である。 図１に示す携帯端末の側面を模式的に示す図である。 図４に示す2つの魚眼レンズで撮影した半球画像の例を模式的に示す図である。 図５に示す2つの半球画像（全天球画像）を正距円筒図に変換した例を模式的に示す図である。 図６に示す正距円筒図から操作者の視線方向を抽出する方法を説明する図である。 図２に示すカメラの変形例の構成を模式的に示す図である。 2つの機器画像と操作者画像から三次元座標情報を生成する原理を模式的に示す図である。 図１に示す操作システムが行う操作方法の処理手順を示すフローチャートである。 汎用的なコンピュータシステムの構成例を示すブロック図である。

以下、本発明の実施形態について図面を用いて説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。

図１は、本発明の実施形態に係る操作システムの構成例を示す構成図である。図１に示す操作システム１００は、一つ以上の機器２０ａ，２０ｂ，２０ｃと、携帯端末１０とで構成される。

図１に示す例は、人の背丈よりも高い棚３０の上に機器２０ａ，２０ｂ，２０ｃが置かれ、操作者Ｕが携帯端末１０でそれらの機器２０ａ，２０ｂ，２０ｃを操作する様子を示している。携帯端末１０は、操作者Ｕが手で持つ例を示すがこの例に限られない。携帯端末１０は、操作者Ｕの腕、肩、胸、及び足等の何れの部分で携帯しても構わない。

また、機器２０ａ，２０ｂ，２０ｃは、操作者Ｕよりも低い位置の例えばテーブル（図示せず）上に置いてあってもよい。図１は、操作者Ｕが比較的操作し難い位置の例を示す。

機器２０ａは、例えば遠隔操作で照度が調整できる照明である。機器２０ｂは、例えば遠隔操作が可能なラジオである。機器２０ｃは、例えば遠隔操作で加湿量が調整できる加湿器である。機器はこの例に限られない。例えば、床の上に配置される自走式掃除機等であっても構わない。なお、以降の説明において、機器２０ａ，２０ｂ，２０ｃの何れかを指定する必要がない場合、単に機器２０と表記する。

図２は、携帯端末１０の機能構成例を示すブロックである。図２に示すように、携帯端末１０は、カメラ１１、機器指定部１２、及び操作信号生成部１３を備える。

カメラ１１は、携帯端末１０の先端部分に取付けられる。操作者Ｕは、その先端を機器２０に向けてそれらの機器画像を撮影する。カメラ１１は、一般的なディジタルカメラである。

機器指定部１２は、カメラ１１で撮影した機器画像を取得し、機器画像の基準点に位置する機器２０を指定する。機器画像の基準点とは、カメラ１１で撮影する機器画像の例えば中心座標である。

中心座標の画素を中心に、所定の画素数の画像枠（フレーム）を設定し、画像枠内の画像を認識して機器２０を指定する。例えば、画像枠に含まれる外形が球体であれば機器２０ａ、外形が立方体であれば機器２０ｂ、外形が円柱であれば機器２０ｃと指定する。また、画像枠内の文字列（機器の型式等）を認識して機器２０を指定するようにしてもよい。

機器指定部１２は、外形と機器名、文字列と機器名等の情報を備えており、機器画像から操作対象の機器を指定する。外形と機器名、及び文字列と機器名等は図示を省略しているメモリに予め記憶させておく。

操作信号生成部１３は、指定した機器２０を操作する操作信号を生成する。操作信号は、携帯端末１０に設けられたスイッチから得られるスイッチ信号と、メモリ（図示せず）に記憶された機器の操作仕様とを対応付けて生成する。機器指定部１２が機器２０ｂを指定した場合、操作信号生成部１３は所定のスイッチのスイッチ信号に対応させて、例えば機器２０ｂ（ラジオ）の音量を高くする操作信号を生成する。

操作信号は、赤外線（IrDA）又は電磁波（WiFi,Bluetooth）に変換されて指定した機器２０に送信される。このように、携帯端末１０で指し示した機器２０を指定して操作することができる。

以上説明したように、本実施形態に係る操作システム１００は、一つ以上の機器２０と該機器２０を操作する携帯端末１０とから成る操作システムであって、携帯端末１０は、機器２０を撮影するカメラ１１と、カメラ１１で撮影した機器画像を取得し、該機器画像の基準点に位置する機器２０を指定する機器指定部１２と、指定した機器２０を操作する操作信号を生成する操作信号生成部１３とを備える。これにより、一つの携帯端末１０で指定した機器２０を操作することができる。また、操作システム１００を構成する構成要素が少ないのでコストを安くすることができる。

（機器画像）
図３は、機器画像の例を模式的に示す図である。図３に示す機器画像ＯＧは、携帯端末１０のカメラ１１で撮影した画像である。

機器画像ＯＧは、例えば500万画素の画像であると仮定する。その場合、機器画像ＯＧの横方向（ｘ）は2560画素、縦方向（ｙ）は1920画素で表される。

図３に示す基準点αは、例えば機器画像ＯＧの中心（x=1280，y=960）である。図３では、説明の都合上、基準点αを表記しているが、基準点αは表示する必要はない。また、図３では基準点αを画素数1の点よりも大きく表記している。

機器指定部１２は、基準点αを中心に所定の画素数の画像枠（フレーム）を設定し、その画像枠に含まれる物体を画像認識する。したがって、操作者Ｕがどの機器２０を指しているか、基準点αと画像枠（図示せず）から検出することができる。つまり、操作者Ｕが操作したい機器２０を指定することができる。画像枠の大きさは、物体（機器２０）を含むように自動で調整してもよい。

次に、カメラ１１を360度カメラで構成した例について説明する。

（360度カメラを用いた携帯端末）
図４は、携帯端末１０のカメラ１１を、360度カメラ２１で構成した場合の側面を示す図である。

図４に示すように、360度カメラ２１は、例えば棒状の柄１５の先端部分に取付けられる。柄１５は操作者Ｕが手で握る部分である。柄１５の表面には、操作者Ｕが操作するスイッチ１３１，１３２が設けられている。また、柄１５の内部には、360度カメラ２１の天頂方向を検出する３軸加速度センサ１４が設けられている。３軸加速度センサ１４は、360度カメラ２１で撮影した全天球画像の天地を調整する。なお、３軸加速度センサ１４を用いて天地を調整する方法は周知である。

360度カメラ２１は、2つの魚眼レンズ２１１，２１２で撮影した2枚の半球画像をつなぎ合わせた1つの360度全天球画像を撮影する。魚眼レンズ２１１，２１２の直径の中心部分には、撮像素子（図示せず）が設けられる。

全天球画像は、縦方向（ｚ）、横方向（ｘ）のそれぞれを360度撮影した画像である。奥行方向（ｙ）は、ｚ方向とｘ方向の全天球画像に含まれる。

魚眼レンズ２１１は機器画像ＯＧ（半球画像）を撮影する。魚眼レンズ２１２は、携帯端末１０を携帯する操作者Ｕの操作者画像ＳＧ（半球画像）を撮影する。

図５は、機器画像ＯＧと操作者画像ＳＧを模式的に示す図である。機器画像ＯＧは、棚３０と、その上に置かれた機器２０ａ，２０ｂ，２０ｃの画像を含む。操作者画像ＳＧは、携帯端末１０を左手で持つ操作者Ｕの上半身の画像を含む。

図６は、360度カメラ２１で撮影した全天球画像を正距円筒図に変換した図を模式的に示す図である。正距円筒図は、全天球画像の緯度・経度を、ｘ−ｙ座標に変換した図である。その変換方法は周知である。

図６に示す縦・横方向の0は、緯度（φ）の0度と経度（θ）の0度を表す。λ＝0度、φ＝0度は360度カメラ２１の中心位置である(図６に示すＡ)。緯度0〜90度は、360度カメラ２１から見た仰角であり、0〜-90度は360度カメラ２１から見た俯角である。経度0〜180度は360度カメラ２１からｘ方向、経度0〜-180度は360度カメラ２１から-ｘ方向を表す。

魚眼レンズ２１１の−ｘ側の頂点を、機器２０ｂに向けた場合（図１）は、機器２０ｂは横軸-90度上の第二象限に位置する（図６に示すＣ）。一方、その姿勢の魚眼レンズ２１２で撮影した操作者Ｕは、魚眼レンズ２１２の正面なので横軸90度上に位置する。

360度カメラ２１を基準とする操作者Ｕの視点位置（Ｖ_θ[deg]，Ｖ_φ[deg]）は、特徴点の検出と特徴点同士の関係を検出する技術であるOpenPoseを用いることで取得できる。OpenPose（姿勢推定ライブラリ）は周知である。

次に、視点位置（Ｖ_θ[deg]，Ｖ_φ[deg]）を基準とする視線方向（Ｇ_θ[deg]，Ｇ_φ[deg]）を取得する。視線方向（Ｇ_θ[deg]，Ｇ_φ[deg]）は、視線を検出するOpenGazeを用いることで取得できる。OpenGazeは周知である。

次に、操作対象の機器２０の位置（Ｌ[２０]_θ[deg]，Ｌ[２０]_φ[deg]）を取得する。機器２０の位置（Ｌ[２０]_θ[deg]，Ｌ[２０]_φ[deg]）は、物体検出手法であるYOLOを用いることで取得できる。YOLO（You Look Only Onse）は周知である。

操作者Ｕの視点位置（Ｖ_θ[deg]，Ｖ_φ[deg]）と視線方向（Ｇ_θ[deg]，Ｇ_φ[deg]）から操作者Ｕが注視する注視点（Ｔ_θ[deg]，Ｔ_φ[deg]）を計算することができる。

図７は、操作者Ｕの注視点（Ｔ_θ[deg]，Ｔ_φ[deg]）の計算方法の一例を模式的に示す図である。図７に示す「Ａ」は、360度カメラ２１の位置、「Ｂ」は操作者Ｕの視点位置（Ｖ_θ[deg]）、「Ｃ」は操作対象の機器２０である。計算方法は仰角方向で説明する。

図７において、360度カメラ２１の位置「Ａ」を中心として視点位置（Ｖ_θ[deg]）の「Ｂ」と機器２０「Ｃ」を通る円を想定する。この場合、360度カメラ２１から機器２０までの距離と、360度カメラ２１から操作者Ｕの視点位置（Ｖ_θ[deg]）までの距離は等しい。

ここで、360度カメラ２１の位置「Ａ」を原点とするｘ軸と平行な視点位置「Ｂ」を通る直線ｘ′を想定する。そうすると、視点位置「Ｂ」から機器２０を見る角度は視線方向（Ｇ_θ[deg]）である。また、線分ＡＢと直線ｘ′とが成す角度は、視点位置（Ｖ_θ[deg]）と同じである。

視線方向（Ｇ_θ[deg]）と視点位置（Ｖ_θ[deg]）は既知であるので、操作者Ｕの注視点（Ｔ_φ[deg]）は次式で計算することができる。

経度方向の操作者Ｕの注視点（Ｔ_θ[deg]）も同様に計算することができる。なお、注視点（Ｔ_φ[deg]）は、Ｔ_φ[deg]+ Ｖ_φ[deg]で表わしても構わない。

求めた注視点（Ｔ_θ[deg]，Ｔ_φ[deg]）から操作者Ｕが操作したい機器２０を指定する。つまり、図７に示す線分ＡＢと線分ＡＣが成す角度、又はｘ軸と線分ＡＣが成す角度にある（近い）機器２０を操作対象として指定する。

以上説明したように、機器指定部１２は、操作者画像ＳＧから該操作者Ｕの視線方向を検出し、該視線方向に基づいて例えば機器２０ｂを指定する。また、機器画像ＯＧ及び操作者画像ＳＧは、360度カメラ２１で撮影した全天球画像情報から取得するようにしてもよい。これにより、一つの携帯端末１０で指定した機器２０を操作することができる。

つまり、操作者Ｕが操作したい機器２０を指定することができれば、操作信号生成部１３はその機器２０の仕様に合わせた操作信号を容易に生成することができる。

なお、携帯端末１０の操作スイッチ１３１，１３２から得られるスイッチ信号に基づいて操作信号を生成する例を説明したが、操作スイッチ１３１，１３２を用いずに操作信号を生成する方法も考えられる。その場合、操作者画像ＳＧに含まれる操作者Ｕの所作を認識し、該所作に対応する操作信号を生成させる。所作は、例えば瞬きの回数及び指の本数等が考えられる。これにより、携帯端末１０の操作スイッチ１３１，１３２を無くすことができる。操作スイッチ１３１，１３２を無くすことで、携帯端末１０の外装ケースのコストを安くすることができる。

また、操作信号に、操作者Ｕを識別する識別情報を含めてもよい。操作者Ｕの識別は、携帯端末１０を持つ人の顔を認識することで行える。つまり、機器指定部１２は、携帯端末１０を携帯する操作者Ｕの操作者画像も取得し、該操作者画像を認識して操作者Ｕを指定し、操作信号生成部１３は、操作者Ｕを識別する識別情報を操作信号に含める。これにより、該操作信号を受信した機器２０は操作者Ｕに対応させたサービスを提供することができる。操作者Ｕに対応させたサービスは、例えば機器２０がテレビであれば、操作者Ｕが過去に視聴したジャンルの最新のビデオプログラムを表示する等のことである。

なお、カメラは360度カメラ２１に限られない。1つの一般的なディジタルカメラ（カメラ１１）で機器画像ＯＧと操作者画像ＳＧを撮影するようにしてもよい。

図８は、1つのカメラ１１で機器画像ＯＧと操作者画像ＳＧを撮影する変形例の構成を示す図である。カメラ１１に対向して2枚の鏡４０ａ，４０ｂが配置されている。鏡４０ａの−ｘ方向には機器２０は配置され、鏡４０ｂのｘ方向には操作者Ｕが位置している。

図８に示すように構成したカメラ１１で機器画像ＯＧと操作者画像ＳＧを撮影するようにしても構わない。360度カメラ２１を用いた場合と同じ作用効果が得られる。

また、機器指定部１２は、2つの機器画像ＯＧと操作者画像ＳＧから三次元座標情報を生成するようにしてもよい。

図９は、2つの機器画像ＯＧと操作者画像ＳＧから三次元座標情報を生成する原理を説明する模式図である。図９は、図６で説明した状態から操作者Ｕが携帯端末１０を機器２０側に突き出し、その突き出した距離と同じ距離、操作者Ｕが顔を携帯端末１０から遠ざけた（のけぞる）場合を仮定した正距円筒図である。

この場合、360度カメラ２１の位置「Ａ」を中心とする2つの二等辺三角形ＡＢＣとＡＢ′Ｃ′とが得られる。この２つの視点位置（Ｖ_θ[deg]，Ｖ_φ[deg]）と視線方向（Ｇ_θ[deg]，Ｇ_φ[deg]）も用いステレオカメラの原理で三次元座標情報を取得することができる。

このように、機器指定部１２は、2つの機器画像ＯＧと操作者画像ＳＧから三次元座標情報を生成し、該三次元座標で機器２０を指定することができる。これにより、例えば、床に置かれた複数の自走式掃除機に対して選択的に操作信号を送信することができる。

（操作方法）
図１０は、本実施形態に係る操作システム１００が実行する操作方法の処理手順を示すフローチャートである。

操作システム１００が動作を開始すると、カメラ１１は、一つ以上の機器２０を撮影して機器画像ＯＧを取得する（ステップＳ１）。カメラ１１が360度カメラ２１の場合は、操作者画像ＳＧも同時に取得する。

機器指定部１２は、機器画像ＯＧの基準点αに位置する機器２０を指定する（ステップＳ２）。基準点αは、例えばカメラ１１で撮影する画像の中心座標である。中心座標の画素を中心に、所定の画素数の画像枠（フレーム）を設定し、画像枠内の画像を認識して機器２０を指定する。

操作信号生成部１３は、機器指定部１２が指定した機器を操作する操作信号を生成する（ステップＳ３）。操作信号は、物理的なスイッチを操作して得られるスイッチ信号に基づいて生成してもよいし、操作者Ｕの所作を認識して所作に対応させた操作信号にしてもよい。

このように、本実施形態に係る操作方法は、操作システム１００が行う操作方法であって、一つ以上の機器２０を撮影して機器画像ＯＧを取得する撮影ステップＳ１と、機器画像ＯＧの基準点αに位置する機器２０を指定する機器指定ステップＳ２と、指定した機器２０を操作する操作信号を生成する操作信号生成ステップＳ３とを行う。一つの携帯端末１０で指定した機器を操作することができる。

操作システム１００及び操作方法は、図１１に示す汎用的なコンピュータシステムで実現することができる、例えば、ＣＰＵ９０、メモリ９１、ストレージ９２、通信部９３、入力部９４、及び出力部９５を備える汎用的なコンピュータシテムにおいて、ＣＰＵ９０がメモリ９１上にロードされた所定のプログラムを実行することにより、操作システム１００のカメラ１１を除く各機能が実現される。所定のプログラムは、HDD、SSD、USBメモリ、CD-ROM、DVD-ROM、MOなどのコンピュータ読取り可能な記録媒体に記録することも、ネットワークを介して配信することも可能である。

本実施形態に係る操作システム１００及び操作方法によれば、操作者Ｕの手の届かない機器２０を操作することができる。また、操作が他者の妨げになることもない。また、少ない例えば手の動きで機器２０を操作することができる。また、ヘッドアップディスプレイ等の装着に違和感を伴うものが不要である。また、複数人の間で操作権の譲渡が容易に行える。

本発明は、上記の実施形態に限定されるものではなく、その要旨の範囲内で変形が可能である。例えば、全天球画像の天地の修正は３軸加速度センサ１４を用いる例を説明したが、本発明はこの例に限定されない。例えば、操作システム１００を配置する環境に事前にマーカーを配置し、そのマーカーを画像認識することで全天球画像の天地を修正することができる。

また、操作者Ｕを特定するのに操作者画像を認識する例を説明したが、この例に限定されない。上記のOpenPoseで検出されるボーン情報を元に携帯端末１０を保持している操作者Ｕを特定し、操作したい機器２０を指定するようにしてもよい。

また、操作する対象の機器２０は棚３０の上に配置される例（図１）を示したが、操作者Ｕの視点よりも低い例えばテーブルの上に置かれた機器２０に対しても同様に操作信号を送信することができる。

このように、本発明はここでは記載していない様々な実施形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明指定事項によってのみ定められるものである。

１０：携帯端末
１１：カメラ
１２：機器指定部
１３：操作信号生成部
２０，２０ａ，２０ｂ，２０ｃ：機器
２１：360度カメラ
３０：棚
４０ａ，４０ｂ：鏡

Claims (8)

1. 一つ以上の機器と該機器を操作する携帯端末とから成る操作システムであって、
   前記携帯端末は、
   前記機器を撮影するカメラと、
   前記カメラで撮影した機器画像を取得し、該機器画像の基準点に位置する前記機器を指定する機器指定部と、
   指定した前記機器を操作する操作信号を生成する操作信号生成部と
   を備える操作システム。
2. 前記機器指定部は、
   前記携帯端末を携帯する操作者の操作者画像も取得し、該操作者画像を認識して前記操作者を指定し、
   前記操作信号生成部は、
   前記操作者を識別する識別情報を前記操作信号に含める
   請求項１に記載の操作システム。
3. 前記機器指定部は、
   前記操作者画像から該操作者の視線方向を検出し、該視線方向に基づいて前記機器を指定する
   請求項２に記載の操作システム。
4. 前記機器画像及び前記操作者画像は、360度カメラで撮影した全天球画像情報から取得する請求項２又は３に記載の操作システム。
5. 前記操作信号生成部は、
   前記操作者画像から前記操作者の所作を認識し、該所作に対応する前記操作信号を生成する
   請求項２乃至４の何れかに記載の操作システム。
6. 前記機器指定部は、
   2つの前記機器画像と前記操作者画像から三次元座標情報を生成し、該三次元座標情報で前記機器を指定する
   請求項２乃至５の何れかに記載の操作システム。
7. 操作システムが行う操作方法であって、
   一つ以上の機器を撮影して機器画像を取得する撮影ステップと、
   前記機器画像の基準点に位置する前記機器を指定する機器指定ステップと、
   指定した前記機器を操作する操作信号を生成する操作信号生成ステップと
   を行う操作方法。
8. 請求項１乃至６の何れかに記載の操作システムとしてコンピュータを機能させるためのプログラム。

Images