JP2019133383A - 電子機器、制御システム、制御方法及びプログラム - Google Patents

電子機器、制御システム、制御方法及びプログラム Download PDF

Info

Publication number
JP2019133383A
JP2019133383A JP2018014660A JP2018014660A JP2019133383A JP 2019133383 A JP2019133383 A JP 2019133383A JP 2018014660 A JP2018014660 A JP 2018014660A JP 2018014660 A JP2018014660 A JP 2018014660A JP 2019133383 A JP2019133383 A JP 2019133383A
Authority
JP
Japan
Prior art keywords
barcode
time password
electronic device
information
mobile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018014660A
Other languages
English (en)
Inventor
林三 岩本
Rinzo Iwamoto
林三 岩本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dynabook Inc
Original Assignee
Dynabook Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dynabook Inc filed Critical Dynabook Inc
Priority to JP2018014660A priority Critical patent/JP2019133383A/ja
Priority to US16/042,545 priority patent/US20190236260A1/en
Publication of JP2019133383A publication Critical patent/JP2019133383A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/36User authentication by graphic or iconic representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/42User authentication using separate channels for security data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10712Fixed beam scanning
    • G06K7/10722Photodetector array or CCD scanning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1408Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/14131D bar codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Toxicology (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】 作業の妨げになることなく容易に制御できる電子機器を実現する。【解決手段】 実施形態によれば、ユーザが携行可能な電子機器は、接続部と取得部と算出部と実行制御部とを具備する。接続部は、当該電子機器を前記ユーザが装着可能なウェアラブル機器に有線又は無線で接続する。取得部は、情報が符号化されたバーコードが、外部電子機器の画面に表示される場合に、前記ウェアラブル機器に設けられるカメラを用いて、表示された前記バーコードが撮像された画像を取得する。算出部は、前記画像から、前記バーコードとして符号化された前記情報を算出する。実行制御部は、算出された前記情報に応じた処理を実行する。【選択図】図1

Description

本発明の実施形態は、電子機器、制御システム、制御方法及びプログラムに関する。
最近、多くのモノがインターネットでつながるIoT時代となり、オフィス、工場、その他様々な場面において、ネットワークコミュニケーションや情報共有のツールとしてエッジコンピューティングと呼ばれる技術が求められている。このエッジコンピューティングを実現するためにはデータセンター(或いはクラウド)とは別に作業者(ユーザ)がその場で使用可能な、高度の汎用性と処理能力を持つ実用的なモバイルエッジコンピューティングデバイス(MECD)の開発が必要とされている。これにより、作業現場等での業務効率化や生産性向上、或いは、データの負荷分散やネットワーク環境の改善等を図ることが期待される。
MECDのようなモバイル機器は、メガネ型やブレスレット型のような各種のウェアラブル機器と一緒に用いられることがある。モバイル機器とウェアラブル機器とは、相互にデータを送受信し、これにより、例えば、ウェアラブル機器に設けられたカメラやセンサにより生成されたデータを、モバイル機器が処理することができる。
特開2000−047958号公報 特開2002−316456号公報
ところで、ユーザが、モバイル機器を携行し、メガネ型やブレスレット型等の各種のウェアラブル機器を装着してハンズフリー作業を行う場合、モバイル機器にマウスやキーボードのような入力デバイスを接続することが考えられる。しかし、そのような入力デバイスをユーザに操作させることは、ハンズフリー作業の妨げとなり現実的でない。そのため、作業の妨げになることなく、モバイル機器を容易に制御できる新たな機能の実現が必要とされる。
本発明が解決しようとする課題は、作業の妨げになることなく容易に制御できる電子機器、制御システム、制御方法及びプログラムを提供することである。
実施形態によれば、ユーザが携行可能な電子機器は、接続部と取得部と算出部と実行制御部とを具備する。接続部は、当該電子機器を前記ユーザが装着可能なウェアラブル機器に有線又は無線で接続する。取得部は、情報が符号化されたバーコードが、外部電子機器の画面に表示される場合に、前記ウェアラブル機器に設けられるカメラを用いて、表示された前記バーコードが撮像された画像を取得する。算出部は、前記画像から、前記バーコードとして符号化された前記情報を算出する。実行制御部は、算出された前記情報に応じた処理を実行する。
第1実施形態に係る電子機器(モバイルPC)を含む制御システムの構成を説明するための図である。 図1の制御システムに含まれる設定用PCのシステム構成の例を示すブロック図である。 図1の制御システムに含まれるウェアラブルデバイスの外観の例を示す斜視図である。 図3のウェアラブルデバイスの本体の外観の例を示す斜視図である。 第1実施形態に係る電子機器と図4のウェアラブルデバイスの本体との接続の例を示す斜視図である。 図3のウェアラブルデバイスのシステム構成の例を示すブロック図である。 第1実施形態に係る電子機器の正面、側面、及び上面の外観の例を示す図である。 第1実施形態に係る電子機器のシステム構成の例を示すブロック図である。 図1の制御システムにおいて実行される設定シーケンスの例を示す図である。 図2の設定用PCの機能構成を示すブロック図である。 第1実施形態に係る電子機器及び図2の設定用PCによって用いられる制御情報の一構成例を示す図である。 第1実施形態に係る電子機器の機能構成を示すブロック図である。 図2の設定用PCによって実行されるバーコード生成処理の手順の例を示すフローチャートである。 第1実施形態に係る電子機器によって実行されるバーコード制御処理の手順の例を示すフローチャートである。 第1実施形態に係る電子機器によって表示される無線LANアクセスポイント設定画面の例を示す図である。 第1実施形態に係る電子機器によって表示されるSSID入力画面の例を示す図である。 第1実施形態に係る電子機器によって表示されるパスワード入力画面の例を示す図である。 第2実施形態に係る電子機器を含む制御システムにおいて実行される設定シーケンスの例を示す図である。 図18の制御システムに含まれる設定用PCによって実行されるバーコード生成処理の手順の例を示すフローチャートである。 第2実施形態に係る電子機器によって実行されるバーコード制御処理の手順の例を示すフローチャートである。
以下、実施の形態について図面を参照して説明する。なお、開示はあくまで一例にすぎず、以下の実施形態に記載した内容により発明が限定されるものではない。当業者が容易に想到し得る変形は、当然に開示の範囲に含まれる。説明をより明確にするため、図面において、各部分のサイズ、形状等を実際の実施態様に対して変更して模式的に表す場合もある。複数の図面において、対応する要素には同じ参照数字を付して、詳細な説明を省略する場合もある。
(第1実施形態)
[制御システム]
まず、図1を参照して、一実施形態に係る電子機器を含む制御システム1の構成を説明する。この電子機器は、ユーザが携行可能な電子機器であり、例えば、モバイルエッジコンピューティングデバイス(MECD)を含むモバイルパーソナルコンピュータ(PC)や、スマートフォン、携帯電話機、PDA等の携帯情報端末として実現され得る。以下では、この電子機器がモバイルPC16として実現される場合を例示する。
制御システム1は、モバイルPC16と、ウェアラブルデバイス23と、設定用PC12とから構成される。ユーザは、モバイルPC16を携行し、ウェアラブルデバイス23を装着する。ウェアラブルデバイス23は、ユーザの身体(例えば、腕、首、頭、等)に装着可能なウェアラブル機器である。ウェアラブルデバイス23としては、メガネ型、ブレスレット型、腕時計型、ヘッドフォン型、等のウェアラブルデバイスを使用することができる。以下では、ウェアラブルデバイス23が、メガネ型ウェアラブルデバイスであることを想定する。
モバイルPC16とウェアラブルデバイス23とは、有線又は無線により接続される。図1に示す例では、モバイルPC16とウェアラブルデバイス23とは、ケーブル146により接続されている。このケーブル146は、例えば、USBtype−C(登録商標)規格のケーブルである。なお、モバイルPC16とウェアラブルデバイス23とは、無線LANやブルートゥース(登録商標)のような各種の無線通信方式で接続されてもよい。
ウェアラブルデバイス23は、カメラ116及びディスプレイ124を備える。カメラ116は、ウェアラブルデバイス23が使用されている期間中、常時撮影できるように構成され得る。ウェアラブルデバイス23は、カメラ116を用いて撮影された画像をモバイルPC16に送信し得る。また、ウェアラブルデバイス23は、モバイルPC16によって送信された画像を受信し、その画像をディスプレイ124の画面に表示し得る。ウェアラブルデバイス23は、装着したユーザが画像を見ることができるウェアラブルビューアーである。
設定用PC12は、ディスプレイを備える電子機器であって、例えば、ノートブック型PC、デスクトップ型PC、又は各種電子機器に内蔵される組み込みシステムとして実現され得る。設定用PC12は、タブレット型PC、スマートフォン、携帯電話機、PDA等の携帯情報端末として実現されてもよい。図1では、設定用PC12がノートブック型PCである場合を例示している。
設定用PC12は、モバイルPC16を制御するための情報が符号化されたバーコード64Aをディスプレイ(LCD)64の画面に表示する。各バーコード64Aには、例えば、モバイルPC16の制御のために用いられるコマンドやテキストのような種々の情報が符号化されている。設定用PC12の画面には、一つのバーコード64Aが表示されてもよいし、複数のバーコード64Aが同時に表示されてもよい。なお、設定用PC12は、バーコード64Aを、LCD64ではなく、HDMI(登録商標)コネクタ等を用いて接続される外部ディスプレイの画面に表示してもよい。
図1に示すように、ユーザが、例えば、装着しているウェアラブルデバイス23のカメラ116を、設定用PC12(外部電子機器)の画面に表示されたバーコード64Aに向け、バーコード64Aを撮影することにより、バーコード64Aの画像(画像データ)が生成される。なお、ウェアラブルデバイス23は、ユーザが装着していない状態であってもよい。その場合、ユーザは、例えば、ウェアラブルデバイス23を把持して、カメラ116を設定用PC12の画面に表示されたバーコード64Aに向けて撮影する。ウェアラブルデバイス23は、生成された画像をモバイルPC16に送信する。
モバイルPC16は、ウェアラブルデバイス23によって送信された画像を受信し、画像を解析することによって、当該画像に含まれるバーコード64Aに符号化された情報を取得する。そして、モバイルPC16は、取得された情報(例えば、コマンド、テキスト、等)に応じた処理を実行する。つまり、モバイルPC16は、バーコード64Aに割り付けられた特定の機能を実行する。したがって、バーコード64Aを用いて、モバイルPC16に任意の処理を実行させることができる。なお、この処理には、モバイルPC16を制御するための処理だけでなく、モバイルPC16に接続されたウェアラブルデバイス23を制御するための処理が含まれていてもよい。
以上の構成により、制御システム1では、ユーザが、モバイルPC16を携行し、ウェアラブルデバイス23を装着してハンズフリー作業を行っている場合等に、モバイルPC16に接続されたマウスやキーボードのような入力デバイスを用いた操作を行うことなく、モバイルPC16とウェアラブルデバイス23の少なくとも一方を容易に制御することができる。
以下では、上記各構成についてより具体的に説明する。
[設定用PC12]
図2は、設定用PC12のシステム構成を示す。設定用PC12は、プロセッサを含むシステムコントローラ42を備える。システムコントローラ42には、主メモリ44、BIOS−ROM50、HDD又はSSDからなるストレージデバイス52、オーディオコーデック54、グラフィクスコントローラ62、タッチパネル70、USB(登録商標)コネクタ72、無線LANデバイス74、ブルートゥースデバイス76、有線LANデバイス78、PCIExpress(登録商標)カードコントローラ80、メモリカードコントローラ82、エンベデッドコントローラ/キーボードコントローラ(EC/KBC)84等が接続される。
システムコントローラ42はストレージデバイス52から主メモリ44にロードされる様々なプログラムを実行する。これらプログラムは、オペレーティングシステム(OS)46、バーコードを生成するためのバーコード生成アプリケーションプログラム48を含む。システムコントローラ42は、バーコード生成アプリケーションプログラム48に含まれる命令群を実行することにより、設定用PC12内の各部の動作を制御する。
システムコントローラ42は不揮発性メモリであるBIOS−ROM50に格納された基本入出力システム(BIOS)も実行する。BIOSはハードウェア制御のためのシステムプログラムである。
オーディオコーデック54は、再生対象のデジタルのオーディオ信号をアナログのオーディオ信号に変換して、ヘッドフォン58又はスピーカ60に供給する。また、オーディオコーデック54は、マイク56から入力されるアナログのオーディオ信号をデジタル信号に変換する。マイク56とヘッドフォン58は単独で設けてもよいが、インカムとして一体的に設けてもよい。
グラフィックスコントローラ62は、設定用PC12のディスプレイモニタとして使用される液晶表示器(LCD)64を制御する。LCD64の画面上にタッチパネル70が重ねられ、LCD64の画面にタッチペン等により手書き入力操作が行えるように構成されている。グラフィックスコントローラ62にはHDMIコントローラ66も接続される。HDMIコントローラ66は外部の表示デバイスとの接続のためのHDMIコネクタ68に接続される。
無線LANデバイス74は、ネットワークとの接続のためにIEEE802.11規格の無線LAN通信を実行する。ブルートゥースデバイス76は、外部機器との接続のためにブルートゥース規格の無線通信を実行する。有線LANデバイス78は、ネットワークとの接続のためにIEEE802.3規格の有線LAN通信を実行する。このように、設定用PC12とネットワークとの接続は無線通信によってもよいし、有線通信によってもよい。
PCIExpressカードコントローラ80は設定用PC12と外部機器との間でPCIExpress規格の通信を行なう。メモリカードコントローラ82は、記憶媒体、例えばSDカード(登録商標)等のメモリカードにデータを書き込み、メモリカードからデータを読み出す。
EC/KBC84は電力管理コントローラであり、キーボード88を制御するキーボードコントローラも内蔵したワンチップマイクロコンピュータとして実現されている。EC/KBC84は、電源スイッチ86の操作に応じて設定用PC12をパワーオン又はパワーオフする機能を有する。パワーオン及びパワーオフの制御は、EC/KBC84と電源回路90との協働動作によって実行される。EC/KBC84は設定用PC12がパワーオフされている期間中も、バッテリ92又はACアダプタ94からの電力によって動作する。電源回路90は、バッテリ92からの電力又は外部電源として接続されるACアダプタ94からの電力を用いて、各コンポーネントへ供給すべき電力を生成する。
[ウェアラブルデバイス23]
図3はモバイルPC16に接続されるウェアラブルデバイス23の外観の一例を示す。ウェアラブルデバイス23はメガネフレーム142とウェアラブルデバイス本体24を備える。メガネフレーム142は一般的なメガネからレンズを取り除いた形状でもよく、作業者の顔に装着される。メガネフレーム142はメガネが取り付けられる構造としてもよい。作業者がメガネを常用する場合、常用しているメガネと同様な度数のレンズがメガネフレーム142に取り付けられてもよい。
メガネフレーム142はウェアラブルデバイス本体24が着脱される取付具144を左右のテンプルに備える。図3では作業者の右側のテンプルの取付具144はウェアラブルデバイス本体24に隠されているので、図示されない。上述したようにウェアラブルデバイス本体24はディスプレイ124(図4に示す)を備え、ディスプレイ124は片目で目視されるようになっているので、ウェアラブルデバイス本体24が利き目側に取り付けられるように取付具144は左右のテンプルに備えられている。なお、ウェアラブルデバイス本体24を取付具144によりメガネフレーム142に着脱自在に取り付ける必要はなく、ウェアラブルデバイス本体24がメガネフレーム142に固定された右眼用、左眼用のウェアラブルデバイス23を用意してもよい。さらに、ウェアラブルデバイス本体24をメガネフレーム142ではなく、ヘルメット、ゴーグル等を用いて作業者の頭部に装着してもよい。
ウェアラブルデバイス本体24は、その係合片128(図4に示す)が取付具144の上下の枠内に押し込まれることにより、メガネフレーム142に取り付けられる。ウェアラブルデバイス本体24をメガネフレーム142から取り外す場合は、ウェアラブルデバイス本体24が取付具144から引き抜かれる。
ウェアラブルデバイス本体24は取付具144に取り付けられた状態で、係合片128は取付具144内で前後に多少は移動可能である。このため、作業者の焦点がディスプレイ124に合うようにウェアラブルデバイス本体24は前後位置が調整可能である。さらに、取付具144はテンプルに直交する軸144Aを中心に回転可能であり、ウェアラブルデバイス本体24がメガネフレーム142に取り付けられた後、ディスプレイ124が作業者の視線上に位置するように上下位置が調整可能である。さらに、取付具144の回転角度は90度程度であり、取付具144を上方向に大きく回転することにより、ウェアラブルデバイス本体24をメガネフレーム142からはね上げることができる。これにより、ウェアラブルデバイス本体24により視野が邪魔され実物を見ることが困難な場合や、狭い場所でウェアラブルデバイス本体24が周囲の物体に干渉する場合でも、ウェアラブルデバイス23全体を顔から外す/再装着することなく、ウェアラブルデバイス本体24を作業者の視野から一時的に外す/戻すことができる。
[ウェアラブルデバイス本体24]
ウェアラブルデバイス本体24はメガネフレーム142のテンプルに沿った側面部と作業者の一方の眼球の視線上に位置する前面部とからなる。側面部に対する前面部の角度は調節可能である。
図3に示すように、前面部の外側表面にはカメラ116、ライト118、カメラLED120が設けられる。ライト118は暗部の撮影時に発光する補助照明である。カメラLED120は写真や動画の撮影時に点灯し、撮影対象者に撮影していることを認識させるためのものである。
右側のテンプルに取り付けられたウェアラブルデバイス本体24の側面部の上側面に第1、第2、第3ボタン102、104、106が設けられる。なお、作業者の利き目が左眼の場合、ウェアラブルデバイス本体24は左側のテンプルに取り付けられる。右側に取り付けられるか左側に取り付けられるかで、ウェアラブルデバイス本体24の上下が反転するので、側面部の上側面と下側面の両面に第1、第2、第3ボタン102、104、106を設けてもよい。
側面部の外側表面にはタッチパッド110、第4ボタン108、マイク112、照度センサ114が設けられる。タッチパッド110と第4ボタン108は人差し指で操作可能である。ボタン102、104、106は、ウェアラブルデバイス本体24が右側に取り付けられた際、それぞれ人差し指、中指、薬指で操作可能な位置に配置される。タッチパッド110は、その表面上で矢印に示すように作業者が指を上下前後に移動させたことを検出できるようにしている。この移動の検出は、指を接触したまま移動するドラッグの動きに加え指をさっと擦るフリックの動きも含む。タッチパッド110は、作業者の指の上下前後移動を検出すると、コマンドを入力する。本明細書では、コマンドとはウェアラブルデバイス本体24に対する特定の処理の実行指令のことである。第1〜第4ボタン102、104、106、108、タッチパッド110の操作方法はアプリケーションプログラムによって決められている。
例えば、
第3ボタン106が1回押されると、項目の選択/項目の実行がなされ、
第3ボタン106が長押しされると、起動中のアプリケーションの一覧が表示され、
第2ボタン104が1回押されると、ホーム画面に戻り、
第2ボタン104が長押しされると、クイックセッティングのメニューが表示され、
第1ボタン102が1回押されると、操作の取り消し(キーボードのEscキーと同様の動作)が実行される。
タッチパッド110の操作に関しては、例えば、
上下にドラッグされると、カーソルが上下に移動され、
前にフリックされると、左のアイコンが選択され(連続してスクロール)、
後ろにフリックされると、右のアイコンが選択され(連続してスクロール)、
前にドラッグされると、左のアイコンが選択され(1項目ずつスクロール)、
後ろにドラッグされると、右のアイコンが選択され(1項目ずつスクロール)る。
第1ボタン102は人差し指、第2ボタン104は中指、第3ボタン106は薬指、第4ボタン108は小指で操作できるような位置に配置される。なお、第4ボタン108が側面部の上部ではなく、側面部の外側表面に設けられるのは、スペースの関係上であり、第4ボタン108も第1〜第3ボタン102、104、106と同様に側面部の上部に設けられてもよい。照度センサ114はディスプレイの明るさを自動調整するために周囲の照度を検出する。
図4はウェアラブルデバイス本体24の裏面の外観の一例を示す。前面部の内側にはLCDからなるディスプレイ124が設けられる。側面部の内側にはマイク126、スピーカ130、係合片128が設けられる。マイク126は側面部の前方に、スピーカ130は側面部の後方に、係合片128は側面部の後方に設けられる。スピーカ130の代わりにヘッドフォンを用いてもよい。その場合、設定用PC12と同様にマイクとヘッドフォンをインカムとして一体的に設けてもよい。
図5はモバイルPC16とウェアラブルデバイス本体24との接続の一例を示す。側面部の後方にはUSBtype−C(登録商標)規格のケーブル146の一端のプラグ146Aが挿入されるレセプタクル132が設けられる。USBtype−C規格のケーブル146の他端のプラグ146BはモバイルPC16の上部端面のUSBtype−C規格のコネクタ207に挿入される。このようにウェアラブルデバイス本体24はUSBtype−C規格のケーブル146を介してモバイルPC16に接続され、画像信号等がウェアラブルデバイス本体24とモバイルPC16の間で伝送される。ウェアラブルデバイス本体24は無線LAN、ブルートゥース等の無線通信によりモバイルPC16に接続されてもよい。
実施形態ではウェアラブルデバイス本体24は駆動電源としてのバッテリ又はDC端子を備えず、駆動電源はモバイルPC16からUSBtype−Cケーブル146を介してウェアラブルデバイス本体24に供給される。しかし、ウェアラブルデバイス本体24が駆動電源を備えてもよい。
図6はウェアラブルデバイス本体24の一例を示すブロック図である。USBtype−Cコネクタ132がミキサ166に接続される。ディスプレイコントローラ170とUSBハブ164がミキサ166の第1端子、第2端子にそれぞれ接続される。ディスプレイ124がディスプレイコントローラ170に接続される。カメラコントローラ168、オーディオコーデック172、センサコントローラ162がUSBハブ164に接続される。カメラ116とライト118とカメラLED120がカメラコントローラ168に接続される。マイク112、126からのオーディオ信号がオーディオコーデック172に入力され、オーディオコーデック172からのオーディオ信号がアンプ174を介してスピーカ130に入力される。
センサコントローラ162に、モーションセンサ(例えば、加速度/地磁気/重力/ジャイロセンサ等)176、照度センサ114、近接センサ178、タッチパッド110、第1〜第4ボタン102、104、106、108、GPSセンサ180が接続される。センサコントローラ162はモーションセンサ176、照度センサ114、近接センサ178、タッチパッド110、第1〜第4ボタン102、104、106、108、GPSセンサ180からの検出信号を処理して、モバイルPC16へコマンドを供給する。図4には示していないが、モーションセンサ176、近接センサ178はウェアラブルデバイス本体24の内部に配置される。モーションセンサ176はウェアラブルデバイス本体24の動き、向き、姿勢等を検出する。近接センサ178は作業者の顔、指等の接近によりウェアラブルデバイス23の装着を検出する。
[モバイルPC16]
図7はモバイルPC(モバイルエッジコンピューティングデバイス)16の外観の一例を示す。モバイルPC16は片手で持てる小型PCであり、そのサイズは、幅が約10cm以下、高さが約18cm以下、厚さが2cm程度であり、重量は約300g程度と、小型で軽量である。このため、モバイルPC16は作業着のポケット、ベルトに装着されるホルスタあるいはショルダーケースに収納でき、ウェアラブルである。モバイルPC16はCPUや半導体メモリ等の半導体チップやSSD(Solid State Disk)等のストレージデバイスを収納するが、ディスプレイと文字入力用のハードウェアキーボードは備えない。
モバイルPC16の正面にはアップボタン202a、ライトボタン202b、ダウンボタン202c、レフトボタン202d、決定ボタン(センターボタン、エンターボタンとも称する)202eからなる5ボタン202が配置され、その下に指紋センサ204が配置される。文字入力用のハードウェアキーボードが備わっておらず暗証番号(PINとも称する)を入力することができないので、指紋センサ204はモバイルPC16のログイン時のユーザ認証のために用いられる。5ボタン202はコマンドを入力できる。
なお、5ボタン202の各ボタン202a〜202dに数字を割り当て、5ボタン202を用いて暗証番号を入力することにより、ログイン時のユーザ認証を行ってもよい。この場合、指紋センサ204は省略可能である。決定ボタン202e以外の4つのボタンに数字を割り当てるので、数字の種類は4つしかない。従って、ランダムに入力した数字が暗証番号に一致する可能性がある。しかし、暗証番号の桁数を大きくすれば、ランダムに入力した数字が暗証番号に一致する確率を小さくすることができる。指紋センサ204を備えるモバイルPC16でも5ボタン202による認証も可能としてもよい。1台のモバイルPC16を複数の作業者で共有することがあるが、指紋認証だけではこのような場合に対応できない。
5ボタン202はウェアラブルデバイス本体24のボタン102、104、106、108とタッチパッド110の操作と同じ操作が可能である。ウェアラブルデバイス本体24のボタン102、104、106、108とタッチパッド110で操作している様子を作業者は見ることができないので、作業者によっては意図した操作をするには慣れが必要な場合もある。また、ボタン102、104、106、108とタッチパッド110は小型であるので、操作しづらい場合もある。実施形態では、モバイルPC16の5ボタン202でも同じ操作ができるので、上記の懸念は解消される。5ボタン202の操作方法はアプリケーションによって決められている。
例えば、
決定ボタン202eが1回押されると、項目の選択/項目の実行がなされ(ウェアラブルデバイス本体24では、第3ボタン106の1回押しに対応)、
決定ボタン202eが長押しされると、終了又は操作の取り消しがなされ(ウェアラブルデバイス本体24では、第1ボタン102の1回押しに対応)、
アップボタン202aが1回押されると、カーソルが上に移動され(ウェアラブルデバイス本体24では、タッチパッド110で上にドラッグに対応)、
アップボタン202aが長押しされると、起動中のアプリケーションの一覧が表示され(ウェアラブルデバイス本体24では、第3ボタン106の長押しに対応)、
ダウンボタン202cが1回押されると、カーソルが下に移動され(ウェアラブルデバイス本体24では、タッチパッド110で下にドラッグに対応)、
ダウンボタン202cが長押しされると、クイックセッティングメニュー(後述)が表示され(ウェアラブルデバイス本体24では、第2ボタン104の長押しに対応)、
レフトボタン202dが1回押されると、右のアイコンが選択され(ウェアラブルデバイス本体24では、タッチパッド110で後ろにドラッグ/フリックに対応)、
ライトボタン202bが1回押されると、左のアイコンが選択される(ウェアラブルデバイス本体24では、タッチパッド110で前にドラッグ/フリックに対応)。
モバイルPC16の上部側面には、USB3.0規格のコネクタ206とUSBtype−C規格のコネクタ207とオーディオジャック208が設けられる。
モバイルPC16の一方の側面(正面から見て左側の側面)には、メモリカード用のカードスロット218が設けられる。メモリカードは、例えばSDカード、マイクロSDカード(登録商標)等を含む。
モバイルPC16の他方の側面(正面から見て右側の側面)には、ケンジントンロック(登録商標)のためのスロット210、電源スイッチ212、パワーLED213、DC IN/バッテリLED214、DC端子216、冷却用の通風口222が設けられる。パワーLED213は電源スイッチ212の近傍に配置され、電源オンの期間点灯する。DC IN/バッテリLED214はバッテリが充電中であるか否か等のモバイルPC16の状態とバッテリの残量を表示する。モバイルPC16はバッテリで駆動可能であるが、DC端子216にACアダプタを接続した状態でも駆動可能である。図示しないが、裏面はワンタッチでバッテリが交換可能に構成されている。
図8はモバイルPC16のシステム構成の例を示す。モバイルPC16は、例えば、カメラ機能とビューワー機能を備える。カメラ機能はウェアラブルデバイス本体24のカメラ116で写真やビデオを撮影する機能である。撮影した写真やビデオはカメラフォルダに保存され、ビューワー機能で閲覧できる。ビューワー機能はカメラフォルダに保存されているファイルを閲覧する機能である。ファイルの種類は、画像、動画、PDFファイル、カメラ機能で撮影した写真やビデオ、ユーザフォルダに保存されたファイルがある。
モバイルPC16はシステムコントローラ302を備え、システムコントローラ302はプロセッサ(CPU)とコントローラ・ハブからなる。プロセッサには、主メモリ308、BIOS−ROM310、パワーLED213、DC IN/バッテリLED214、USBコントローラ322が接続される。コントローラ・ハブには、フラッシュメモリ326、メモリカードコントローラ328、HDD又はSSDからなるストレージデバイス330、USB切替器324、オーディオコーデック334、3G/LTE/GPSデバイス336、指紋センサ204、USB3.0コネクタ206、ブルートゥースデバイス/無線LANデバイス340、EC/KBC344が接続される。
システムコントローラ302はストレージデバイス330から主メモリ308にロードされる様々なプログラムを実行する。これらプログラムは、OS316、バーコードに基づく制御のためのバーコード制御アプリケーションプログラム314を含む。システムコントローラ302は、バーコード制御アプリケーションプログラム314に含まれる命令群を実行することにより、モバイルPC16内の各部の動作を制御する。
オーディオコーデック334は、再生対象のデジタルのオーディオ信号をアナログのオーディオ信号に変換して、オーディオジャック208に供給する。また、オーディオコーデック334は、オーディオジャック208から入力されるアナログのオーディオ信号をデジタル信号に変換する。
メモリカードコントローラ328はメモリカードスロット218に挿入されるメモリカード、例えばSDカードにアクセスして、SDカードに対するデータの読み書きを制御する。
USBコントローラ322はUSBtype−Cコネクタ207に接続されるUSBtype−Cケーブル又はUSB3.0コネクタ206に接続されるUSB3.0ケーブル(図示せず)に対するデータの送受信を制御する。
図示しないが、USBtype−Cコネクタ207にはポート拡張アダプタも接続可能であり、HDMI等のインターフェースが使用可能である。
ブルートゥースデバイス/無線LANデバイス340は、外部機器又はネットワークとの接続のためにブルートゥース規格の無線通信又はIEEE802.11規格の無線LAN通信を実行する。なお、ネットワークとの接続は無線通信によらず、IEEE802.3規格の有線LAN通信によってもよい。
指紋センサ204はモバイルPC16の起動時の指紋認証のために使用される。
EC/KBC344には、サブプロセッサ346、電源スイッチ212及び5ボタン202が接続される。EC/KBC344は、電源スイッチ212の操作に応じてモバイルPC16をパワーオン又はパワーオフする機能を有する。パワーオン及びパワーオフの制御は、EC/KBC344と電源回路350との協働動作によって実行される。EC/KBC344はモバイルPC16がパワーオフされている期間中も、バッテリ352又はACアダプタ358からの電力によって動作する。電源回路350は、バッテリ352からの電力又は外部電源として接続されるACアダプタ358からの電力を用いて、各コンポーネントへ供給すべき電力を生成する。電源回路350は電圧レギュレータモジュール356を含み、電圧レギュレータモジュール356はシステムコントローラ302内のプロセッサに接続される。
なお、モバイルPC16をウェアラブルデバイス本体24と別体として構成したが、モバイルPC16をウェアラブルデバイス本体24内に組み込んで、両者を一体として構成してもよい。
[制御シーケンス]
図9は、制御システム1において実行される制御シーケンスの例を示す。
まず、設定用PC12は、ユーザによる人為的な操作入力A1が行われたことに応じて、操作入力A1による入力情報に基づくバーコード64Aを画面に表示する(S11)。操作入力A1において、ユーザは、モバイルPC16を制御するための入力情報を、ユーザによる操作を入力するための各種の入力デバイスを用いて入力する。
次に、モバイルPC16は、ウェアラブルデバイス23のカメラ116を用いて、設定用PC12の画面に表示されたバーコード64Aを読み取る(S12)。モバイルPC16は、例えば、カメラ116を用いて撮影された一つのバーコード64Aを読み取る。なお、モバイルPC16は、カメラ116を用いて同時に撮影された複数のバーコード64Aを読み取ってもよい。このバーコード64Aの読み取りにおいて、モバイルPC16は、バーコード64Aを解釈することにより、当該バーコード64Aとして符号化された入力情報を取得する。
そして、モバイルPC16は、読み取られたバーコード64Aに対応する操作を反映する(S13)。つまり、モバイルPC16は、バーコード64Aとして符号化された入力情報に対応する処理を実行する。
これにより、設定用PC12上での操作入力A1を、モバイルPC16上での操作入力として反映させることができる。
[設定用PC12の機能構成]
図10は、設定用PC12の機能構成の例を示す。設定用PC12は、例えば、受付部501、生成部502、表示制御部503、及び記憶部504を備える。これら各部501,502,503,504は、設定用PC12のシステムコントローラ42(プロセッサ)が、バーコード生成アプリケーションプログラム48に含まれる命令群を実行し、設定用PC12のシステム構成として示した各部の動作を制御することにより実現される。設定用PC12のシステム構成については、図2を参照して上述した通りである。
受付部501は、ユーザが各種の入力デバイスを用いて操作を行った場合に、その操作に応じた入力を受け付ける。ユーザは、キーボード88やタッチパネル70等の各種の入力デバイスを用いて、モバイルPC16を制御するための情報を入力する。より具体的には、ユーザは、モバイルPC16に入力される情報のタイプ、モバイルPC16に実行させるコマンド、モバイルPC16に入力するテキスト、等を入力し得る。受付部501は、受け付けた入力の内容を示す入力情報を生成する。入力情報は、モバイルPC16によって実行されるコマンドとモバイルPC16に入力されるテキストの少なくとも一方を含む。また、入力情報は、モバイルPC16に入力される情報のタイプを示す情報をさらに含んでいてもよい。
より具体的には、入力情報の生成には、記憶部504に格納された制御情報504Aが用いられる。制御情報504Aは、設定用PC12とモバイルPC16とで共有され、モバイルPC16に入力される情報のタイプを識別するための情報を規定する。
図11は、制御情報504Aの一構成例を示す。制御情報504Aは、複数の入力タイプに対応する複数のレコードを含む。各レコードは、「ID」及び「内容」を含む。ある入力タイプに対応するレコードにおいて、「ID」は、その入力タイプに付与された識別情報(第1情報)を示す。当該レコードにおいて、「内容」は、その入力タイプの内容(第2情報)を示す。
図11には、「ID」が“0001”である入力タイプの「内容」が“コマンド”であり、「ID」が“0002”である入力タイプの「内容」が“テキスト”である例が示されている。
このような制御情報504Aが用いられる場合に、受付部501によって生成される入力情報のいくつかの例を以下に示す。
(1) ユーザが、モバイルPC16を制御するための情報としてコマンドを入力する操作を行った場合、受付部501は、コマンドに対応するIDの“0001”を示す第1情報と、ユーザにより入力されたコマンドである第2情報とを含む入力情報を生成する。
(2) ユーザが、モバイルPC16を制御するための情報としてテキストを入力する操作を行った場合、受付部501は、テキストに対応するIDの“0002”を示す第1情報と、ユーザにより入力されたテキストである第2情報とを含む入力情報を生成する。
生成部502は、バーコードを生成/解釈するための特定の規則に基づいて、入力情報が符号化されたバーコード64Aを生成する。各バーコード64Aは、特定の規則に従って生成された画像コードであり、例えば、一次元バーコード、二次元バーコード、ホログラム、等を含む。二次元バーコードは、例えば、QRコード(登録商標)である。バーコード64Aは、モバイルPC16の制御のための情報が符号化できるならば、どのような形態の画像コードであってもよい。
表示制御部503は、バーコード64AをLCD64の画面に表示する。表示制御部503は、一つのバーコード64Aを表示してもよいし、複数のバーコード64Aを同時に表示してもよい。表示制御部503は、複数のバーコード64Aを表示する場合、モバイルPC16に入力したい順(読み取らせたい順)に従った特定の配置で、それらバーコード64Aを表示する。
[モバイルPC16の機能構成]
図12は、モバイルPC16の機能構成の例を示す。モバイルPC16は、例えば、取得部601、算出部602、実行制御部603、及び記憶部604を備える。これら各部601,602,603,604は、モバイルPC16のシステムコントローラ302(プロセッサ)が、バーコード制御アプリケーションプログラム314に含まれる命令群を実行し、モバイルPC16のシステム構成として示した各部の動作を制御することにより実現される。モバイルPC16のシステム構成については、図8を参照して上述した通りである。以下では、説明を分かりやすくするために、一つのバーコード64Aが、設定用PC12の画面に表示されていることを想定する。
取得部601は、モバイルPC16に有線又は無線で接続されたウェアラブルデバイス23に設けられたカメラ116を用いて、バーコード64Aが撮像された画像を取得する。取得部601は、例えば、モバイルPC16とウェアラブルデバイス23とを接続するケーブル146を介したデータの送受信により、ウェアラブルデバイス23に、カメラ116による画像の取得(撮影)を要求し、取得された画像を受信することができる。カメラ116が、ウェアラブルデバイス23の使用中に常時撮影するように構成される場合(例えば、所定のフレームレートで撮影された画像を順次生成するように構成される場合)、取得部601は、生成される複数の画像を受信し、それら複数の画像からバーコード64Aが撮像された画像を取得してもよい。
算出部602は、バーコード64Aが撮像された画像から、バーコード64Aとして符号化された入力情報を算出する。算出部602は、バーコードを生成/解釈するための特定の規則に基づいて、バーコード64Aを解釈(復号)することにより入力情報を算出する。
実行制御部603は、算出された入力情報に応じた処理をモバイルPC16に実行させる。実行制御部603は、例えば、記憶部604に格納された制御情報504Aを用いて、入力情報に応じた処理を特定する。制御情報504Aの構成は、図11を参照して上述した通りである。
制御情報504Aが用いられる場合に、実行制御部603によって実行される処理のいくつかの例を以下に示す。
(1) 入力情報に“0001”を示す第1情報が含まれる場合、実行制御部603は、入力情報内の第2情報がコマンドであると解釈し、当該コマンドに応じた処理をモバイルPC16に実行させる。
(2) 入力情報に“0002”を示す第1情報が含まれる場合、実行制御部603は、入力情報内の第2情報がテキストであると解釈し、当該テキストに応じた処理をモバイルPC16に実行させる。
[設定用PC12によるバーコード生成処理]
図13のフローチャートを参照して、設定用PC12によって実行されるバーコード生成処理の手順の例を説明する。
まず、設定用PC12は、モバイルPC16に対する入力情報を受け付けたか否かを判定する(ステップS21)。設定用PC12は、キーボード88、タッチパネル70等を用いて入力される、モバイルPC16を制御するための情報を受け付けることができる。設定用PC12は、モバイルPC16に対する入力情報を受け付けていない場合(ステップS21のNO)、ステップS21に戻り、モバイルPC16に対する入力情報を受け付けたか否かが再度判定される。
モバイルPC16に対する入力情報を受け付けた場合(ステップS21のYES)、設定用PC12は、受け付けた入力情報に対応するバーコード64Aを生成する(ステップS22)。生成されるバーコード64Aは、入力情報が符号化されたバーコードである。そして、設定用PC12は、生成されたバーコード64AをLCD64の画面に表示する(ステップS23)。
次いで、設定用PC12は、バーコード64Aの表示を終了するか否かを判定する(ステップS24)。設定用PC12は、例えば、ユーザが、表示の終了を指示する操作を行ったこと、表示してから所定時間が経過したこと等に応じて、バーコード64Aの表示を終了すると判断する。表示を終了しない場合(ステップS24のNO)、ステップS24に戻り、バーコード64Aの表示が続行される。
一方、表示を終了する場合(ステップS24のYES)、設定用PC12は、バーコード64Aの表示を終了し、ステップS21に戻る。つまり、別のバーコードを生成及び表示するための処理が開始される。
以上により、設定用PC12は、ユーザによる操作に基づく入力情報が符号化されたバーコード64Aを画面に表示することができる。
[モバイルPC16によるバーコード制御処理]
図14のフローチャートを参照して、モバイルPC16によって実行されるバーコード制御処理の手順の例を説明する。ここでは、設定用PC12の画面に、バーコード64Aが表示されていることを想定する。
まず、モバイルPC16は、ウェアラブルデバイス23のカメラ116を用いて、バーコード64Aを含む画像を取得する(ステップS31)。そして、モバイルPC16は、取得された画像から、バーコード64Aに対応する入力情報を算出する(ステップS32)。
次いで、モバイルPC16は、算出された入力情報のタイプを識別する(ステップS33)。入力情報のタイプがコマンドである場合(ステップS33のコマンド)、モバイルPC16は、入力情報に含まれるコマンドに応じた処理を実行し(ステップS34)、ステップS31に戻る。一方、入力情報のタイプがテキストである場合(ステップS33のテキスト)、モバイルPC16は、入力情報に含まれるテキストに応じた処理を実行し(ステップS35)、ステップS31に戻る。
以上により、モバイルPC16は、設定用PC12の画面に表示されたバーコード64Aを読み取り、そのバーコード64Aに対応する処理を実行することができる。したがって、ユーザは、モバイルPC16に対して手動による操作を何等行うことなく、当該モバイルPC16に任意の処理を実行させることができる。
[バーコードを用いた無線LANアクセスポイント設定の例]
バーコード64Aを用いたモバイルPC16の制御の例として、モバイルPC16に新たな無線LANアクセスポイントを設定する場合の処理について以下に説明する。
(1) 設定用PC12は、ユーザによる操作に基づき、LCD64の画面上に、無線LANアクセスポイント設定用のプログラムを起動するための入力情報が符号化された第1バーコードを表示する。入力情報には、例えば、入力される情報がコマンドであることを識別するためのID(例えば、“0001”)と、無線LANアクセスポイント設定用のプログラムを起動するコマンド(例えば、プログラム名を指定した起動コマンド)とが含まれる。
(2) モバイルPC16は、ウェアラブルデバイス23のカメラ116を用いて、第1バーコードが撮像された画像を取得し、画像内の第1バーコードを解釈する。つまり、モバイルPC16は、画像から第1バーコードとして符号化された入力情報を算出する。
(3) モバイルPC16は、算出された入力情報に示されたコマンドを実行することにより、無線LANアクセスポイント設定用のプログラムを起動する。そして、モバイルPC16は、ウェアラブルデバイス23のディスプレイ124の画面に、図15に示すような無線LANアクセスポイント設定画面801を表示させる。
図15に示すように、無線LANアクセスポイント設定画面801には、無線LANのアクセスポイントを設定するための複数の項目802が含まれる。これら複数の項目802は、対応する数字の入力に応じて選択される。より具体的には、これら複数の項目802では、
「0」の入力が、手動設定に対応し、
「1」から「7」の入力が、周辺の利用可能なアクセスポイントのリストに含まれる多数のアクセスポイントの内の、7個のアクセスポイントへの設定にそれぞれ対応し、
「8」の入力が、利用可能なアクセスポイントのリストの次のページの表示に対応し、
「9」の入力が、利用可能なアクセスポイントのリストの前のページの表示に対応することが示されている。
(4) 設定用PC12は、「0」から「9」のいずれかを入力するユーザ操作に基づき、LCD64の画面上に、「0」から「9」のいずれかの数字の入力情報が符号化された第2バーコードを表示する。入力情報には、例えば、入力される情報がテキストであることを識別するためのID(例えば、“0002”)と、「0」から「9」のいずれかを示す数字(テキスト)とが含まれる。以下では、ユーザ操作により、「0」が入力されたことを想定する。
(5) モバイルPC16は、ウェアラブルデバイス23のカメラ116を用いて、第2バーコードが撮像された画像を取得し、画像内の第2バーコードを解釈する。つまり、モバイルPC16は、画像から第2バーコードとして符号化された入力情報を算出する。
(6) モバイルPC16は、算出された入力情報に示されたテキストである「0」を入力することにより、無線LANアクセスポイントの手動設定用のプログラムを起動する。そして、モバイルPC16は、ウェアラブルデバイス23のディスプレイ124の画面に、図16に示すようなSSID手動設定画面805を表示させる。このSSID手動設定画面805には、手動設定されるアクセスポイントのSSID名を入力するためのテキストエリア806が含まれている。
(7) 設定用PC12は、SSID名を入力するユーザ操作に基づき、LCD64の画面上に、そのSSID名の入力情報が符号化された第3バーコードを表示する。入力情報には、例えば、入力される情報がテキストであることを識別するためのID(例えば、“0002”)と、SSID名を示すテキストとが含まれる。
(8) モバイルPC16は、ウェアラブルデバイス23のカメラ116を用いて、第3バーコードが撮像された画像を取得し、画像内の第3バーコードを解釈する。つまり、モバイルPC16は、画像から第3バーコードとして符号化された入力情報を算出する。
(9) モバイルPC16は、図16に示すように、算出された入力情報に示されたテキストである「AccessPoint0001」をテキストエリア806に入力することにより、SSID名を設定する。そして、モバイルPC16は、SSID名が設定されたことに応じて、ウェアラブルデバイス23のディスプレイ124に、図17に示すようなパスワード入力画面808を表示させる。このパスワード入力画面808には、手動設定されるアクセスポイントのパスワードを入力するためのテキストエリア809が含まれている。
(10) 設定用PC12は、パスワードを入力するユーザ操作に基づき、LCD64の画面上に、そのパスワードの入力情報が符号化された第4バーコードを表示する。入力情報には、例えば、入力される情報がテキストであることを識別するためのID(例えば、“0002”)と、パスワードを示すテキストとが含まれる。
(11) モバイルPC16は、ウェアラブルデバイス23のカメラ116を用いて、第4バーコードが撮像された画像を取得し、画像内の第4バーコードを解釈する。つまり、モバイルPC16は、画像から第4バーコードとして符号化された入力情報を算出する。
(12) モバイルPC16は、図17に示すように、算出された入力情報に示されたテキストである「XXXXXXX」をテキストエリア809に入力することにより、SSID名により指定されたアクセスポイントとの間で、入力されたパスワードに基づく認証処理を実行する。認証が成功したならば、モバイルPC16では、そのアクセスポイントの設定が完了し、当該アクセスポイントを介した通信が可能になる。
このように、コマンドに対応するバーコードやテキストに対応するバーコードを読み取ることにより、モバイルPC16に任意の処理を実行させることができる。
なお、設定用PC12は、コマンドを実行するための操作の後にテキストを入力するための操作が行われる場合のように、モバイルPC16に対して一連の操作が行われる場合に、マクロ化された一連の操作を示す入力情報が符号化されたバーコードを生成することもできる。例えば、設定用PC12では、上述した無線LANアクセスポイント設定用のプログラムを起動し、手動設定に対応する「0」を入力し、SSID名を入力し、パスワードを入力するという一連の操作を示す入力情報を一つのバーコードとして符号化する。これにより、モバイルPC16では、そのバーコードを読み取るだけで、無線LANアクセスポイントの手動設定を完了させることができる。また、無線LANアクセスポイントの設定に限らず、モバイルPC16の初期設定等の各種の設定に適用することで、バーコードを用いたモバイルPC16の設定及び制御を容易にすることができる。
(第2実施形態)
第1実施形態では、入力情報が符号化されたバーコードが設定用PC12の画面に表示される。これに対して、第2実施形態では、設定用PC12とモバイルPC16との間でワンタイムパスワードを生成するための秘密鍵が共有され、入力情報とワンタイムパスワードとが符号化されたバーコードが設定用PC12の画面に表示される。
第2実施形態に係る電子機器(モバイルPC16)、ウェアラブルデバイス23、及び設定用PC12の構成は、第1実施形態の電子機器(モバイルPC16)、ウェアラブルデバイス23、及び設定用PC12の構成とそれぞれ同様であり、第2実施形態と第1実施形態とでは、設定用PC12の生成部502に相当する処理の手順と、モバイルPC16の実行制御部603に相当する処理の手順のみが異なる。以下、第1実施形態と異なる点のみを説明する。
[制御シーケンス]
図18は、本実施形態の制御システム1において実行される制御シーケンスの例を示す。この制御シーケンスでは、バーコードを用いたモバイルPC16の制御のセキュリティが保護される。
まず、モバイルPC16は、ワンタイムパスワードを生成するための秘密鍵を生成する(S41)。秘密鍵は、例えば、管理者による事前の操作に応じて一度だけ生成される。秘密鍵を用いて生成されるワンタイムパスワードは、例えば、HMAC−based One−Time Password(HOTP)、Time−based One−Time Password(TOTP)、等である。モバイルPC16は、生成された秘密鍵をモバイルPC16内のストレージデバイス330に保存する。
次に、モバイルPC16は、設定用PC12との間で、オフラインで秘密鍵を共有する(S42)。モバイルPC16は、例えば、秘密鍵が符号化されたバーコードを、当該モバイルPC16に接続されたディスプレイの画面に表示し、表示されたバーコードを設定用PC12に接続されたカメラに読み取らせることにより、設定用PC12内のストレージデバイス52に保存させる。モバイルPC16に接続されたディスプレイは、例えば、HDMI端子のようなディスプレイ端子(図示せず)を介して接続されたディスプレイである。また、設定用PC12に接続されたカメラは、例えば、USBコネクタ72を介して接続されたカメラ(図示せず)や、設定用PC12に内蔵されたカメラ(図示せず)である。
或いは、モバイルPC16は、秘密鍵のデータをUSBフラッシュメモリのような可搬性の記憶媒体に格納し、この記憶媒体を設定用PC12のUSBコネクタ72等に接続して、記憶媒体内の秘密鍵のデータを設定用PC12内のストレージデバイス52に保存させる。これにより、モバイルPC16と設定用PC12とで秘密鍵が共有される。
なお、設定用PC12が秘密鍵を生成してもよい。その場合にも、上記の方法と同様にして、設定用PC12は、モバイルPC16との間で、オフラインで秘密鍵を共有することができる。
秘密鍵が共有された状態において、設定用PC12は、ユーザによる人為的な操作入力A2が行われたことに応じて、当該設定用PC12内に保存された秘密鍵を用いて第1ワンタイムパスワードを生成する(S43)。操作入力A2において、ユーザは、モバイルPC16を制御するための入力情報を、ユーザによる操作を入力するための各種の入力デバイスを用いて入力する。設定用PC12は、操作入力A2による入力情報と生成された第1ワンタイムパスワードとに基づくバーコード64Aを画面に表示する(S44)。
そして、モバイルPC16は、ウェアラブルデバイス23のカメラ116を用いて、設定用PC12の画面に表示されたバーコード64Aを読み取る(S45)。このバーコード64Aの読み取りにおいて、モバイルPC16は、バーコード64Aを解釈することにより、当該バーコード64Aとして符号化された入力情報と第1ワンタイムパスワードとを取得する。
次いで、モバイルPC16は、当該モバイルPC16内に保存された秘密鍵を用いて、第2ワンタイムパスワードを生成する(S46)。そして、モバイルPC16は、第1ワンタイムパスワードと第2ワンタイムパスワードとが一致した場合、読み取られたバーコード64Aに対応する操作を反映する(S47)。つまり、モバイルPC16は、バーコード64Aとして符号化された入力情報に対応する処理を実行する。
これにより、設定用PC12上での操作入力A2を、モバイルPC16上での操作入力として反映させることができる。また、設定用PC12とモバイルPC16との間で共有される秘密鍵に基づくワンタイムパスワードを用いることにより、秘密鍵を有する設定用PC12によって生成されたバーコードでのみ、モバイルPC16が制御されるようにすることができる。したがって、第三者による意図しないバーコード(例えば、他のPCの画面に表示されるバーコード、印刷物上のバーコード、等)によってモバイルPC16が制御されることを防止することができる。
[設定用PC12の機能構成]
受付部501及び表示制御部503の各機能は、図10を参照して上述した通りである。記憶部504には、モバイルPC16と共有される秘密鍵504Bがさらに格納されている。
生成部502は、秘密鍵504Bを用いて第1ワンタイムパスワードを生成する。そして、生成部502は、受付部501によって生成された入力情報と、第1ワンタイムパスワードとが符号化されたバーコード64Aを生成する。生成されたバーコード64Aは、表示制御部503によりLCD64の画面に表示される。
[モバイルPC16の機能構成]
取得部601及び算出部602の各機能は、図12を参照して上述した通りである。取得部601は、バーコード64Aが撮像された画像を取得し、算出部602は、この画像からバーコード64Aに符号化された情報を算出する。算出される情報には、入力情報と第1ワンタイムパスワードとが含まれている。また、記憶部604には、設定用PC12と共有される秘密鍵504Bがさらに格納されている。
実行制御部603は、秘密鍵504Bを用いて第2ワンタイムパスワードを生成する。実行制御部603は、第1ワンタイムパスワードと第2パスワードとが一致した場合に、入力情報に応じた処理をモバイルPC16に実行させる。
[設定用PC12によるバーコード生成処理]
図19のフローチャートを参照して、設定用PC12によって実行されるバーコード生成処理の手順の例を説明する。
まず、設定用PC12は、モバイルPC16に対する入力情報を受け付けたか否かを判定する(ステップS51)。設定用PC12は、キーボード88、タッチパネル70等を用いて入力される、モバイルPC16を制御するための情報を受け付けることができる。設定用PC12は、モバイルPC16に対する入力情報を受け付けていない場合(ステップS51のNO)、ステップS51に戻り、モバイルPC16に対する入力情報を受け付けたか否かが再度判定される。
モバイルPC16に対する入力情報を受け付けた場合(ステップS51のYES)、設定用PC12は、モバイルPC16との間で共有される秘密鍵504Bを用いて、第1ワンタイムパスワードを生成する(ステップS52)。設定用PC12は、受け付けた入力情報と第1ワンタイムパスワードとに対応するバーコード64Aを生成する(ステップS53)。生成されるバーコード64Aは、入力情報と第1ワンタイムパスワードとが符号化されたバーコードである。そして、設定用PC12は、生成されたバーコード64AをLCD64の画面に表示する(ステップS54)。
次いで、設定用PC12は、バーコード64Aの表示を終了するか否かを判定する(ステップS55)。設定用PC12は、例えば、ユーザが、表示の終了を指示する操作を行ったこと、表示してから所定時間が経過したこと等に応じて、バーコード64Aの表示を終了すると判断する。表示を終了しない場合(ステップS55のNO)、ステップS55に戻り、バーコード64Aの表示が続行される。
一方、表示を終了する場合(ステップS55のYES)、設定用PC12は、バーコード64Aの表示を終了し、ステップS51に戻る。つまり、別のバーコードを生成及び表示するための処理が開始される。
以上により、設定用PC12は、ユーザによる操作に基づく入力情報と、共有の秘密鍵504Bを用いて生成された第1ワンタイムパスワードとが符号化されたバーコード64Aを画面に表示することができる。
[モバイルPC16によるバーコード制御処理]
図20のフローチャートを参照して、モバイルPC16によって実行されるバーコード制御処理の手順の例を説明する。ここでは、設定用PC12の画面に、バーコード64Aが表示されていることを想定する。
まず、モバイルPC16は、ウェアラブルデバイス23のカメラ116を用いて、表示されたバーコード64Aを含む画像を取得する(ステップS61)。そして、モバイルPC16は、取得された画像から、バーコード64Aに対応する入力情報と第1ワンタイムパスワードとを算出する(ステップS62)。
次いで、モバイルPC16は、設定用PC12との間で共有される秘密鍵504Bを用いて、第2ワンタイムパスワードを生成する(ステップS63)。モバイルPC16は、第1ワンタイムパスワードと第2ワンタイムパスワードとが一致したか否かを判定する(ステップS64)。第1ワンタイムパスワードが、モバイルPC16と設定用PC12との間で共有される秘密鍵504Bを用いて生成されている場合、第1ワンタイムパスワードと第2ワンタイムパスワードとは一致する。
第1ワンタイムパスワードと第2ワンタイムパスワードとが一致していない場合(ステップS64のNO)、モバイルPC16は、バーコード64Aが意図しないバーコードであると判断し、ステップS61に戻る。
一方、第1ワンタイムパスワードと第2ワンタイムパスワードとが一致した場合(ステップS64のYES)、モバイルPC16は、算出された入力情報のタイプを識別する(ステップS65)。入力情報のタイプがコマンドである場合(ステップS65のコマンド)、モバイルPC16は、入力情報に含まれるコマンドに応じた処理を実行し(ステップS66)、ステップS61に戻る。一方、入力情報のタイプがテキストである場合(ステップS65のテキスト)、モバイルPC16は、入力情報に含まれるテキストに応じた処理を実行し(ステップS67)、ステップS61に戻る。
以上により、モバイルPC16は、設定用PC12の画面に表示されたバーコード64Aを読み取り、バーコード64Aを解釈して得られた第1ワンタイムパスワードと、モバイルPC16で生成される第2ワンタイムパスワードとが一致した場合、意図された処理であるとして、そのバーコード64Aに対応する処理を実行することができる。したがって、ユーザは、モバイルPC16に対して手動による操作を何等行うことなく、秘密鍵504Bを有する設定用PC12によって生成されたバーコードでのみ、当該モバイルPC16に任意の処理を実行させることができる。
以上説明したように、第1及び第2実施形態によれば、作業の妨げになることなく、電子機器を容易に制御できる。有線又は無線通信のためのデバイス、コントローラ、コネクタ等は、モバイルPC16をユーザが装着可能なウェアラブルデバイス23に有線又は無線で接続する。取得部601は、情報が符号化されたバーコード64Aが、設定用PC12に設けられるLCD64の画面に表示される場合に、ウェアラブルデバイス23に設けられるカメラ116を用いて、表示されたバーコード64Aが撮像された画像を取得する。算出部602は、この画像から、バーコード64Aとして符号化された情報を算出する。実行制御部603は、算出された情報に応じた処理をモバイルPC16に実行させる。
これにより、ユーザは、キーボードやタッチパネル、マウスのような入力デバイスをモバイルPC16に接続し、その入力デバイスを用いて直接的に操作することなく、モバイルPC16に接続されたウェアラブルデバイス23のカメラ116を、バーコード64Aに向けるだけで、モバイルPC16を容易に制御することができる。したがって、モバイルPC16を携行し、ウェアラブルデバイス23を装着してハンズフリー作業を行うユーザは、モバイルPC16にマウスやキーボードのような入力デバイスが接続されていなくても、当該モバイルPC16に対する操作を容易に行うことができる。
また、いくつかの実施形態に記載された様々な機能の各々は、回路(処理回路)によって実現されてもよい。処理回路の例には、中央処理装置(CPU)のような、プログラムされたプロセッサが含まれる。このプロセッサは、メモリに格納されたコンピュータプログラム(命令群)を実行することによって、記載された機能それぞれを実行する。このプロセッサは、電気回路を含むマイクロプロセッサであってもよい。処理回路の例には、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、マイクロコントローラ、コントローラ、他の電気回路部品も含まれる。これら実施形態に記載されたCPU以外の他のコンポーネントの各々もまた処理回路によって実現されてもよい。
また、いくつかの実施形態の各種処理はコンピュータプログラムによって実現することができるので、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムをコンピュータにインストールして実行するだけで、これら実施形態と同様の効果を容易に実現することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1…制御システム、12…設定用PC、16…モバイルPC、23…ウェアラブルデバイス、146…ケーブル、42…システムコントローラ、44…主メモリ、48…バーコード生成アプリケーションプログラム、52…ストレージデバイス、64…LCD、116…カメラ、124…ディスプレイ、302…システムコントローラ、308…主メモリ、314…バーコード制御アプリケーションプログラム、330…ストレージデバイス、501…受付部、502…生成部、503…表示制御部、504…記憶部、504A…制御情報、504B…秘密鍵、601…取得部、602…算出部、603…実行制御部、604…記憶部。

Claims (18)

  1. ユーザが携行可能な電子機器であって、
    当該電子機器を前記ユーザが装着可能なウェアラブル機器に有線又は無線で接続する接続部と、
    情報が符号化されたバーコードが、外部電子機器の画面に表示される場合に、前記ウェアラブル機器に設けられるカメラを用いて、表示された前記バーコードが撮像された画像を取得する取得部と、
    前記画像から、前記バーコードとして符号化された前記情報を算出する算出部と、
    算出された前記情報に応じた処理を実行する実行制御部とを具備する電子機器。
  2. 前記情報は、前記電子機器によって実行されるコマンドと前記電子機器に入力されるテキストの少なくとも一方を含む請求項1記載の電子機器。
  3. 前記情報は、前記電子機器に入力される情報のタイプを示す情報をさらに含む請求項2記載の電子機器。
  4. 前記バーコードは、前記情報と第1ワンタイムパスワードとが符号化されたバーコードであり、
    前記算出部は、前記画像から、前記バーコードとして符号化された前記情報と前記第1ワンタイムパスワードとを算出し、
    前記実行制御部は、第2ワンタイムパスワードを生成し、前記第1ワンタイムパスワードと前記第2ワンタイムパスワードとが一致した場合に、算出された前記情報に応じた処理を実行する請求項1記載の電子機器。
  5. 前記実行制御部は、前記電子機器と前記外部電子機器との間で共有される秘密鍵を用いて、前記第2ワンタイムパスワードを生成し、
    前記第1ワンタイムパスワードが前記秘密鍵を用いて生成されている場合、前記第1ワンタイムパスワードと前記第2ワンタイムパスワードとが一致する請求項4記載の電子機器。
  6. 前記第1ワンタイムパスワードと前記第2ワンタイムパスワードは、HMAC−based One−Time Password(HOTP)とTime−based One−Time Password(TOTP)のいずれかである請求項4又は請求項5記載の電子機器。
  7. ユーザが携行可能な電子機器の制御方法であって、
    当該電子機器を前記ユーザが装着可能なウェアラブル機器に有線又は無線で接続し、
    情報が符号化されたバーコードが、外部電子機器の画面に表示される場合に、前記ウェアラブル機器に設けられるカメラを用いて、表示された前記バーコードが撮像された画像を取得し、
    前記画像から、前記バーコードとして符号化された前記情報を算出し、
    算出された前記情報に応じた処理を前記電子機器に実行させる制御方法。
  8. 前記情報は、前記電子機器によって実行されるコマンドと前記電子機器に入力されるテキストの少なくとも一方を含む請求項7記載の制御方法。
  9. 前記バーコードは、前記情報と第1ワンタイムパスワードとが符号化されたバーコードであり、
    前記画像から、前記バーコードとして符号化された前記情報と前記第1ワンタイムパスワードとを算出し、
    第2ワンタイムパスワードを生成し、前記第1ワンタイムパスワードと前記第2ワンタイムパスワードとが一致した場合に、算出された前記情報に応じた処理を前記電子機器に実行させる請求項7記載の制御方法。
  10. 前記電子機器と前記外部電子機器との間で共有される秘密鍵を用いて、前記第2ワンタイムパスワードを生成し、
    前記第1ワンタイムパスワードが前記秘密鍵を用いて生成されている場合、前記第1ワンタイムパスワードと前記第2ワンタイムパスワードとが一致する請求項9記載の制御方法。
  11. ユーザが携行可能なコンピュータにより実行されるプログラムであって、前記プログラムは、
    前記コンピュータを前記ユーザが装着可能なウェアラブル機器に有線又は無線で接続する手順と、
    情報が符号化されたバーコードが、外部電子機器の画面に表示される場合に、前記ウェアラブル機器に設けられるカメラを用いて、表示された前記バーコードが撮像された画像を取得する手順と、
    前記画像から、前記バーコードとして符号化された前記情報を算出する手順と、
    算出された前記情報に応じた処理の手順とを前記コンピュータに実行させるプログラム。
  12. 前記情報は、前記コンピュータによって実行されるコマンドと前記コンピュータに入力されるテキストの少なくとも一方を含む請求項11記載のプログラム。
  13. 前記バーコードは、前記情報と第1ワンタイムパスワードとが符号化されたバーコードであり、
    前記画像から、前記バーコードとして符号化された前記情報と前記第1ワンタイムパスワードとを算出する手順と、
    第2ワンタイムパスワードを生成し、前記第1ワンタイムパスワードと前記第2ワンタイムパスワードとが一致した場合に、算出された前記情報に応じた処理の手順とを前記コンピュータに実行させる請求項11記載のプログラム。
  14. 前記コンピュータと前記外部電子機器との間で共有される秘密鍵を用いて、前記第2ワンタイムパスワードを生成する手順を前記コンピュータに実行させ、
    前記第1ワンタイムパスワードが前記秘密鍵を用いて生成されている場合、前記第1ワンタイムパスワードと前記第2ワンタイムパスワードとが一致する請求項13記載のプログラム。
  15. 第1電子機器と、ユーザが携行可能な第2電子機器と、前記ユーザが装着可能なウェアラブル機器とで構成される制御システムであって、
    前記第1電子機器は、
    人為的操作に応じて、情報が符号化されたバーコードを生成し、
    前記バーコードを画面に表示するように構成され、
    前記第2電子機器は、
    前記ウェアラブル機器に有線又は無線で接続され、
    前記ウェアラブル機器に設けられるカメラを用いて、表示された前記バーコードが撮像された画像を取得し、
    前記画像から、前記バーコードとして符号化された前記情報を算出し、
    算出された前記情報に応じた処理を実行するように構成される制御システム。
  16. 前記情報は、前記第2電子機器によって実行されるコマンドと前記第2電子機器に入力されるテキストの少なくとも一方を含む請求項15記載の制御システム。
  17. 前記バーコードは、前記情報と第1ワンタイムパスワードとが符号化されたバーコードであり、
    前記第2電子機器は、さらに、
    前記画像から、前記バーコードとして符号化された前記情報と前記第1ワンタイムパスワードとを算出し、
    第2ワンタイムパスワードを生成し、前記第1ワンタイムパスワードと前記第2ワンタイムパスワードとが一致した場合に、算出された前記情報に応じた処理を実行するように構成される請求項15記載の制御システム。
  18. 前記第2電子機器は、さらに、
    当該第2電子機器と前記第1電子機器との間で共有される秘密鍵を用いて、前記第2ワンタイムパスワードを生成するように構成され、
    前記第1ワンタイムパスワードが前記秘密鍵を用いて生成されている場合、前記第1ワンタイムパスワードと前記第2ワンタイムパスワードとが一致する請求項17記載の制御システム。
JP2018014660A 2018-01-31 2018-01-31 電子機器、制御システム、制御方法及びプログラム Pending JP2019133383A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018014660A JP2019133383A (ja) 2018-01-31 2018-01-31 電子機器、制御システム、制御方法及びプログラム
US16/042,545 US20190236260A1 (en) 2018-01-31 2018-07-23 Electronic apparatus, control system, control method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018014660A JP2019133383A (ja) 2018-01-31 2018-01-31 電子機器、制御システム、制御方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2019133383A true JP2019133383A (ja) 2019-08-08

Family

ID=67392850

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018014660A Pending JP2019133383A (ja) 2018-01-31 2018-01-31 電子機器、制御システム、制御方法及びプログラム

Country Status (2)

Country Link
US (1) US20190236260A1 (ja)
JP (1) JP2019133383A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11295135B2 (en) * 2020-05-29 2022-04-05 Corning Research & Development Corporation Asset tracking of communication equipment via mixed reality based labeling
US11374808B2 (en) 2020-05-29 2022-06-28 Corning Research & Development Corporation Automated logging of patching operations via mixed reality based labeling

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002041199A (ja) * 2000-05-15 2002-02-08 Pasukaru:Kk ショートカットシンボルを用いたコンピュータ装置の操作処理方法、ショートカット処理システム
JP2011138497A (ja) * 2009-12-22 2011-07-14 Intel Corp エンコードされたセキュリティ情報による自動セキュリティ制御
JP2015510212A (ja) * 2012-03-12 2015-04-02 シマンテック コーポレーションSymantec Corporation クイックレスポンスコードを使用してソフトウェアアプリケーションを起動するためのシステム及び方法
US20150365235A1 (en) * 2014-06-17 2015-12-17 Sony Corporation Method, system and electronic device
CA3004488A1 (en) * 2015-10-09 2017-04-13 Wei Xu Information processing network based on uniform code issuance, method therefor, and sensing access device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002041199A (ja) * 2000-05-15 2002-02-08 Pasukaru:Kk ショートカットシンボルを用いたコンピュータ装置の操作処理方法、ショートカット処理システム
JP2011138497A (ja) * 2009-12-22 2011-07-14 Intel Corp エンコードされたセキュリティ情報による自動セキュリティ制御
JP2015510212A (ja) * 2012-03-12 2015-04-02 シマンテック コーポレーションSymantec Corporation クイックレスポンスコードを使用してソフトウェアアプリケーションを起動するためのシステム及び方法
US20150365235A1 (en) * 2014-06-17 2015-12-17 Sony Corporation Method, system and electronic device
CA3004488A1 (en) * 2015-10-09 2017-04-13 Wei Xu Information processing network based on uniform code issuance, method therefor, and sensing access device

Also Published As

Publication number Publication date
US20190236260A1 (en) 2019-08-01

Similar Documents

Publication Publication Date Title
KR20220020308A (ko) 디바이스를 이용한 화면 처리 방법 및 장치
KR20160136013A (ko) 이동 단말기 및 그 제어 방법
JP7073122B2 (ja) 電子機器、制御方法及びプログラム
US11061565B2 (en) Electronic device and control method
KR20170037158A (ko) 이동 단말기 및 그 제어방법
JP2019133383A (ja) 電子機器、制御システム、制御方法及びプログラム
US20200226893A1 (en) Electronic edge computing device
US20200098361A1 (en) Electronic device, recognition method, and non-transitory computer-readable storage medium
JP6968689B2 (ja) 電子機器、ウェアラブル機器及び表示制御方法
US10627925B2 (en) Wearable device and operation method of executing an action on the screen accordance with finger tracing on the side edges of the touch pad
US10705726B2 (en) Electronic device, wearable device, and character input control method
US11042705B2 (en) Electronic device, recognition method, and non-transitory computer-readable storage medium
JP7062500B2 (ja) 電子機器、接続方法及びプログラム
US11068573B2 (en) Electronic device and method of starting electronic device
US10852548B2 (en) Electronic device, wearable device, and setting method
JP6995651B2 (ja) 電子機器、ウェアラブル機器および表示制御方法
US11063822B2 (en) Electronic apparatus and control method
KR20160041710A (ko) 글래스 타입의 이동 단말기

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20181207

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210114

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220118

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220621