JP2015103109A - 情報入力システム、携帯端末装置、及びコンピューター - Google Patents

情報入力システム、携帯端末装置、及びコンピューター Download PDF

Info

Publication number
JP2015103109A
JP2015103109A JP2013244388A JP2013244388A JP2015103109A JP 2015103109 A JP2015103109 A JP 2015103109A JP 2013244388 A JP2013244388 A JP 2013244388A JP 2013244388 A JP2013244388 A JP 2013244388A JP 2015103109 A JP2015103109 A JP 2015103109A
Authority
JP
Japan
Prior art keywords
unit
computer
terminal device
information
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013244388A
Other languages
English (en)
Inventor
武田 英樹
Hideki Takeda
英樹 武田
田中 義久
Yoshihisa Tanaka
義久 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Document Solutions Inc
Original Assignee
Kyocera Document Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Document Solutions Inc filed Critical Kyocera Document Solutions Inc
Priority to JP2013244388A priority Critical patent/JP2015103109A/ja
Priority to US14/555,524 priority patent/US20150145776A1/en
Publication of JP2015103109A publication Critical patent/JP2015103109A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543Mice or pucks

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】携帯端末装置を用いてコンピューターに新たな機能を追加可能にする。【解決手段】情報入力システム1は、携帯端末装置2及びPC3を備える。携帯端末装置2は、撮像部27と、撮像部により撮影された撮像画像に基づいて携帯端末装置2の移動方向及び移動量を検出する検出部202と、検出部202によって検出された移動方向及び移動量を示す移動情報をPC3に送信する送信制御部203とを備える。PC3は、携帯端末装置2から送信されてきた移動情報を受信する情報受信部302と、情報受信部302によって受信された移動情報の示す移動方向及び移動量を、カーソルを移動させる移動方向及び移動量として受け付ける情報受付部303とを備える。【選択図】図1

Description

本発明は、情報入力システム、携帯端末装置、及びコンピューターに関し、特に、コンピューターに情報を入力する技術に関する。
持ち運びを便利にするために、キーボード等の構成を最小として小型軽量化を図った情報処理装置が多く提案されている。このような最小限の機能を有する情報処理装置では操作性を向上させることが望まれる。そして、今日では、コンピューターに情報を入力する操作を容易にするため、様々なユーザーインターフェイスが提案されている。例えば、下記特許文献1に示されるように、パーソナルコンピューターに携帯端末を接続して、互いにデータ送受信を可能にする装置が提案されている。また、特許文献2には、パーソナルコンピューターのディスプレイに表示されるユーザーインターフェイスを更に改良することにより、操作者の操作性を向上させる装置が示されている。
特開2012−190436号公報 特開2012−226754号公報
しかしながら、上記特許文献1に示される装置はコンピューター及び携帯端末との間でのデータ通信技術に関するものに過ぎず、コンピューターに対して新たな機能を追加することを可能にするものではない。また、上記特許文献2に示される装置も、操作者がディスプレイ表示に基づいた操作を行う際の操作性を向上させるが、コンピューターに対する新たな機能の追加を実現するものではない。
本発明は、上記の問題を解決するためになされたもので、携帯端末装置を用いてコンピューターに新たな機能を追加可能とすることを目的とする。
本発明の一局面に係る情報入力システムは、コンピューターと携帯端末装置とを備える情報入力システムであって、
前記携帯端末装置は、
対向物を撮像部と、
前記撮像部によって撮像された撮像画像に基づいて当該携帯端末装置の移動方向及び移動量を検出する検出部と、
前記検出部によって検出された前記移動方向及び移動量を示す移動情報を前記コンピューターに送信する送信制御部とを備え、
前記コンピューターは、
前記携帯端末装置の前記送信制御部から送信されてきた前記移動情報を受信する情報受信部と、
前記情報受信部によって受信された前記移動情報の示す移動方向及び移動量を、当該コンピューターで動作するアプリケーションにおいて機能するカーソルを移動させる移動方向及び移動量として受け付ける情報受付部とを備える。
また、本発明の他の一局面に係る発明は、コンピューターと携帯端末装置とを備える情報入力システムであって、
前記携帯端末装置は、
被写体を撮像する撮像部と、
前記撮像部によって撮像された撮像画像を前記コンピューターに送信する送信制御部とを備え、
前記コンピューターは、
前記携帯端末装置の前記送信制御部から送信されてきた前記撮像情報を受信する情報受信部と、
前記情報受信部によって受信された撮像画像を、当該コンピューターで動作する予め定められたアプリケーションで用いる画像として受け付ける情報受付部とを備える。
また、本発明の他の一局面に係る発明は、コンピューターと通信可能な携帯端末装置であって、
対向物を撮像する撮像部と、
前記撮像部によって撮像された撮像画像に基づいて移動方向及び移動量を検出する検出部と、
前記検出部によって検出された前記移動方向及び移動量を示す移動情報を前記コンピューターに送信する送信制御部と、を備える。
また、本発明の他の一局面に係る発明は、通信端末装置と通信可能なコンピューターであって、
前記携帯端末装置の前記送信制御部から送信されてきた移動情報を受信する情報受信部と、
前記情報受信部によって受信された移動情報の示す移動方向及び移動量を、カーソルを移動させる移動方向及び移動量として受け付ける情報受付部と、を備える。
本発明によれば、携帯端末装置を用いてコンピューターに新たな機能を追加することが可能になる。
情報入力システムの全体を示す図である。 携帯端末装置の内部構成の概略を示すブロック図である。 PCの構成概略を示すブロック図である。 情報入力システムの携帯端末装置による情報入力処理の第1実施形態における処理の流れを示すフローチャートである。 情報入力システムのPCによる情報入力処理の第1実施形態における処理の流れを示すフローチャートである。 携帯端末装置の表示部に指示受付用画像が表示された状態の例を示す図である。 第2実施形態に係る携帯端末装置の概略構成を示すブロック図である。 第2実施形態に係る携帯端末装置及びPCを備える情報入力システムによる撮像画像入力処理における処理の流れを示すフローチャートである。
以下、本発明の一実施形態に係る情報入力システム、携帯端末装置、及びコンピューターについて図面を参照して説明する。
図1は、情報入力システム1の全体を示す図である。図1に示すように、情報入力システム1は、携帯端末装置2と、パーソナルコンピューター(以下、PC)3とを備えている。情報入力システム1では、携帯端末装置2がPC3に接続され、携帯端末装置2はPC3に対してクリック操作、スクロール操作、又は撮像画像等を入力する装置として機能する。PC3への携帯端末装置2の接続は、USBケーブル等による有線接続、及びBluetooth(登録商標)等による無線接続のいずれであっても構わない。
図2は、第1実施形態に係る携帯端末装置2の内部構成の概略を示すブロック図である。携帯端末装置2は、制御ユニット200と、操作部21と、メモリー22と、表示部23と、通信インターフェイス24と、撮像部27とを備える。これら各部は、互いにCPUバスによりデータ又は信号の送受信が可能とされている。
制御ユニット200は、ROM及びRAMを備えるCPU等からなり、携帯端末装置2の全体的な動作制御を司る。
操作部21は、ハード構成としてのテンキー、又は、表示部23に設けられたタッチパネル等から構成される。操作部21には、例えば、クリック操作及びスクロール操作が上記タッチパネルを介して入力される。当該タッチパネルは、表示部23の表示領域における操作者による接触位置を検出する接触位置検出部として機能する。
メモリー22は、表示部23に表示させる画像データや、各種アプリケーションを記憶している。メモリー22には、本発明の一実施形態に係る情報入力プログラムが記憶されている。
制御ユニット200は、当該情報入力プログラムに従って動作することで、後述する検出部202、送信制御部203、表示制御部204、指示受付部205、及び通信制御部206として機能する。但し、制御ユニット200の検出部202、送信制御部203、表示制御部204、指示受付部205、及び通信制御部206は、情報入力プログラムに基づく動作によらず、それぞれハード回路により構成されてもよい。以下、特に触れない限り、各実施形態について同様である。
表示部23は、LCD(Liquid Crystal Display)等からなり、当該携帯端末装置2の操作に必要な画像やメッセージを表示する他に、操作者からクリック操作及びスクロール操作による指示を受け付けるための指示受付用画像を表示する。当該指示受付用画像は、例えば、マウスポインターの右クリック指示受付用画像、左クリック指示受付用画像、及びスクロール指示受付用画像である。これら指示受付用画像は、メモリー22に記憶されている。
通信インターフェイス24は、PC3との間でデータ通信を行うためのインターフェイスとして機能する。通信インターフェイス24は、USBによる有線接続の通信方式に対応した機能、又は、PC3との接続が無線の場合にはBluetooth(登録商標)等による通信方式に対応した機能を有する。
撮像部27は、CCDイメージセンサー又はCMOSイメージセンサーを備え、撮像部27に対向する位置にある物体や風景を対向物としてその画像を撮影する。
制御ユニット200は、制御部201、検出部202、送信制御部203、表示制御部204、指示受付部205、及び通信制御部206を備える。
制御部201は、携帯端末装置2全体の動作制御を司る。制御部201は、操作部21、メモリー22、表示部23、通信インターフェイス24、撮像部27の動作を制御する。
検出部202は、撮像部27によって撮像される反射光を含む画像に基づいて携帯端末装置2の移動方向及び移動量を検出する。例えば、携帯端末装置2の撮像部27が配設されている側の面20(図1)を机上面に対向させて机上に携帯端末装置2を載置した状態で撮像部27による撮影を行うと、撮像部27は、撮影領域にあり対向する机上面部分の画像を読み取る。検出部202は、読み取った画像のパターンを保持し、その後に読み取る画像との同一画像部分がx軸方向及びy軸方向にどのように移動していくかをキャプチャし続けることで、x軸方向及びy軸方向における携帯端末装置2の移動方向及び移動量を算出する。
送信制御部203は、検出部202によって検出された上記移動方向及び移動量を示す移動情報をPC3に送信する。また、送信制御部203は、指示受付部205に受け付けられた後述のクリック操作及びスクロール操作による指示をPC3に更に送信する。
表示制御部204は、表示部23による表示動作の制御を司る。表示制御部204は、表示部23に、操作者からクリック操作及びスクロール操作による指示を受け付けるための上記指示受付用画像をそれぞれ表示させる。
指示受付部205は、表示部23の表示領域において前記タッチパネルにより検出された操作者による接触位置が、当該表示領域における上記右クリック指示受付用画像、左クリック指示受付用画像、又はスクロール指示受付用画像のいずれかの表示部分であるときに、当該接触位置に表示されている指示受付用画像に対応する指示の入力を受け付ける。
通信制御部206は、通信インターフェイス(インターフェイス部)24を介したPC3との通信に必要な制御を行う。通信制御部206は、通信インターフェイス24によるPC3との通信が確立したときに、PC3に対して後述の情報受付プログラムの起動指示を送信し、PC3において情報受信部302及び情報受付部303を起動させる。
なお、制御部201が、送信制御部203、表示制御部204、及び通信制御部206を兼ねる構成でもよい。この場合は、制御ユニット200が情報入力プログラムに従った動作により制御部201として機能し、独立した送信制御部203、表示制御部204及び通信制御部206は不要である。
上述した情報入力プログラムは、PC3にインストールされている後述の情報受付プログラムと連携して動作する。これにより、PC3において、携帯端末装置2の送信制御部203からPC3に送信する指示の受信処理、入力受付処理等を可能にしている。
次に、PC3の構成概略を説明する。図3はPC3の構成概略を示すブロック図である。
PC3は、制御ユニット300と、HDD314と、表示部315と、通信インターフェイス318と、入力部304とを備える。これら各部は、互いにバスによりデータ又は信号の送受信が可能とされている。
制御ユニット300は、ROM及びRAMを備えるCPU等からなり、PC3の全体的な動作制御を司る。
HDD314は、各種のアプリケーション等のデータを格納する。例えば、HDD314は、本発明の一実施形態である情報受付プログラムを記憶している。
表示部315は、LCD(Liquid Crystal Display)等からなり、各種画像を表示する。例えば、表示部315には、制御部301による制御の下、HDD314に記憶されているアプリケーション、例えばOS(Operating System)や、ワードプロセッサーや表計算ソフト等の実行時の画像が表示される。
通信インターフェイス318は、携帯端末装置2との間でデータ通信を行うためのインターフェイスとして機能する。通信インターフェイス318は、上記USBケーブルによる有線通信、又はBluetooth(登録商標)等による無線通信に対応した機能を有する。
入力部304は、キーボードやマウスポインター等により構成される。操作者からの操作指示や文字等の入力を受け付ける。
制御部ユニット300は、制御部301、情報受信部302、及び情報受付部303を備える。
制御ユニット300は、HDD301に記憶されている上記情報受付プログラムに従って動作することで、情報受信部302、及び情報受付部303として機能する。但し、これら情報受信部302及び情報受付部303は、情報受付プログラムに基づく動作によらず、それぞれハード回路により構成されてもよい。
制御部301は、PC3全体の動作制御を司る。
情報受信部302は、携帯端末装置2の送信制御部203から送信されてきた各種情報、例えば、上記移動情報、右クリック操作指示、左クリック操作指示、及びスクロール操作指示等を受信する。
情報受付部303は、情報受信部302によって受信された移動情報の示す移動方向及び移動量を、PC3において制御部301により表示部315に表示されている、マウスポインターのカーソルとしてのカーソル画像を移動させる移動方向及び移動量として受け付ける。また、情報受付部303は、情報受信部302によって受信された右クリック操作指示、左クリック操作指示及びスクロール操作指示を、アプリケーションで実行される指示として受け付ける。
上述したように、PC3の情報受付プログラムは、携帯端末装置2側の情報入力プログラムと連携して動作することにより、携帯端末装置2から送信されてくる上記移動情報、クリック操作指示、及びスクロール操作指示等の受信処理、入力受付処理等を可能にしている。
次に、情報入力システム1による情報入力処理の第1実施形態を説明する。図4は情報入力システム1の携帯端末装置2による情報入力処理の第1実施形態における処理の流れを示すフローチャートである。図5は情報入力システム1のPC3による情報入力処理の第1実施形態における処理の流れを示すフローチャートである。情報入力システム1の携帯端末装置2は、上記に例として示したように、撮像部27が配置されている面20を机上に対向させて机上面に載置されているものとする。
携帯端末装置2において、操作者が操作部21を操作し、情報入力プログラムの起動指示を入力すると、制御ユニット200が情報入力プログラムを起動し(S1)、制御ユニット200は、検出部202、送信制御部203、表示制御部204、指示受付部205、及び通信制御部206として機能する。
この後、通信制御部206が、携帯端末装置2が通信インターフェイス24を介してPC3に接続されたか否かを検出する(S2)。通信制御部206は、携帯端末装置2がPC3に接続されていることを検出した場合(S2でYES)、PC3に対して、PC3側の情報受付プログラムの起動指示を送信する(S3)。なお、通信制御部206が、携帯端末装置2がPC3に接続されていないと検出した場合は(S2でNO)、処理は終了する。
なお、S1においては、操作者からの起動指示に代えて、制御部201により携帯端末装置2がPC3に接続したと検出されたことをもってこれを起動指示とし、上記情報受付プログラムを起動させるものとしてもよい。この場合、情報入力プログラムの起動後、通信制御部206は、PC3に対して、上述した情報受付プログラムの起動指示を即座に送信する。
PC3において、その通信インターフェイス318が上記起動指示を受信すると(S21)、制御部301は、上記情報受付プログラムを起動する(S22)。
一方、携帯端末装置2においては、上記情報受付プログラムの起動指示送信後、送信制御部203が撮像部27を起動させる(S4)。これにより、撮像部27が撮像画像を取得開始する(S5)。表示制御部204は、上記右クリック指示受付用画像、左クリック指示受付用画像、及びスクロール指示受付用画像を表示部23に表示させる(S6)。このとき、上記タッチパネルの機能により、表示部23において操作者により接触された座標位置が検出可能な状態となっている(S7)。
図6は、携帯端末装置2の表示部23に指示受付用画像が表示された状態の例を示す図である。表示部23に表示されている指示受付用画像231は、右クリック指示受付用画像N1、左クリック指示受付用画像N2、スクロール指示受付用画像N3を有している。右クリック指示受付用画像N1には右クリック操作指示、左クリック指示受付用画像N2には左クリック操作指示、スクロール指示受付用画像N3にはスクロール指示がそれぞれ対応付けられている。これら各画像N1〜N3に対応する各指示の対応付は、指示受付部205が保有している(情報入力プログラムの一部としてメモリー22に記憶されている)。
ここで、操作者が携帯端末装置2を上記机上面でスライドさせて移動させると、撮像部27により時間経過と共に異なる画像が逐次に撮影され、検出部202が当該撮影された撮像画像を取得する。検出部202は、順次に連続して取得される各画像同士の差異を検出し(S7でNO,S8)、携帯端末装置2の移動方向及び移動量を検出する(S9)。検出部202によって移動方向及び移動量が検出されると、送信制御部203は、当該移動方向及び移動量を移動情報としてPC3に送信する(S10)。
また、上記タッチパネルの機能により、表示部23において操作者により接触された座標位置が検出された場合は(S7でYES)、指示受付部205は、当該検出された座標位置に表示されている指示受付用画像が画像N1〜N3のいずれであるかを判別し(S11)、当該判別された指示受付用画像に対応付けられている操作指示(右クリック操作指示、左クリック操作指示、及びスクロール操作指示のいずれかとなる)の入力を受け付ける(S12)。
なお、指示受付部205は、タッチパネルにより検出される操作者による接触位置が、表示領域におけるスクロール操作指示受付用画像の表示部分であって一定方向に移動している場合は、スクロール操作による指示の入力を受け付ける。
そして、送信制御部203は、受け付けられた当該操作指示を、通信インターフェイス24を介してPC3に向けて送信する(S13)。
操作者による操作部21の操作で情報入力プログラムの終了指示が入力されるまで(S14でNO)、S7〜S13の処理が繰り返される。
また、PC3において、携帯端末装置2から送信されてくる上記移動情報又は操作指示を情報受信部302が受信すると(S23でYES)、情報受付部303は、当該受信された移動情報の示す移動方向及び移動量、或いは、操作指示の示す指示内容(右クリック操作指示、左クリック操作指示、及びスクロール操作指示のいずれかとなる)を受け付け、この時点で立ち上げられているアプリケーション(例えばOS(Operating System)や、ワードプロセッサーや表計算ソフト等)に対して、当該アプリケーションに入力される指示として受け付けさせる(S24)。例えば、情報受付部303は、当該アプリケーションに対してマウスドライバーとして機能し、携帯端末装置2から送信されてくる上記受信された移動情報の示す移動方向及び移動量、或いは、操作指示の示す指示内容を、マウスポインターから入力される移動情報及び操作指示と同様にして上記アプリケーションに受け入れられるように処理を行う。当該アプリケーション又は制御部301は、当該指示に基づいて、マウスカーメルを示す画像を移動させて表示する。
なお、携帯端末装置2から送信されてくる上記移動情報又は操作指示を情報受信部302が受信していない状態では(S23でNO)、後述するS25の処理が行われる。
また、携帯端末装置2において、操作者により情報入力プログラムの終了指示が入力されると(S14でYES)、通信制御部206は、PC3側の上記情報受付プログラムを終了させる終了指示を、通信インターフェイス24を介してPC3に送信する(S15)。この後、制御ユニット200は、情報入力プログラムを終了させる(S16)。
PC3では、上記終了指示が通信インターフェイス318により受信されるまでは(S25でNO)、S23及びS24の処理が続けられる。そして、上記終了指示が通信インターフェイス318により受信されると(S25でYES)、制御ユニット300が情報受付プログラムを終了させる(S26)。
この第1実施形態によれば、PC3に接続した携帯端末装置2を、当該PC3のマウスポインターとして機能させることができるので、操作者は、マウスポインターを所持していなくても、マウスポインターにより入力される指示を、携帯端末装置2によりPC3に入力することが可能になる。
次に、携帯端末装置2の第2実施形態を説明する。図7は第2実施形態に係る携帯端末装置2の概略構成を示すブロック図である。なお、図2を用いて説明した上記第1実施形態と同様の構成は説明を省略する。
制御ユニット200は、メモリー22に記憶されている画像送信プログラムに従って動作することで、送信制御部203及び通信制御部206として機能する。但し、制御ユニット200の送信制御部203及び通信制御部206は、画像送信プログラムに基づく動作によらず、それぞれハード回路により構成されてもよい。
制御部201は、撮像部27の動作制御を行い、撮像部27に被写体の画像を撮像させる。
送信制御部203は、撮像部27によって撮像された撮像画像を、通信インターフェイス24を介してPC3に送信する。
通信制御部206は、通信インターフェイス(インターフェイス部)24を介したPC3との通信に必要な制御を行う。
なお、第2実施形態に係る携帯端末装置2から送信されてくる撮像画像を受信するPC3は、図3に示した構成と同様の構成を有する。このPC3においては、HDD301に記憶されている画像受信プログラムに従った動作により制御ユニット300が、情報受信部302及び情報受付部303として機能する。但し、制御ユニット300の情報受信部302及び情報受付部303は、画像受信プログラムに基づく動作によらず、それぞれハード回路により構成されてもよい。
図8は、第2実施形態に係る携帯端末装置2及びPC3を備える情報入力システム1による撮像画像入力処理における処理の流れを示すフローチャートである。なお、図8に示す処理であって、図4,図5を用いて説明した処理と同様の処理は説明を省略する。
携帯端末装置2において、操作者が操作部21を操作し、画像送信プログラムの起動指示を入力すると、制御ユニット200が画像送信プログラムを起動し(S51)、制御ユニット200は、制御部201及び通信制御部206として機能する。
この後、通信制御部206が、携帯端末装置2が通信インターフェイス24を介してPC3に接続されたか否かを検出する(S52)。通信制御部206は、携帯端末装置2がPC3に接続されていることを検出した場合(S52でYES)、PC3に対して、PC3側の画像受信プログラムの起動指示を送信する(S53)。なお、通信制御部206が、携帯端末装置2がPC3に接続されていないと検出した場合は(S52でNO)、処理は終了する。
PC3において、その通信インターフェイス318が上記起動指示を受信すると(S61)、制御部301は、上記画像受信プログラムを起動する(S62)。ここで、情報受信部302は、携帯端末装置2から送信されてくる撮像画像を受け入れる予め定められたアプリケーション(例えば、インターネット通話ソフト、テレビ会議ソフト等)が起動されているかを検出する(S63)。
情報受信部302が、上記予め定められたアプリケーションが起動されていると検出した場合(S63でYES)、情報受信部302は、通信インターフェイス318を介して、当該アプリケーションが起動されており、携帯端末装置2から撮像画像の受け入れが可能であることを示す「OK」信号を返信する(S64)。
なお、情報受信部302により上記予め定められたアプリケーションが起動されていないと検出された場合(S63でNO)、通信制御部206は、通信インターフェイス318を介して、当該アプリケーションが起動されておらず、携帯端末装置2から文字情報の受け入れが不可能であることを示す「NG」信号を送信する(S69)。
一方、携帯端末装置2において、通信制御部206が通信インターフェイス24を介して上記「OK」信号を受信すると(S54でYES)、制御部201が撮像部27を起動させる(S55)。撮像部27により被写体が時間経過と共に逐次に撮像されると(S56)、送信制御部203は、当該撮像画像を、通信インターフェイス24を介してPC3に向けて送信する(S57)。操作者による操作部21の操作で画像送信プログラムの終了指示が入力されるまで(S58でNO)、S55〜S57の処理が繰り返される。
また、PC3において、携帯端末装置2から送信されてくる上記撮像画像を情報受信部302が受信すると(S65でYES)、情報受付部303は、当該受信され撮像画像を、この時点で立ち上げられている上記予め定められたアプリケーション、例えばインターネット通話ソフトやテレビ会議ソフトに、当該アプリケーションで用いられる撮像画像として受け付けさせる(S66)。例えば、情報受付部303は、インターネット通話ソフトやテレビ会議ソフトにおいて、通信相手先に送信する画像として受け付けさせるための処理を行う。
なお、携帯端末装置2から送信されてくる上記撮像画像を情報受信部302が受信していない状態では(S65でNO)、後述するS67の処理が行われる。
また、携帯端末装置2において、操作者により画像送信プログラムの終了指示が入力されると(S58でYES)、通信制御部206は、上記画像受信プログラムを終了させる終了指示を、通信インターフェイス24を介してPC3に送信する(S59)。この後、制御ユニット200は、画像送信プログラムを終了させる(S60)。
PC3では、上記終了指示が通信インターフェイス318により受信されるまでは(S67でNO)、S65,S66の処理が続けられる。そして、上記終了指示が通信インターフェイス318により受信されると(S67でYES)、制御ユニット300が画像受信プログラムを終了させる(S68)。
この第2実施形態によれば、PC3に接続した携帯端末装置2を、当該PC3のカメラとして機能させることができるので、PC3がカメラ機能を有していなくても、カメラにより入力される撮像画像と同様の画像を携帯端末装置2からPC3に入力して、インターネット通話ソフトやテレビ会議ソフト等のアプリケーションにて用いることが可能になる。
また、本発明は上記実施の形態の構成に限られず種々の変形が可能である。図1乃至図8を用いて上記各実施形態に示した構成及び処理は、本発明の一実施形態に過ぎず、本発明の構成及び処理はこれに限定されるものではない。
1 情報入力システム
2 携帯端末装置
200 制御ユニット
201 制御部
202 検出部
203 送信制御部
204 表示制御部
205 指示受付部
206 通信制御部
23 表示部
231 指示受付用画像
24 通信インターフェイス
27 撮像部
300 制御ユニット
301 制御部
302 情報受信部
303 情報受付部
304 入力部
315 表示部
318 通信インターフェイス
N1 右クリック指示受付用画像
N2 左クリック指示受付用画像
N3 スクロール指示受付用画像

Claims (9)

  1. コンピューターと携帯端末装置とを備える情報入力システムであって、
    前記携帯端末装置は、
    対向物を撮像する撮像部と、
    前記撮像部によって撮像された撮像画像に基づいて当該携帯端末装置の移動方向及び移動量を検出する検出部と、
    前記検出部によって検出された前記移動方向及び移動量を示す移動情報を前記コンピューターに送信する送信制御部とを備え、
    前記コンピューターは、
    前記携帯端末装置の前記送信制御部から送信されてきた前記移動情報を受信する情報受信部と、
    前記情報受信部によって受信された前記移動情報の示す移動方向及び移動量を、当該コンピューターで動作するアプリケーションにおいて機能するカーソルを移動させる移動方向及び移動量として受け付ける情報受付部とを備える情報入力システム。
  2. 前記携帯端末装置は、
    タッチパネルを有して画像表示が可能な表示部と、
    前記表示部に、操作者からクリック操作による指示を前記タッチパネルにより受け付けるための指示受付用画像を表示させる表示制御部と、
    前記表示領域において前記タッチパネルにより検出された操作者による接触位置が、前記表示領域における指示受付用画像の表示部分であるときに、前記クリック操作による指示の入力を受け付ける指示受付部とを備え、
    前記送信制御部は、前記指示受付部に受け付けられた前記クリック操作による指示を前記コンピューターに更に送信し、
    前記コンピューターは、
    前記情報受信部が、前記携帯端末装置から送信されてくる前記クリック操作による指示を更に受信し、
    前記情報受付部が、前記情報受信部によって受信された前記クリック操作による指示を、前記アプリケーション内で前記カーソルが示す位置において実行すべき指示として受け付ける請求項1に記載の情報入力システム。
  3. 前記携帯端末装置は、
    前記表示制御部が、前記表示部に、操作者からスクロール操作による指示を受け付けるための指示受付用画像を更に表示させ、
    前記指示受付部は、前記タッチパネルにより検出される操作者による接触位置が、前記表示領域における当該指示受付用画像の表示部分で一定方向に移動している場合に、前記スクロール操作による指示の入力を受け付け、
    前記送信制御部は、前記指示受付部に受け付けられた前記スクロール操作による指示を前記コンピューターに更に送信し、
    前記コンピューターは、
    前記情報受信部が、前記携帯端末装置から送信されてくる前記スクロール操作による指示を更に受信し、
    前記情報受付部が、前記情報受信部によって受信された前記スクロール操作による指示を、前記アプリケーション内で実行される指示として受け付ける請求項2に記載の情報入力システム。
  4. コンピューターと携帯端末装置とを備える情報入力システムであって、
    前記携帯端末装置は、
    被写体を撮像する撮像部と、
    前記撮像部によって撮像された撮像画像を前記コンピューターに送信する送信制御部とを備え、
    前記コンピューターは、
    前記携帯端末装置の前記送信制御部から送信されてきた前記撮像情報を受信する情報受信部と、
    前記情報受信部によって受信された撮像画像を、当該コンピューターで動作する予め定められたアプリケーションで用いる画像として受け付ける情報受付部とを備える情報入力システム。
  5. 前記携帯端末装置は、
    前記コンピューターに通信接続するインターフェイス部と、
    前記インターフェイス部による前記コンピューターとの通信が確立したときに、前記コンピューターにおいて前記情報受信部及び前記情報受付部を起動させる通信制御部と、
    を更に備える請求項1乃至請求項4のいずれかに記載の情報入力システム。
  6. 前記インターフェイス部は、前記コンピューターに繋がるケーブルを介して前記コンピューターと通信し、
    前記通信制御部は、前記インターフェイス部に前記ケーブルが接続されて前記コンピューターとの通信が確立したときに、前記コンピューターにおいて前記情報受信部及び前記情報受付部を起動させる請求項5に記載の情報入力システム。
  7. 前記インターフェイス部は、無線通信により前記コンピューターと通信し、
    前記通信制御部は、前記インターフェイス部と前記コンピューターとの無線通信が確立したときに、前記コンピューターにおいて前記情報受信部及び前記情報受付部を起動させる請求項5に記載の情報入力システム。
  8. コンピューターと通信可能な携帯端末装置であって、
    対向物を撮像部と、
    前記撮像部によって撮像された撮像画像に基づいて移動方向及び移動量を検出する検出部と、
    前記検出部によって検出された前記移動方向及び移動量を示す移動情報を前記コンピューターに送信する送信制御部と、を備える携帯端末装置。
  9. 通信端末装置と通信可能なコンピューターであって、
    前記携帯端末装置の前記送信制御部から送信されてきた移動情報を受信する情報受信部と、
    前記情報受信部によって受信された移動情報の示す移動方向及び移動量を、カーソルを移動させる移動方向及び移動量として受け付ける情報受付部と、を備えるコンピューター。
JP2013244388A 2013-11-26 2013-11-26 情報入力システム、携帯端末装置、及びコンピューター Pending JP2015103109A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013244388A JP2015103109A (ja) 2013-11-26 2013-11-26 情報入力システム、携帯端末装置、及びコンピューター
US14/555,524 US20150145776A1 (en) 2013-11-26 2014-11-26 Information Input System, Portable Terminal Device, and Computer That Ensure Addition of Function

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013244388A JP2015103109A (ja) 2013-11-26 2013-11-26 情報入力システム、携帯端末装置、及びコンピューター

Publications (1)

Publication Number Publication Date
JP2015103109A true JP2015103109A (ja) 2015-06-04

Family

ID=53182223

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013244388A Pending JP2015103109A (ja) 2013-11-26 2013-11-26 情報入力システム、携帯端末装置、及びコンピューター

Country Status (2)

Country Link
US (1) US20150145776A1 (ja)
JP (1) JP2015103109A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017091445A (ja) * 2015-11-17 2017-05-25 京セラ株式会社 携帯電子機器、制御方法及び制御プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004312194A (ja) * 2003-04-03 2004-11-04 Konica Minolta Photo Imaging Inc ポインティングデバイス機能付き携帯電話及び携帯電話
JP2005258486A (ja) * 2004-03-09 2005-09-22 Mitsubishi Electric Corp 端末装置及び座標位置特定方法及びプログラム
JP2007123962A (ja) * 2005-10-24 2007-05-17 Sony Ericsson Mobilecommunications Japan Inc 携帯端末装置、マウスアプリケーションプログラム、及び携帯端末装置をワイヤレスマウス装置として用いる方法
JP2008165642A (ja) * 2006-12-28 2008-07-17 Canon Software Inc 情報処理システムおよび情報処理装置および情報処理システムの制御方法および情報処理装置の制御方法およびプログラムおよび記録媒体
JP2012185692A (ja) * 2011-03-07 2012-09-27 Nec Saitama Ltd 携帯電話装置
WO2013137357A1 (ja) * 2012-03-14 2013-09-19 Necカシオモバイルコミュニケーションズ株式会社 携帯端末

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6647254B1 (en) * 1999-07-19 2003-11-11 Gemtek Technology Co., Ltd. Computer peripheral device with the functions of a radio, a microphone, and a mouse
US7165224B2 (en) * 2002-10-03 2007-01-16 Nokia Corporation Image browsing and downloading in mobile networks
US20050275619A1 (en) * 2004-06-09 2005-12-15 Chwan-Jaw Kao Apparatus for cursor control and method thereof
US8604406B2 (en) * 2006-11-17 2013-12-10 Silicon Communications Technology Co., Ltd Low power image sensor adjusting reference voltage automatically and optical pointing device comprising the same
US8041389B2 (en) * 2008-01-23 2011-10-18 Lexmark International, Inc. Camera cell phone with integrated wireless mouse
US20100066677A1 (en) * 2008-09-16 2010-03-18 Peter Garrett Computer Peripheral Device Used for Communication and as a Pointing Device
WO2012065885A1 (en) * 2010-11-15 2012-05-24 Movea Smart air mouse
US8693731B2 (en) * 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US20140270395A1 (en) * 2013-03-15 2014-09-18 Propel lP Methods and apparatus for determining information about objects from object images
US20150138089A1 (en) * 2013-11-15 2015-05-21 TabiTop, LLC Input devices and methods

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004312194A (ja) * 2003-04-03 2004-11-04 Konica Minolta Photo Imaging Inc ポインティングデバイス機能付き携帯電話及び携帯電話
JP2005258486A (ja) * 2004-03-09 2005-09-22 Mitsubishi Electric Corp 端末装置及び座標位置特定方法及びプログラム
JP2007123962A (ja) * 2005-10-24 2007-05-17 Sony Ericsson Mobilecommunications Japan Inc 携帯端末装置、マウスアプリケーションプログラム、及び携帯端末装置をワイヤレスマウス装置として用いる方法
JP2008165642A (ja) * 2006-12-28 2008-07-17 Canon Software Inc 情報処理システムおよび情報処理装置および情報処理システムの制御方法および情報処理装置の制御方法およびプログラムおよび記録媒体
JP2012185692A (ja) * 2011-03-07 2012-09-27 Nec Saitama Ltd 携帯電話装置
WO2013137357A1 (ja) * 2012-03-14 2013-09-19 Necカシオモバイルコミュニケーションズ株式会社 携帯端末

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017091445A (ja) * 2015-11-17 2017-05-25 京セラ株式会社 携帯電子機器、制御方法及び制御プログラム

Also Published As

Publication number Publication date
US20150145776A1 (en) 2015-05-28

Similar Documents

Publication Publication Date Title
TWI499939B (zh) 用以致使游標顯示之方法與裝置
US9524094B2 (en) Method and apparatus for causing display of a cursor
US20120075204A1 (en) Using a Touch-Sensitive Display of a Mobile Device with a Host Computer
US9377901B2 (en) Display method, a display control method and electric device
JP2009129443A (ja) タッチスクリーンの入力受信方法、該方法を実施するためのタッチスクリーン付き電子装置と、該方法を実施するためのタッチスクリーンの入力システム
JP2015005173A (ja) タッチ・スクリーンを備える携帯式情報端末および入力方法
US20150113061A1 (en) Communication system, communication apparatus, and communication connection method
JP2019036369A (ja) 情報処理装置、制御方法、及びプログラム
US20140115445A1 (en) Web page viewing server, web page viewing system, and web page viewing method
US20200034032A1 (en) Electronic apparatus, computer-readable non-transitory recording medium, and display control method
US20140104183A1 (en) Method and device for controlling at least one apparatus by at least one other apparatus, system implementing such a device
JP6411067B2 (ja) 情報処理装置及び入力方法
JP2014085818A (ja) プログラム、情報処理装置、情報処理方法および情報処理システム
US20140372915A1 (en) Method and system for operating display device
KR20220130171A (ko) 촬영 방법 및 전자 장치
JP2015103109A (ja) 情報入力システム、携帯端末装置、及びコンピューター
WO2013008330A1 (ja) 対話型画面データ送受信システム及び対話型画面データ送受信プログラム
JP2010258603A (ja) 通信端末及び表示サイズの調整方法
US20190012767A1 (en) Terminal device, display system, and control method of terminal device
KR101791222B1 (ko) 마우스 기능 제공 휴대 전자기기 및 그 운용 방법
CN111176522B (zh) 一种解锁方法及电子设备
US20200033959A1 (en) Electronic apparatus, computer-readable non-transitory recording medium, and display control method
KR20110066545A (ko) 터치스크린을 이용하여 이미지를 표시하기 위한 방법 및 단말
KR101318661B1 (ko) 화면 스크롤 제어장치와 그 제어방법
JP6971573B2 (ja) 電子機器、その制御方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150925

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160325

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160705