JP2022023931A - 情報処理装置、プログラム及び制御方法 - Google Patents
情報処理装置、プログラム及び制御方法 Download PDFInfo
- Publication number
- JP2022023931A JP2022023931A JP2021175825A JP2021175825A JP2022023931A JP 2022023931 A JP2022023931 A JP 2022023931A JP 2021175825 A JP2021175825 A JP 2021175825A JP 2021175825 A JP2021175825 A JP 2021175825A JP 2022023931 A JP2022023931 A JP 2022023931A
- Authority
- JP
- Japan
- Prior art keywords
- function
- image
- information
- file
- cooperation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 87
- 230000010365 information processing Effects 0.000 title claims abstract description 29
- 238000005452 bending Methods 0.000 claims abstract description 116
- 230000008859 change Effects 0.000 claims description 102
- 238000004891 communication Methods 0.000 abstract description 60
- 238000001514 detection method Methods 0.000 abstract description 57
- 230000006870 function Effects 0.000 description 1121
- 238000007726 management method Methods 0.000 description 137
- 230000009466 transformation Effects 0.000 description 84
- 230000008569 process Effects 0.000 description 54
- 238000012545 processing Methods 0.000 description 36
- 238000005516 engineering process Methods 0.000 description 19
- 239000003550 marker Substances 0.000 description 19
- 230000005540 biological transmission Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 238000012986 modification Methods 0.000 description 12
- 230000004048 modification Effects 0.000 description 12
- 238000012546 transfer Methods 0.000 description 11
- 239000000284 extract Substances 0.000 description 4
- 230000006266 hibernation Effects 0.000 description 4
- 238000007639 printing Methods 0.000 description 4
- 230000007958 sleep Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000004581 coalescence Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000004804 winding Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
- G06F1/1652—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being flexible, e.g. mimicking a sheet of paper, or rollable
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/174—Form filling; Merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/177—Editing, e.g. inserting or deleting of tables; using ruled lines
- G06F40/18—Editing, e.g. inserting or deleting of tables; using ruled lines of spreadsheets
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/022—Electronic editing of analogue information signals, e.g. audio or video signals
- G11B27/029—Insert-editing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Control Or Security For Electrophotography (AREA)
- Facsimiles In General (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Accessory Devices And Overall Control Thereof (AREA)
Abstract
【課題】折り曲げ可能な表示部の曲げ状態に応じた機能の実行を制御する情報処理装置、プログラム及び制御方法を提供する。【解決手段】端末装置、複数の機器及びサーバが、ネットワーク等の通信経路を介して互いに通信する情報処理システムにおいて、フレキシブルディスプレイを有する端末装置10の検知部が、折り曲げ可能な表示部の角度を検知し、予め定めた角度を検知した場合、特定部が起動中のアプリケーションソフトウェアに対応付けられた機能を特定し、制御部がその機能を実行する。【選択図】図35
Description
本発明は、情報処理装置、プログラム及び制御方法に関する。
特許文献1には、複数の画像形成装置の状態情報を含む付加情報を撮像画像に重畳させることで、拡張現実画像を生成する装置が記載されている。
特許文献2には、操作パネルが装着されていない状態で、撮影手段によって撮影されて表示部に表示されている映像に、操作方法を示す画像を合成して表示する装置が記載されている。
本発明は、折り曲げ可能な表示部の曲げ状態に応じた機能の実行を制御することにある。
請求項1に係る発明は、プロセッサを有し、前記プロセッサは、折り曲げ可能な表示部の角度を検知し、予め定めた角度を検知した場合、起動中のアプリケーションソフトウェアに対応付けられた機能を特定し、前記機能を実行する、情報処理装置である。
請求項2に係る発明は、前記プロセッサは、前記表示部に表示されている前記起動中のアプリケーションソフトウェアに対応付けられた前記機能を特定して前記機能を実行する、請求項1に記載の情報処理装置である。
請求項3に係る発明は、前記プロセッサは、更に、前記角度を検知した場合の前記角度へ至る曲げ方向を検知し、前記角度と前記方向の両方を満たしたときに実行される前記機能を実行する、請求項1又は請求項2に記載の情報処理装置である。
請求項4に係る発明は、前記プロセッサは、アプリケーションソフトウェア毎に、機能が実行される前記角度を変える、請求項1から請求項3のいずれか一項に記載の情報処理装置である。
請求項5に係る発明は、アプリケーションソフトウェア毎に複数の角度が設定され、角度毎に実行される機能が設定される、請求項1から請求項4のいずれか一項に記載の情報処理装置である。
請求項6に係る発明は、コンピュータが、折り曲げ可能な表示部の角度を検知し、予め定めた角度を検知した場合、起動中のアプリケーションソフトウェアに対応付けられた機能を特定し、前記機能を実行する、ように動作させるためのプログラムである。
請求項7に係る発明は、折り曲げ可能な表示部の角度を検知し、予め定めた角度を検知した場合、起動中のアプリケーションソフトウェアに対応付けられた機能を特定し、前記機能を実行する、制御方法である。
請求項1-7に係る発明によれば、折り曲げ可能な表示部の曲げ状態に応じた機能の実行を制御することができる。
<第1実施形態>
図1を参照して、本発明の第1実施形態に係る情報処理システムについて説明する。図1には、第1実施形態に係る情報処理システムの一例が示されている。
図1を参照して、本発明の第1実施形態に係る情報処理システムについて説明する。図1には、第1実施形態に係る情報処理システムの一例が示されている。
第1実施形態に係る情報処理システムは、一例として、端末装置10と、1又は複数の機器(例えば機器12,14)、外部装置の一例としてのサーバ16と、を含む。図1に示す例では、端末装置10、機器12,14及びサーバ16は、ネットワーク等の通信経路Nを介して互いに通信する機能を備えている。もちろん、端末装置10、機器12,14及びサーバ16は、通信経路Nを利用せずに、それぞれ異なる通信経路を介して他の装置と通信を行ってもよい。図1に示す例では、2つの機器(機器12,14)が情報処理システムに含まれているが、1つの機器が情報処理システムに含まれていてもよいし、3つ以上の機器が情報処理システムに含まれていてもよい。また、複数の端末装置10や複数のサーバ16が、情報処理システムに含まれていてもよい。なお、サーバ16は情報処理システムに含まれていなくてもよい。
端末装置10は、パーソナルコンピュータ(PC)、タブレットPC、スマートフォン、携帯電話、等の装置であり、表示装置としてのフレキシブルディスプレイを有する。フレキシブルディスプレイとして、例えば、有機エレクトロルミネッセンス型のディスプレイ(フレキシブル有機ELディスプレイ)、電子ペーパー型のディスプレイ、フレキシブル液晶ディスプレイ、等が用いられる。これら以外の表示方式が採用されたフレキシブルディスプレイが用いられてもよい。フレキシブルディスプレイは、表示部分が柔軟に変形可能なディスプレイであり、例えば、曲げたり、折り畳んだり、巻いたり、捩じったり、伸ばしたりすることが可能なディスプレイである。端末装置10は、ウェアラブル端末(腕時計型端末、リストバンド型端末、眼鏡型端末、指輪型端末、コンタクトレンズ型端末、体内埋め込み型端末、ヒアラブル端末等)であってもよい。また、端末装置10は、他の装置との間でデータを送受信する機能を有する。
機器12,14は機能を有する装置であり、例えば、画像形成機能を備えた画像形成装置、PC、タブレットPC、スマートフォン、携帯電話、ロボット(人型ロボット、人以外の動物型ロボット、それら以外のロボット等)、プロジェクタ、液晶ディスプレイ等の表示装置、記録装置、再生装置、カメラ等の撮像装置、冷蔵庫、炊飯器、電子レンジ、コーヒーメーカー、掃除機、洗濯機、空調機、照明機器、時計、監視カメラ、自動車、二輪車、航空機(例えば無人航空機(いわゆるドローン))、ゲーム機、各種のセンシング機器(例えば温度センサ、湿度センサ、電圧センサ、電流センサ等)等の装置である。機器12,14は、ユーザに対してアウトプットを出力する機器(例えば画像形成装置やPC等)であってもよいし、ユーザに対してアウトプットを出力しない機器(例えばセンシング機器)であってもよい。また、後述する連携機能を実行する複数の機器の中のすべての機器が、ユーザに対してアウトプットを出力する機器であってもよいし、一部の機器がユーザに対してアウトプットを出力する機器であり、他の機器がユーザに対してアウトプットを出力しない機器であってもよいし、すべての機器がユーザに対してアウトプットを出力しない機器であってもよい。機器12,14の概念の範疇には機器全般が含まれてもよい。例えば、情報機器、映像機器、音響機器、その他の機器も、第1実施形態に係る機器の範疇に含まれてもよい。また、機器12,14は、他の装置との間でデータを送受信する機能を有する。
サーバ16は、データの管理、ユーザ情報の管理、機器12,14の管理等を行う装置である。また、サーバ16は、他の装置との間でデータを送受信する機能を有する。
第1実施形態では、フレキシブルディスプレイの各位置の変化が検知され、その検知された変化に応じて、変化した位置に表示されている画像に紐付く制御対象への指示が制御される。制御対象は、例えば、機器、機能、ファイル、ソフトウェア、等である。それらの中の複数の対象が制御対象であってもよい。第1実施形態では、制御対象は機器である。
以下、図2を参照して、端末装置10の構成について詳しく説明する。
通信部18は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を有する。通信部18は、無線通信機能を有する通信インターフェースであってもよいし、有線通信機能を有する通信インターフェースであってもよい。通信部18は、例えば、1又は複数の種類の通信方式に対応しており、通信相手に適した通信方式(つまり、通信相手が対応している通信方式)に従って通信相手と通信してもよい。通信方式は、例えば、赤外線通信、可視光通信、Wi-Fi(登録商標)通信、近接無線通信(例えばNFC(Near Field Communication)等)、等である。近接無線通信としては、Felica(登録商標)、Bluetooth(ブルートゥース)(登録商標)、RFID(Radio Frequency Identifier)等が用いられる。もちろん、別の方式の無線通信が近接無線通信として用いられてもよい。通信部18は、通信相手に応じて通信方式や周波数帯域を切り替えてもよいし、周囲の環境に応じて通信方式や周波数帯域を切り替えてもよい。
UI部20はユーザインターフェース部であり、表示部と操作部を含む。表示部は、フレキシブルディスプレイである。操作部は、例えばタッチパネルやキーボード等の入力装置である。もちろん、表示部と操作部を兼ねたユーザインターフェース(例えば、タッチ式のディスプレイや、ディスプレイ上に電子的にキーボード等を表示する装置等を含む)であってもよい。また、UI部20は、マイク等の集音部やスピーカ等の音声発生部を含んでいてもよい。この場合、音声入力によって情報が端末装置10に入力されてもよいし、音声によって情報が発せられてもよい。
UI部20の表示部には、例えば、カメラによって撮影された画像や、利用対象の機器(例えば、単独で利用される機器や連携対象の機器)として識別された機器に紐付く画像、機能に紐付く画像、等が表示されてもよい。機器に紐付く画像は、カメラによって撮影された当該機器を表す画像(静止画像又は動画像)であってもよいし、当該機器を模式的に表す画像(例えばアイコン)であってもよい。模式的に表す画像のデータは、例えば、端末装置10の制御部28によって作成されてもよいし、端末装置10の記憶部26に予め記憶されていてもよいし、サーバ16に記憶されてサーバ16から端末装置10に提供されてもよいし、別の装置に記憶されて当該別の装置から端末装置10に提供されてもよい。機能に紐付く画像は、例えば、その機能を表すアイコン等の画像である。
撮影手段としてのカメラ22は、撮影対象を撮影することで画像データ(例えば静止画像データや動画像データ)を生成する。画像は例えばUI部20の表示部に表示される。表示部に表示された画像がユーザによって操作されてもよい。なお、外部のカメラによって撮影された画像データが、通信経路を介して端末装置10に送られ、その画像がUI部20の表示部に表示されてもよい。この場合も、その画像がユーザによって操作されてもよい。
検知部24は、フレキシブルディスプレイの各位置の変化を検知するセンサとしての機能を有する。センサとして、例えば、圧力センサ、温度センサ、湿度センサ、加速度センサ、ジャイロセンサ、等が用いられる。検知部24は、例えば、フレキシブルディスプレイの部分毎(例えば画素毎)の曲げ変化、圧力の変化、静電容量の変化、光学特性の変化、温度、湿度、加速度、向き、等を検知する。なお、端末装置10以外の装置(例えば機器12,14等)に設けられたセンサによって、温度や湿度が検知されてもよい。
記憶部26はハードディスクやメモリ(例えばSSD等)等の記憶装置である。記憶部26には、例えば、機器機能管理情報、連携機能管理情報、各種のデータ、各種のプログラム(例えば、OS(Operating System)、各種のアプリケーションプログラム(アプリケーションソフトウェア)等)、各機器のアドレスを示す情報(機器アドレス情報)、サーバ16のアドレスを示す情報(サーバアドレス情報)、識別された機器に関する情報、識別された連携対象の機器に関する情報、識別された機器が有する単独機能に関する情報、連携機能に関する情報、等が記憶されている。もちろん、それらは別々の記憶装置に記憶されてもよいし、1つの記憶装置に記憶されてもよい。
以下、機器機能管理情報と連携機能管理情報について説明する。
機器機能管理情報は、各機器が有する単独機能を管理するための情報であり、例えば、機器を識別するためのデバイス識別情報(機器識別情報)と、当該機器が有する単独機能を示す単独機能情報と、フレキシブルディスプレイに対して行われる変形操作を示す変形操作情報と、当該機器が有する単独機能群の中で当該変形操作が行われたときに当該機器によって実行される単独機能(処理や動作を含む)を示す実行単独機能情報と、の対応付けを示す情報である。
デバイス識別情報は、例えば、機器ID、機器名称、機器の種類を示す情報、機器の型番号、機器を管理するための情報(例えば資産管理番号等)、機器が設置されている位置を示す情報(機器の位置情報)、機器に紐付く機器画像、機器のアドレス情報、等である。機器画像は、例えば機器を表す外観画像である。外観画像は、機器の外側(例えば機器の筐体)を表す画像であってもよいし、筐体を開けて内部が外から見える状態(例えば内部構造)を表す画像であってもよいし、梱包用のシート等によって機器が覆われている状態を表す画像であってもよい。機器画像は、機器を撮影することで生成された画像(機器の外側を表す画像や内部を表す画像等)であってもよいし、機器を模した画像(例えばアイコン等)であってもよい。
単独機能情報は、例えば、機能IDや機能名称等である。例えば、機器12が画像形成装置であって、その画像形成装置が、プリント機能、スキャン機能及びコピー機能を有する場合、当該画像形成装置のデバイス識別情報には、一例として、プリント機能を示す単独機能情報、スキャン機能を示す単独機能情報、及び、コピー機能を示す単独機能情報が対応付けられている。
変形操作は、例えば、フレキシブルディスプレイに対して行われる曲げ操作、折り畳み操作、巻き操作、捩じり操作、伸ばし操作、等である。また、変形操作の方向(例えば、曲げる方向、折り畳む方向、巻く方向、捩じる方向、伸ばす方向等)を示す情報が、変形操作情報に含まれていてもよい。
機器機能管理情報を参照することで、機器が有する単独機能が特定(識別)され、また、フレキシブルディスプレイに対して行われた変形操作に応じて実行される実行単独機能が特定(識別)される。
機器機能管理情報によって管理されている機器は、例えば情報処理システムに含まれる機器(例えば機器12,14)である。もちろん、情報処理システムに含まれない機器が機器機能管理情報によって管理されてもよい。例えば、端末装置10は、情報処理システムに含まれていない新たな機器に関する情報(デバイス識別情報、単独機能情報、変形操作情報及び実行単独機能情報を含む)を取得し、機器機能管理情報に新たに登録してもよい。機器に関する情報は、例えば、インターネット等を利用することで取得されてもよいし、ユーザや管理者等によって入力されてもよい。また、端末装置10は、任意のタイミング、定期的、又は、ユーザや管理者等によって指定されたタイミング等で、機器機能管理情報を更新してもよい。これにより、更新前には機器が有していなかったが更新後には機器が有することになった単独機能を示す単独機能情報が、機器機能管理情報に登録される場合がある。同様に、更新前には機器が有していたが更新後には機器が有していない単独機能を示す単独機能情報が、機器機能管理情報から削除され、又は、使用不可な情報として登録される場合がある。更新用の情報は、例えば、インターネット等を利用することで取得されてもよいし、ユーザや管理者等によって入力されてもよい。もちろん、端末装置10自体が、機器に関する情報を取得して機器機能管理情報の生成や更新を実行せずに、サーバ16等の外部装置が、機器に関する情報を取得して機器機能管理情報の生成や更新を実行してもよい。この場合、外部装置によって生成や更新された機器機能管理情報が、外部装置から端末装置10に送信されて記憶部26に記憶される。
連携機能管理情報は、複数の機能を連携させることによって実行される連携機能を管理するための情報である。複数の機能を連携させることによって、1又は複数の連携機能が実行される。連携機能は、例えば、1つの機器(例えば機器12)が有する複数の単独機能を連携させることによって実行可能な機能であってもよいし、複数の機器(例えば機器12,14)が有する複数の単独機能を連携させることによって実行可能な機能であってもよい。また、操作指示を出している端末装置10も連携対象の機器として利用され、端末装置10が有する単独機能も連携機能の一部として利用されてもよい。
連携機能は、ハードウェアとしての機器を利用せずに実行される機能であってもよい。例えば、連携機能は、複数のソフトウェアを連携させることによって実行される機能であってもよい。もちろん、連携機能は、ハードウェアとしての機器が有する機能と、ソフトウェアによって実現される機能と、を連携させることによって実行される機能であってもよい。
連携機能管理情報は、例えば、連携機能に利用される各単独機能を示す単独機能情報の組み合わせと、当該連携機能を示す連携機能情報と、フレキシブルディスプレイに対して行われる変形操作を示す変形操作情報と、その変形操作が行われたときに実行される連携機能(処理や動作)を示す実行連携機能情報と、の対応付けを示す情報である。
連携機能情報は、例えば、連携機能IDや連携機能名称等である。単独機能が更新された場合、その更新に伴って連携機能管理情報も更新される。これにより、更新前には互いに連携不可能であった複数の単独機能による連携機能が更新後には利用可能になったり、それとは逆に、更新前には利用可能な連携機能が更新後には利用不可能になったりする場合がある。更新後に利用可能になった連携機能を示す連携機能情報が、連携機能管理情報に登録され、更新後に利用不可能になった連携機能を示す連携機能情報が、連携機能管理情報から削除され、又は、使用不可な情報として登録される。連携機能管理情報の更新は、端末装置10によって行われてもよいし、サーバ16等の外部装置によって行われてもよい。外部装置によって連携機能管理情報の更新が実行された場合、更新された連携機能管理情報が外部装置から端末装置10に送信されて記憶部26に記憶される。
複数の機器を連携させる場合、連携機能管理情報は、複数の機器を利用して実行可能な連携機能を管理するための情報であり、連携機能に利用される各機器を識別するためのデバイス識別情報の組み合わせと、当該連携機能を示す連携機能情報と、変形操作を示す操作情報と、複数の機器を利用して実行可能な連携機能群の中で当該変形操作が行われたときに実行される連携機能を示す実行連携機能情報と、の対応付けを示す情報である。また、複数のアウトプット機能を有する機器(ユーザに対してアウトプットを出力する機器であって複数のアウトプット機能を有する機器)とアウトプット機能を有していないセンシング機器(ユーザに対してアウトプットを出力しない機器)とを連携させる場合、連携機能管理情報には、特定のセンシング機器と当該複数のアウトプット機能の中の特定のアウトプット機能との組み合わせを示す情報が含まれてもよい。こうすることで、複数のアウトプット機能の中から、特定のセンシング機器と組み合わせて使用されるアウトプット機能が特定される。
連携機能は、互いに異なる複数の単独機能を連携させることによって実行可能な機能であってもよいし、同一の単独機能を連携させることによって実行可能な機能であってもよい。連携機能は、連携前には利用できなかった機能であってもよい。連携前には利用できなかった機能は、連携対象の機器が有する単独機能のうち、同じ単独機能を利用することによって利用できる機能であってもよいし、互いに異なる単独機能を組み合わせることによって利用できる機能であってもよい。例えば、プリント機能を有する機器(プリンタ)とスキャン機能を有する機器(スキャナ)を連携させることで、連携機能としてのコピー機能が実現される。すなわち、プリント機能とスキャン機能を連携させることでコピー機能が実現される。この場合、連携機能としてのコピー機能と、プリント機能及びスキャン機能の組み合わせと、が対応付けられている。連携機能管理情報においては、例えば、連携機能としてのコピー機能を示す連携機能情報と、プリント機能を有する機器を識別するためのデバイス識別情報及びスキャン機能を有する機器を識別するためのデバイス識別情報の組み合わせと、が対応付けられる。
もちろん、連携機能は、複数の単独機能の組み合わせによって実現される機能のみならず、1又は複数の他の連携機能と1又は複数の単独機能との組み合わせによって実現される機能であってもよいし、複数の他の連携機能の組み合わせによって実現される機能であってもよい。
連携機能の概念の範疇には、複数の単独機能や複数の機器を連携させることで新たな機能の実行が可能となる合体機能が含まれてもよい。例えば、複数のディスプレイを組み合わせることで、合体機能としての拡張表示機能が実現されてもよい。別の例として、テレビとレコーダーを組み合わせることで、合体機能としての録画機能が実現されてもよい。その録画機能は、テレビに表示されている画像を録画する機能であってもよい。また、複数のカメラを組み合わせることで、合体機能としての撮影領域拡張機能が実現されてもよい。その拡張機能は、例えば各カメラの撮影領域を繋ぎ合せて撮影する機能である。また、電話と翻訳機や翻訳ソフトを組み合わせることで、合体機能としての翻訳通話機能(電話を介した会話が翻訳される機能)が実現されてもよい。このように、連携機能の概念の範疇には、互いに同一の種類の機器や単独機能を連携させることで実現可能となる機能や、互いに異なる種類の機器や単独機能を連携させることで実現可能となる機能が含まれる。
制御部28は、端末装置10の各部の動作を制御する。制御部28は、例えば、通信部18による通信の制御、UI部20の表示部への情報の表示の制御、記憶部26への情報の書き込み制御、記憶部26からの情報の読み込み制御、等を行う。また、制御部28は特定部30を含む。
特定部30は、機器が有する単独機能や、1又は複数の機器を利用して実行可能な連携機能を特定する機能を有する。また、特定部30は、フレキシブルディスプレイに対して変形操作が行われた場合、その変形操作に対応する実行単独機能や実行連携機能を特定する機能を有する。
例えば、特定部30は、機器を識別するためのデバイス識別情報を受け、記憶部26に記憶されている機器機能管理情報において当該デバイス識別情報に対応付けられている単独機能を示す単独機能情報を特定する。これにより、機器が有する単独機能が特定(識別)される。また、フレキシブルディスプレイに対して変形操作が行われた場合、検知部24によってその変形操作(例えば曲げ操作等)が検知される。特定部30は、機器機能管理情報において当該変形操作に対応付けられている実行単独機能を示す実行単独機能情報を特定する。これにより、フレキシブルディスプレイに対して変形操作が行われたときに実行される単独機能が特定(識別)される。
制御部28は、特定部30によって特定された単独機能に関する情報(例えば、単独機能情報、実行単独機能情報、単独機能の説明情報等)の通知(案内)の制御を行う。制御部28は、その通知として、単独機能に関する情報をUI部20の表示部(フレキシブルディスプレイ)に表示させてもよいし、スピーカ等を用いることで、その単独機能に関する情報を音声情報として発してもよい。また、制御部28は、単独機能の実行を制御してもよい。つまり、制御部28は、機器に単独機能を実行させてもよい。
なお、単独機能の特定処理はサーバ16によって行われてもよい。この場合、端末装置10からサーバ16にデバイス識別情報が送信され、サーバ16によって、当該デバイス識別情報に対応付けられている単独機能を示す単独機能情報が特定される。サーバ16によって特定処理が行われる場合、サーバ16には機器機能管理情報が記憶されている。単独機能に関する情報は、サーバ16から端末装置10に送信されてUI部20の表示部に表示されてもよいし、音声情報として発せられてもよい。同様に、変形操作に対応する実行単独機能の特定処理は、サーバ16によって行われてもよい。この場合、端末装置10からサーバ16に変形操作情報が送信され、サーバ16によって、当該変形操作情報に対応付けられている実行単独機能を示す実行単独機能情報が特定される。実行単独機能情報は、サーバ16から端末装置10に送信されてUI部20の表示部に表示されてもよいし、音声情報として発せられてもよい。
また、特定部30は、連携対象の各機器を識別するためのデバイス識別情報を受け、記憶部26に記憶されている連携機能管理情報において各デバイス識別情報の組み合わせに対応付けられている連携機能を示す連携機能情報を特定する。これにより、連携対象の各機器が有する単独機能を連携させることによって実行可能となる連携機能が特定(識別)される。また、フレキシブルディスプレイに対して変形操作が行われた場合、検知部24によってその変形操作が検知される。特定部30は、連携機能管理情報において当該変形操作に対応付けられている実行連携機能を示す実行連携機能情報を特定する。
制御部28は、特定部30によって特定された連携機能に関する情報(例えば、連携機能情報、実行連携機能情報、連携機能の説明情報等)の通知(案内)の制御を行う。制御部28は、連携機能に関する情報をUI部20の表示部(フレキシブルディスプレイ)に表示させてもよいし、音声情報として発してもよい。また、制御部28は、連携機能の実行を制御してもよい。つまり、制御部28は、連携対象の複数の機器に連携機能を実行させてもよい。
特定部30は、連携機能に利用される各単独機能を示す単独機能情報を受け、連携機能管理情報において各単独機能情報の組み合わせに対応付けられている連携機能を示す連携機能情報を特定してもよい。これにより、連携対象の各単独機能を連携させることによって実行可能な連携機能が特定(識別)される。
なお、連携機能の特定処理はサーバ16によって行われてもよい。この場合、端末装置10からサーバ16に複数のデバイス識別情報が送信され、サーバ16によって、当該複数のデバイス識別情報に対応付けられている連携機能を示す連携機能情報が特定される。サーバ16によって特定処理が行われる場合、サーバ16には連携機能管理情報が記憶されている。連携機能に関する情報は、サーバ16から端末装置10に送信されてUI部20の表示部に表示されてもよいし、音声情報として発せられてもよい。同様に、変形操作に対応する実行連携機能の特定処理は、サーバ16によって行われてもよい。この場合、端末装置10からサーバ16に変形操作情報が送信され、サーバ16によって、当該変形操作情報に対応付けられている実行連携機能を示す実行連携機能情報が特定される。実行連携機能情報は、サーバ16から端末装置10に送信されてUI部20の表示部に表示されてもよいし、音声情報として発せられてもよい。
なお、ユーザ毎に、ユーザによって利用可能な機能(単独機能や連携機能)が管理されてもよい。この管理は、端末装置10によって行われてもよいし、サーバ16等の外部装置によって行われてもよい。ユーザによって利用可能な機能は、例えば、ユーザに無償で提供された機能、ユーザに有償で提供されてユーザによって購入された機能、等である。ユーザ毎に、ユーザが利用可能な機能を示す利用可能機能情報(例えば機能購入履歴情報)が作成されて管理されてもよい。利用可能な機能の管理が端末装置10によって行われる場合、利用可能機能情報は記憶部26に記憶され、その管理がサーバ16等の外部装置によって行われる場合、利用可能機能情報は外部装置に記憶される。もちろん、無料で利用できる機能、追加アップデート機能、管理者によって特別に管理されている機能等もあるため、一概に購入の有無によって機能の利用可能が判断されなくてもよい。機能の購入処理は、例えば、サーバ16等の外部装置によって行われる。
利用可能機能管理情報は、各ユーザが利用可能な機能を管理するための情報であり、例えば、ユーザを識別するためのユーザ識別情報と、当該ユーザが利用可能な機能を示す機能情報(単独機能情報と連携機能情報を含む)と、の対応付けを示す情報である。ユーザが利用可能な機能は、上述したように、例えば、ユーザに無償で提供された機能や、ユーザが購入した機能、等であり、単体の機能であってもよいし、連携機能であってもよい。ユーザ識別情報は、例えば、ユーザIDや氏名等のユーザアカウント情報である。利用可能機能管理情報を参照することで、各ユーザが利用可能な機能が特定(識別)される。利用可能機能管理情報は、例えば、ユーザに機能が提供される度に(例えば、ユーザに無償又は有償で機能が提供される度に)更新されてもよい。
ユーザによって利用可能な機能が管理されている場合、特定部30は、ユーザを識別するためのユーザ識別情報を受け、利用可能機能管理情報(例えば、端末装置10やサーバ16に記憶されている情報)において当該ユーザ識別情報に対応付けられている各機能を示す機能情報を特定してもよい。これにより、当該ユーザが利用可能な機能が特定(識別)される。制御部28は、特定された機能に関する情報をUI部20の表示部に表示させてもよいし、音声情報として発してもよい。例えば、特定部30は、デバイス識別情報とユーザ識別情報を受け、機器機能管理情報において当該デバイス識別情報に対応付けられている単独機能を示す単独機能情報を特定し、更に、利用可能機能管理情報において当該ユーザ識別情報に対応付けられている機能(単独機能と連携機能を含む)を示す機能情報を特定する。これにより、当該デバイス識別情報によって特定される機器が有する単独機能であって、当該ユーザ識別情報によって特定されるユーザが利用可能な単独機能が特定される。
なお、ユーザによって利用可能な機能はサーバ16等の外部装置によって特定されてもよい。この場合、端末装置10からサーバ16にユーザ識別情報が送信され、サーバ16によって、当該ユーザ識別情報に対応付けられている各機能を示す機能情報が特定される。サーバ16によって特定処理が行われる場合、利用可能機能情報はサーバ16に記憶されている。ユーザによって利用可能な各機能に関する情報は、サーバ16から端末装置10に送信されてUI部20の表示部に表示されてもよいし、音声情報として発せられてもよい。
以下、図3を参照して、サーバ16の構成について詳しく説明する。図3には、サーバ16の構成が示されている。
通信部32は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を有する。通信部32は、無線通信機能を有する通信インターフェースであってもよいし、有線通信機能を有する通信インターフェースであってもよい。
記憶部34はハードディスクやメモリ(例えばSSD等)等の記憶装置である。記憶部34には、例えば、各種のデータ、各種のプログラム、端末装置10の端末アドレス情報、各機器の機器アドレス情報、サーバ16のサーバアドレス情報、等が記憶されている。もちろん、それらは別々の記憶装置に記憶されてもよいし、1つの記憶装置に記憶されてもよい。
サーバ16によって各機器が有する単独機能と連携機能が管理される場合、上記の機器機能管理情報と連携機能管理情報が記憶部34に記憶され、サーバ16において、機器機能管理情報と連携機能管理情報が更新されてもよい。この場合において、端末装置10によって機能の特定処理が行われる場合、機器機能管理情報と連携機能管理情報(情報が更新された場合は更新後の情報)がサーバ16から端末装置10に送信される。その送信は、定期的に又は指定されたタイミングで行われてもよい。これにより、端末装置10に記憶されている情報が更新される。もちろん、端末装置10の特定部30は、サーバ16に記憶されている機器機能管理情報や連携機能管理情報を参照することで、単独機能や連携機能を特定してもよい。また、サーバ16によって機能の特定処理が実行されてもよい。なお、機器機能管理情報がサーバ16に記憶されている場合、端末装置10に記憶されていなくてもよい。同様に、連携機能管理情報がサーバ16に記憶されている場合、端末装置10に記憶されていなくてもよい。
制御部36は、サーバ16の各部の動作を制御する。制御部36は、例えば、通信部32による通信の制御、記憶部34への情報の書き込み制御、記憶部34からの情報の読み込み制御、等を行う。また、制御部36は、端末装置10の特定部30と同じ機能を有する特定部38を有していてもよい。特定部38は、端末装置10の特定部30と同様に、単独機能や連携機能を特定する。なお、サーバ16によって単独機能や連携機能の特定処理が行われる場合、端末装置10は特定部30を有していなくてもよい。
制御部36は、機能の購入処理を実行し、その購入の履歴を管理してもよい。例えば、有料の機能がユーザによって購入された場合、制御部36は、当該ユーザに対して課金処理を適用してもよい。
利用可能機能管理情報が作成されている場合、その利用可能機能管理情報は、サーバ16に記憶されていてもよい。この場合、利用可能機能管理情報は、端末装置10に記憶されていなくてもよい。端末装置10の制御部28は、ユーザによる機能の購入の履歴を管理してもよい。この場合、サーバ16の制御部36は、その管理機能を有していなくてもよい。
更に別の例として、機器12,14等の機器に、機器機能管理情報や連携機能管理情報が記憶されていてもよいし、機器12,14等の機器が特定部30を有していてもよい。つまり、特定部30による処理は、端末装置10において行われてもよいし、機器12,14等の機器において行われてよいし、サーバ16において行われてもよいし、更に別の装置において行われてもよい。
以下、図4を参照して、端末装置10に設けられているフレキシブルディスプレイについて説明する。図4は、フレキシブルディスプレイの外観を模式的に示す斜視図である。図4に示す例では、端末装置10自体がフレキシブルディスプレイを構成しており、端末装置10自体が変形可能となっている。もちろん、端末装置10において、フレキシブルディスプレイとその他の構成が互いに分離されていてもよい。
端末装置10は、一例として、直方体の形状を有し、表示部として、端末装置10の正面に設けられた正面側ディスプレイ40、背面に設けられた背面側ディスプレイ42(図4に図示されていない)、側面に設けられた側面側ディスプレイ44,46(側面側ディスプレイ46は図4に図示されていない)、上面に設けられた上面側ディスプレイ48、及び、下面に設けられた下面側ディスプレイ50(図4に図示されていない)を有する。
表示対象が立体物である場合、その立体物の正面が正面側ディスプレイ40に表示され、その立体物の背面が背面側ディスプレイ42に表示され、その立体物の側面が側面側ディスプレイ44,46に表示され、その立体物の上面が上面側ディスプレイ48に表示され、その立体物の下面が下面側ディスプレイ50に表示されてもよい。例えば、正面側ディスプレイ40に、立体物の正面を表す画像52aが表示され、一方の側面側ディスプレイ44に、立方体の一方の側面を表す画像52bが表示され、上面側ディスプレイ48に、立方体の上面を表す画像52cが表示されている。背面側ディスプレイ42、他方の側面側ディスプレイ46、及び、下面側ディスプレイ50にも、それぞれ対応する画像が表示される。
表示対象が立体物である場合、3Dプリンタによって立体物が出力されてもよい。もちろん、表示対象が立体物であっても、その立体物の像が二次元空間上の平面画像に変換され(例えば投影による変換)、平面画像として出力されてもよい。また、個々の面毎に表示対象が印刷されてもよいし、表示対象の変化の前後毎に表示対象が印刷されてもよい。
フレキシブルディスプレイは、部分毎(例えば画素毎)に画像情報を保持する。例えば、フレキシブルディスプレイは、三次元空間(例えば、互いに直交するX軸、Y軸及びZ軸によって規定される空間)における単位(例えば画素)毎の画像情報を保持する。別の例として、フレキシブルディスプレイは、二次元平面(二次元レイヤー)毎に画像情報を管理してもよい。
上述したように、検知部24は、フレキシブルディスプレイ(図4に示す例では端末装置10自体)の各位置の変化を検知する。図4に示す例では、検知部24は、正面、背面、両側面、上面及び下面のそれぞれにおける変化を検知する。
図4に示されているフレキシブルディスプレイは一例に過ぎず、背面、側面、上面及び下面に表示部が設けられていなくてもよいし、正面側と背面側に表示部が設けられていてもよい。また、フレキシブルディスプレイは、全体的に又は部分的に湾曲した表示部(曲面を有する表示部)を有するディスプレイであってもよいし、巻き取り型のディスプレイであってもよいし、スライド式のディスプレイであってもよい。これら以外のディスプレイであっても、形状変化が可能なディスプレイであれば、第1実施形態に係るフレキシブルディスプレイの範疇に含まれてもよい。
第1実施形態では、一例として、AR(Augmented Reality)技術(拡張現実技術)を用いることで、デバイス識別情報が取得されて機器が識別される。例えば、AR技術を用いることで、単独で使用される機器のデバイス識別情報が取得されて当該機器が識別され、また、連携対象の機器のデバイス識別情報が取得されて連携対象の機器が識別される。AR技術として公知のAR技術が用いられる。例えば、画像解析を利用する画像AR技術、位置情報を利用する位置AR技術、等が用いられる。画像AR技術として、例えば、2次元バーコード等のマーカを利用するマーカ型AR技術、マーカを利用せずに画像認識技術を利用するマーカレス型AR技術、等が用いられる。もちろん、AR技術を適用せずにデバイス識別情報が取得されて機器が識別されてもよい。例えば、ネットワークに繋がっている機器であれば、IPアドレスに基づいて機器が識別されもよいし、機器IDが読み出されて機器が識別されてもよい。更に、赤外線通信、可視光通信、Wi-Fi、ブルートゥースといった各種無線通信機能を有する機器や端末装置が用いられる場合、無線通信機能を利用することで機器のIDが取得されて機器が識別されてもよい。
以下、図5を参照して、デバイス識別情報の取得処理について詳しく説明する。図5には、機器の一例としての複合機54の外観が模式的に示されている。複合機54は、例えば、プリント機能、スキャン機能、コピー機能及びファクシミリ機能の中の少なくとも1つの機能を有する機器である。ここでは、マーカ型AR技術を適用することで、複合機54のデバイス識別情報を取得するための処理について説明する。複合機54の筐体には、2次元バーコード等のマーカ56が設けられている。マーカ56は、複合機54のデバイス識別情報がコード化された情報である。ユーザが、端末装置10のカメラ22によってマーカ56を撮影すると、マーカ56を表す画像データが生成される。端末装置10の特定部30は、当該画像データに表されたマーカ画像に対してデコード処理を適用することでデバイス識別情報を抽出する。これにより、複合機54が識別される。次に、特定部30は、機器機能管理情報において、抽出されたデバイス識別情報に対応付けられている単独機能を示す単独機能情報を特定する。これにより、複合機54が有する単独機能が特定(識別)される。
なお、サーバ16の特定部38が、マーカ56を表す画像データにデコード処理を適用することで、デバイス識別情報を抽出してもよい。この場合、画像データが端末装置10からサーバ16に送信され、サーバ16において当該画像データに対してデコード処理が適用される。また、サーバ16において、デバイス識別情報に対応付けられている単独機能が特定されてもよい。
マーカ56には、複合機54が有する単独機能を示す単独機能情報がコード化されて含まれていてもよい。この場合、マーカ56を表す画像データにデコード処理を適用することで、当該複合機54のデバイス識別情報が抽出されると共に、当該複合機54が有する単独機能を示す単独機能情報も抽出される。これにより、複合機54が特定(識別)されると共に、当該複合機54が有する単独機能が特定(識別)される。このデコード処理は、端末装置10によって行われてもよいし、サーバ16によって行われてもよい。また、マーカ56には、変形操作情報と実行単独機能情報がコード化されて含まれていてもよい。
マーカレス型AR技術を適用することでデバイス識別情報を取得する場合、例えば、ユーザはカメラ22によって、機器(例えば複合機54)の外観の全部又は一部を撮影する。もちろん、機器の名称(例えば商品名)や型番号や資産管理番号といった機器を特定するための情報を外観から撮影して得ることは役に立つ。撮影によって、機器の外観の全部又は一部を表す外観画像データが生成される。端末装置10の特定部30は、当該外観画像データに基づいて機器を識別する。例えば、端末装置10の記憶部26には、機器毎に、機器の外観の全部又は一部を表す外観画像データと、当該機器のデバイス識別情報と、の対応付けを示す外観画像対応付け情報が記憶されている。特定部30は、例えば、外観画像データと外観画像対応付け情報に含まれる各外観画像データとを比較し、その比較結果に基づいて、機器のデバイス識別情報を特定する。例えば、特定部30は、外観画像データから機器の外観の特徴を抽出し、外観画像対応付け情報に含まれる外観画像データ群において、その外観の特徴と同一又は類似の特徴を表す外観画像データを特定し、その外観画像データに対応付けられているデバイス識別情報を特定する。これにより、機器が識別される。別の例として、機器の名称(例えば商品名)や型番号が撮影され、名称や型番号を表す外観画像データが生成されている場合、その外観画像データに表された名称や型番号に基づいて、機器が識別されてもよい。特定部30は、機器機能管理情報において、特定されたデバイス識別情報に対応付けられている単独機能を示す単独機能情報を特定する。これにより、機器が有する単独機能が特定される。
サーバ16の特定部38が、機器の外観の全部又は一部を表す外観画像データと外観画像対応付け情報に含まれる各外観画像データとを比較し、その比較結果に基づいて、機器のデバイス識別情報を特定してもよい。
位置AR技術を適用してデバイス識別情報を取得する場合、例えば、GPS(Global Positioning System)機能を利用することで、機器が設置されている位置を示す位置情報が取得される。例えば、各機器がGPS機能を備えており、機器自身の位置を示すデバイス位置情報を取得する。端末装置10は、利用対象の機器に対してデバイス位置情報の取得要求を示す情報を出力し、その取得要求に対する応答として、当該機器から当該機器のデバイス位置情報を受信する。端末装置10の特定部30は、当該デバイス位置情報に基づいて機器を識別する。例えば、端末装置10の記憶部26には、機器毎に、機器が設置されている位置を示すデバイス位置情報と、当該機器のデバイス識別情報と、の対応付けを示す位置対応付け情報が記憶されている。特定部30は、その位置対応付け情報において、デバイス位置情報に対応付けられているデバイス識別情報を特定する。これにより、機器が特定(識別)される。特定部30は、機器機能管理情報において、特定されたデバイス識別情報に対応付けられている単独機能を示す単独機能情報を特定する。これにより、機器が有する単独機能が特定(識別)される。
サーバ16の特定部38が、位置対応付け情報において、機器の位置情報に対応付けられているデバイス識別情報を特定してもよい。
なお、複数の識別技術を用いることで機器が識別されてもよい。例えば、マーカ型AR技術、マーカレス型AR技術、及び、位置AR技術の中から選択された複数の技術を用いることで機器が識別されてもよい。また、ある識別技術によって機器が識別されなかった場合、他の識別技術を用いることで機器が識別されてもよい。例えば、マーカ型AR技術やマーカレス型AR技術によって機器が識別されなかった場合、位置AR技術を用いることで機器が識別されてもよい。
以下、第1実施形態に係る情報処理システムについて更に詳しく説明する。
図6を参照して、機器機能管理情報について詳しく説明する。図6には、機器機能管理情報としての機器機能管理テーブルの一例が示されている。機器機能管理テーブルにおいては、一例として、機器IDと、機器名(例えば機器の種類)を示す情報と、機器が有する単独機能を示す情報(単独機能情報)と、フレキシブルディスプレイに対して行われる変形操作を示す変形操作情報と、当該機器が有する単独機能群の中で当該変形操作が行われたときに当該機器によって実行される単独機能を示す実行単独機能情報と、画像IDと、が互いに対応付けられている。機器IDと機器名はデバイス識別情報の一例に相当する。画像IDは、機器に紐付く機器画像を識別するための画像識別情報の一例である。なお、機器機能管理テーブルには、画像IDは含まれていなくてもよい。
例えば、機器IDが「B」の機器は複合機であり、プリント機能やスキャン機能等の単独機能を有している。また、複合機には、複合機に紐付く機器画像を識別するための画像IDが対応付けられている。機器に紐付く機器画像のデータは、例えば、端末装置10に記憶されていてもよいし、サーバ16に記憶されていてもよいし、他の装置に記憶されていてもよい。
例えば、AR技術を適用することで、機器(例えば複合機B)を識別するための機器IDが取得される。端末装置10の特定部30は、機器機能管理テーブルを参照することで、その機器IDに対応付けられている機器名、単独機能及び画像IDを特定する。これにより、複合機Bが識別される。機器名を示す情報や機器画像がUI部20の表示部に表示されてもよい。もちろん、カメラ22によって撮影された画像そのものがUI部20の表示部に表示されてもよい。また、UI部20において、複合機Bに紐付く機器画像(例えば、カメラ22によって撮影された画像や、複合機Bを模式的に表す画像)がユーザによって指定された場合、複合機Bが有する単独機能に関する情報(例えば、単独機能情報や単独機能の説明情報等)が、UI部20の表示部に表示されてもよい。また、複合機Bが識別されてフレキシブルディスプレイに表示されている状態で、フレキシブルディスプレイに対して特定の変形操作がユーザによって行われた場合、特定部30は、その変形操作に対応する実行単独機能を特定する。その実行単独機能が複合機Bによって実行されてもよいし、その実行単独機能を示す情報がフレキシブルディスプレイに表示されてもよい。
各機器には、1又は複数の変形操作が対応付けられており、各変形操作には、互いに同一又は異なる実行単独機能が対応付けられている。例えば、複合機Bには複数の変形操作(例えば、変形操作b1,b2,・・・)が対応付けられており、変形操作b1にはプリント機能が対応付けられ、変形操作b2にはスキャン機能が対応付けられているものとする。フレキシブルディスプレイに対する変形操作b1が検知部24によって検知された場合、特定部30は、その変形操作b1に対応付けられている実行単独機能としてのプリント機能を特定する。この場合、制御部28は、プリント機能を示す情報をUI部20の表示部に表示させてもよいし、その情報を音声情報として出力してもよいし、複合機Bに対してプリント指示を与えることで複合機Bにプリントを実行させてもよい。
以下、図7を参照して、連携機能管理情報について詳しく説明する。図7には、連携機能管理情報としての連携機能管理テーブルの一例が示されている。連携機能管理テーブルにおいては、一例として、機器IDの組み合わせと、連携対象の機器名(例えば各機器の種類)を示す情報と、連携機能を示す情報(連携機能情報)と、フレキシブルディスプレイに対して行われる変形操作を示す変形操作情報と、連携対象の複数の機器によって実行可能な連携機能群の中で当該変形操作が行われたときに実行される連携機能を示す実行連携機能情報と、が互いに対応付けられている。
例えば、機器IDが「A」の機器はPC(パーソナルコンピュータ)であり、機器IDが「B」の機器は複合機である。PC(A)と複合機Bを連携させることで、連携機能として、例えば「スキャン転送機能」や「プリント機能」が実現される。「スキャン転送機能」は、複合機Bによるスキャンによって生成された画像データをPC(A)に転送する機能である。「プリント機能」は、PC(A)に保存されているデータ(例えば画像データや文書データ)を複合機Bに送信して複合機Bにて印刷する機能である。なお、3つ以上の機器を利用することで実行可能な連携機能が定められてもよい。この場合、3つ以上の機器の組み合わせと連携機能とが対応付けられ、その対応付けが連携機能管理テーブルに登録される。
複数の機器の組み合わせには、1又は複数の変形操作が対応付けられており、各変形操作には、互いに同一又は異なる実行連携機能が対応付けられている。例えば、PC(A)と複合機Bとの組み合わせには、複数の変形操作が対応付けられており、各変形操作には互いに同一又は異なる実行連携機能が対応付けられている。ある変形操作が検知部24によって検知された場合、特定部30は、その変形操作に対応付けられている実行連携機能を特定する。この場合、制御部28は、その実行連携機能を示す情報をUI部20の表示部に表示させてもよいし、その情報を音声情報として出力してもよいし、PC(A)と複合機Bに対して、その実行連携機能の実行指示を与えることで、PC(A)と複合機Bに実行連携機能を実行させてもよい。
以下、第1実施形態の具体的な実施例について詳しく説明する。
(実施例1)
実施例1について説明する。図8には、ロボット58と端末装置10が示されている。ロボット58は機器の一例である。ロボット58と端末装置10は現実空間に存在する。上記のAR技術や他の識別技術を用いることで、特定部30によって、ロボット58が識別されている。図8に示す例では、ロボット58は、ロボット58の顔部を正面に向けており、ユーザ(端末装置10)の方を向いている。
実施例1について説明する。図8には、ロボット58と端末装置10が示されている。ロボット58は機器の一例である。ロボット58と端末装置10は現実空間に存在する。上記のAR技術や他の識別技術を用いることで、特定部30によって、ロボット58が識別されている。図8に示す例では、ロボット58は、ロボット58の顔部を正面に向けており、ユーザ(端末装置10)の方を向いている。
端末装置10の正面側ディスプレイ40(UI部20の表示部の一例)には、機器画像60が表示されている。機器画像60は、ロボット58に紐付く画像である。機器画像60は、ロボット58を撮影することで生成された画像(撮影時のサイズを有する画像であってもよいし、拡大又は縮小された画像であってもよい)であってもよいし、ロボット58を模式的に表す画像(例えばアイコン)であってもよい。機器画像60は、ロボット58の外観の状態を表す画像であり、図8に示す例では、顔部を正面に向けたロボット58の外観の状態を表している。なお、ユーザは、UI部20を操作することで、機器画像60の表示位置や表示サイズを変えることができる。
模式的な画像が用いられる場合、特定部30は、図6に示されている機器機能管理テーブルを参照することで、識別された機器に紐付く模式的な画像を特定する。その模式的な画像は機器画像として表示される。模式的な画像のデータは端末装置10に記憶されていてもよいし、サーバ16等の外部装置に記憶されていてもよい。
なお、機器を撮影することで生成された画像データは、現在の機器そのものの外観(例えば、キズ、メモ書き、機器に貼り付けられたシール等が反映された外観)が反映された画像データであるため、ユーザにおいて、他の同種の機器との違いが視覚的に分かり易いという効果がある。
また、機器が識別された場合、その機器の名称を示す情報(デバイス識別情報の一例に相当する)が表示されてもよい。例えば、機器画像60と共に、文字列「ロボット」が表示されてもよい。機器画像60が表示されずに、ロボット58の名称を示す情報が表示されてもよい。
また、過去に識別された機器に関する情報は端末装置10の記憶部26に記憶され、その後、改めて当該機器に対する識別処理が行われなくても、当該機器に紐付く機器画像が表示されてもよい。もちろん、識別された機器に関する情報は、ユーザの操作によって記憶部26から削除されてもよい。この場合、その機器に紐付く機器画像も削除される。別の例として、識別された機器を利用して単独機能や連携機能が実行された後や、機器が識別された時点から予め定められた時間が経過した後に、その識別された機器に関する情報が記憶部26から削除されてもよい。
機器画像60の表示中に、ユーザがフレキシブルディスプレイ(図8に示す例では端末装置10自体)に対して変形操作を行った場合、端末装置10の検知部24は、その変形操作を検知し、特定部30は、図6に示されている機器機能管理テーブルにおいて、その変形操作に対応付けられている実行単独機能を特定する。制御部28は、その実行単独機能をロボット58に実行させる。制御部28は、その実行単独機能を示す情報をフレキシブルディスプレイに表示させ、ユーザが実行指示を与えた場合に、その実行単独機能をロボット58に実行させてもよい。また、制御部28は、その変形操作に応じて機器画像60を変更する。以下、この処理について詳しく説明する。
端末装置10の検知部24は、フレキシブルディスプレイの変化(変形)を検知し、その変化が発生した位置を特定する。次に、制御部28は、その変化が発生した位置に表示されているコンテンツ(例えば機器画像60)を特定し、そのコンテンツの内容を変更する。なお、機器画像が表示されずに、コンテンツを示す情報(例えば、ロボット58の名称を示す文字列)が表示されている場合、制御部28は、変化が発生した位置に表示されているコンテンツを示す情報(例えば文字列)を特定してもよい。制御部28は、例えば、コンテンツに色や画像を追加してもよいし、コンテンツの一部又は全部を削除してもよいし、コンテンツを他のコンテンツ(他の画像)に差し替えてもよい。制御部28は、コンテンツの変更後、新たな変形操作が検知されない場合、変更後の表示内容を維持してもよいし、予め定められた時間が経過した後、表示内容を変更前のコンテンツに戻してもよい。また、特定部30は、コンテンツに紐付く機器(例えばロボット58)を特定すると共に、変形操作に対応付けられている実行単独機能を特定する。制御部28は、コンテンツに紐付く機器にその実行単独機能を実行させる。なお、コンテンツの変更処理とコンテンツに紐付く機器の特定処理の順番は、上記の順番と逆であってもよいし、それらは同時に行われてもよい。
以下、具体例を挙げて説明する。ユーザが、フレキシブルディスプレイ(端末装置10自体)の左側部10aの全体を、フレキシブルディスプレイの右側部10bに向けて折り曲げたものとする。つまり、ユーザがフレキシブルディスプレイを、図8に示されている矢印62の方向に折り曲げたものとする。図9には、端末装置10の下面側(下面側ディスプレイ50側)から端末装置10を見たときの状態が示されている。フレキシブルディスプレイの左側部10aが、矢印62の方向(右側部10bへの方向)に折り曲げられている。
検知部24は、上記の曲げ操作によるフレキシブルディスプレイの変化(変形)を検知し、その変化が発生した位置を特定し、制御部28は、その位置に表示されている機器画像を特定する。上記の曲げ操作によって、機器画像60が表示されている位置に変化が発生した場合、制御部28は、機器画像60を変更対象の画像として識別する。また、特定部30は、機器画像60に紐付くロボット58を制御対象として識別すると共に、図6に示されている機器機能管理テーブルを参照することで、ロボット58が有する単独機能群の中で上記の曲げ操作(変形操作の一態様)に対応付けられている実行単独機能を特定する。例えば、その実行単独機能は、フレキシブルディスプレイを曲げた方向にロボット58の顔部を向けるという機能(動作、処理)であるものとする。
制御部28は、上記のようにして特定された実行単独機能をロボット58に実行させるための制御情報をロボット58に送信する。例えば、制御部28は、ロボット58のアドレス情報を取得し、そのアドレス情報を用いてロボット58との間で通信を確立し、上記の制御情報をロボット58に送信する。ロボット58は、その制御情報に従って、図10に示すように、自身の頭部を動かすことで(首を中心に頭部を回転させることで)、フレキシブルディスプレイを曲げた方向(矢印62の方向)と同じ矢印64の方向(ユーザから見て右方向)に、顔部を向ける。また、制御部28は、機器画像60中の頭部画像を、矢印62の方向と同じ矢印66の方向(ユーザから見て右方向)に向ける。これにより、変更後の機器画像60は、実際のロボット58の状態(顔部が、ユーザから見て右方向を向いた状態)を表している。
制御部28は、特定された実行単独機能の通知を制御し、ユーザによって実行指示が与えられた場合、その実行単独機能をロボット58に実行させてもよい。例えば、制御部28は、実行単独機能の通知として、実行単独機能を示す情報をフレキシブルディスプレイに表示させてもよいし、実行単独機能を示す情報を音声情報として出力してもよい。
実施例1によれば、ユーザがフレキシブルディスプレイを変形させることで、その変形に応じた機能(動作、処理)が機器によって実行される。これにより、簡易な操作によって、機能が機器によって実行される。また、機器画像に、その機能の実行の結果が反映される。
また、変形操作の速さに連動して機器が動作してもよい。上記の例で説明すると、フレキシブルディスプレイを曲げる速さが速いほど、ロボット58の頭部の回転速度が速くなる。
制御部28は、変形操作の態様(検知部24が検知したフレキシブルディスプレイの変化の態様)に応じて実行単独機能を変えてもよい。例えば、フレキシブルディスプレイを折り曲げる操作と捩じる操作とには、それぞれ異なる実行単独機能が対応付けられており、特定部30は、検知された変形操作に対応付けられている実行単独機能を特定する。変形操作の態様毎に異なる実行単独機能を対応付けておくことで、簡易な操作で様々な単独機能を実行することができる。もちろん、各変形操作に同じ実行単独機能が対応付けられていてもよい。このような対応付けは、ユーザや管理者等によって変更されてもよい。
ユーザによる変形操作によって機器画像が変更された場合において、その機器画像に紐付く機器の制御が不可能な場合、端末装置10の制御部28は、変更後の機器画像を元の機器画像に戻して表示する。制御が不可能となる原因は特に限定されないが、例えば、通信エラー等によって制御が不可能になる。例えば図8に示すように、ユーザがフレキシブルディスプレイを矢印62の方向に曲げた場合、図11に示すように、制御部28は、機器画像60中の頭部画像を矢印66の方向に向ける。端末装置10によるロボット58の制御が不可能な場合、ロボット58は、変形操作に応じた動作を実行しない。例えば図11に示すように、ロボット58は、顔部を変形操作の方向に向けずに、正面に向けている。この場合、図12に示すように、制御部28は、変更後の機器画像60を元の機器画像60に戻すことで、頭部画像が正面を向いた状態の機器画像60をフレキシブルディスプレイに表示させる。こうすることで、ロボット58の現在の外観の状態を表す機器画像60が表示される。
別の例として、制御部28は、変形操作に対応する実行単独機能をロボット58に実行させ、その実行が完了した旨を示す情報をロボット58から受信した場合に(ロボット58からフィードバックを受けた場合に)、機器画像60を変更してもよい。上記の例では、ロボット58が、顔部を矢印64の方向に向けると(図10参照)、その旨を示す情報を端末装置10に送信する。制御部28は、その情報を受信すると、機器画像60中の頭部画像を、矢印66の方向に向ける(図10参照)。
(実施例2)
実施例2について説明する。図13には、ロボット58、複合機68及び端末装置10が示されている。ロボット58と複合機68は、機器の一例である。ロボット58、複合機68及び端末装置10は、現実空間に存在する。上記のAR技術や他の識別技術を用いることで、特定部30によって、ロボット58と複合機68が識別されている。
実施例2について説明する。図13には、ロボット58、複合機68及び端末装置10が示されている。ロボット58と複合機68は、機器の一例である。ロボット58、複合機68及び端末装置10は、現実空間に存在する。上記のAR技術や他の識別技術を用いることで、特定部30によって、ロボット58と複合機68が識別されている。
端末装置10の正面側ディスプレイ40には、機器画像60,70が表示されている。機器画像70は、複合機68に紐付く画像である。機器画像70は、複合機68を撮影することで生成された画像であってもよいし、複合機68を模式的に表す画像(例えばアイコン)であってもよい。ユーザは、UI部20を操作することで、機器画像60,70の表示位置や表示サイズを変えることができる。なお、機器画像60,70と共に、又は、機器画像60,70に代えて、ロボット58と複合機68のそれぞれの名称を示す文字列が表示されてもよい。
複数の機器画像(図13に示す例では、機器画像60,70)の表示中に、ユーザがフレキシブルディスプレイ(図13に示す例では端末装置10自体)に対して変形操作を行った場合、端末装置10の特定部30は、図7に示されている連携機能管理テーブルにおいて、ロボット58と複合機68とを利用して実行可能な連携機能群の中で、その変形操作に対応付けられている実行連携機能を特定する。制御部28は、その実行連携機能をロボット58と複合機68に実行させる。制御部28は、その実行連携機能を示す情報をフレキシブルディスプレイに表示させ、ユーザが実行指示を与えた場合に、その実行連携機能をロボット58と複合機68に実行させてもよい。また、制御部28は、その変形操作に応じて機器画像60,70を変更してもよい。
例えば、ユーザが、フレキシブルディスプレイ(端末装置10自体)の左側部10aの全体を、フレキシブルディスプレイの右側部10bに向けて折り曲げたものとする。つまり、ユーザがフレキシブルディスプレイを、矢印72の方向に折り曲げたものとする。
検知部24は、上記の曲げ操作によるフレキシブルディスプレイの変化(変形)を検知し、その変化が発生した位置を特定し、制御部28は、その位置に表示されている機器画像を特定する。上記の曲げ操作によって、機器画像60,70が表示されている位置に変化が発生した場合、特定部30は、機器画像60に紐付くロボット58と機器画像70に紐付く複合機68を制御対象(連携対象)として識別すると共に、図7に示されている連携機能管理テーブルを参照することで、ロボット58と複合機68とを利用して実行可能な連携機能群の中で上記の曲げ操作に対応付けられている実行連携機能を特定する。例えば、その実行連携機能は、複合機に排出されている用紙をロボットに取ってきてもらうという機能(動作、処理)であるものとする。
制御部28は、図14に示すように、上記のようにして特定された実行連携機能を示す情報を正面側ディスプレイ40に表示させる。制御部28は、実行連携機能を示す情報を音声情報として出力してもよい。ユーザが、その実行連携機能の実行指示を与えた場合、制御部28は、ロボット58と複合機68のそれぞれのアドレス情報を取得し、各アドレス情報を用いて、連携対象の機器(ロボット58、複合機68)との間で通信を確立し、実行連携機能をロボット58と複合機68とに実行させるための制御情報を、ロボット58と複合機68に送信する。ロボット58と複合機68は、その制御情報に従って、実行連携機能を実行する。なお、制御部28は、上記の曲げ操作が行われた場合、ユーザによって実行指示が与えられなくても、実行連携機能をロボット58と複合機68に実行させてもよい。
実施例2によれば、ユーザがフレキシブルディスプレイを変形させることで、その変形に応じた連携機能が通知又は実行される。これにより、簡易な操作によって、連携機能画通知又は実行される。
制御部28は、変形操作の態様(検知部24が検知したフレキシブルディスプレイの変化の態様)に応じて連携機能を変えてもよい。例えば、フレキシブルディスプレイを折り曲げる操作と捩じる操作とには、それぞれ異なる実行連携機能が対応付けられており、特定部30は、検知された変形操作に対応付けられている実行連携機能を特定する。変形操作の態様毎に異なる実行連携機能を対応付けておくことで、簡易な操作で様々な連携機能を実行することができる。もちろん、各変形操作に同じ実行連携機能が対応付けられていてもよい。このような対応付けは、ユーザや管理者等によって変更されてもよい。
例えば、制御部28は、曲げ操作の態様(検知部24が検知したフレキシブルディスプレイの曲げ変化の態様)に応じて連携機能を変えてもよい。例えば、図15に示すように、ユーザが、フレキシブルディスプレイの右側部10bの全体を、フレキシブルディスプレイの左側部10aに向けて折り曲げたものとする。つまり、ユーザがフレキシブルディスプレイを、矢印74の方向(図13に示されている矢印72の逆方向)に折り曲げたものとする。この場合、特定部30は、その曲げ操作に対応付けられている実行連携機能を特定する。例えば、フレキシブルディスプレイを矢印74の方向に曲げる操作には、矢印72の方向に曲げる操作とは異なる実行連携機能が対応付けられており、特定部30は、その実行連携機能を特定する。これにより、曲げ操作を行う方向を変えることで、様々な連携機能を実行することができる。なお、制御部28は、その実行連携機能を示す情報の通知を制御してもよいし、その実行連携機能をロボット58と複合機68に実行させてもよい。
なお、変形操作によって3つ以上の機器が制御対象(連携対象)として識別された場合、それら3つ以上の機器を利用して実行可能な連携機能群の中から、その変形操作に対応付けられている実行連携機能が選択され、その実行連携機能の通知又は実行が制御される。
(実施例3)
実施例3について説明する。図16には、端末装置10が示されている。実施例2と同様に、ロボット58と複合機68が識別されて、ロボット58に紐付く機器画像60と複合機68に紐付く機器画像70が、正面側ディスプレイ40に表示されている。
実施例3について説明する。図16には、端末装置10が示されている。実施例2と同様に、ロボット58と複合機68が識別されて、ロボット58に紐付く機器画像60と複合機68に紐付く機器画像70が、正面側ディスプレイ40に表示されている。
ユーザが、フレキシブルディスプレイ(端末装置10自体)の端部(角部)76を、正面側ディスプレイ40側に(矢印78が示す方向に)折り曲げた場合、制御部28は、その曲げ操作の方向(矢印78が示す方向)の延長線80上に表示されている機器画像60を、制御対象に紐付く機器画像として特定する。延長線80は、1又は複数の画素分の幅を有している。延長線80の幅は、ユーザや管理者等によって任意の値に設定されてもよい。また、制御部28は、曲げ操作によってフレキシブルディスプレイに加えられた力の方向の延長線上に表示されている機器画像を、制御対象に紐付く機器画像として特定してもよい。図16に示す例では機器画像60が延長線80上に表示されているため、特定部30は、機器画像60に紐付くロボット58を制御対象として識別する。次に、特定部30は、図6に示されている機器機能管理テーブルを参照することで、ロボット58が有する単独機能群の中で、上記の曲げ操作に対応付けられている実行単独機能を特定する。制御部28は、その実行単独機能の通知を制御してもよいし、その実行単独機能をロボット58に実行させてもよい。
また、図17に示すように、機器画像60,70が延長線80上に表示されている場合、制御部28は、機器画像60に紐付くロボット58と機器画像70に紐付く複合機68を、制御対象(連携対象)に紐付く機器画像として特定する。特定部30は、機器画像60に紐付くロボット58と機器画像70に紐付く複合機68を、制御対象(連携対象)として識別する。次に、特定部30は、図7に示されている連携機能管理テーブルを参照することで、ロボット58と複合機68とを利用して実行可能な連携機能群の中で、上記の曲げ操作に対応付けられている実行連携機能を特定する。制御部28は、その実行連携機能の通知を制御してもよいし、その実行連携機能をロボット58と複合機68に実行されてもよい。
なお、ユーザは、UI部20を操作することで、機器画像60,70が延長線80上に表示されるように、機器画像60,70の表示位置を変えることができる。例えば、ユーザは、図17に示すように、機器画像60,70が直線状に並ぶように機器画像60,70の表示位置を変え、その後、端部76を矢印78の方向に折り曲げてもよい。こうすることで、機器画像60,70の表示位置を変える前は、機器画像60,70が延長線80上に表示されていない場合であっても、機器画像60,70が延長線80上に表示されて、ロボット58と複合機68が連携対象として識別される。
実施例3によれば、複数の機器画像が表示されている場合であっても、操作方向の延長線上に1つの機器画像のみが表示されている場合、その機器画像に紐付く機器(単体の機器)が制御対象として識別され、その機器が有する実行単独機能の通知又は実行が制御される。また、操作方向の延長線上に複数の機器画像が表示されている場合、各機器画像に紐付く各機器が制御対象(連携対象)として識別され、それら複数の機器を利用して実行可能な実行連携機能の通知又は実行が制御される。こうすることで、フレキシブルディスプレイに対する変形操作に応じて、単独機能と連携機能とを切り替えることができる。
(実施例4)
実施例4について説明する。具体例4では、制御部28は、複数の機器画像の並び順に応じて実行連携機能を変える。例えば、制御部28は、フレキシブルディスプレイにおいて操作が行われた箇所を起点として、その操作の方向に表示されている複数の機器画像の並び順に応じて実行連携機能を変える。以下、実施例4について詳しく説明する。
実施例4について説明する。具体例4では、制御部28は、複数の機器画像の並び順に応じて実行連携機能を変える。例えば、制御部28は、フレキシブルディスプレイにおいて操作が行われた箇所を起点として、その操作の方向に表示されている複数の機器画像の並び順に応じて実行連携機能を変える。以下、実施例4について詳しく説明する。
図18には、実施例4に係る連携機能管理テーブルの一例が示されている。この連携機能管理テーブルにおいては、一例として、機器IDの組み合わせを示す情報と、連携対象の機器名(例えば各機器の種類)を示す情報と、実行連携機能を示す情報(実行連携機能情報)と、配置順を示す情報と、優先順位を示す情報と、が互いに対応付けられている。機器IDと機器名はデバイス識別情報の一例に相当する。なお、3つ以上の機器を利用することで実行可能な連携機能が定められてもよい。この場合、3つ以上の機器の組み合わせと連携機能とが対応付けられ、その対応付けが連携機能管理テーブルに登録される。
配置順は、フレキシブルディスプレイに対して行われた操作の方向に表示されている機器画像の並び順に対応している。
優先順位は、実行連携機能に関する情報の通知(例えば表示や音声出力)の優先順位である。例えば、PC(A)と複合機Bとの組み合わせには、連携機能として「スキャン転送機能」と「プリント機能」が対応付けられている。例えば、操作方向に対して、複合機Bに紐付く機器画像、PC(A)に紐付く機器画像の並び順で各機器画像が表示されている場合、「スキャン転送機能」の優先順位が「1位」となり、「プリント機能」の優先順位は「2位」となる。この場合、「スキャン転送機能」に関する情報が「プリント機能」に関する情報よりも優先的に(例えば上位に)通知される。それとは逆に、操作方向に対して、PC(A)に紐付く機器画像、複合機Bに紐付く機器画像の並び順で各機器画像が表示されている場合、「プリント機能」の優先順位が「1位」となり、「スキャン転送機能」の優先順位が「2位」となる。この場合、「プリント機能」に関する情報が「スキャン転送機能」に関する情報よりも優先的に(例えば上位に)表示される。もちろん、制御部28は、実行連携機能に関する情報を通知すると共に、又は、その情報を通知せずに、優先順位が「1位」の実行連携機能を連携対象の複数の機器に実行させてもよい。
例えば、図17に示す例では、端部76が、フレキシブルディスプレイに対する操作の起点に該当する。その起点の位置を基準として、その操作の方向の延長線80上に、機器画像60,70の並び順で各機器画像が表示されている。特定部30は、図18に示されている連携機能管理テーブルを参照することで、ロボット58と複合機68とを利用して実行可能な連携機能であって、機器画像60,70の並び順に対応付けられている実行連携機能(例えば実行連携機能A)を、優先順位が「1位」の実行連携機能として特定する。また、特定部30は、それ以外の実行連携機能(例えば実行連携機能B)を、優先順位が「2位」の実行連携機能として特定する。制御部28は、実行連携機能Aを実行連携機能Bよりも優先的に通知する(例えば上位に表示する)。制御部28は、実行連携機能Aをロボット58と複合機68に実行させてもよい。
図19には別の例が示されている。図19に示す例では、操作起点の位置を基準として、操作方向の延長線80上に、機器画像70,60の並び順で各機器画像が表示されている。特定部30は、図18に示されている連携機能管理テーブルを参照することで、ロボット58と複合機68とを利用して実行可能な連携機能であって、機器画像70,60の並び順に対応付けられている実行連携機能(例えば実行連携機能B)を、優先順位が「1位」の実行連携機能として特定する。また、特定部30は、それ以外の実行連携機能(例えば実行連携機能A)を、優先順位が「2位」の実行連携機能として特定する。制御部28は、実行連携機能Bを実行連携機能Aよりも優先的に通知する(例えば上位に表示する)。制御部28は、実行連携機能BをロボットBと複合機68に実行させてもよい。
なお、ユーザは、UI部20を操作することで、機器画像60,70の配置順を変えることができる。これにより、同じ変形操作が行われた場合であっても、実行連携機能の優先順位を変えることができる。
実施例4によれば、変形操作の方向に対する機器画像の並び順に応じて、実行連携機能に関する情報の通知順(例えば表示順)や実行が変更されるので、その並び順や変形操作の方向を変えることで、様々な連携機能の通知や実行を行うことができる。
例えば、機器画像の並び順は、各機器で利用される機能の順番や、連携する複数の機器間を移動するデータの移動順番を兼ねている場合がある。それ故、操作方向に対する並び順に応じて、実行連携機能の通知順や実行を変えることで、ユーザが利用するであろうと予測される実行連携機能が優先的に通知又は実行される。つまり、ユーザが利用する可能性の高い実行連携機能が優先的に通知又は実行される。例えば、操作方向の延長線上において、複合機Bに紐付く機器画像、PC(A)に紐付く機器画像の並び順で各機器画像が表示されている場合、「PC(A)よりも先に複合機Bの機能を利用し、複合機BからPC(A)へデータを転送する」という連携機能がユーザによって利用されると予測される。それとは逆に、PC(A)に紐付く機器画像、複合機Bに紐付く機器画像の並び順で各機器画像が表示されている場合、「複合機Bよりも先にPC(A)の機能を利用し、PC(A)から複合機Bへデータを転送する」という連携機能がユーザによって利用されると予測される。それ故、機器画像の並び順に応じて実行連携機能の通知順や実行を変えることで、ユーザが利用する可能性の高い実行連携機能が優先的に通知又は実行される。
(実施例5)
実施例5について説明する。実施例5では、機器に紐付く機器画像内の部分毎に異なる単独機能が割り当てられている。特定部30は、フレキシブルディスプレイにおいて変化した位置に表示されている機器画像に紐付く機器の部分を利用して実行可能な単独機能を特定する。以下、実施例5について詳しく説明する。
実施例5について説明する。実施例5では、機器に紐付く機器画像内の部分毎に異なる単独機能が割り当てられている。特定部30は、フレキシブルディスプレイにおいて変化した位置に表示されている機器画像に紐付く機器の部分を利用して実行可能な単独機能を特定する。以下、実施例5について詳しく説明する。
図20には、実施例5に係る機器機能管理テーブルの一例が示されている。この機器機能管理テーブルにおいては、一例として、機器IDと、機器名(例えば機器の種類)を示す情報と、機器画像内の位置(部分の位置)を示す情報と、その機器画像内の位置(部分の位置)に割り当てられている単独機能を示す情報(単独機能情報)と、画像IDと、が対応付けられている。機器画像内の位置は、機器に紐付く機器画像内の特定の位置(特定の部分)であり、例えば、機器を模式的に表す機器画像内の特定の位置や、カメラによって撮影された機器画像内の特定の位置である。機器画像内の位置(部分)毎に、異なる機能が割り当てられている。
以下、図21を参照して、機器の部分について説明する。図21に示すように、複合機68に紐付く機器画像70が、フレキシブルディスプレイに表示されている。上記のように識別技術(例えばAR技術)を用いることで複合機68が識別される。また、複合機68の各部分も、上記の識別技術を用いることで識別される。例えば、機器の各部分を撮影してマーカレス型AR技術を用いることで、各部分が識別される。
例えば、機器画像70において複合機68の本体部分に対応する位置(部分画像70a)には、「プリント機能」が割り当てられている。機器画像70において複合機68の原稿カバーや原稿ガラスや自動原稿給紙装置に対応する位置(部分画像70b)には、「スキャン機能」が割り当てられている。機器画像70において後処理装置に対応する位置(部分画像70c)には、「ステープル止め機能」が割り当てられている。「ステープル止め機能」は、出力された用紙をステープラによって止める機能である。
ユーザは、各部分画像を、機器画像から切り離して操作することができる。例えば、機器画像70が表示されているときに、ユーザが部分画像70bを選択して機器画像70から切り離す操作を行うと、制御部28は、部分画像70bを機器画像70から離してフレキシブルディスプレイに表示させる。例えば、ユーザは、ドラッグ&ドロップ操作によって部分画像を操作することができる。具体的には、ユーザは部分画像を選択し、ドラッグ操作によって部分画像を機器画像から切り離して操作し、目的の表示位置でドロップ操作を行うことで、その表示位置に部分画像を表示させることができる。もちろん、部分画像を機器画像から切り離す操作が行われた場合であっても、当該部分画像は元の位置に表示されていてもよい。
例えば、図21に示すように、端部76が矢印78の方向に曲げられており、その曲げ操作の方向の延長線80上に、機器画像70に含まれる部分画像70aが表示されている。特定部30は、図20に示されている機器機能管理テーブルを参照することで、機器画像70内の部分画像70aの位置に対応付けられている単独機能(例えばプリント機能)を特定する。制御部28は、プリント機能を実行単独機能として通知してもよいし、プリント機能を複合機68に実行させてもよい。
なお、延長線80上に複数の部分画像(例えば部分画像70a,70b)が表示されている場合、特定部30は、図20に示されている機器機能管理テーブルを参照することで、機器画像内の各部分画像の位置に対応付けられている単独機能(例えば、プリント機能とスキャン機能)を特定する。制御部28は、プリント機能とスキャン機能をそれぞれ実行単独機能として通知してもよいし、プリント機能又はスキャン機能を複合機68に実行させてもよい。別の例として、特定部30は、各部分画像に紐付く各単独機能を利用して実行可能な連携機能を特定し、制御部28は、その連携機能を通知又は実行してもよい。
実施例5によれば、制御対象としての機器が複数の単独機能を有している場合に、単独機能が個別的に指定され、その指定された単独機能が通知又は実行される。
なお、ユーザは、UI部20を操作することで、機器画像の全体の表示位置を変えたり、機器画像から部分画像を切り離したりして、ユーザが希望する部分画像を延長線80上に表示させてもよい。
(実施例6)
実施例6について説明する。実施例6では、実施例5と同様に、機器に紐付く機器画像内の部分毎に異なる単独機能が割り当てられている。特定部30は、フレキシブルディスプレイにおいて変化した位置に表示されている各部分画像に紐付く各部分を利用して実行可能な連携機能を特定する。以下、実施例6について詳しく説明する。
実施例6について説明する。実施例6では、実施例5と同様に、機器に紐付く機器画像内の部分毎に異なる単独機能が割り当てられている。特定部30は、フレキシブルディスプレイにおいて変化した位置に表示されている各部分画像に紐付く各部分を利用して実行可能な連携機能を特定する。以下、実施例6について詳しく説明する。
図22には、実施例6に係る機器機能管理テーブルの一例が示されている。この機器機能管理テーブルにおいては、一例として、機器IDと、機器名(例えば機器の種類)を示す情報と、機器の部分の名称(例えば部分の種類)を示す情報と、その部分を識別するための部分識別情報としての部分IDと、その部分に割り当てられている単独機能(その部分が有する単独機能)を示す情報と、その部分に紐付く部分画像を識別するための部分画像IDと、が互いに対応付けられている。部分画像は、カメラによる撮影によって得られた機器の部分の外観を表す画像である。もちろん、機器の部分を模式的に表す部分画像が、当該部分に対応付けられていてもよい。例えば、機器の部分毎に異なる機能が割り当てられている。
具体例を挙げて説明すると、PC(A)の表示部には画面表示機能が割り当てられており、その表示部に紐付く部分画像の部分画像IDには、画面表示機能を示す情報が対応付けられている。画面表示機能は、情報をPC(A)にて表示する機能である。PC(A)の本体部にはデータ保存機能が割り当てられており、その本体部に紐付く部分画像の部分画像IDには、データ保存機能を示す情報が対応付けられている。データ保存機能は、データをPC(A)に保存する機能である。
また、複合機Bの本体部にはプリント機能が割り当てられており、その本体部に紐付く部分画像の部分画像IDには、プリント機能を示す情報が対応付けられている。複合機Bの読取部(例えば、複合機Bの原稿カバーや原稿ガラスや自動原稿給紙装置に対応する部分)にはスキャン機能が割り当てられており、その読取部に紐付く部分画像の部分画像IDには、スキャン機能を示す情報が対応付けられている。複合機Bの後処理装置にはステープル止め機能が割り当てられており、その後処理装置に紐付く部分画像の部分画像IDには、ステープル止め機能を示す情報が対応付けられている。
機器の部分に割り当てられている単独機能は、例えば、マーカレス型AR技術を用いることによって特定(識別)される。例えば、機器の部分がカメラ(例えば端末装置10のカメラ22)によって撮影された場合、特定部30は、図22に示されている機器機能管理テーブルにおいて、その外観画像データに対応付けられている単独機能を特定(識別)する。これにより、撮影された部分に割り当てられている単独機能が特定(識別)される。例えば、複合機Bの本体部がカメラ22によって撮影された場合、特定部30は、機器機能管理テーブルにおいて、複合機Bの本体部を表す外観画像データに対応付けられているプリント機能を特定する。これにより、複合機Bの本体部に割り当てられている機能がプリント機能であることが特定される。
もちろん、機器の部分に割り当てられている単独機能は、マーカ型AR技術を用いることによって特定(識別)されてもよい。例えば、機器の各部分に、部分を識別するための部分識別情報(例えば部分ID)がコード化された2次元バーコード等のマーカが設けられている。部分に設けられているマーカがカメラによって撮影されてマーカ型AR技術が適用された場合、その部分の部分識別情報(例えば部分ID)が取得される。このように部分識別情報が取得されると、特定部30は、図22に示されている機器機能管理テーブルにおいて、その部分識別情報(例えば部分ID)に対応付けられている単独機能を特定(識別)する。
図23には、実施例6に係る連携機能管理テーブルの一例が示されている。この連携機能管理テーブルは、複数の部分が有する単独機能を利用する連携機能を示す情報であり、その連携機能管理テーブルにおいては、一例として、機器の部分の組み合わせを示す情報と、部分IDの組み合わせを示す情報と、その組み合わせに含まれる複数の部分が有する単独機能を利用して実行可能な実行連携機能を示す情報と、が互いに対応付けられている。もちろん、連携機能管理テーブルにおいては、機器の部分と機器の全体との組み合わせを示す情報と、その機器の部分が有する単独機能と機器の全体が有する単独機能とを利用する連携機能を示す情報と、が対応付けられていてもよい。
具体例を挙げて説明すると、PC(A)の表示部と複合機Bの本体部との組み合わせには、連携機能としての「プリント機能」が割り当てられている。連携機能としての「プリント機能」は、PC(A)に保存されているデータを複合機Bに送信して、そのデータを複合機Bによって印刷する機能である。
また、複合機Bの本体部とプロジェクタCの本体部との組み合わせには、連携機能としての「プリント機能」が割り当てられている。連携機能としての「プリント機能」は、プロジェクタCによって投影されているデータを複合機Bに送信して、そのデータを複合機Bによって印刷する機能である。
また、複合機Bの読取部とプロジェクタCの本体部との組み合わせには、連携機能としての「スキャン投影機能」が割り当てられている。連携機能としての「スキャン投影機能」は、例えば、複合機Bによるスキャンによって生成されたデータをプロジェクタCに送信して、そのデータをプロジェクタCによって投影する機能である。
なお、連携機能は、同一の機器に含まれる複数の部分が有する単独機能を利用して実行可能な機能であってもよいし、互いに異なる複数の機器の部分が有する単独機能を利用して実行可能な機能であってもよい。また、連携機能は、3つ以上の部分が有する単独機能を利用して実行可能な機能であってもよい。
図24を参照して、実施例6について具体例を挙げて説明する。図24に示すように、複合機68に紐付く機器画像70と、PC(A)に紐付く機器画像82が、フレキシブルディスプレイに表示されている。複合機68とPC(A)は、上記の識別技術によって識別されている。機器画像82は、PC(A)の本体部(CPU等のプロセッサ、HDDやSSD等の記憶装置、その他の基盤等を含む)に紐付く部分画像82aと、PC(A)のディスプレイに紐付く部分画像82bと、を含む。
例えば、端部76が矢印78の方向に曲げられており、その曲げ操作の方向の延長線80上に、機器画像70に含まれる部分画像70aと、機器画像82に含まれる部分画像82bが表示されている。特定部30は、図23に示されている連携機能管理テーブルを参照することで、部分画像70aに紐付く部分と部分画像82bに紐付く部分との組み合わせに対応付けられている実行連携機能を特定する。制御部28は、その実行連携機能を通知してもよいし、その実行連携機能を複合機68とPC(A)に実行させてもよい。
実施例6によれば、制御対象としての機器が複数の単独機能を有している場合に、複数の単独機能が個別的に指定され、その指定された複数の単独機能を利用する連携機能が通知又は実行される。
なお、連携機能は、互いに同じ機器又は互いに異なる機器の部分同士の組み合わせを利用する機能であってもよいし、機器の全体と機器の部分との組み合わせを利用する機能であってもよい。
また、実施例4,6を組み合わせることで、操作方向に対する機器画像や部分画像の並び順に応じて、連携機能が変更されてもよい。
ユーザは、UI部20を操作することで、機器画像の全体の表示位置を変えたり、機器画像から部分画像を切り離したりして、ユーザが希望する部分画像を延長線80上に表示させてもよい。こうすることで、同じ変形操作が行われた場合であっても、様々な連携機能の通知や実行が行われる。
(実施例7)
実施例7について説明する。実施例7では、検知部24は、フレキシブルディスプレイの各画面における変化を検知する。例えば、フレキシブルディスプレイが、第1画面としての正面側ディスプレイ40と第2画面としての背面側ディスプレイ42を有する場合、検知部24は、正面側ディスプレイ40と背面側ディスプレイ42のそれぞれにおける変化を検知する。制御対象としての機器がフレキシブルディスプレイに表示されている場合において、検知部24が、正面側ディスプレイ40に対する有効な変化を検知した場合、特定部30は、その機器の正面側に紐付く単独機能を特定する。一方、検知部24が、背面側ディスプレイ42に対する有効な変化を検知した場合、特定部30は、その機器の背面側に紐付く単独機能を特定する。制御部28は、特定部30によって特定された単独機能を通知又は実行する。例えば、正面側ディスプレイ40側へのフレキシブルディスプレイの曲げ操作が行われた場合、検知部24は、その曲げ操作による変化を、正面側ディスプレイ40に対する有効な変化として検知する。一方、背面側ディスプレイ42側へのフレキシブルディスプレイの曲げ操作が行われた場合、検知部24は、その曲げ操作による変化を、背面側ディスプレイ42に対する有効な変化として検知する。以下、実施例7について詳しく説明する。
実施例7について説明する。実施例7では、検知部24は、フレキシブルディスプレイの各画面における変化を検知する。例えば、フレキシブルディスプレイが、第1画面としての正面側ディスプレイ40と第2画面としての背面側ディスプレイ42を有する場合、検知部24は、正面側ディスプレイ40と背面側ディスプレイ42のそれぞれにおける変化を検知する。制御対象としての機器がフレキシブルディスプレイに表示されている場合において、検知部24が、正面側ディスプレイ40に対する有効な変化を検知した場合、特定部30は、その機器の正面側に紐付く単独機能を特定する。一方、検知部24が、背面側ディスプレイ42に対する有効な変化を検知した場合、特定部30は、その機器の背面側に紐付く単独機能を特定する。制御部28は、特定部30によって特定された単独機能を通知又は実行する。例えば、正面側ディスプレイ40側へのフレキシブルディスプレイの曲げ操作が行われた場合、検知部24は、その曲げ操作による変化を、正面側ディスプレイ40に対する有効な変化として検知する。一方、背面側ディスプレイ42側へのフレキシブルディスプレイの曲げ操作が行われた場合、検知部24は、その曲げ操作による変化を、背面側ディスプレイ42に対する有効な変化として検知する。以下、実施例7について詳しく説明する。
図25には、フレキシブルディスプレイ(端末装置10)の背面側ディスプレイ42が示されている。背面側ディスプレイ42には、制御対象としてのロボット58の背面を表す背面画像84が表示されている。正面側ディスプレイ40には、図8に示すように、ロボット58の正面を表す正面画像(機器画像60として表示されている画像)が表示されている。
例えば、図8に示すように、ユーザがフレキシブルディスプレイ(端末装置10自体)の左側部10aの全体を、フレキシブルディスプレイの右側部10bに向けて、正面側ディスプレイ40側に折り曲げた場合、検知部24は、その曲げ操作によるフレキシブルディスプレイの変化を、正面側ディスプレイ40に対する有効な変化として検知する。この場合、特定部30は、正面側ディスプレイ40に表示されているロボット58の正面に紐付く単独機能を特定する。すなわち、ロボット58の正面や背面にそれぞれ同一又は異なる単独機能が割り当てられており、その割り当てを示す情報が機器機能管理情報として端末装置10やサーバ16等に記憶されている。特定部30は、その機器機能管理情報を参照することで、正面に紐付く単独機能を特定する。例えば、その単独機能は、ロボット58の正面の部分が有する機能である。
一方、図25に示すように、ユーザがフレキシブルディスプレイの右側部10bの全体を、フレキシブルディスプレイの左側部10aに向けて、背面側ディスプレイ42側に折り曲げた場合(矢印86の方向に曲げた場合)、検知部24は、その曲げ操作によるフレキシブルディスプレイの変化を、背面側ディスプレイ42に対する有効な変化として検知する。この場合、特定部30は、上記の機器管理情報を参照することで、背面側ディスプレイ42に表示されているロボット58の背面に紐付く単独機能を特定する。例えば、その単独機能は、ロボット58の背面の部分が有する機能である。
制御部28は、特定部30によって特定された単独機能を通知又は実行する。
実施例7によれば、複数の表示部を有するフレキシブルディスプレイに対する変形操作に応じた様々な機能が、通知又は実行される。
また、実施例7は、連携機能の特定に適用されてもよい。例えば、フレキシブルディスプレイが正面側ディスプレイ40側に曲げられた場合、特定部30は、正面側ディスプレイ40に表示されている各機器の部分が有する単独機能(例えば正面の部分が有する単独機能)を利用して実行可能な連携機能を特定する。また、フレキシブルディスプレイが背面側ディスプレイ42側に曲げられた場合、特定部30は、背面側ディスプレイ42に表示されている各機器の部分が有する単独機能(例えば背面の部分が有する単独機能)を利用して実行可能な連携機能を特定する。
また、実施例4,7を組み合わせることで、機器画像の並び順に応じて、連携機能が変更されてもよい。
(連携時の接続処理)
ここで、連携機能を実行するときの動作について説明する。連携機能を実行する場合、端末装置10から連携対象の各機器に対して接続要求が送信され、端末装置10と各機器との間に通信が確立される。以下、図26を参照して、この接続処理について説明する。図26は、その処理を示すシーケンス図である。
ここで、連携機能を実行するときの動作について説明する。連携機能を実行する場合、端末装置10から連携対象の各機器に対して接続要求が送信され、端末装置10と各機器との間に通信が確立される。以下、図26を参照して、この接続処理について説明する。図26は、その処理を示すシーケンス図である。
連携対象の機器としてロボット58と複合機68が識別されている場合、端末装置10は、連携対象の機器(ロボット58と複合機68)に接続要求を示す情報を送信する(S01)。例えば、連携対象の各機器のアドレス情報がサーバ16に記憶されている場合、端末装置10は、各機器のアドレス情報をサーバ16から取得する。デバイス識別情報にアドレス情報が含まれている場合、端末装置10の制御部28は、各機器のデバイス識別情報からアドレス情報を取得する。もちろん、端末装置10の記憶部26に各機器のアドレス情報が記憶されていてもよい。端末装置10は、連携対象の各機器(例えばロボット58と複合機68)のアドレス情報を用いて、連携対象の各機器に接続要求を示す情報を送信する。
接続要求を示す情報を受けたロボット58と複合機68は、端末装置10との接続の許可又は不許可を判断する(S02)。例えば、ロボット58と複合機68が、接続が許可されていない機器に該当する場合や、接続を要求している装置の数が上限を超えている機器に該当する場合、接続は許可されない。なお、端末装置10からの接続が許可された場合、ロボット58と複合機68のそれぞれの固有の設定情報が端末装置10から変更されないように、その変更操作が禁止されてもよい。例えば、複合機68の色彩のパラメータや、節電に移行する際の設定時間等の変更が禁止されてもよい。こうすることで、連携対象の機器に対するセキュリティが向上する。別の例として、機器を連携させる場合、当該機器を連携させずに単独で利用する場合と比べて、設定情報の変更が制限されてもよい。例えば、機器を単独で利用する場合と比べて、より少ない設定項目の変更が許可されてもよい。また、稼働履歴のような他のユーザの個人情報の閲覧を禁止してもよい。これにより、ユーザの個人情報に対するセキュリティが向上する。
接続の許可又は不許可を示す結果情報が、ロボット58と複合機68から端末装置10に送信される(S03)。ロボット58と複合機68への接続が許可された場合、端末装置10とロボット58との間で通信が確立され、更に、端末装置10と複合機68との間で通信が確立される。
次に、端末装置10において、ユーザが連携機能の実行を指示する(S04)。端末装置10は、その指示に従って、連携機能の実行指示を示す情報(実行指示情報)を、連携対象の各機器(ロボット58と複合機68)に送信する(S05)。ロボット58に送信される実行指示情報には、ロボット58にて実行される処理を示す情報が含まれ、複合機68に送信される実行指示情報には、複合機68にて実行される処理を示す情報が含まれる。
実行指示情報を受けたロボット58と複合機68は、実行指示情報に従って連携機能を実行する(S06)。実行対象の連携機能に、ロボット58と複合機68との間でデータの送受信が行われる処理が含まれている場合、ロボット58と複合機68との間で通信が確立される。例えば、ロボット58に送信される実行指示情報には複合機68のアドレス情報が含まれており、複合機68に送信される実行指示情報にはロボット58のアドレス情報が含まれている。それらのアドレス情報を用いて、ロボット58と複合機68との間で通信が確立される。その通信が確立された後、ロボット58と複合機68は、互いにデータを送受信しながら連携機能を実行する。
連携機能の実行が終了すると、連携機能の実行完了を示す情報が、ロボット58と複合機68から端末装置10に送信される(S07)。端末装置10のUI部20には、連携機能の実行が完了したことを示す情報が表示される(S08)。なお、実行指示を与えた時点から予め設定された時間が経過しても実行完了を示す情報が表示されない場合、端末装置10の制御部28は、エラーを示す情報をUI部20に表示させ、再度、実行指示情報、又は、接続要求を示す情報を、ロボット58と複合機68に送信してもよい。
次に、ユーザは、ロボット58と複合機68の連携状態を解除するか否かを確認し(S09)、解除の有無に応じた処理が実行される(S10)。連携状態を解除する場合、ユーザは、端末装置10を利用して解除の指示を与える。これにより、端末装置10とロボット58との間の通信が解除され、更に、端末装置10と複合機68との間の通信が解除される。同様に、ロボット58と複合機68との間の通信も解除される。連携状態を解除しない場合、継続して実行指示が与えられてもよい。
また、連携対象の機器を増やしてもよい。例えば3つ目の機器が変形操作によって連携対象として指定され、ロボット58と複合機68とを含む3つの機器が連携してもよい。なお、ロボット58と複合機68が既に連携対象として識別されていることを示す情報が、端末装置10やサーバ16に記憶される。
連携対象の機器を示すデバイス識別情報や、実行された連携機能を示す連携機能情報が、端末装置10やサーバ16等に記憶されてもよい。例えば、端末装置10を利用するユーザのユーザアカウント情報(ユーザ識別情報の一例)が取得され、そのユーザアカウント情報と、連携対象の機器を示すデバイス識別情報と、実行された連携機能を示す連携機能情報と、の対応付けを示す履歴情報が作成され、端末装置10やサーバ16等に記憶されてもよい。履歴情報は、端末装置10によって作成されてもよいし、サーバ16によって作成されてもよい。履歴情報を参照することで、どのような連携機能がどのような機器群を用いて実行されたのかが特定される。
なお、連携対象の機器(例えばロボット58と複合機68)は、接続を要求したユーザのユーザアカウント情報や、接続要求元の端末装置10を示す端末識別情報を、履歴情報として記憶してもよい。この履歴情報を参照することで、機器を利用したユーザが特定される。例えば、機器が壊れたときに当該機器を使用していたユーザを特定する場合や、消耗品等について課金処理を行う場合等に、履歴情報を活用してユーザを特定してもよい。履歴情報は、端末装置10やサーバ16に記憶されてもよいし、別の装置に記憶されてもよい。
ユーザアカウント情報は、例えば、端末装置10の記憶部26に予め記憶されており、端末装置10の制御部28は、ユーザ識別手段の一例として機能し、記憶部26からユーザのユーザアカウント情報を読み込んで、端末装置10を使用するユーザを識別する。複数のユーザのユーザアカウント情報が記憶部26に記憶されている場合、ユーザは端末装置10を使用して、自身のユーザアカウント情報を指定する。これにより、当該ユーザのユーザアカウント情報が読み込まれ、当該ユーザが識別される。別の例として、端末装置10の制御部28は、端末装置10にログインしているユーザのユーザアカウント情報を読み込むことでユーザを識別してもよい。更に別の例として、同一の端末装置10に、1つのユーザアカウント情報のみが記憶されている場合、端末装置10の制御部28は、そのユーザアカウント情報を読み込むことでユーザを識別してもよい。なお、ユーザアカウントが設定されておらず、ユーザアカウント情報が作成されていない場合、初期設定が行われ、これにより、ユーザアカウント情報が作成される。
ユーザ毎に連携機能の利用履歴が管理され、読み込まれたユーザアカウント情報が示すユーザによって過去に利用された連携機能を示す情報が、端末装置10のUI部20に表示されてもよい。その利用履歴を示す情報は、端末装置10に記憶されていてもよいし、サーバ16に記憶されていてもよい。また、予め設定された利用頻度以上の頻度で利用されている連携機能を示す情報が表示されてもよい。このようなショートカット機能を設けることにより、連携機能に関するユーザの操作の手間が軽減される。
また、変形操作によって指定された複数の機器の組み合わせに対応付けられている連携機能が連携機能管理テーブルに登録されていない場合、特定部30は、利用可能な連携機能が登録されていないと判断する。この場合、制御部28は、利用可能な連携機能が登録されていないことを示す情報をUI部20の表示部に表示させる。このような場合であっても、機器の更新状況等によって、連携機能の利用が可能になる場合がある。この場合、特定部30は、利用可能になった連携機能を特定する。
<第2実施形態>
以下、第2実施形態に係る情報処理システムについて説明する。上記の第1実施形態では、制御対象は機器であるが、第2実施形態では、制御対象は機能である。例えば、機器に紐付く機能画像がフレキシブルディスプレイに表示されている場合において、フレキシブルディスプレイに対して変形操作が行われた場合、変化した位置に表示されている機能画像に紐付く機能が制御対象として識別される。変化した位置に1つの機能画像が表示されている場合、その機能画像に紐付く単独機能が制御対象として識別され、複数の機能画像が表示されている場合、各機能画像に紐付く各単独機能が制御対象(連携対象)として識別される。
以下、第2実施形態に係る情報処理システムについて説明する。上記の第1実施形態では、制御対象は機器であるが、第2実施形態では、制御対象は機能である。例えば、機器に紐付く機能画像がフレキシブルディスプレイに表示されている場合において、フレキシブルディスプレイに対して変形操作が行われた場合、変化した位置に表示されている機能画像に紐付く機能が制御対象として識別される。変化した位置に1つの機能画像が表示されている場合、その機能画像に紐付く単独機能が制御対象として識別され、複数の機能画像が表示されている場合、各機能画像に紐付く各単独機能が制御対象(連携対象)として識別される。
機能画像は、例えば、ソフトウェア(アプリケーション等)に紐付く画像であってもよいし、処理を行う機器(現実空間に存在する機器)に紐付く画像であってもよい。機能画像は、例えばアイコン等の画像であり、ハードウェアとしての機器の実際の外観を表す画像(例えば写真)や機器そのものを表す画像と区別する意味で、バーチャルな画像ともいえる。
以下、第2実施形態の具体的な実施例について詳しく説明する。
(実施例8)
実施例8について説明する。図27には、端末装置10が示されている。端末装置10の正面側ディスプレイ40には、機能画像88が表示されている。機能画像88は、パスワード設定機能に紐付く画像(例えば、パスワード設定ソフトウェアに紐付く画像)である。機能画像88がユーザによって選択されてパスワード設定機能の起動指示が与えられると、例えば、パスワード設定ソフトウェアが起動して、データ等に対するパスワードの設定処理が行われる。また、機能の名称を示す情報が表示されてもよい。例えば、機能画像88と共に、文字列「パスワード機能」が表示されてもよい。もちろん、機能画像88が表示されずに、その文字列が表示されてもよい。機能画像に紐付くソフトウェアは、端末装置10にインストールされていてもよいし、サーバ16等の外部装置に記憶されて、そのソフトウェアによる機能が、外部装置から端末装置10に提供されてもよい。なお、ユーザは、UI部20を操作することで、機能画像88の表示位置や表示サイズを変えることができる。
実施例8について説明する。図27には、端末装置10が示されている。端末装置10の正面側ディスプレイ40には、機能画像88が表示されている。機能画像88は、パスワード設定機能に紐付く画像(例えば、パスワード設定ソフトウェアに紐付く画像)である。機能画像88がユーザによって選択されてパスワード設定機能の起動指示が与えられると、例えば、パスワード設定ソフトウェアが起動して、データ等に対するパスワードの設定処理が行われる。また、機能の名称を示す情報が表示されてもよい。例えば、機能画像88と共に、文字列「パスワード機能」が表示されてもよい。もちろん、機能画像88が表示されずに、その文字列が表示されてもよい。機能画像に紐付くソフトウェアは、端末装置10にインストールされていてもよいし、サーバ16等の外部装置に記憶されて、そのソフトウェアによる機能が、外部装置から端末装置10に提供されてもよい。なお、ユーザは、UI部20を操作することで、機能画像88の表示位置や表示サイズを変えることができる。
例えば、ユーザが、フレキシブルディスプレイ(端末装置10自体)の左側部10aの全体を、フレキシブルディスプレイの右側部10bに向けて折り曲げたものとする。つまり、ユーザがフレキシブルディスプレイを、図27に示されている矢印89の方向に折り曲げたものとする。
検知部24は、上記の曲げ操作によるフレキシブルディスプレイの変化(変形)を検知し、その変化が発生した位置を特定し、制御部28は、その位置に表示されている機能画像を特定する。上記の曲げ操作によって、機能画像88が表示されている位置に変化が発生した場合、特定部30は、機能画像88に紐付くパスワード設定機能を制御対象として識別する。なお、機能画像に代えて、機能を示す文字列が表示されている場合、制御部28は、変化した位置に表示されている文字列を特定し、特定部30は、その文字列に紐付く機能(例えばパスワード設定機能)を制御対象として識別してもよい。制御部28は、パスワード設定機能が指定された旨をユーザに通知してもよいし(その旨を示す情報を表示したり、音声として出力したりする)、パスワード設定機能を実行してもよい。また、制御部28は、機能画像88を変更してもよい。例えば、制御部28は、指定された状態を表す画像に機能画像88を変更してもよいし、パスワード設定機能が実行されている状態を表す画像に機能画像88を変更してもよい。
上記の実施例1と同様に、変形操作毎に実行単独機能が割り当てられていてもよい。この場合、特定部30は、上記の曲げ操作に対応付けられている実行単独機能を特定し、制御部28は、その実行単独機能を通知又は実行する。また、制御部28は、変形操作の態様に応じて実行単独機能を変えてもよい。
実施例8によれば、ユーザがフレキシブルディスプレイを変形させることで、変化した位置に表示されている機能画像に紐付く機能が通知又は実行される。これにより、簡易な操作によって、機能が通知又は実行される。
また、実施例3と同様に、特定部30は、変形操作の方向の延長線上に表示されている機能画像に紐付く機能を制御対象として識別し、制御部28は、その機能を通知又は実行してもよい。
また、機能画像内の部分毎に互いに同一又は異なる機能が割り当てられていてもよい。この場合、フレキシブルディスプレイが変化した位置に表示されている部分が識別され、その部分に割り当てられている機能が通知又は実行される。
(実施例9)
実施例9について説明する。図28には、実施例9に係る連携機能管理テーブルの一例が示されている。この連携機能管理テーブルは、複数の単独機能を利用して実行可能な連携機能を示す情報である。この連携管理テーブルにおいては、一例として、機能ID(例えば、ソフトウェアを識別するためのID)と、機能名(例えばソフトウェア名)を示す情報と、複数の単独機能を利用して実行可能な連携機能を示す情報(連携機能情報)と、フレキシブルディスプレイに対して行われる変形操作を示す変形操作情報と、連携対象の複数の単独機能によって実行可能な連携機能群の中で当該変形操作が行われたときに実行される連携機能を示す実行連携機能情報と、が互いに対応付けられている。この連携機能管理テーブルを参照することで、複数の単独機能を利用して実行可能な連携機能が特定される。
実施例9について説明する。図28には、実施例9に係る連携機能管理テーブルの一例が示されている。この連携機能管理テーブルは、複数の単独機能を利用して実行可能な連携機能を示す情報である。この連携管理テーブルにおいては、一例として、機能ID(例えば、ソフトウェアを識別するためのID)と、機能名(例えばソフトウェア名)を示す情報と、複数の単独機能を利用して実行可能な連携機能を示す情報(連携機能情報)と、フレキシブルディスプレイに対して行われる変形操作を示す変形操作情報と、連携対象の複数の単独機能によって実行可能な連携機能群の中で当該変形操作が行われたときに実行される連携機能を示す実行連携機能情報と、が互いに対応付けられている。この連携機能管理テーブルを参照することで、複数の単独機能を利用して実行可能な連携機能が特定される。
例えば、機能としてのソフトウェアαはデータを送るソフトウェアであり、機能としてのソフトウェアβはデータにパスワードをかけるソフトウェアである。ソフトウェアα,βを組み合わせることで、例えば、データにパスワードをかけた上で送信するという連携機能が実現される。他のソフトウェアについても同様に実行可能な連携機能が定められている。なお、3つ以上の単独機能(例えばソフトウェア)を利用することで実行可能な連携機能が定められてもよい。この場合、3つ以上の単独機能の組み合わせと連携機能とが対応付けられ、その対応付けが連携機能管理テーブルに登録される。
複数の単独機能の組み合わせには、1又は複数の変形操作が対応付けられており、各変形操作には、互いに同一又は異なる実行連携機能が対応付けられている。
以下、図29を参照して、実施例9について詳しく説明する。図29には、端末装置10が示されている。端末装置10の正面側ディスプレイ40には、機能画像88,90が表示されている。機能画像90は、データ送信機能に紐付く画像(例えば、データ送信ソフトウェアに紐付く画像)である。機能画像90がユーザによって選択されてデータ送信機能の起動指示が与えられると、例えば、データ送信ソフトウェアが起動して、送信対象のデータ等が送信先に送信される。ユーザは、UI部20を操作することで、機能画像88,90の表示位置や表示サイズを変更することができる。なお、機能画像88,90と共に、又は、機能画像88,90に代えて、パスワード設定機能とデータ送信機能のそれぞれの名称を示す情報(例えば文字列)が表示されてもよい。
例えば、ユーザが、フレキシブルディスプレイ(端末装置10自体)の左側部10aの全体を、フレキシブルディスプレイの右側部10bに向けて折り曲げたものとする。つまり、ユーザが、フレキシブルディスプレイを矢印92の方向に折り曲げたものとする。
検知部24は、上記の曲げ操作によるフレキシブルディスプレイの変化(変形)を検知し、その変化が発生した位置を特定し、制御部28は、その位置に表示されている機能画像を特定する。上記の曲げ操作によって、機能画像88,90が表示されている位置に変化が発生した場合、特定部30は、機能画像88に紐付くパスワード設定機能と機能画像90に紐付くデータ送信機能を制御対象(連携対象)として識別すると共に、図28に示されている連携機能管理テーブルを参照することで、パスワード設定機能(パスワード設定ソフトウェア)とデータ送信機能(データ送信ソフトウェア)とを利用して実行可能な連携機能群の中で、その変形操作に対応付けられている実行連携機能を特定する。例えば、その実行連携機能は、処理対象のデータにパスワードを設定して宛先に送信するという機能であるものとする。
制御部28は、例えば、上記のようにして特定された実行連携機能を示す情報をフレキシブルディスプレイに表示させる。制御部28は、実行連携機能を示す情報を音声情報として出力してもよい。ユーザが、その実行連携機能の実行指示を与えた場合、制御部28は、パスワード設定ソフトウェアを起動させて、処理対象のデータにパスワードを設定し、更に、データ送信ソフトウェアを起動させて、宛先に当該データを送信する。制御部28は、上記の曲げ操作が行われた場合、ユーザによって実行指示が与えられなくても、実行連携機能を実行してもよい。また、制御部28は、機能画像88,90を変更してもよい。
実施例9によれば、ユーザがフレキシブルディスプレイを変形させることで、その変形に応じた連携機能が通知又は実行される。これにより、簡易な操作によって、連携機能が通知又は実行される。
また、実施例3と同様に、特定部30は、変形操作の方向の延長線上に表示されている各機能画像に紐付く各機能を連携対象(制御対象)として識別し、それら複数の機能を利用して実行可能な連携機能群の中で、その変形操作に対応付けられている実行連携機能を特定してもよい。制御部28は、その実行連携機能を通知又は実行する。制御部28は、変形操作の態様に応じて連携機能を変えてもよい。
また、実施例9に実施例4が適用されてもよい。つまり、操作方向に対する複数の機能画像の並び順に応じて、連携機能が変更されてもよい。また、機能画像内の部分毎に互いに同一又は異なる機能が割り当てられていてもよい。
<第3実施形態>
以下、第3実施形態に係る情報処理システムについて説明する。第3実施形態では、制御対象は機器と機能である。例えば、機器に紐付く機能画像と機能に紐付く機能画像がフレキシブルディスプレイに表示されている場合において、フレキシブルディスプレイに対して変形操作が行われた場合、変化した位置に表示されている機器画像に紐付く機器と機能画像に紐付く機能とが連携対象(制御対象)として識別される。そして、当該機器と当該機能とを利用して実行可能な連携機能群の中で、当該変形操作に対応付けられている実行連携機能が特定され、その実行連携機能が通知又は実行される。
以下、第3実施形態に係る情報処理システムについて説明する。第3実施形態では、制御対象は機器と機能である。例えば、機器に紐付く機能画像と機能に紐付く機能画像がフレキシブルディスプレイに表示されている場合において、フレキシブルディスプレイに対して変形操作が行われた場合、変化した位置に表示されている機器画像に紐付く機器と機能画像に紐付く機能とが連携対象(制御対象)として識別される。そして、当該機器と当該機能とを利用して実行可能な連携機能群の中で、当該変形操作に対応付けられている実行連携機能が特定され、その実行連携機能が通知又は実行される。
以下、第3実施形態の具体的な実施例について詳しく説明する。
(実施例10)
実施例10について説明する。図30には、実施例10に係る連携機能管理テーブルの一例が示されている。この連携機能管理テーブルは、機器と機能(例えばソフトウェア)とを利用して実行可能な連携機能を示す情報である。この連携機能管理テーブルにおいては、一例として、IDの組み合わせ(機器IDと機能IDとの組み合わせ)と、機器名及び機能名を示す情報と、機器と機能とを利用して実行可能な連携機能を示す連携機能情報と、フレキシブルディスプレイに対して行われる変形操作を示す変形操作情報と、連携対象の機器と機能とによって実行可能な連携機能群の中で当該変形操作が行われたときに実行される連携機能を示す実行連携機能情報と、が互いに対応付けられている。この連携機能管理テーブルを参照することで、機器と機能とを利用して実行可能な連携機能が特定される。例えば、機器AとしてのPC(A)と機能αとしてのデータ送信機能とを組み合わせることで、例えば、PC(A)を利用してデータを送信するという連携機能が実現される。他の機器と機能についても同様に実行可能な連携機能が定められている。なお、合計で3つ以上の機器や機能を利用することで実行可能な連携機能が定められてもよい。この場合、3つ以上の機器や機能の組み合わせと連携機能とが対応付けられ、その対応付けが連携機能管理テーブルに登録される。
実施例10について説明する。図30には、実施例10に係る連携機能管理テーブルの一例が示されている。この連携機能管理テーブルは、機器と機能(例えばソフトウェア)とを利用して実行可能な連携機能を示す情報である。この連携機能管理テーブルにおいては、一例として、IDの組み合わせ(機器IDと機能IDとの組み合わせ)と、機器名及び機能名を示す情報と、機器と機能とを利用して実行可能な連携機能を示す連携機能情報と、フレキシブルディスプレイに対して行われる変形操作を示す変形操作情報と、連携対象の機器と機能とによって実行可能な連携機能群の中で当該変形操作が行われたときに実行される連携機能を示す実行連携機能情報と、が互いに対応付けられている。この連携機能管理テーブルを参照することで、機器と機能とを利用して実行可能な連携機能が特定される。例えば、機器AとしてのPC(A)と機能αとしてのデータ送信機能とを組み合わせることで、例えば、PC(A)を利用してデータを送信するという連携機能が実現される。他の機器と機能についても同様に実行可能な連携機能が定められている。なお、合計で3つ以上の機器や機能を利用することで実行可能な連携機能が定められてもよい。この場合、3つ以上の機器や機能の組み合わせと連携機能とが対応付けられ、その対応付けが連携機能管理テーブルに登録される。
機器と機能との組み合わせには、1又は複数の変形操作が対応付けられており、各変形操作には、互いに同一又は異なる実行連携機能が対応付けられている。
以下、図31を参照して、実施例10について詳しく説明する。図31には、端末装置10が示されている。端末装置10の正面側ディスプレイ40には、機器画像70と機能画像88が表示されている。
例えば、ユーザが、フレキシブルディスプレイ(端末装置10自体)の左側部10aの全体を、フレキシブルディスプレイの右側部10bに向けて折り曲げたものとする。つまり、ユーザが、フレキシブルディスプレイを矢印94の方向に折り曲げたものとする。
検知部24は、上記の曲げ操作によるフレキシブルディスプレイの変化(変形)を検知し、その変化が発生した位置を特定し、制御部28は、その位置に表示されている機器画像や機能画像を特定する。上記の曲げ操作によって、機器画像70と機能画像88が表示されている位置に変化が発生した場合、特定部30は、機器画像70に紐付く複合機68と機能画像88に紐付くパスワード設定機能を制御対象(連携対象)として識別すると共に、図30に示されている連携機能管理テーブルを参照することで、複合機とパスワード設定機能とを利用して実行可能な連携機能群の中で、その変形操作に対応付けられている実行連携機能を特定する。例えば、その実行連携機能は、複合機68によるスキャンによって生成されたデータにパスワードを設定するという機能であるとする。
制御部28は、例えば、上記のようにして特定された実行連携機能を示す情報をフレキシブルディスプレイに表示させる。制御部28は、実行連携機能を示す情報を音声情報として出力してもよい。ユーザが、その実行連携機能の実行指示を与えた場合、制御部28は、複合機68に制御情報を出力することで、複合機68によるスキャン、及び、スキャンによって生成されたデータの端末装置10への転送を制御する。これにより、複合機68によってスキャンが実行され、そのスキャンによって生成されたデータが、複合機68から端末装置10に転送される。また、制御部28は、パスワード設定ソフトウェアを起動させ、そのデータに対してパスワードを設定する。制御部28は、上記の曲げ操作が行われた場合、ユーザによって実行指示が与えられなくても、実行連携機能を実行してもよい。また、制御部28は、機器画像70と機能画像88を変更してもよい。
実施例10によれば、ユーザがフレキシブルディスプレイを変形させることで、その変形に応じた連携機能が通知又は実行される。これにより、簡易な操作によって、連携機能が通知又は実行される。
また、実施例3と同様に、特定部30は、変形操作の方向の延長線上に表示されている機器画像に紐付く機器と機能画像に紐付く機能を連携対象(制御対象)として識別し、当該機器と当該機能とを利用して実行可能な連携機能群の中で、その変形操作に対応付けられている実行連携機能を特定してもよい。制御部28は、その実行連携機能を通知又は実行する。制御部28は、変形操作の態様に応じて連携機能を変えてもよい。
また、実施例10に実施例4が適用されてもよい。つまり、操作方向に対する機器画像と機能画像の並び順に応じて、連携機能が変更されてもよい。また、機器画像内の部分毎に互いに同一又は異なる機能が割り当てられていてもよいし、機能画像内の部分毎に互いに同一又は異なる機能が割り当てられていてもよい。
<第4実施形態>
以下、第4実施形態に係る情報処理システムについて説明する。第4実施形態では、制御対象はファイルである。例えば、ファイルに紐付くファイル画像がフレキシブルディスプレイに表示されている場合において、フレキシブルディスプレイに対して変形操作が行われた場合、変化した位置に表示されているファイル画像に紐付くファイルが制御対象として識別される。例えば、個々のファイル毎に、当該ファイルに対して処理を実行するソフトウェア(例えばアプリケーションソフトウェア)が対応付けられている。変化した位置に1つのファイル画像が表示されている場合、そのファイル画像に紐付くファイルが制御対象として識別され、複数のファイル画像が表示されている場合、各ファイル画像に紐付く各ファイルが制御対象(連携対象)として識別される。なお、ファイル画像は、例えば模式的な画像(例えばアイコン等)であってもよいし、写真等の画像であってもよい。
以下、第4実施形態に係る情報処理システムについて説明する。第4実施形態では、制御対象はファイルである。例えば、ファイルに紐付くファイル画像がフレキシブルディスプレイに表示されている場合において、フレキシブルディスプレイに対して変形操作が行われた場合、変化した位置に表示されているファイル画像に紐付くファイルが制御対象として識別される。例えば、個々のファイル毎に、当該ファイルに対して処理を実行するソフトウェア(例えばアプリケーションソフトウェア)が対応付けられている。変化した位置に1つのファイル画像が表示されている場合、そのファイル画像に紐付くファイルが制御対象として識別され、複数のファイル画像が表示されている場合、各ファイル画像に紐付く各ファイルが制御対象(連携対象)として識別される。なお、ファイル画像は、例えば模式的な画像(例えばアイコン等)であってもよいし、写真等の画像であってもよい。
以下、第4実施形態の具体的な実施例について説明する。
(実施例11)
実施例11について説明する。図32には、端末装置10が示されている。端末装置10の正面側ディスプレイ40には、ファイル画像96が表示されている。ファイル画像96は、例えば文書ファイルAに紐付く画像である。また、ファイル画像96と共に、又は、ファイル画像96に代えて、文書ファイルAの名称を示す文字列が表示されてもよい。なお、ユーザは、UI部20を操作することで、ファイル画像96の表示位置や表示サイズを変えることができる。
実施例11について説明する。図32には、端末装置10が示されている。端末装置10の正面側ディスプレイ40には、ファイル画像96が表示されている。ファイル画像96は、例えば文書ファイルAに紐付く画像である。また、ファイル画像96と共に、又は、ファイル画像96に代えて、文書ファイルAの名称を示す文字列が表示されてもよい。なお、ユーザは、UI部20を操作することで、ファイル画像96の表示位置や表示サイズを変えることができる。
例えば、ユーザが、フレキシブルディスプレイ(端末装置10自体)の左側部10aの全体を、フレキシブルディスプレイの右側部10bに向けて折り曲げたものとする。つまり、ユーザがフレキシブルディスプレイを、図32に示されている矢印98の方向に折り曲げたものとする。
検知部24は、上記の曲げ操作によるフレキシブルディスプレイの変化(変形)を検知し、その変化が発生した位置を特定し、制御部28は、その位置に表示されているファイル画像を特定する。上記の曲げ操作によって、ファイル画像96が表示されている位置に変化が発生した場合、特定部30は、ファイル画像96に紐付く文書ファイルAを制御対象として識別する。制御部28は、文書ファイルAに対応付けられているソフトウェア(例えば文書編集ソフトウェア)が指定された旨をユーザに通知してもよいし、そのソフトウェアを起動させることで、文書ファイルAの内容(文書自体)をUI部20の表示部に表示させてもよい。また、制御部28は、ファイル画像96を変更してもよい。例えば、制御部28は、指定された状態を表す画像にファイル画像96を変更してもよいし、文書ファイルAの内容(文書自体)が表示されている状態を表す画像にファイル画像96を変更してもよい。
上記の実施例1と同様に、変形操作毎に実行単独機能(例えばソフトウェア)が割り当てられていてもよい。この場合、特定部30は、上記の曲げ操作に対応付けられている実行単独機能を特定し、制御部28は、その実行単独機能を通知又は実行する。また、制御部28は、変形操作の態様に応じて実行単独機能を変えてもよい。
実施例11によれば、ユーザがフレキシブルディスプレイを変形させることで、変化した位置に表示されているファイル画像に紐付くファイルが制御対象として識別され、そのファイルに対応付けられている機能が通知又は実行される。これより、簡易な操作によって、機能が通知又は実行される。
また、実施例3と同様に、特定部30は、変形操作の方向の延長線上に表示されているファイル画像に紐付くファイルを制御対象として識別し、制御部28は、そのファイルに対応付けられている機能を通知又は実行してもよい。
(実施例12)
実施例12について説明する。実施例12では、複数のファイルが連携対象(制御対象)として識別され、連携機能が通知又は実行される。実施例12に係る連携機能管理情報は、複数の機能を連携させることによって実行される連携機能を管理するための情報である。連携機能は、例えば、複数のソフトウェアを連携させることによって実現される機能である。もちろん、連携機能は、ハードウェアとしての機器が有する機能と、ソフトウェアによって実現される機能と、を連携させることによって実現される機能であってもよいし、複数の機器を連携させることによって実現される機能であってもよい。
実施例12について説明する。実施例12では、複数のファイルが連携対象(制御対象)として識別され、連携機能が通知又は実行される。実施例12に係る連携機能管理情報は、複数の機能を連携させることによって実行される連携機能を管理するための情報である。連携機能は、例えば、複数のソフトウェアを連携させることによって実現される機能である。もちろん、連携機能は、ハードウェアとしての機器が有する機能と、ソフトウェアによって実現される機能と、を連携させることによって実現される機能であってもよいし、複数の機器を連携させることによって実現される機能であってもよい。
実施例12に係る連携機能について更に詳しく説明する。連携機能は、複数のファイル(データ)が連携対象(制御対象)として識別された場合に、当該複数のファイルを対象にして実行される機能である。例えば、個々のファイル毎に、当該ファイルに対して処理を実行するソフトウェア(アプリケーションソフトウェア)が対応付けられている。連携機能は、当該複数のファイルのそれぞれに対応付けられているアプリケーションを連携させることによって実現される機能である。
ファイルは、例えば、文書ファイル、画像ファイル、動画ファイル、表計算ファイル、プレゼンテーション用ファイル、図形(図面)ファイル、音声ファイル等である。
文書ファイルは、文書形式(文書フォーマット)を有するファイルであり、文字列やその他の情報によって構成されるファイルである。画像や表や図形が、その他の情報として文書ファイルに含まれてもよい。文書形式は、例えばテキスト形式やドキュメント形式等である。テキスト形式を有するデータ(例えば、拡張子として文字列「.txt」が紐付いているデータ)や、ドキュメント形式を有するデータ(例えば、拡張子として文字列「.doc」や「.docx」が紐付いているデータ)等が、文書ファイルに該当する。
画像ファイルは、画像形成(画像フォーマット)を有するファイルである。画像ファイルは、ラスター形式を有する画像データであってもよいし、ベクター形式を有する画像データであってもよい。画像形式は、例えばJPEG形式、BMP(ビットマップ)形式、PDF形式、GIF形式、TIFF形式、PNG形式、PICT形式等である。JPEG形式を有するデータ(拡張子として文字列「.jpeg」が紐付いているデータ)、BMP形式を有するデータ(拡張子として文字列「.bmp」が紐付いているデータ)、PDF形式を有するデータ(拡張子として文字列「.pdf」が紐付いているデータ)、GIF形式を有するデータ(拡張子として文字列「.gif」が紐付いているデータ)、TIFF形式を有するデータ(拡張子として文字列「.tiff」が紐付いているデータ)、PNG形式を有するデータ(拡張子として文字列「.png」が紐付いているデータ)、PICT形式を有するデータ(拡張子として文字列「.pict」が紐付いているデータ)等が、画像ファイルに該当する。もちろん、これら以外の形式を有する画像データが、画像ファイルとして用いられてもよい。
動画ファイルは、動画形式(動画フォーマット)を有するファイルである。動画形式は、例えばAVI形式、MP4形式、MOV形式、MPEG2-TS形式、MPEG2-PS形式、WMV形式、FLV形式等である。AVI形式を有するデータ(拡張子として文字列「.avi」が紐付いているデータ)、MP4形式を有するデータ(拡張子として文字列「.mp4」が紐付いているデータ)、MOV形式を有するデータ(拡張子として文字列「.mov」が紐付いているデータ)、MPEG2-TS形式を有するデータ(拡張子として文字列「.m2ts」が紐付いているデータ)、MPEG2-PS形式を有するデータ(拡張子として文字列「.mpeg」が紐付いているデータ)、WMV形式を有するデータ(拡張子として文字列「.wmv」が紐付いているデータ)、FLV形式を有するデータ(拡張子として文字列「.flv」が紐付いているデータ)等が、動画ファイルに該当する。もちろん、これら以外の形式を有する動画データが、動画ファイルとして用いられてもよい。
表計算ファイルは、表形式(表フォーマット)を有するファイルであり、表やグラフやその他の情報によって構成されるファイルである。文字列や画像や図形が、その他の情報として表計算ファイルに含まれてもよい。例えば、拡張子として文字列「.csv」や「.xls」や「.xlsx」が紐付いているデータである。
プレゼンテーション用ファイルは、プレゼンテーション用のシート形式(シートフォーマット)を有するファイルである。例えば、拡張子として文字列「.ppt」や「.pptx」が紐付いているデータが、プレゼンテーション用ファイルに該当する。プレゼンテーション用ファイルは、例えば、文字列、画像(静止画像や動画像)、図形、音声等によって構成される。
図形ファイルは、図形(図面)形式(図形フォーマット)を有するファイルである。図形ファイルは、例えば、図形作成ソフトウェア(例えば2次元CADや3次元CAD等)によって作成されるファイルである。例えば、DXF形式(フォーマット)を有するデータ(拡張子として文字列「.dxf」が紐付いているデータ)、DWG形式を有するデータ(拡張子として文字列「.dwg」が紐付いているデータ)等である。その他、拡張子として「.vsd」や「.vsdx」が紐付いているデータが図形ファイルとして扱われてもよい。
音声ファイルは、音声形式(音声フォーマット)を有するファイルである。音声形式は、例えば、非圧縮音声形式(WAV形式、AIFF形式、BWF形式等)、非可逆圧縮音声形式(mp3形式、AAC形式、WMA形式等)、可逆圧縮音声形式(TAK形式、FLAC形式等)等である。非圧縮音声形式を有するデータ(拡張子として「.wav」等が紐付いているデータ)、非可逆圧縮音声形式を有するデータ(拡張子として文字列「.mp3」等が紐付いているデータ)、非圧縮音声形式を有するデータ(拡張子として文字列「.tak」等が紐付いているデータ)等が、音声ファイルに該当する。
以下、図33を参照して、実施例12に係る連携機能管理テーブルについて説明する。図33には、実施例12に係る連携機能管理テーブルの一例が示されている。連携機能管理テーブルにおいては、一例として、複数のファイル形式の組み合わせを示す情報と、連携機能を示す情報(連携機能情報)と、フレキシブルディスプレイに対して行われる変形操作を示す変形操作情報と、当該複数のファイル形式の組み合わせに対応付けられている連携機能群の中で当該変形操作が行われたときに実行される連携機能を示す実行連携機能情報と、が互いに対応付けられている。この連携機能管理テーブルを参照することで、複数のファイル形式の組み合わせに対応付けられている連携機能が特定される。
実施例12では、連携機能は、ファイルの形式(属性)毎に定められている。ファイル形式は、上記の文書形式、画像形式、動画形式、表形式、シート形式、図形形式、音声形式等である。
連携機能は、互いに異なる複数の機能(例えば、互いに異なるソフトウェア)を連携させることによって実現される機能であってもよいし、同一の機能(例えば、同一のソフトウェア)を連携させることによって実現される機能であってもよい。例えば、文書作成機能(文書作成ソフトウェア)と画像表示機能(画像表示ソフトウェア(例えば画像ビューア))とを連携させることによって、連携機能として、文書への画像の挿入(添付)機能や、画像上への文書(文字列、テキスト)の重畳機能が実現される。すなわち、文書作成機能と画像表示機能とを連携させることによって、画像挿入機能やテキスト重畳機能が実現される。
連携機能管理テーブルによって管理されている連携機能は、端末装置10にインストールされているソフトウェアによって実行可能な機能であってもよいし、サーバ16等の外部装置にインストールされているソフトウェアによって実行可能な機能であってもよいし、端末装置10にインストールされているソフトウェアと外部装置にインストールされているソフトウェアとによって実行可能な機能であってもよい。
なお、連携機能管理情報の別の例として、複数の機能(複数のソフトウェア)の組み合わせを示す情報と、当該複数の機能を連携させることによって実行可能な連携機能を示す情報(連携機能情報)と、変形操作情報と、実行連携機能情報と、が互いに対応付けられていてもよい。
以下、図33に示されている各連携機能について説明する。
図33中の「文書形式」は、テキスト形式(拡張子が「.txt」である)やドキュメント形式(拡張子が「.doc」や「.docx」である)である。「表形式」は、拡張子が「.csv」や「.xls」等で表現される形式である。画像形式は、拡張子が「.jpeg」や「.pdf」等で表現される形式である。動画形式は、拡張子が「.avi」や「.mpeg」等で表現される形式である。シート形式は、拡張子が「.ppt」等で表現される形式である。図33には、図形形式や音声形式が示されていないが、これらを含む組み合わせと連携機能との対応付けが連携機能管理テーブルに登録されてもよい。もちろん、図33に示されているファイル形式以外のファイル形式を含む組み合わせと連携機能との対応付けが定められて連携機能管理テーブルに登録されてもよい。
各連携機能について更に詳しく説明する。文書ファイルAと表計算ファイルBが連携対象(制御対象)として識別された場合、文書形式と表形式との組み合わせに対応付けられている「表を文書に挿入する機能」と「文書を表に挿入する機能」が連携機能として特定される。「表を文書に挿入する機能」は、表計算ファイルBによって表される表を、文書ファイルAによって表される文書中に挿入する機能である。「文書を表に挿入する機能」は、文書ファイルAによって表される文書を、表計算ファイルBによって表される表中に挿入する機能である。
文書ファイルAと画像ファイルCが連携対象として識別された場合、文書形式と画像形式との組み合わせに対応付けられている「画像を文書に挿入する機能」と「文書を画像上に重畳する機能」が連携機能として特定される。「画像を文書に挿入する機能」は、画像ファイルCによって表される画像を、文書ファイルAによって表される文書に挿入する機能である。「文書を画像上に重畳する機能」は、文書ファイルAによって表される文書を、画像ファイルCによって表される画像上に重畳する機能である。
文書ファイルAと動画ファイルDが連携対象として識別された場合、文書形式と動画形式との組み合わせに対応付けられている「動画を文書に挿入する機能」と「静止画を文書に挿入する機能」が連携機能として特定される。「動画を文書に挿入する機能」は、動画ファイルDによって表される動画を、文書ファイルAによって表される文書に挿入する機能である。「静止画を文書に挿入するという機能」は、動画ファイルDを構成する1又は複数のフレーム(静止画)を、文書ファイルAによって表される文書に挿入する機能である。例えば、文書ファイルAは、動画に対応していない文書ファイル、つまり、動画を挿入することができないファイルに該当する場合において、「静止画を文書に挿入する機能」が実行された場合、動画ファイルD中の1又は複数フレーム(静止画)が、文書ファイルAによって表される文書に挿入される。また、「文書を動画に挿入する機能」が、連携機能として用いられてもよい。
同一のファイル形式を有する複数のファイルが連携対象として識別されてもよい。例えば、文書ファイルA1,A2が連携対象として識別された場合、文書形式と文書形式との組み合わせに対応付けられている「文書同士を合体する機能」が連携機能として特定される。「文書同士を合体する機能」は、文書ファイルA1,A2が表す文書を合体する(例えば、2つの文書を結合する)ことで、文書ファイルA1,A2を残しつつ、又は、文書ファイルA1,A2を残さずに、別の新たな文書ファイルA3を生成する機能である。
表計算ファイルB1,B2が連携対象として識別された場合、表形式と表形式との組み合わせに対応付けられている「表同士を合体する機能」が連携機能として特定される。「表同士を合体する機能」は、表計算ファイルB1,B2が表す表を合体する(例えば、2つの表を結合する)ことで、表計算ファイルB1,B2を残しつつ、又は、表計算ファイルB1,B2を残さずに、別の新たな表計算ファイルB3を生成する機能である。
動画ファイルD1,D2が連携対象として識別された場合、動画形式と動画形式との組み合わせに対応付けられている「動画同士を合体する機能」が連携機能として特定される。「動画同士を合体する機能」は、動画ファイルD1,D2が表す動画を合体する(例えば、2つの動画を結合する)ことで、動画ファイルD1,D2を残しつつ、又は、動画ファイルD1,D2を残さずに、別の新たな動画ファイルD3を生成する機能である。
その他、プレゼンテーション用ファイルEと文書ファイルAが連携対象として識別された場合、シート形式と文書形式との組み合わせに対応付けられている「文書をプレゼンテーション用シートに挿入する機能」が連携機能として特定される。「文書をプレゼンテーション用シートに挿入する機能」は、プレゼンテーション用ファイルEによって表されるシートに、文書ファイルAによって表される文書を挿入する機能である。
以下、図34を参照して、実施例12について詳しく説明する。図34には、端末装置10が示されている。端末装置10の正面側ディスプレイ40には、ファイル画像96,100が表示されている。ファイル画像100は、例えば画像ファイルCに紐付く画像である。ユーザは、UI部20を操作することで、ファイル画像96,100の表示位置や表示サイズを変更することができる。なお、ファイル画像96,100と共に、又は、ファイル画像96,100に代えて、ファイル名を示す情報(例えば文字列)が表示されてもよい。
例えば、ユーザが、フレキシブルディスプレイ(端末装置10自体)の左側部10aの全体を、フレキシブルディスプレイの右側部10bに向けて折り曲げたものとする。つまり、ユーザが、フレキシブルディスプレイを矢印102の方向に折り曲げたものとする。
検知部24は、上記の曲げ操作によるフレキシブルディスプレイの変化(変形)を検知し、その変化が発生した位置を特定し、制御部28は、その位置に表示されているファイル画像を特定する。上記の曲げ操作によって、ファイル画像96,100が表示されている位置に変化が発生した場合、特定部30は、ファイル画像96に紐付く文書ファイルAとファイル画像100に紐付く画像ファイルCを制御対象(連携対象)として識別する。この点について更に詳しく説明すると、特定部30は、文書ファイルAの拡張子(例えば、文書ファイルAの属性情報として文書ファイルAに紐付けられている拡張子)に基づいて文書ファイルAのファイル形式を識別する。同様に、特定部30は、画像ファイルCの拡張子(例えば、画像ファイルCの属性情報として画像ファイルCに紐付けられている拡張子)に基づいて画像ファイルCのファイル形式を識別する。なお、拡張子は、ファイル名に含まれている場合がある。文書ファイルAの拡張子が、「.txt」や「.docx」等のように文書形式を表す拡張子に該当する場合、特定部30は、文書ファイルAのファイル形式は文書形式であると識別する。画像ファイルCの拡張子が、「.jpeg」等のように画像形式を表す拡張子に該当する場合、特定部30は、画像ファイルCのファイル形式は画像形式であると識別する。そして、特定部30は、図33に示されている連携機能管理テーブルを参照することで、文書形式と画像形式との組み合わせに対応付けられている連携機能群の中で、その変形操作に対応付けられている実行連携機能を特定する。例えば、その実行連携機能は、「画像を文書に挿入する」機能であるものとする。
制御部28は、例えば、上記のようにして特定された実行連携機能を示す情報をフレキシブルディスプレイに表示させる。制御部28は、実行連携機能を示す情報を音声情報として出力してもよい。ユーザが、その実行連携機能の実行指示を与えた場合、制御部28は、画像ファイルCによって表される画像を、文書ファイルAによって表される文書中に挿入する。
より詳しく説明すると、制御部28は、文書アプリケーションと画像アプリケーションを起動させる。文書アプリケーションは、文書形式を有するファイルの生成や編集や表示を行う機能を有するソフトウェア(プログラム)である。画像アプリケーションは、画像形式を有するファイルの生成や編集や表示を行う機能を有するソフトウェア(プログラム)である。なお、文書アプリケーションは、文書ファイルAに予め紐付けられていてもよいし、画像アプリケーションは、画像ファイルCに予め紐付けけられていてもよい。制御部28は、画像アプリケーションが有する機能を利用することで、画像ファイルCから画像をコピーし、文書アプリケーションが有する機能を利用することで、文書ファイルAによって表される文書中に当該画像を貼り付ける。これにより、画像が挿入された文書が生成される。なお、制御部28は、画像アプリケーションが有する機能を利用することで、画像ファイルCによって表される画像から特定部分を表す部分画像を抽出し、その部分画像を文書中に貼り付けてもよい。文書において画像が貼り付けられる領域は、予め定められた領域であってもよいし、ユーザによって指定された領域であってもよいし、その画像に関連する文字列が記述されていると推測される領域であってもよい。例えば、制御部28は、画像に表されている特徴部分を表現する文字列を推測や検索し、文書において、その文字列と同一又は類似の意味を有する文字列が記述されている領域を、画像に関連する文字列が記述されている領域であると推測する。もちろん、別の手法によって、その領域が推測されてもよい。
また、制御部28は、ファイル画像96,100を変更してもよい。
制御部28は、連携機能を実行することで新たなファイルを生成してもよい。この場合、連携対象として識別された複数のファイル自体は編集されない。例えば、文書ファイルAと画像ファイルCが連携対象のファイルとして識別され、「画像を文書に挿入する機能」の実行指示が与えられた場合、制御部28は、画像ファイルCによって表される画像を文書ファイルAによって表される文書中に貼り付けることで、新たな文書ファイルACを生成する。この場合、制御部28は、文書ファイルACに紐付く新たなファイル画像(例えばアイコン)を生成し、そのファイル画像をフレキシブルディスプレイに表示させる。この場合、文書ファイルAと画像ファイルC自体は編集されない。
別の例として、制御部28は、連携機能を実行することで、新たなファイルを生成せずに、連携対象として識別されたファイル自体を編集(加工等を含む)してもよい。上記の例で説明すると、制御部28は、画像ファイルCによって表される画像を文書ファイルAによって表される文書中に貼り付け、その画像の貼り付けが反映された文書ファイルを文書ファイルAとして保存する。この場合、文書ファイルAが更新される。
実施例12によれば、ユーザがフレキシブルディスプレイを変形させることで、その変形に応じた連携機能が通知又は実行される。これにより、簡易な操作によって、連携機能が通知又は実行される。
また、実施例3と同様に、特定部30は、変形操作の方向の延長線上に表示されている各ファイル画像に紐付く各ファイルを連携対象(制御対象)として識別し、それら複数のファイルの形式の組み合わせに対応付けられている連携機能群の中で、その変形操作に対応付けられている実行連携機能を特定してもよい。制御部28は、その実行連携機能を通知又は実行する。制御部28は、変形操作の態様に応じて連携機能を変えてもよい。
また、実施例12に実施例4が適用されてもよい。つまり、操作方向に対する複数のファイル画像の並び順に応じて、連携機能が変更されてもよい。
実施例12においては、ファイル同士の主従関係に応じて、連携機能に関する情報の通知や、実行される連携機能が変更されてもよい。例えば、ファイルに表されるコンテンツ自体の編集が可能なファイルが主ファイルに該当し、コンテンツ自体の編集が不可能なファイルが従ファイルに該当する。一例として、文書ファイルに表される文書自体の編集が可能な場合、当該文書ファイルは主ファイルに該当する。また、画像ファイルに表される画像自体の編集が不可能な場合(つまり、画像上にコンテンツを重畳させることは可能であるが、当該画像自体の編集が不可能な場合)、当該画像ファイルは従ファイルに該当する。他のファイルについても同様である。もちろん、文書ファイルであっても、文書の編集が不可能な文書ファイルは従ファイルに該当し、画像ファイルであっても、画像の編集が可能な画像ファイルは主ファイルに該当する。
特定部30は、識別されたファイルの形式(つまり拡張子)に基づいて、当該ファイルが主ファイル又は従ファイルの何れかに該当するのかを判断してもよい。例えば、特定部30は、文書形式を有するファイル、表形式を有するファイル、シート形式を有するファイル、及び、図形形式を有するファイルは、主ファイルに該当すると判断し、画像形式を有するファイル、動画形式を有するファイル、及び、音声形式を有するファイルは、従ファイルに該当すると判断してもよい。もちろん、ファイルが主ファイル又は従ファイルの何れかに該当するのかという判断は、ファイル形式によって一概に判断されずに、連携対象として識別されたファイルを個別的に判断することで、当該ファイルが主ファイル又は従ファイルの何れかに該当するのかを判断してもよい。例えば、画像形式を有するファイルであっても、画像の編集が可能なファイルであれば、当該ファイルは主ファイルに該当してもよい。
例えば、文書ファイルAと画像ファイルCが連携対象として識別された場合、特定部30は、文書ファイルAに紐付く拡張子に基づいて、文書ファイルAが主ファイル又は従ファイルの何れかに該当するのかを判断し、画像ファイルCに紐付く拡張子に基づいて、画像ファイルCが主ファイル又は従ファイルの何れかに該当するのかを判断する。文書ファイルAの拡張子は、例えば「.docx」であり、画像ファイルCの拡張子は、例えば「.jpeg」であるものとする。この場合、文書ファイルAは、文書形式を有し編集可能なファイルに該当するため、特定部30は、文書ファイルAが主ファイルに該当すると判断する。また、画像ファイルCは、画像形式を有し編集不可能なファイルに該当するため、特定部30は、画像ファイルCが従ファイルに該当すると判断する。もちろん、特定部30は、拡張子に基づいて判断せずに、文書ファイルAと画像ファイルCを個別的に判断することで、文書ファイルAと画像ファイルCが編集可能なファイルに該当するか否かを判断してもよい。
文書ファイルAが主ファイルに該当し、画像ファイルCが従ファイルに該当するため、画像ファイルCに表された画像が貼り付け対象のコンテンツに該当し、文書ファイルAに表された文書が当該画像の貼り付け先のコンテンツに該当する。この場合、特定部30は、「画像を文書に挿入する機能」を実行連携機能として特定する。
また、制御部28は、図33に示されている連携機能管理テーブルに登録されている複数の連携機能の中で、ファイルの主従関係に基づいて特定された連携機能に関する情報を、他の連携機能に関する情報よりも優先的に通知してもよい。文書ファイルAと画像ファイルCを例に挙げて説明すると、文書形式と画像形式との組み合わせに対応する連携機能として、「画像を文書に挿入する機能」と「文書を画像上に重畳する機能」が連携機能管理テーブルに登録されている(図33参照)。この場合、特定部30は、ファイルの主従関係に基づいて特定された「画像を文書に挿入する機能」を優先順位が「1位」の連携機能として特定し、「文書を画像上に重畳する機能」を優先順位が「2位」の連携機能として特定する。制御部28は、優先順位に従って、「画像を文書に挿入する機能」に関する情報を「文書を画像上に重畳する機能」に関する情報よりも優先的に(例えば上位に)通知する。
また、ファイルの主従関係に基づいて複数の連携機能が特定された場合、制御部28は、ユーザによる各連携機能の使用履歴に基づいて各連携機能の優先順位を決定し、各連携機能の優先順位に従って、各連携機能に関する情報を通知してもよい。例えば、制御部28は、使用頻度の高い連携機能に関する情報ほど優先的に(例えば上位に)通知する。
また、ファイルの主従関係に基づいて複数の連携機能が特定された場合、制御部28は、連携対象として識別された複数のファイルの関係性(つまり、複数のファイル形式の関係性)に基づいて各連携機能の優先順位を決定し、各連携機能の優先順位に従って、各連携機能に関する情報を通知してもよい。例えば、制御部28は、複数のファイル形式に基づいて、特定部30によって特定された複数の連携機能に含まれる各連携機能について、使用される可能性の高さを決定する。制御部28は、使用される可能性が高い連携機能に関する情報ほど優先的に(例えば上位に)通知する。例えば、文書形式と画像形式との組み合わせにおいては、「文書を画像上に重畳する機能」よりも「画像を文書に挿入する機能」の方が使用される可能性が高いと予測される。この場合、制御部28は、「画像を文書に挿入する機能」に関する情報を「文書を画像上に重畳する機能」に関する情報よりも優先的に通知する。
なお、連携対象の組み合わせは、上記の第1実施形態から第4実施形態における組み合わせに限定されるものではない。例えば、機器、機能(機器によって実行される機能とソフトウェアによって実行される機能を含む)、ファイル、及び、ソフトウェアの中の少なくとも2つの組み合わせが連携対象として識別された場合、その組み合わせを使用して実行可能な連携機能の通知又は実行が制御されてもよい。例えば、フレキシブルディスプレイに対する変形操作によって、機器とファイルが連携対象として識別された場合、特定部30は、当該機器と当該ファイルとを使用して実行可能な連携機能を特定し、制御部28は、その連携機能を通知又は実行する。具体例を挙げて説明すると、複合機と文書ファイルが連携対象として識別された場合、特定部30は、複合機と文書ファイルとを使用して実行可能な連携機能(例えば、文書ファイルを複合機によって印刷する機能や、文書ファイルを複合機によってファクシミリ送信する機能等)を特定する。制御部28は、その連携機能を通知又は実行する。同様に、機能とファイルが連携対象として識別された場合、特定部30は、当該機能と当該ファイルとを使用して実行可能な連携機能を特定し、制御部28は、その連携機能を通知又は実行する。具体例を挙げて説明すると、文書アプリケーションと文書ファイルが連携対象として識別された場合、特定部30は、文書アプリケーションと文書ファイルとを使用して実行可能な連携機能(例えば、文書アプリケーションによって文書ファイルを編集する機能や出力する機能等)を特定する。また、機器と機能とファイルが連携対象として識別された場合、特定部30は、当該機器と当該機能(例えばソフトウェア)と当該ファイルとを使用して実行可能な連携機能を特定し、制御部28は、その連携機能を通知又は実行する。具体例を挙げて説明すると、複合機と文書アプリケーションと文書ファイルが連携対象として識別された場合、特定部30は、複合機と文書アプリケーションと文書ファイルとを使用して実行可能な連携機能(例えば、文書アプリケーションによって文書ファイルを編集して複合機に出力し、複合機にて当該文書ファイルを印刷やファクシミリ送信する機能等)を特定する。上記の具体例における組み合わせは一例に過ぎず、上記以外の機器、機能、ファイル、ソフトウェアを組み合わせて実行可能な連携機能が定められてもよい。
また、上記の第1実施形態から第4実施形態において、フレキシブルディスプレイに対して同じ変形操作が連続して行われた場合(例えば、予め定められた時間内に同じ変形操作が2回行われた場合)、制御部28は、最初の変形操作によって特定された単独機能や連携機能の通知や実行を取り消してもよい。つまり、同じ変形操作が連続して行われた場合、単独機能や連携機能の通知や実行がキャンセルされる。こうすることで、簡易な操作によって、機能の通知や実行をキャンセルを行うことができる。
また、検知部24は、フレキシブルディスプレイの特定部分に対する変形操作を無効な操作として検知してもよい。例えば、ユーザがフレキシブルディスプレイを持つために握ると想定される部分が、特定部分に該当する。そのような特定部分を設けておくことで、ユーザがフレキシブルディスプレイを持つために握った場合、その握られた部分が、変形操作が行われた部分として検知されずに済み、ユーザの意図しない動作が行われずに済む。特定部分は、予め定められていてもよいし、ユーザによって設定されてもよい。
また、特定部30は、変形操作によって制御対象を識別し、制御部28は、その制御対象を利用して実行可能な単独機能や連携機能を選択するための機能選択画面をUI部20の表示部に表示させてもよい。ユーザが、その機能選択画面において単独機能や連携機能を選択して実行指示を与えた場合、制御部28は、ユーザによって選択された機能の実行を制御する。
また、検知部24は、予め定められた時間以上にわたってフレキシブルディスプレイに対して変形操作が行われた場合、その変形操作を有効な操作として検知し、予め定められた時間未満にわたって行われた変形操作を無効な操作として検知してもよい。こうすることで、ユーザが意図しない動作が行われずに済む。なお、上記の予め定められた時間は、ユーザによって変更されてもよい。
また、検知部24は、単位時間当たりにフレキシブルディスプレイに加えられた力の大きさに基づいて、変形操作の有効又は無効を判断してもよいし、フレキシブルディスプレイに加えられた圧力に基づいて、変形操作の有効又は無効を判断してもよい。
<第5実施形態>
以下、第5実施形態に係るフレキシブルディスプレイについて説明する。第5実施形態では、検知部24は、基準位置からのフレキシブルディスプレイの変化を検知し、制御部28は、その変化量に応じて処理を制御すると共に、その基準位置を変更する。以下、第5実施形態について詳しく説明する。
以下、第5実施形態に係るフレキシブルディスプレイについて説明する。第5実施形態では、検知部24は、基準位置からのフレキシブルディスプレイの変化を検知し、制御部28は、その変化量に応じて処理を制御すると共に、その基準位置を変更する。以下、第5実施形態について詳しく説明する。
図35には、フレキシブルディスプレイ(図35に示す例では端末装置10自体)を側面側から見た状態が模式的に示されている。基準位置104は、フレキシブルディスプレイが曲げられていないときの位置(デフォルトの位置)である。ユーザが、フレキシブルディスプレイの一部分106を破線部分108の位置まで曲げた場合、検知部24は、その曲げ量を検知する。例えば、検知部24は、基準位置104と破線部分108の位置との間の角度θaを曲げ量として検知する。制御部28は、その曲げ量に応じた処理の通知や実行を制御する。
例えば、曲げ量と機能とが対応付けられ、その対応付けを示す情報が、端末装置10やサーバ16等に記憶されている。特定部30は、検知部24によって検知された曲げ量(例えば角度θa)に対応付けられている機能を特定し、制御部28は、その特定された機能の通知や実行を制御する。その機能は、機器によって実行される機能であってもよいし、ソフトウェアによって実行される機能であってもよいし、単独の制御対象(機器やソフトウェア)によって実行される単独機能であってもよいし、1又は複数の制御対象によって実行される連携機能であってもよい。
また、アプリケーションソフトウェアが起動しているときに、検知部24によって曲げ量が検知された場合、制御部28は、その曲げ量に応じた処理をそのアプリケーションソフトウェアに実行させてもよい。例えば、同一のアプリケーションソフトウェアについて、曲げ量毎に、そのアプリケーションソフトウェアによって実行される処理が対応付けられており、特定部30は、検知部24によって検知された曲げ量に対応付けられている処理を特定する。制御部28は、その特定された処理の通知や実行を制御する。
制御部28は、例えば、予め定められた変更条件に従って、基準位置を変更する。その変更条件は、例えば、基準位置を変更するタイミングに関する条件である。具体的には、制御部28は、フレキシブルディスプレイの表示開始時における変化量に基づいて基準位置を変更する。表示開始時は、例えば、フレキシブルディスプレイの電源がオンされたタイミング、フレキシブルディスプレイがスリープ状態や休止状態から稼働状態に復帰したタイミング(つまり、電力消費が制限されている状態からその制限が解除されたタイミング)、等である。また、制御部28は、予め定められた時間以上にわたってフレキシブルディスプレイが変化していない場合、基準位置を変更してもよい。
例えば、検知部24は、フレキシブルディスプレイの電源がオンされたときのフレキシブルディスプレイの曲げ位置を検知し、制御部28は、その検知された位置を基準位置として用いる。曲げ位置が検知されなかった場合、制御部28は、デフォルトの基準位置104を用いる。一方、一部分106が破線部分108の位置まで曲げられており、電源オン時に、その曲げ位置(破線部分108の位置)が検知された場合、制御部28は、破線部分108の位置(角度θaの位置)を新たな基準位置として用いる。フレキシブルディスプレイがスリープ状態や休止状態から復帰した場合も同様である。つまり、検知部24は、フレキシブルディスプレイがスリープ状態や休止状態から稼働状態に復帰したときのフレキシブルディスプレイの曲げ位置を検知し、制御部28は、その検知された位置を基準位置として用いる。曲げ位置が検知されなかった場合、制御部28は、デフォルトの基準位置104を用いる。
また、一部分106が破線部分108の位置まで曲げられており、予め定められた時間以上にわたって、その曲げ状態が維持されて検知部24によって検知された場合、制御部28は、破線部分108の位置を新たな基準位置として用いてもよい。
新たな基準位置が定められた場合、制御部28は、その新たな基準位置からの曲げ量に応じて、処理の通知や実行を制御する。
以下、図36を参照して、基準位置の変更処理について詳しく説明する。図36には、フレキシブルディスプレイ(図36に示す例では端末装置10自体)を側面側から見た状態が模式的に示されている。例えば、フレキシブルディスプレイの一部分106が、実線部分110の位置まで曲げられている。なお、元々の基準位置104と実線部分110との間の角度は角度θxである。変更条件が満たされている場合、制御部28は、基準位置を元々の基準位置104から実線部分110の位置に変更する。つまり、制御部28は、実線部分110の位置を新たな基準位置として用いる。一部分106が、その新たな基準位置(実線部分110の位置)から破線部分112の位置(新たな基準位置との間の角度が角度θaの位置)まで曲げられた場合、特定部30は、その曲げ量(角度θa)に対応付けられている処理を特定し、制御部28は、その処理の通知又は実行を制御する。こうすることで、曲げ量に応じた処理が適切に実行される。この点について、以下、図36と図37を参照して更に詳しく説明する。
図37には、フレキシブルディスプレイ(図37に示す例では端末装置10自体)を側面側から見た状態が模式的に示されている。例えば、一部分106が実線部分110の位置まで曲げられて、その状態が維持されている場合において、一部分106が、その位置から更に破線部分108まで曲げられた場合について検討する。破線部分108の位置は、一部分106が元々の基準位置104から角度θa曲げられた位置である。元々の基準位置104が基準位置として用いられ、一部分106が、実線部分110から破線部分108まで曲げられた場合、検知部24は、角度θaを曲げ量として検知する。実線部分110と破線部分108との間の角度は角度θy(<θa)であり、実際の曲げ量は角度θyであるにも関わらず、角度θaが曲げ量として検知され、角度θaに対応付けられている処理が通知又は実行される。これに対して、実線部分110が基準位置として用いられる場合、一部分106が実線部分110から破線部分108まで曲げられても、曲げ量(角度θy)が検知され、曲げ量(角度θa)は検知されない。図36に示すように、一部分106が破線部分112まで曲げられたときに、曲げ量(角度θa)が検知され、その角度θaに対応付けられている処理が通知又は実行される。こうすることで、ユーザの意図しない動作の発生を防止することができる。
ここで、第5実施形態に係る動作について説明する。まず、制御部28は、現在のフレキシブルディスプレイの状態(例えば、電源の状態(オン、オフ、スリープ、休止等)、起動中のアプリケーションソフトウェア等)を検知する。次に、検知部24は、現在のフレキシブルディスプレイの曲げ位置を検知する。例えば、図36に示すように、一部分106が実線部分110の位置まで曲げられている場合、検知部24は、その曲げ位置を検知する。なお、フレキシブルディスプレイがスライド式のディスプレイである場合、検知部24は、スライド式によって展開したときのディスプレイの位置を検知してもよい。次に、制御部28は、変形操作の基準位置を設定する。図35に示すように、フレキシブルディスプレイが曲げられていない場合、制御部28は、デフォルトの基準位置104を基準位置として設定する。図36に示すように、一部分106が実線部分110の位置まで曲げられている場合、制御部28は、実線部分110の位置を基準位置として設定する。また、アプリケーションソフトウェアが起動している場合、制御部28は、その起動しているアプリケーションソフトウェアを識別する。次に、フレキシブルディスプレイに対して変形操作(例えば曲げ操作)が行われた場合、検知部24は、上記のようにして設定された基準位置からの曲げ量を検知する。特定部30は、その曲げ量に応じた処理を特定し、制御部28は、その特定された処理を通知又は実行する。
第5実施形態によれば、表示手段としてのフレキシブルディスプレイの変化が反映された基準位置からの変化に基づく制御を行うことができる。これにより、例えば、ユーザの意図しない動作の発生を防止することができる。例えば、フレキシブルディスプレイに曲げ癖が発生している場合や、ギア等を利用することでフレキシブルディスプレイの状態を曲げ状態に維持できる場合や、フレキシブルディスプレイを曲げた状態に維持することができる材料が用いられた場合等においては、デフォルトの基準位置からの曲げ量に応じた処理を通知又は実行すると、ユーザの意図しない処理が通知又は実行されることがある。第5実施形態によれば、フレキシブルディスプレイがそのような状態であっても、新たな基準位置からの曲げ量に応じた処理が通知又は実行されるので、上記の問題の発生を防止することができる。
例えば、フレキシブルディスプレイの一部分を60度曲げたときに特定のアプリケーションソフトウェアが実行されるという設定が、定められているものとする。この場合において、その一部分がデフォルトの基準位置から既に30度曲げられている場合、その一部分を更に30度曲げただけで、その特定のアプリケーションソフトウェアが実行されてしまう。ユーザとしては、フレキシブルディスプレイを60度曲げたときに特定のアプリケーションソフトウェアが実行されると意識しているはずであるから、上記の動作はユーザの意図に反することになる。これに対して、第5実施形態によれば、フレキシブルディスプレイがデフォルトの基準位置から30度曲げられた位置が、新たな基準位置として定められる。そのため、フレキシブルディスプレイを、新たな基準位置から更に30度曲げても特定のアプリケーションは実行されず。新たな基準位置から更に60度曲げたときに特定のアプリケーションソフトウェアが実行される。それ故、ユーザの意図に一致した動作が実現される。
(変形例1)
以下、図37を参照して、第5実施形態の変形例1について説明する。変形例1では、変更前の基準位置(例えば基準位置104)、又は、変更後の基準位置(例えば実線部分110の位置)の何れかがユーザによって選択され、制御部28は、ユーザによって選択された基準位置からの変化量に応じて処理を制御する。なお、変更前の基準位置(過去の基準位置)を示す情報は、端末装置10に記憶される。
以下、図37を参照して、第5実施形態の変形例1について説明する。変形例1では、変更前の基準位置(例えば基準位置104)、又は、変更後の基準位置(例えば実線部分110の位置)の何れかがユーザによって選択され、制御部28は、ユーザによって選択された基準位置からの変化量に応じて処理を制御する。なお、変更前の基準位置(過去の基準位置)を示す情報は、端末装置10に記憶される。
例えば、図37に示すように、一部分106が実線部分110まで既に曲げられているものとする。変更後の基準位置が選択されている場合、上記の例と同様に、制御部28は、実線部分110の位置を基準位置として用い、特定部30は、実線部分110の位置からの曲げ量に応じた処理を特定し、制御部28は、その特定された処理を通知又は実行する。例えば、図36に示すように、一部分106が破線部分112の位置(角度θaの位置)まで曲げられた場合、制御部28は、角度θaに対応付けられている処理を通知又は実行する。
一方、変更前の基準位置が選択されている場合、制御部28は、デフォルトの基準位置104を基準位置として用い、特定部30は、基準位置104からの曲げ量に応じた処理を特定し、制御部28は、その特定された処理を通知又は実行する。例えば、図37に示すように、一部分106が実線部分110の位置から破線部分108の位置(実線部分110の位置を基準とすると角度θyの位置であり、基準位置104を基準とすると角度θaの位置)まで曲げられた場合、制御部28は、基準位置104から破線部分108の位置までの曲げ量(角度θa)に応じた処理を通知又は実行する。
変形例1によれば、変更前の基準位置が選択された場合、変更後の基準位置が選択された場合と比べて、より少ない曲げ量によって、処理を通知又は実行することができる。
(変形例2)
以下、図38を参照して、第5実施形態の変形例2について説明する。図38には、フレキシブルディスプレイ(図38に示す例では端末装置10自体)を側面側から見た状態を示す模式図である。変形例2では、変化量が段階的に検知され、制御部28は、その検知された変化量に応じて処理を制御する。以下、図38を参照して、変形例2について詳しく説明する。
以下、図38を参照して、第5実施形態の変形例2について説明する。図38には、フレキシブルディスプレイ(図38に示す例では端末装置10自体)を側面側から見た状態を示す模式図である。変形例2では、変化量が段階的に検知され、制御部28は、その検知された変化量に応じて処理を制御する。以下、図38を参照して、変形例2について詳しく説明する。
例えば、フレキシブルディスプレイがデフォルトの基準位置104から破線部分114の位置(角度θbの位置)まで曲げられた場合、特定部30は、その曲げ量(角度θb分の曲げ量)に対応付けられている機能Aを特定し、制御部28は、その機能Aを用いた処理を通知又は実行する。フレキシブルディスプレイが破線部分114の位置まで曲げられた時点から予め定められた制限時間内に、フレキシブルディスプレイが破線部分114の位置から更に破線部分116の位置(破線部分114の位置から角度θbの位置、基準位置104から角度2θbの位置)まで曲げられた場合、特定部30は、その曲げ量(角度2θb分の曲げ量)に対応付けられている機能Bを特定し、制御部28は、その機能Bを用いた処理を通知又は実行する。上記の制限時間が過ぎた後、制御部28は、破線部分114の位置を基準位置として用いる。この場合、フレキシブルディスプレイが破線部分114の位置から更に破線部分116の位置まで曲げられた場合、特定部30は、その曲げ量(角度θb分の曲げ量)に対応付けられている機能Aを特定し、制御部28は、その機能Aを用いた処理を通知又は実行する。
別の例として、フレキシブルディスプレイが破線部分114の位置(角度θbの位置)まで曲げられ、その曲げ量(角度θb分の曲げ量)が検知部24によって検知されているものとする。次に、その曲げ量が検知された時点から予め定められた制限時間(変形操作を確定するための時間)以内に、更に、フレキシブルディスプレイが破線部分114の位置から破線部分116の位置まで曲げられ(角度θb分の曲げ操作が更に行われ)、その2回目の曲げ操作が検知部24によって検知されたものとする。この場合、特定部30は、その2段階の曲げ操作に対応付けられている機能Cを特定し、制御部28は、その特定された機能Cを用いた処理を通知又は実行してもよい。つまり、基準位置104から破線部分114(角度θb)の位置までフレキシブルディスプレイが曲げられ、その曲げ量(角度θb分の曲げ量)が検知部24によって検知され、その状態で制限時間が経過した場合、その変形操作が確定され、制御部28は、機能Aを用いた処理を通知又は実行する。また、基準位置104から破線部分116(角度2θb)の位置までフレキシブルディスプレイが曲げられ、その曲げ量(角度2θb分の曲げ量)が検知部24によって検知され、その状態で制限時間が経過した場合、その変形操作が確定され、制御部28は、機能Bを用いた処理を通知又は実行する。また、フレキシブルディスプレイが破線部分114の位置(角度θbの位置)まで曲げられ、その曲げ操作が検知部24によって検知され、制限時間が経過した場合、破線部分114の位置が基準位置として定められる。そして、更に、フレキシブルディスプレイが破線部分114の位置から破線部分116の位置まで曲げられ(角度θb分の曲げ操作が更に行われ)、その曲げ量(角度θb分の曲げ量)が検知部24によって検知され、その状態で制限時間が経過した場合、その変形操作が確定され、制御部28は、機能Aを用いた処理を通知又は実行する。また、フレキシブルディスプレイが破線部分114の位置(角度θbの位置)まで曲げられ、その曲げ操作が検知部24によって検知され、制限時間以内に(変形操作が確定する前に)、更に、フレキシブルディスプレイが破線部分114の位置から破線部分116の位置まで曲げられ(角度θb分の曲げ操作が更に行われ)、その2回目の曲げ操作が検知部24によって検知され、その状態で制限時間が経過した場合、その変形操作が確定され、制御部28は、機能Cを用いる処理を通知又は実行する。
変形例2によれば、段階的に検知された変化量に応じた処理が通知又は実行されるので、同じ変化量の範囲内であっても、実行可能な処理の数を増やすことができる。
(変形例3)
以下、図39を参照して、第5実施形態の変形例3について説明する。図39には、フレキシブルディスプレイ(図39に示す例では端末装置10自体)を側面側から見た状態が模式的に示されている。変形例3では、制御部28は、フレキシブルディスプレイの変化の方向に応じて処理を制御する。
以下、図39を参照して、第5実施形態の変形例3について説明する。図39には、フレキシブルディスプレイ(図39に示す例では端末装置10自体)を側面側から見た状態が模式的に示されている。変形例3では、制御部28は、フレキシブルディスプレイの変化の方向に応じて処理を制御する。
変化量と変化の方向と機能とが互いに対応付けられており、特定部30は、検知部24によって検知された変化量と変化の方向とに対応付けられている機能を特定し、制御部28は、その特定された機能を用いた処理を通知又は実行する。
例えば、図39に示すように、フレキシブルディスプレイの一部分106が、基準位置104から破線部分118の位置まで曲げられた場合、検知部24は、その曲げ量と曲げの方向を検知する。図39に示す例では、角度+θaが、その曲げ量と曲げ方向として検知される。特定部30は、その角度+θaに対応付けられている機能を特定し、制御部28は、その特定された機能を用いる処理を通知又は実行する。
また、フレキシブルディスプレイの一部分106が、基準位置104から破線部分120の位置まで曲げられた場合、検知部24は、その曲げ量と曲げ方向を検知する。破線部分120の位置は、基準位置104を境に破線部分118とは反対側の位置であり、角度-θaが、その曲げ量と曲げ方向として検知される。特定部30は、その角度-θaに対応付けられている機能を特定し、制御部28は、その特定された機能を用いる処理を通知又は実行する。角度-θaに、角度+θaに対応付けられている機能とは別の機能を対応付けておくことで、角度-θaの位置までフレキシブルディスプレイが曲げられた場合、角度+θaの位置までフレキシブルディスプレイが曲げられた場合とは異なる機能を用いる処理が通知又は実行される。
変形例3によれば、変化量と変化方向に応じた処理が制御されるので、変化量のみ又は変化方向のみに応じた処理が制御される場合と比べて、より多くの処理の制御ができる。
上記の端末装置10、機器12,14及びサーバ16のそれぞれは、一例としてハードウェアとソフトウェアとの協働により実現される。具体的には、端末装置10、機器12,14及びサーバ16のそれぞれは、図示しないCPU等の1又は複数のプロセッサを備えている。当該1又は複数のプロセッサが、図示しない記憶装置に記憶されたプログラムを読み出して実行することにより、端末装置10、機器12,14及びサーバ16のそれぞれの各部の機能が実現される。上記プログラムは、CDやDVD等の記録媒体を経由して、又は、ネットワーク等の通信経路を経由して、記憶装置に記憶される。別の例として、端末装置10、機器12,14及びサーバ16のそれぞれの各部は、例えばプロセッサや電子回路やASIC(Application Specific Integrated Circuit)等のハードウェア資源により実現されてもよい。その実現においてメモリ等のデバイスが利用されてもよい。更に別の例として、端末装置10、機器12,14及びサーバ16のそれぞれの各部は、DSP(Digital Signal Processor)やFPGA(Field Programmable Gate Array)等によって実現されてもよい。
10 端末装置、12,14 機器、16 サーバ、24 検知部、28 制御部、30 特定部。
Claims (7)
- プロセッサを有し、
前記プロセッサは、
折り曲げ可能な表示部の角度を検知し、
予め定めた角度を検知した場合、起動中のアプリケーションソフトウェアに対応付けられた機能を特定し、
前記機能を実行する、
情報処理装置。 - 前記プロセッサは、
前記表示部に表示されている前記起動中のアプリケーションソフトウェアに対応付けられた前記機能を特定して前記機能を実行する、
請求項1に記載の情報処理装置。 - 前記プロセッサは、更に、
前記角度を検知した場合の前記角度へ至る曲げ方向を検知し、
前記角度と前記方向の両方を満たしたときに実行される前記機能を実行する、
請求項1又は請求項2に記載の情報処理装置。 - 前記プロセッサは、
アプリケーションソフトウェア毎に、機能が実行される前記角度を変える、
請求項1から請求項3のいずれか一項に記載の情報処理装置。 - アプリケーションソフトウェア毎に複数の角度が設定され、
角度毎に実行される機能が設定される、
請求項1から請求項4のいずれか一項に記載の情報処理装置。 - コンピュータが、
折り曲げ可能な表示部の角度を検知し、
予め定めた角度を検知した場合、起動中のアプリケーションソフトウェアに対応付けられた機能を特定し、
前記機能を実行する、
ように動作させるためのプログラム。 - 折り曲げ可能な表示部の角度を検知し、
予め定めた角度を検知した場合、起動中のアプリケーションソフトウェアに対応付けられた機能を特定し、
前記機能を実行する、
制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021175825A JP2022023931A (ja) | 2017-10-23 | 2021-10-27 | 情報処理装置、プログラム及び制御方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017204802A JP6972909B2 (ja) | 2017-10-23 | 2017-10-23 | 情報処理装置、プログラム及び制御方法 |
JP2021175825A JP2022023931A (ja) | 2017-10-23 | 2021-10-27 | 情報処理装置、プログラム及び制御方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017204802A Division JP6972909B2 (ja) | 2017-10-23 | 2017-10-23 | 情報処理装置、プログラム及び制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022023931A true JP2022023931A (ja) | 2022-02-08 |
Family
ID=66169304
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017204802A Active JP6972909B2 (ja) | 2017-10-23 | 2017-10-23 | 情報処理装置、プログラム及び制御方法 |
JP2021175825A Pending JP2022023931A (ja) | 2017-10-23 | 2021-10-27 | 情報処理装置、プログラム及び制御方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017204802A Active JP6972909B2 (ja) | 2017-10-23 | 2017-10-23 | 情報処理装置、プログラム及び制御方法 |
Country Status (3)
Country | Link |
---|---|
US (2) | US10627916B2 (ja) |
JP (2) | JP6972909B2 (ja) |
CN (1) | CN109697241B (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110399921B (zh) * | 2019-07-25 | 2021-07-20 | 维沃移动通信有限公司 | 一种图片处理方法及终端设备 |
CN113497958B (zh) * | 2020-04-01 | 2023-08-11 | 青岛海信传媒网络技术有限公司 | 一种显示设备及图片的展示方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010175999A (ja) * | 2009-01-30 | 2010-08-12 | Toshiba Corp | 携帯情報端末 |
JP2013105312A (ja) * | 2011-11-14 | 2013-05-30 | Sony Corp | 情報処理装置、制御方法およびプログラム |
JP2013196623A (ja) * | 2012-03-22 | 2013-09-30 | Sharp Corp | ディスプレイ装置、ディスプレイシステム、およびディスプレイ制御方法、ならびにそのプログラム。 |
JP2015529915A (ja) * | 2012-08-23 | 2015-10-08 | サムスン エレクトロニクス カンパニー リミテッド | フレキシブル装置及びその制御方法 |
JP2016162447A (ja) * | 2015-03-05 | 2016-09-05 | 三星ディスプレイ株式會社Samsung Display Co.,Ltd. | 表示装置 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5351114Y2 (ja) | 1974-02-09 | 1978-12-07 | ||
JPS5811749A (ja) | 1981-07-16 | 1983-01-22 | Nippon Steel Corp | メツキスラツジの処理方法 |
JP4584025B2 (ja) * | 2005-05-18 | 2010-11-17 | Necカシオモバイルコミュニケーションズ株式会社 | 機能表示装置、及び、機能表示プログラム |
EP1970886B1 (en) | 2006-01-06 | 2015-06-03 | Unified Innovative Technology, LLC | Mobile terminal device, display method, display program, and recording medium |
CN101378431A (zh) * | 2007-08-31 | 2009-03-04 | 鹏智科技(深圳)有限公司 | 图片显示装置及方法 |
WO2010041227A1 (en) * | 2008-10-12 | 2010-04-15 | Barit, Efrat | Flexible devices and related methods of use |
JP5693049B2 (ja) * | 2010-06-04 | 2015-04-01 | キヤノン株式会社 | 画像形成装置、その制御方法、及びプログラム |
JP5737906B2 (ja) | 2010-11-01 | 2015-06-17 | キヤノン株式会社 | 画像形成装置、画像形成装置の制御方法、画像表示装置、及び画像表示装置の制御方法と記憶媒体 |
JP5892361B2 (ja) * | 2011-08-02 | 2016-03-23 | ソニー株式会社 | 制御装置、制御方法、プログラム、及びロボット制御システム |
KR101721046B1 (ko) * | 2012-04-08 | 2017-03-29 | 삼성전자주식회사 | 디스플레이 장치 및 그에 대한 제어 방법 |
JP6079060B2 (ja) | 2012-08-29 | 2017-02-15 | 株式会社リコー | 携帯端末、画像形成方法及び画像形成システム |
CN103116968A (zh) * | 2012-11-19 | 2013-05-22 | 佳都新太科技股份有限公司 | 一种基于图形化报警流程自定义的方法 |
JP2017041249A (ja) * | 2015-08-17 | 2017-02-23 | テンテン テクノロジーズ リミテッドTenten Technologies Limited | タッチスクリーンデバイスの直接接続を介した電子データのソーシャル共有のための改良されたユーザ体験 |
JP6146528B1 (ja) * | 2016-11-22 | 2017-06-14 | 富士ゼロックス株式会社 | 情報処理装置及びプログラム |
-
2017
- 2017-10-23 JP JP2017204802A patent/JP6972909B2/ja active Active
-
2018
- 2018-06-22 US US16/015,197 patent/US10627916B2/en active Active
- 2018-08-06 CN CN201810882737.9A patent/CN109697241B/zh active Active
-
2020
- 2020-04-01 US US16/836,944 patent/US11119583B2/en active Active
-
2021
- 2021-10-27 JP JP2021175825A patent/JP2022023931A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010175999A (ja) * | 2009-01-30 | 2010-08-12 | Toshiba Corp | 携帯情報端末 |
JP2013105312A (ja) * | 2011-11-14 | 2013-05-30 | Sony Corp | 情報処理装置、制御方法およびプログラム |
JP2013196623A (ja) * | 2012-03-22 | 2013-09-30 | Sharp Corp | ディスプレイ装置、ディスプレイシステム、およびディスプレイ制御方法、ならびにそのプログラム。 |
JP2015529915A (ja) * | 2012-08-23 | 2015-10-08 | サムスン エレクトロニクス カンパニー リミテッド | フレキシブル装置及びその制御方法 |
JP2016162447A (ja) * | 2015-03-05 | 2016-09-05 | 三星ディスプレイ株式會社Samsung Display Co.,Ltd. | 表示装置 |
Also Published As
Publication number | Publication date |
---|---|
US11119583B2 (en) | 2021-09-14 |
JP6972909B2 (ja) | 2021-11-24 |
US20200225766A1 (en) | 2020-07-16 |
US20190121447A1 (en) | 2019-04-25 |
CN109697241B (zh) | 2023-10-17 |
US10627916B2 (en) | 2020-04-21 |
CN109697241A (zh) | 2019-04-30 |
JP2019079209A (ja) | 2019-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6972806B2 (ja) | 情報処理装置、プログラム及び制御方法 | |
US20210321010A1 (en) | Information processing device and non-transitory computer readable medium | |
US10922029B2 (en) | Information processing device and non-transitory computer readable medium | |
JP7081099B2 (ja) | 情報処理装置、プログラム及び制御方法 | |
US11119706B2 (en) | Information processing device and non-transitory computer readable medium for notification of linkage function | |
JP2022023931A (ja) | 情報処理装置、プログラム及び制御方法 | |
CN109895092B (zh) | 信息处理装置、信息处理方法以及计算机可读介质 | |
JP7155505B2 (ja) | 情報処理装置、プログラム及び制御方法 | |
JP6486077B2 (ja) | 表示装置、サーバ装置、表示システム及びその制御方法、並びに制御プログラム、記憶媒体 | |
JP6642630B2 (ja) | 情報処理装置及びプログラム | |
US11200209B2 (en) | Information processing apparatus, non-transitory computer readable medium, and information processing method | |
JP7302642B2 (ja) | 情報処理装置、プログラム及び制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211027 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221213 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230606 |