JP2013105312A - Information processing device, control method, and program - Google Patents
Information processing device, control method, and program Download PDFInfo
- Publication number
- JP2013105312A JP2013105312A JP2011248607A JP2011248607A JP2013105312A JP 2013105312 A JP2013105312 A JP 2013105312A JP 2011248607 A JP2011248607 A JP 2011248607A JP 2011248607 A JP2011248607 A JP 2011248607A JP 2013105312 A JP2013105312 A JP 2013105312A
- Authority
- JP
- Japan
- Prior art keywords
- deflection
- display surface
- rounded
- bending
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
Description
本開示は、情報処理装置、制御方法およびプログラムに関する。 The present disclosure relates to an information processing apparatus, a control method, and a program.
ユーザ操作の入力は、キーボードやマウス等の入力デバイスを用いる方法や、ペン、タッチ・スクリーン、ボタン、およびジョクダイアル式のコントローラを用いる方法が知られている。しかし、キーボードやマウス等の入力デバイスは、携帯性が悪く、モバイル機器に向いていない。また、タッチ・スクリーン等を用いた方法では、強くタッチしてもデバイスの形状が変わることはなく、タッチの強さがどの程度入力操作に反映されるのか直感的に感じることはできなかった。 As a method for inputting a user operation, a method using an input device such as a keyboard or a mouse, or a method using a pen, a touch screen, a button, or a jok dial type controller is known. However, input devices such as a keyboard and a mouse are not portable and are not suitable for mobile devices. In addition, in the method using a touch screen or the like, the shape of the device does not change even if a strong touch is made, and it is impossible to intuitively feel how much the touch strength is reflected in the input operation.
これに対し、近年では、可撓性を有する薄くて軽量の電子ディスプレイ（フレキシブルディスプレイ）およびフレキシブルタッチパネルが提案されている。 On the other hand, in recent years, flexible thin and lightweight electronic displays (flexible displays) and flexible touch panels have been proposed.
例えば、下記特許文献１では、フレキシブルディスプレイに関する発明が記載されている。また、下記特許文献２では、装置本体を物理的に曲げたり、歪ませたりすることによって、ユーザ操作を入力することが可能なインタフェースが提案されている。
For example, in the following Patent Document 1, an invention related to a flexible display is described. Further, in
しかし、上記特許文献２に開示されている表示装置は、フレキシブル圧力検出タッチパネル（位置センサを含む）、フレキシブルディスプレイ、ベンディングセンサ（感圧センサを含む）、フレキシブル回路およびフレキシブルバッテリーを積層した構造を有している。かかる構造において、フレキシブル圧力検出タッチパネルにより検出される曲げ位置（ＸＹ方向）およびベンディングセンサにより検出される曲げ量（Ｚ方向）に基づいて操作入力が実現される。
However, the display device disclosed in
ここで、特許文献２に開示されている表示装置では、局所的な点位置における曲げ量（圧力など）に応じた操作入力しか実現できず、表示装置全体がどのように曲げられているか、例えば丸められた状態であるかなどを把握することは困難であった。このように、特許文献２に開示されている表示装置では操作入力方法に制限があった。
Here, in the display device disclosed in
そこで、本開示では、表示面を物理的に丸めることによる操作入力を実現することが可能な、新規かつ改良された情報処理装置、制御方法およびプログラムを提案する。 Therefore, the present disclosure proposes a new and improved information processing apparatus, control method, and program capable of realizing operation input by physically rounding the display surface.
本開示によれば、可撓性を有する表示面と、前記表示面の撓みを検知する撓み検知部と、前記撓み検知部による検知結果に基づいて、前記表示面が丸められたか否かを認識する認識部と、前記認識部による認識結果に対応する処理コマンドを出力する制御部と、を備える、情報処理装置が提供される。 According to the present disclosure, it is recognized whether or not the display surface is rounded based on a display surface having flexibility, a bend detection unit that detects the bend of the display surface, and a detection result by the bend detection unit. An information processing apparatus is provided that includes a recognition unit that performs the processing and a control unit that outputs a processing command corresponding to a recognition result obtained by the recognition unit.
また、本開示によれば、可撓性を有する表示面の撓みを検知するステップと、前記撓みを検知するステップによる検知結果に基づいて、前記表示面が丸められたか否かを認識するステップと、前記認識するステップによる認識結果に対応する処理コマンドを出力するステップと、を含む制御方法が提供される。 Moreover, according to this indication, the step which detects whether the said display surface was rounded based on the detection result by the step which detects the bending of the display surface which has flexibility, and the step which detects the said bending. And a step of outputting a processing command corresponding to the recognition result of the recognizing step.
また、本開示によれば、可撓性を有する表示面の撓みを検知する処理と、前記撓みを検知するステップによる検知結果に基づいて、前記表示面が丸められたか否かを認識する処理と、前記認識するステップによる認識結果に対応する処理コマンドを出力する処理と、を含む、プログラムが提供される。 Moreover, according to this indication, the process which detects whether the display surface was rounded based on the detection result by the process which detects the bending of the display surface which has flexibility, and the step which detects the said bending. And a process of outputting a process command corresponding to the recognition result of the recognition step.
以上説明したように本開示によれば、表示面を物理的に丸めることによる操作入力を実現することが可能となる。 As described above, according to the present disclosure, it is possible to realize an operation input by physically rounding the display surface.
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Hereinafter, preferred embodiments of the present disclosure will be described in detail with reference to the accompanying drawings. In addition, in this specification and drawing, about the component which has the substantially same function structure, duplication description is abbreviate | omitted by attaching | subjecting the same code | symbol.
なお、説明は以下の順序で行うものとする。
１．本開示による情報処理装置の概要
２．各実施形態
２−１．第１の実施形態
２−２．第２の実施形態
２−３．第３の実施形態
３．まとめ
The description will be made in the following order.
1. 1. Overview of information processing apparatus according to the present disclosure Embodiments 2-1. First embodiment 2-2. Second embodiment 2-3.
＜１．本開示による情報処理装置の概要＞
まず、本開示による情報処理装置の概要について図１を参照して説明する。図１は、本開示による情報処理装置１０の外観図である。図１に示すように、本開示による情報処理装置１０は、やわらかい素材により構成され、一部または全体に可撓性を有するフレキシブルデバイスである。この結果、ユーザは、情報処理装置１０を全体的に湾曲させたり、局所的に折ったり、また、丸めたりすることができる。なお、図１では、一例として情報処理装置１０を左右方向から湾曲させている。
<1. Overview of information processing apparatus according to the present disclosure>
First, an overview of an information processing apparatus according to the present disclosure will be described with reference to FIG. FIG. 1 is an external view of an
また、本開示による情報処理装置１０は、曲率センサ（曲げセンサ）２０を内蔵する。曲率センサ２０は、一方向の曲がり（撓み）を検出することができる曲率センサ２０ａ、２０ｂを張り合わせた構造を有し、これにより曲率（曲がり量）を−Ｒ〜Ｒまで検出できる。以下、本開示による情報処理装置の構成について図面を用いて詳述する。
Further, the
［１−１．ハードウェア構成］
図２は、本開示による情報処理装置１０のハードウェア構成の一例を示す図である。図１に示すように、情報処理装置１０は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１、不揮発性メモリ１３、フレキシブルディスプレイ１５、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１７、通信部１９、および曲率センサ２０を含む。ＣＰＵ１７、ＲＡＭ１１、不揮発性メモリ１３および通信部１９は、可撓性を有する素材により形成され情報処理装置１０に内蔵されてもよいし、情報処理装置１０の剛性感のある本体部（不図示）に内蔵されてもよい。
[1-1. Hardware configuration]
FIG. 2 is a diagram illustrating an example of a hardware configuration of the
ＣＰＵ１７は、演算処理部および制御部として機能し、各種プログラムに従って情報処理装置１０の動作全般を制御する。また、ＣＰＵ１７は、マイクロプロセッサであってもよい。
The
ＲＡＭ１１は、ＣＰＵ１７の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。不揮発性メモリ１３は、ＣＰＵ１７が使用するプログラムや演算パラメータ等を記憶する。
The
通信部１９は、他の通信装置やサーバと情報の送受信を行う通信デバイスである。通信部１９は、例えばＷｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈなどの近距離／近接無線通信を行う。
The
フレキシブルディスプレイ１５は、やわらかい素材で形成され、全体に可撓性を有する表示デバイス（表示面）である。また、フレキシブルディスプレイ１５は、ＣＰＵ１７により制御され、画面表示を行う。
The
曲率センサ２０は、情報処理装置１０（フレキシブルディスプレイ１５）が物理的に曲げられた場合の曲率（曲がり量）を−Ｒ〜Ｒまで検出できるセンサである。また、曲率センサ２０は、例えば抵抗値を曲率として出力する。
The
さらに、本開示による曲率センサ２０は、フレキシブルディスプレイ１５（表示面）に積層され設けられるが、より具体的には、フレキシブルディスプレイ１５の各辺に１つずつ、または各辺に複数配置されてもよい。以下、図３を参照して曲率センサ２０の配置について説明する。
Furthermore, the
（曲率センサ２０の配置）
図３は、本開示による曲率センサ２０の配置の一例を説明するための図である。図３に示すように、曲率センサ２０は、フレキシブルディスプレイ１５に各辺に沿って複数配列されている。具体的には、図３に示すように、フレキシブルディスプレイ１５の上辺（ｔｏｐ）に曲率センサ２０ｔ（２０ｔ０〜２０ｔ５）が配列され、下辺（ｂｏｔｔｏｍ）に曲率センサ２０ｂ（２０ｂ０〜２０ｂ５）が配列される。また、フレキシブルディスプレイ１５の左辺（ｌｅｆｔ）に曲率センサ２０ｌ（２０ｌ０〜２０ｌ５）が配列され、右辺（ｒｉｇｈｔ）に、曲率センサ２０ｒ（２０ｒ０〜２０ｒ５）が配列される。
(Arrangement of curvature sensor 20)
FIG. 3 is a diagram for describing an example of the arrangement of the
このように、本開示による情報処理装置１０では、フレキシブルディスプレイ１５の四辺に複数の曲率センサ２０がそれぞれ配列される。これにより、情報処理装置１０は、曲率センサ２０から検出された各曲率に基づいて、フレキシブルディスプレイ１５の曲がり位置（ｘｙ方向）を認識することができる。
Thus, in the
以上、本開示による情報処理装置１０のハードウェア構成について詳細に説明した。続いて、上記ハードウェア構成により実現される情報処理装置１０の機能について説明する。
Heretofore, the hardware configuration of the
［１−２．機能構成］
図４は、本開示による情報処理装置１０の機能構成を説明するための機能ブロック図である。図４に示すように、情報処理装置１０は、認識部１１０、および制御部１１５を有している。認識部１１０は、曲率センサ２０から出力された曲率（曲がり量／撓み量）に基づいて、フレキシブルディスプレイ１５の曲がり形状や状態を認識する。具体的には、認識部１１０は、曲率の時間的変化（周期的変化）を操作入力として認識する。また、認識部１１０は、複数の曲率から曲がり中心線（折り山、折り中心線）を認識する。また、認識部１１０は、曲率に基づいてフレキシブルディスプレイ１５が丸められた状態であるか否かを認識する。そして、認識部１１０は、認識結果を制御部１１５に出力する。
[1-2. Functional configuration]
FIG. 4 is a functional block diagram for explaining a functional configuration of the
制御部１１５は、認識部１１０の認識結果に応じて、対応する処理コマンドを出力する。具体的には、制御部１１５は、曲率の時間的変化に応じてフレキシブルディスプレイ１５の表示内容を切り替えたり、所定のデータを送信したりする制御を行う。また、制御部１１５は、曲がり中心線に応じてフレキシブルディスプレイ１５の表示内容を切り替える制御を行う。また、制御部１１５は、フレキシブルディスプレイ１５が丸められた状態である場合に、所定の表示制御や所定のデータ変換制御を行う。
The
以上、本開示による情報処理装置１０の機能構成について説明した。なお、認識部１１０および制御部１１５の詳細については、次の＜２．各実施形態＞において説明する。
Heretofore, the functional configuration of the
＜２．各実施形態＞
［２−１．第１の実施形態］
（概要）
ユーザ操作の入力方法は、上述したキーボードやマウス等の入力デバイスを用いる方法の他、加速度センサを用いたジェスチャーインターフェースも知られている。しかし、ジェスチャーインターフェースでは、上下左右どちらに振ったかの４方向のみしか認識されず、操作方法に制限があった。これに対し、可撓性を有するフレキシブルデバイスは３６０度どの方向にも自由に撓ませる（曲げる）ことができるので、撓み状態を認識することができれば、操作性の自由度が飛躍的に向上する。
<2. Each embodiment>
[2-1. First Embodiment]
(Overview)
In addition to the above-described method using an input device such as a keyboard or a mouse, a gesture interface using an acceleration sensor is also known as a user operation input method. However, in the gesture interface, only the four directions, i.e., up, down, left and right, are recognized, and the operation method is limited. On the other hand, since a flexible device having flexibility can be freely bent (bent) in any direction of 360 degrees, if the bending state can be recognized, the degree of freedom in operability is dramatically improved. .
また、上記特許文献２は、表示装置本体を物理的に歪ませた場合、ＸＹ方向における位置とＺ方向における圧力を検知することにより表示内容の切り替えを行っているが、曲げ変化に応じた操作入力については何ら言及されていない。
Further, in
そこで、本開示による第１の実施形態によれば、情報処理装置１０−１の物理的な撓み状態の時間変化を操作入力として認識し、対応する処理コマンドを出力することにより、装置を曲げることによる操作入力の利便性を向上させることが可能となる。 Therefore, according to the first embodiment of the present disclosure, the apparatus is bent by recognizing a temporal change in the physical deflection state of the information processing apparatus 10-1 as an operation input and outputting a corresponding processing command. It is possible to improve the convenience of operation input by.
以下、本実施形態による撓みの変化を利用した操作入力について、複数の操作例を挙げて具体的に説明する。なお、本実施形態による情報処理装置１０−１のハードウェア構成および機能構成は、「１−１．ハードウェア構成」および「１−２．機能構成」で上述した通りである。 Hereinafter, the operation input using the change in bending according to the present embodiment will be specifically described with reference to a plurality of operation examples. The hardware configuration and functional configuration of the information processing apparatus 10-1 according to the present embodiment are as described above in “1-1. Hardware configuration” and “1-2. Functional configuration”.
（操作例１）
まず、第１の実施形態による撓みの変化を利用した操作入力の操作例１について、図５〜図８を参照して説明する。
(Operation example 1)
First, the operation example 1 of the operation input using the change in bending according to the first embodiment will be described with reference to FIGS.
図５は、第１の実施形態による操作例１の基本動作を説明するための図である。図５に示すように、操作例１では、情報処理装置１０−１（フレキシブルディスプレイ１５）を撓み状態から張り状態に急激に変化させる動作を操作入力として認識する。 FIG. 5 is a diagram for explaining the basic operation of the operation example 1 according to the first embodiment. As illustrated in FIG. 5, in the operation example 1, an operation that causes the information processing apparatus 10-1 (flexible display 15) to suddenly change from a bent state to a tensioned state is recognized as an operation input.
フレキシブルディスプレイ１５の撓み／張り状態の認識は、認識部１１０（図４参照）により、曲率センサ２０から検出される曲率に基づいて行われる。以下、撓み状態および張り状態の定義について、順次説明する。
The flexure / tension state of the
図３を参照して上述したように、フレキシブルディスプレイ１５の四辺には、複数の曲率センサ２０が設けられている。なお、図３では、各辺に６個、計２４個の曲率センサ２０を設ける構成について説明したが、曲率センサ２０の個数はこれに限定されず、例えば各辺に１個、計４個の曲率センサであってもよい。本実施形態では、計Ｎ個の曲率センサ２０が設けられた場合を例として説明する。
As described above with reference to FIG. 3, a plurality of
本実施形態ではＮ個の曲率センサ２０を有し、各曲率センサ２０からそれぞれ曲率ｒ１，ｒ２，・・・ｒＮを、以下の範囲で検出できる。
In the present embodiment,
このとき、情報処理装置１０−１（フレキシブルディスプレイ１５）全体の曲率ｒは、例えば下記に示すように、各曲率センサ２０から検出された値の平均値として定義する。
At this time, the curvature r of the entire information processing apparatus 10-1 (flexible display 15) is defined as an average value of values detected from the
そして、情報処理装置１０−１全体の曲率ｒが、下記式１に示す閾値に対して、下記式２または式３の範囲である場合を、撓み状態と定義する。
A case where the curvature r of the entire information processing apparatus 10-1 is within the range of the following
以上、撓み状態の定義について説明した。一方、張り状態の定義は、撓み状態でない場合とする。具体的には、情報処理装置１０−１全体の曲率ｒが下記式４の範囲の場合、張り状態としてもよい。
The definition of the bending state has been described above. On the other hand, the definition of the tension state is a case where it is not in a bent state. Specifically, when the curvature r of the entire information processing apparatus 10-1 is in the range of the following
以上説明した撓み／張り状態の定義にしたがって、認識部１１０は、情報処理装置１０−１（フレキシブルディスプレイ１５）の状態を判断することができる。さらに、認識部１１０は、撓み状態から張り状態に変化した際の速度が所定の速度以上である場合、操作入力として認識する。なお、情報処理装置１０−１が加速度センサを有する場合、認識部１１０は、撓み状態から張り状態に変化した際に検出された加速度が所定の加速度以上（急激な変化）である場合、操作入力として認識してもよい。
The recognizing
次に、上述した操作例１の動作処理について図６を参照して説明する。図６は、第１の実施形態による操作例１の動作処理を示すフローチャートである。図６に示すように、まず、ステップＳ１０３において、認識部１１０は、曲率センサ２０から検出された曲率ｒに基づいて、情報処理装置１０−１（フレキシブルディスプレイ１５）が撓み状態であることを認識する。
Next, the operation process of the operation example 1 described above will be described with reference to FIG. FIG. 6 is a flowchart showing the operation process of the operation example 1 according to the first embodiment. As shown in FIG. 6, first, in step S <b> 103, the
次に、ステップＳ１０６において、認識部１１０は、曲率センサ２０から検出された曲率ｒに基づいて、情報処理装置１０−１が張り状態であることを認識する。
Next, in step S <b> 106, the
次いで、ステップ１０９において、認識部１１０は、撓み状態から張り状態に変化した際の速度が急激な変化であったか否かを判断する。
Next, in step 109, the recognizing
次に、ステップＳ１１２において、撓み状態から張り状態への変化が急激な変化であったか否かを判断する。急激な変換であったか否かは、上述したように、例えば変化の速度が所定の速度以上であるか否かにより判断することができる。そして、認識部１１０は、撓み状態から張り状態への変化が急激な変化であった場合は、かかる変化を操作入力として認識し、認識結果を制御部１１５に出力する。
Next, in step S112, it is determined whether or not the change from the bent state to the tensioned state is an abrupt change. As described above, whether or not the conversion has been abrupt can be determined, for example, based on whether or not the speed of change is equal to or higher than a predetermined speed. If the change from the bent state to the tensioned state is abrupt, the
次いで、ステップＳ１１２において、制御部１１５は、認識部１１０の認識結果に応じて、撓み状態から張り状態への急激な変化による操作入力に対応する処理コマンドを出力する。そして、ステップＳ１１５において、張り状態の情報処理装置１０−１において、出力した処理コマンドが実行される。
Next, in step S <b> 112, the
以上、操作例１の動作処理について詳細に説明した。上記ステップＳ１１２で制御部１１５が出力する処理コマンドは特に限定されないが、例えば撓み状態から張り状態に急激に変化させるという動作と直感的に関連するとユーザに感じさせる処理コマンドであってもよい。撓み状態から張り状態に急激に変化させる動作は、ユーザにとって「新聞を広げて整える」といった操作感覚と同様である。そこで、このような操作感覚に基づいて、表示内容を整える処理コマンドを実行することで、直感的な操作入力を実現することができる。以下、図７および図８を参照して具体的に説明する。
The operation process of the operation example 1 has been described in detail above. The processing command output by the
図７は、第１の実施形態による操作例１における自動整列コマンドを説明するための図である。図７上に示すように、フレキシブルディスプレイ１５にアイコン３１が不規則に表示されている場合、フレキシブルディスプレイ１５を撓み状態から張り状態に急激に変化させる操作入力を行うと、制御部１１５は自動整列コマンドを出力する。そして、図７下に示すように、アイコン３１が縦方向および横方向に自動整列される。
FIG. 7 is a diagram for explaining an automatic alignment command in the operation example 1 according to the first embodiment. As shown in FIG. 7, when the
また、本実施形態による情報処理装置１０−１は、張り方向に応じた自動整列を実現してもよい。図８は、第１の実施形態による操作例１における張り方向に応じた自動整列コマンドを説明するための図である。図８に示すように、制御部１１５は、認識部１１０によりフレキシブルディスプレイ１５が横方向に張られたと認識された場合、横方向にアイコン３１を整列させる処理コマンドを出力する。
In addition, the information processing apparatus 10-1 according to the present embodiment may realize automatic alignment according to the tension direction. FIG. 8 is a diagram for explaining an automatic alignment command corresponding to the tension direction in the operation example 1 according to the first embodiment. As illustrated in FIG. 8, when the
認識部１１０による張り方向の判断は、例えば、フレキシブルディスプレイ１５の上辺の曲率ｒｔ、下辺の曲率ｒｂ、左辺の曲率ｒｌ、および右辺の曲率ｒｒをそれぞれ抽出し、その中で最も低い２つの曲率を選択することで判断できる。図８に示す例では、左辺の曲率ｒｌ、および右辺の曲率ｒｒを最も低い２つの曲率として選択できるので、認識部１１０は、フレキシブルディスプレイ１５が横方向に張られたと判断することができる。そして、認識部１１０は、横方向に急激に張る操作入力として認識し、認識結果を制御部１１５に出力する。
The determination of the tension direction by the
以上説明したように、第１の実施形態の操作例１によれば、メニューからアイコンの整列コマンドを選択する必要なく、フレキシブルディスプレイを物理的に撓ませた状態から急激に張ることにより、直感的にアイコンの自動整列を実現することができる。 As described above, according to the operation example 1 of the first embodiment, it is not necessary to select an icon alignment command from the menu, and it is intuitively possible to stretch the flexible display from a physically bent state. Automatic icon alignment can be realized.
（操作例２）
次に、第１の実施形態による撓みの変化を利用した操作入力の操作例２について、図９〜図１４を参照して説明する。
(Operation example 2)
Next, the operation example 2 of the operation input using the change in bending according to the first embodiment will be described with reference to FIGS.
図９は、第１の実施形態による操作例２の基本動作を説明するための図である。図９に示すように、操作例２では、情報処理装置１０−１（フレキシブルディスプレイ１５）の上端を把持して前後に動かすことで情報処理装置１０−１を撓ませる動作、すなわち払う動作を操作入力として認識する。 FIG. 9 is a diagram for explaining the basic operation of the operation example 2 according to the first embodiment. As shown in FIG. 9, in the operation example 2, the operation of bending the information processing apparatus 10-1 by holding the upper end of the information processing apparatus 10-1 (flexible display 15) and moving it back and forth, that is, the operation of paying is operated. Recognize as input.
払う動作の認識は、認識部１１０（図４参照）により、曲率センサ２０から検出される曲率に基づいて行われる。具体的には、認識部１１０は、情報処理装置１０−１全体の曲率ｒの時間変化ｒ（ｔ）が周期的であった場合、払う動作による操作入力と認識する。
Recognition of the paying action is performed based on the curvature detected from the
曲率の時間変化が周期的であるか否かを判定する方法は、例えば曲率の時間変化ｒ（ｔ）とサイン関数ｓｉｎ（ｔ）との相互相関値をフーリエ変換により求め、求めた相互相関値が所定の閾値以上であるか否かにより判定する方法であってもよい。 The method for determining whether or not the time change in curvature is periodic is, for example, that the cross-correlation value between the time change r (t) in curvature and the sine function sin (t) is obtained by Fourier transform and the cross-correlation value obtained May be determined by whether or not is greater than or equal to a predetermined threshold.
なお、認識部１１０は、払う動作による操作入力の認識条件を追加することで、払う操作の認識精度を上げることができる。また、このように払う操作の認識制度を上げることで、対応する処理コマンドも細かく設定することができ、より直感的な操作入力を実現することができる。
Note that the
追加する認識条件は、例えば、ユーザが情報処理装置１０−１（フレキシブルディスプレイ１５）の１点を保持していることであってもよい。具体的には、情報処理装置１０−１がタッチパネルを有する構成において、タッチパネルによりユーザが保持している位置が検出される。そして、認識部１１０は、１箇所のみ保持されている際に払う動作が行われた場合、操作入力として認識する。
The recognition condition to be added may be, for example, that the user holds one point of the information processing apparatus 10-1 (flexible display 15). Specifically, in the configuration in which the information processing apparatus 10-1 has a touch panel, the position held by the user is detected by the touch panel. And the
また、さらに厳しい認識条件として、ユーザが情報処理装置１０−１（フレキシブルディスプレイ１５）の上端のみを保持していることとしてもよい。具体的には、情報処理装置１０−１がタッチパネルに加えて、３軸加速度センサを有する構成において、３軸加速度センサにより情報処理装置１０−１が重力方向に対してどのような向きになっているかも検出される。そして、認識部１１０は、情報処理装置１０−１の向き、およびユーザに保持されている位置に基づいて、情報処理装置１０−１の上端のみが保持されている状態において払う動作が行われたと判定できる場合、操作入力として認識する。
Further, as a more strict recognition condition, the user may hold only the upper end of the information processing apparatus 10-1 (flexible display 15). Specifically, in the configuration in which the information processing apparatus 10-1 includes a three-axis acceleration sensor in addition to the touch panel, the information processing apparatus 10-1 is oriented with respect to the direction of gravity by the three-axis acceleration sensor. It is also detected. Then, the
次に、上述した操作例２の動作処理について図１０を参照して説明する。図１０は、第１の実施形態による操作例２の動作処理を示すフローチャートである。図１０に示すように、まず、ステップＳ１２３において、認識部１１０は、曲率ｒの時間変化ｒ（ｔ）と、サイン関数ｓｉｎ（ｔ）の相互相関値を算出する。
Next, the operation process of the operation example 2 described above will be described with reference to FIG. FIG. 10 is a flowchart illustrating the operation process of the operation example 2 according to the first embodiment. As shown in FIG. 10, first, in step S123, the recognizing
次いで、ステップＳ１２６において、認識部１１０は、算出した相互相関値が所定の閾値以上であるか否かを判定する。相互相関値が所定の閾値以上であった場合、曲率の時間変化は周期的であると判定し、認識部１１０は、払う動作による操作入力として認識する旨を、認識結果として制御部１１５に出力する。
Next, in step S126, the
そして、ステップＳ１２９において、制御部１１５は、認識部１１０の認識結果に応じて、払う動作による操作入力に対応する処理コマンドを出力する。
In step S <b> 129, the
以上、操作例２の動作処理について詳細に説明した。上記ステップＳ１２９で制御部１１５が出力する処理コマンドは特に限定されないが、例えば払う動作と直感的に関連するとユーザに感じさせる処理コマンドであってもよい。払う動作は、ユーザにとって「紙面上のごみを払い落とす」といった操作感覚と同様である。そこで、このような操作感覚に基づいて、ノイズを除去する処理コマンドを実行することで、直感的な操作入力を実現することができる。以下、図１１および図１２を参照して具体例を説明する。
The operation process of the operation example 2 has been described in detail above. The processing command output by the
図１１は、第１の実施形態による操作例２におけるノイズ除去コマンドを説明するための図である。図１１左に示すように、ノイズを含む画像３３が表示されている場合、情報処理装置１０−１を払う操作入力を行うと、制御部１１５はノイズ除去コマンドを出力する。そして、図１１右に示すように、ノイズ除去処理後の画像３４と、ノイズ３５が表示され、ノイズ３５は下に落ちるように表示制御される。
FIG. 11 is a diagram for explaining a noise removal command in the operation example 2 according to the first embodiment. As shown in the left of FIG. 11, when an
また、本実施形態による情報処理装置１０−１は、文章の余分な部分をノイズとみなし、払う操作に応じて文章を要約する処理を実現してもよい。文章の余分な部分とは、例えば文章を文節に区切った場合に、主述の関係にある文節以外を余分な部分としてもよいし、文章が主節と接続節から成る場合は接続節を余分な部分とみなしてもよい。また、正式名称と略称が併記されている場合は正式名称を余分な部分とみなしてもよい。 Further, the information processing apparatus 10-1 according to the present embodiment may realize a process of summarizing a sentence according to an operation to be performed by regarding an extra part of the sentence as noise. For example, if the sentence is divided into clauses, the extra part of the sentence may be an extra part other than the clauses that are related to the main statement, and if the sentence consists of a main clause and a connecting clause, an extra connecting clause is added. It may be regarded as an important part. Further, when the official name and the abbreviation are written together, the official name may be regarded as an extra part.
図１２は、第１の実施形態による操作例２における払う操作に応じた文章要約コマンドを説明するための図である。図１２左に示すように、文章３７が表示されている場合、情報処理装置１０−１を払う操作入力を行うと、制御部１１５は文章３７の余分な部分をノイズとみなし、ノイズを除去して文章を要約するコマンドを出力する。
FIG. 12 is a diagram for explaining a sentence summary command according to an operation to be paid in the operation example 2 according to the first embodiment. As shown in the left of FIG. 12, when the
そして、図１２右に示すように、要約処理後の文章３８と、余分な部分とみなされて文章３７から削除されたノイズ３９が表示され、ノイズ３９は下に落ちるように表示制御される。
Then, as shown in the right of FIG. 12, the
以上、ノイズを除去する処理コマンドを実行する場合について具体的に説明した。なお、本実施形態による情報処理装置１０−１は、さらに払う操作の継続時間、または払う操作の繰り返し回数に応じて、ノイズ除去の強度を変化させることもできる。 The case where the processing command for removing noise is executed has been specifically described above. Note that the information processing apparatus 10-1 according to the present embodiment can also change the intensity of noise removal according to the duration of the paying operation or the number of repetitions of the paying operation.
また、払う操作は、ユーザにとって「中に入っている物を落とす」といった操作感覚とも同様である。よって、このような操作感覚に基づいて、データ転送コマンドを実行し、直感的な操作入力を実現してもよい。以下、図１３を参照して具体的に説明する。 Further, the paying operation is similar to an operation feeling such as “drop the object in the user” for the user. Therefore, an intuitive operation input may be realized by executing a data transfer command based on such an operation feeling. Hereinafter, a specific description will be given with reference to FIG.
図１３は、第１の実施形態による操作例２におけるデータ転送コマンドを説明するための図である。図１３左に示すように、画像４１が表示されている場合に情報処理装置１０−１を払う操作入力を行うと、制御部１１５は、近接する通信装置４０に画像４１を転送するコマンドを出力する。
FIG. 13 is a diagram for explaining a data transfer command in operation example 2 according to the first embodiment. As shown on the left in FIG. 13, when an operation input for paying the information processing apparatus 10-1 is performed when the
次に、図１３中央に示すように、情報処理装置１０−１のフレキシブルディスプレイ１５において写真画像４１が下に落ちるよう表示され、同時に、通信部１９は画像４１を通信装置４０に送信する。そして、通信部１９による送信が完了した場合、図１３右に示すように、情報処理装置１０−１のフレキシブルディスプレイ１５では画像４１を非表示とすることで、ユーザに転送完了を明示することができる。
Next, as shown in the center of FIG. 13, the
以上説明したように、第１の実施形態の操作例２によれば、メニューからノイズ除去のコマンドを選択する必要なく、フレキシブルディスプレイを物理的に払うことにより、直感的に画像や文章のノイズ除去を実現することができる。また、第１の実施形態の操作例２によれば、メニューからデータ転送のコマンドを選択する必要なく、フレキシブルディスプレイを物理的に払うことにより、直感的にデータ転送を実現することができる。 As described above, according to the operation example 2 of the first embodiment, it is not necessary to select a noise removal command from the menu, and the flexible display is physically paid to intuitively remove noise from images and sentences. Can be realized. According to the operation example 2 of the first embodiment, data transfer can be realized intuitively by physically paying the flexible display without having to select a data transfer command from the menu.
なお、上述した操作例１では、撓み状態から張り状態への急激な変化を操作入力として認識する例について説明したが、本実施形態による操作例はこれに限定されない。例えば、張り状態から撓み状態への急激な変化を操作入力として認識してもよい。さらに、張り状態から撓み状態への急激な変化による操作入力に対応する処理コマンドとしてデータ転送を行ってもよい。以下、図１４を参照して具体的に説明する。 In the operation example 1 described above, an example in which a sudden change from a bent state to a tension state is recognized as an operation input has been described, but the operation example according to the present embodiment is not limited to this. For example, you may recognize the sudden change from a tension state to a bending state as an operation input. Furthermore, data transfer may be performed as a processing command corresponding to an operation input due to a sudden change from a tension state to a bending state. Hereinafter, a specific description will be given with reference to FIG.
図１４は、第１の実施形態の変形例におけるデータ転送コマンドを説明するための図である。図１４上に示すように、情報処理装置１０−１が張り状態であって、フレキシブルディスプレイ１５に画像４１が表示されている場合に、ユーザは、図１４下に示すように情報処理装置１０−１を通信端末４０側に急激に撓ませる操作入力を行ってもよい。これにより、制御部１１５は、近接する通信装置４０に画像４１を転送するコマンドを出力し、通信部１９は画像４１を通信装置４０に送信する。また、通信部１９による送信が完了した場合、図１４下に示すように、フレキシブルディスプレイ１５において画像４１を非表示とすることで、ユーザに転送完了を明示することができる。
FIG. 14 is a diagram for explaining a data transfer command according to a modification of the first embodiment. As shown in the upper part of FIG. 14, when the information processing apparatus 10-1 is in the tensioned state and the
上述したように、本開示の第１の実施形態によれば、情報処理装置１０−１が物理的に撓む場合における、撓みの時間変化を操作入力として認識し、対応する処理コマンドを出力することにより、装置を曲げることによる操作入力の利便性を向上させることが可能となる。また、撓みの変化と直感的に関連するとユーザに感じさせる処理コマンドを出力することにより、直感的な操作入力を実現することができる。 As described above, according to the first embodiment of the present disclosure, when the information processing apparatus 10-1 physically bends, the time change of the bend is recognized as an operation input and a corresponding processing command is output. Thus, it is possible to improve the convenience of operation input by bending the apparatus. Also, intuitive operation input can be realized by outputting a processing command that the user feels if it is intuitively related to the change in bending.
［２−２．第２の実施形態］
（概要）
次に、本開示による第２の実施形態について説明する。上述したように、可撓性を有するフレキシブルデバイスを物理的に曲げることによる操作入力を実現する際、圧力センサ等によりＺ方向への入力操作（曲げ量）を検出し、位置センサ等によりＸＹ方向の入力位置（曲げ位置）を検出する（特許文献２参照）。しかしながら、このように複数種類の特殊なセンサ（検知部）を有する構造はコストがかかる。また、通常用いられる位置センサでは、局所的な位置を認識するのみで、線状の折り位置（曲げ位置）などを把握することは困難であった。
[2-2. Second Embodiment]
(Overview)
Next, a second embodiment according to the present disclosure will be described. As described above, when realizing an operation input by physically bending a flexible device having flexibility, an input operation (bending amount) in the Z direction is detected by a pressure sensor or the like, and an XY direction is detected by a position sensor or the like. The input position (bending position) is detected (see Patent Document 2). However, such a structure having a plurality of types of special sensors (detecting units) is expensive. Moreover, with a position sensor normally used, it is difficult to grasp a linear folding position (bending position) only by recognizing a local position.
さらに、圧力センサ、歪みセンサなどのＺ方向への入力操作を検出するセンサは、通常、１つのセンサから１つの曲がり（撓み）量が出力されるのみであって、撓み位置の検出を行うことは困難である。 Further, a sensor that detects an input operation in the Z direction, such as a pressure sensor or a strain sensor, usually outputs only one bending (bending) amount from one sensor, and detects a bending position. It is difficult.
そこで、本開示による第２の実施形態によれば、撓み検知部（曲率センサ）を複数配置することにより、複数の撓み検知部の各検知結果に基づいて、撓み量（曲げ量）および撓み位置（曲げ位置）を認識し、さらに撓み状態（曲げ状態）を認識することができる。そして、本開示による第２の実施形態は、このように認識した曲げ状態を操作入力として認識し、対応する処理コマンドを出力する。 Therefore, according to the second embodiment of the present disclosure, by arranging a plurality of deflection detection units (curvature sensors), the deflection amount (bending amount) and the deflection position based on the detection results of the plurality of deflection detection units. (Bending position) can be recognized, and the bending state (bending state) can be further recognized. And 2nd Embodiment by this indication recognizes the bending state recognized in this way as operation input, and outputs a corresponding processing command.
以上、本開示による第２の実施形態の概要について説明した。なお、本実施形態に係る曲げ状態による操作入力を実現する情報処理装置１０−２のハードウェア構成および機能構成は、上述した通りである。続いて、本実施形態における複数の撓み検知部２０を利用した曲げ状態の認識について説明する。
The overview of the second embodiment according to the present disclosure has been described above. Note that the hardware configuration and functional configuration of the information processing apparatus 10-2 that realizes an operation input in a bent state according to the present embodiment are as described above. Subsequently, the recognition of the bending state using the plurality of bending
（曲げ状態の認識）
第２の実施形態による認識部１１０（図４参照）は、複数の曲率センサ２０から検出される曲率（以下、曲げ量とも称す）に基づいて、曲げ状態を認識する。複数の曲率センサ２０は、図３に示したように、フレキシブルディスプレイ１５の上辺アレイ上に複数の曲率センサ２０ｔ、下辺アレイ上に複数の曲率センサ２０ｂ、左辺アレイ上に複数の曲率センサ２０ｌ、および右辺アレイ上に複数の曲率センサ２０ｒが配列される。
(Bending state recognition)
The recognition unit 110 (see FIG. 4) according to the second embodiment recognizes the bending state based on the curvature (hereinafter also referred to as a bending amount) detected from the plurality of
このような構成において、本実施形態による認識部１１０は、複数の曲率センサ２０から出力された各検知結果に基づいて、情報処理装置１０−２の曲げ状態を認識する。より具体的には、例えば認識部１１０は、複数の曲率センサ２０から出力された各検知結果を含む信号系列と、実際の曲率センサ２０の物理的な配置とを照らし合わせる。これにより、認識部１１０は、情報処理装置１０−２が各位置でどの程度の曲げ量を有しているかを測定でき、その結果、状態処理装置１０−２の曲げ状態を認識することができる。また、認識部１１０は、上記信号系列のデータ補間を行うことで、曲げ状態の認識精度を上げることができる。
In such a configuration, the
また、本実施形態による認識部１１０は、各アレイ上のセンサ（曲率センサ２０ｔ、２０ｂ、２０ｌ、２０ｒ）の信号系列において、曲げ中心点を推定し、正対する辺の曲げ中心点を結ぶ線を曲がり中心線と認識してもよい。または、認識部１１０は、１辺の曲げ中心点から正対する辺に垂直に伸ばした線を曲がり中心線としてもよい。以下、図１５および図１６を参照して、正対する辺の曲げ中心点を結ぶ線を曲がり中心線と認識する場合について詳細に説明する。
In addition, the
図１５は、第２の実施形態による情報処理装置１０−２において、フレキシブルディスプレイ１５の上辺に設けられた曲率センサ２０ｔ、および下辺に設けられた曲率センサ２０ｂから検知された曲げ量を含む信号系列を示す図である。なお、ここでは、図１に示すように、ユーザがフレキシブルディスプレイ１５の左右をそれぞれ手で保持し、各持ち手を中央に向けて移動させてフレキシブルディスプレイ１５を物理的に曲げた状態を前提とする。よって、曲げ量がほぼ０に近い左辺の曲率センサ２０ｌ、および右辺の曲率センサ２０ｒによる各検知結果（曲げ量）の図示は省略する。
FIG. 15 is a signal sequence including the bending amount detected from the
認識部１１０は、各曲率センサ２０からの曲げ量に基づいて、まず各辺における曲げ中心点を求める。具体的には、図１５上に示すように、上辺に配列される曲率センサ２０ｔ０〜ｔＮのうち、最大２つの曲げ量Ｒｔ２、Ｒｔ３を抽出し、さらにかかる最大値に隣接する曲げ量Ｒｔ１、Ｒｔ４から、中心点の位置ｔ’およびその曲げ量Ｒｔ’を推定する。また、図１５下に示すように、下辺に配列される曲率センサ２０ｂも同様に、曲率センサ２０ｂ０〜ｂＮのうち、最大２つの曲げ量Ｒｂ１、Ｒｂ２を抽出し、さらにかかる最大値に隣接する曲げ量Ｒｂ０、Ｒｂ３から、中心点の位置ｂ’およびその曲げ量Ｒｂ’を推定する。
Based on the amount of bending from each
図１６は、第２の実施形態による曲がり中心線の認識について説明するための図である。図１６に示すように、認識部１１０は、情報処理装置１０−２の上辺の曲げ中心位置座標（ｔ’／ｔＮ，１．０）、および下辺の曲げ中心位置座標（ｂ’／ｂＮ，０．０）を結ぶ線を、曲がり中心線２５と認識する。また、図１６では、曲げ中心位置座標における曲げ量Ｒｔ’、Ｒｂ’も併せて示す。
FIG. 16 is a diagram for explaining the recognition of a bend centerline according to the second embodiment. As illustrated in FIG. 16, the
なお、上記図１５および図１６では、曲げ中心点を推定した上で、正対する辺の曲げ中心点を結ぶ線を曲がり中心線と認識しているが、本実施形態による曲がり中心線の認識はこれに限定されない。例えば、認識部１１０は、各曲率センサ２０の曲げ量から、物理的に湾曲された情報処理装置１０−２の立体形状を推定して、曲がり中心線を認識してもよい。
In FIGS. 15 and 16, after estimating the bending center point, the line connecting the bending center points of the opposite sides is recognized as the bending center line, but the bending center line according to the present embodiment is recognized. It is not limited to this. For example, the
以上、本実施形態による曲げ状態の認識について具体的に説明した。このように認識部１１０により認識された曲げ状態に基づいて、本実施形態による制御部１１５は、対応する処理コマンドを出力する。制御部１１５が出力する処理コマンドは特に限定されないが、例えばユーザによる曲げ動作と直感的に関連するとユーザに感じさせる処理コマンドであってもよい。
In the above, the recognition of the bending state by this embodiment was demonstrated concretely. Based on the bending state recognized by the
例えば、情報処理装置１０−２を正対する方向から湾曲させる動作は、湾曲した部分をフォーカスするといった感覚と同様である。そこで、このような操作感覚に基づいて、拡大表示制御を実行することで、直感的な操作入力を実現することができる。 For example, the operation of bending the information processing apparatus 10-2 from the direction facing directly is the same as a feeling of focusing the curved portion. Therefore, intuitive operation input can be realized by executing enlargement display control based on such an operation feeling.
また、情報処理装置１０−２を折り曲げる動作は、例えばブックマークをするといった感覚や、ページをめくる感覚と同様であるので、このような操作感覚に応じてブックマーク機能の実行や次ページ表示制御を行い、直感的な操作入力を実現することができる。 The operation of bending the information processing apparatus 10-2 is similar to, for example, a bookmarking feeling or a page turning feeling. Therefore, the bookmark function is executed and the next page display control is performed according to such an operation feeling. Intuitive operation input can be realized.
このように、曲げ状態と対応処理コマンドの組み合わせは様々考え得る。以下、本実施形態の制御部１１５による曲げ状態に応じた制御について、複数の例を挙げて具体的に説明する。
As described above, various combinations of the bending state and the corresponding processing command can be considered. Hereinafter, the control according to the bending state by the
（表示制御例１）
第２の実施形態による表示制御例１では、制御部１１５が、認識部１１０により認識された曲がり中心線２５に応じて表示内容を拡大／縮小する。以下、図１７から図２０を参照して具体的に説明する。
(Display control example 1)
In the display control example 1 according to the second embodiment, the
・リスト項目の拡大／縮小表示制御
図１７は、第２の実施形態による表示制御例１において、曲がり中心線２５に応じたリスト項目拡大表示制御を説明するための図である。図１７上に示すように、情報処理装置１０−２を後ろから指で押し、横方向（略水平方向）に湾曲させた場合、左辺の曲がり中心位置ｌ’および右辺の曲がり中心位置ｒ’を結ぶ曲がり中心線２５が認識部１１０により認識される。そして、認識部１１０は、各中心位置における曲げ量Ｒｌ’、Ｒｒ’が所定の閾値以上である場合、曲げ操作入力として認識し、対応する表示制御を実行する。例えば制御部１１５は、曲がり中心線２５の位置に相当する表示部分を拡大表示する制御を行う。
List Item Enlargement / Reduction Display Control FIG. 17 is a diagram for explaining list item enlargement display control according to the
図１７下に示す例では、フレキシブルディスプレイ１５にリスト項目としてアルバム名Ａ〜Ｅが表示されているので、制御部１５は、曲がり中心線２５の位置に相当するリスト項目である「ＡＬＢＵＭ Ａ」を拡大表示する。これにより、「ＡＬＢＵＭ Ａ」がフォーカスされていることを表現することができる。また、制御部１１５は、拡大した「ＡＬＢＵＭ Ａ」の領域５１内に、リスト項目の内容を表示してもよい。例えば、リスト項目がアルバム名の場合、リスト項目の内容として、曲名を表示してもよい。
In the example shown in the lower part of FIG. 17, the album names A to E are displayed as list items on the
また、制御部１１５は、拡大したリスト項目の領域内の情報量を、曲げ量Ｒ’に応じて制御してもよい。なお、曲げ量Ｒ’は、正対する辺の各曲がり中心位置の曲げ量Ｒ’（図１７に示す例では、曲げ量Ｒｌ’、Ｒｒ’）の総和や平均値であってもよい。
Further, the
また、制御部１１５は、拡大表示したリスト項目周辺のリスト項目を、縮小（減衰）表示する制御を行ってもよい。
In addition, the
また、制御部１１５は、曲がり中心線２５の情報処理装置１０−２に対する角度θによっては、曲げ操作入力を棄却してもよい。例えば、図１８に示すように、情報処理装置１０−２に対する曲がり中心線２５の角度θ１が、閾値θｔｈ以上の場合、制御部１１５は、曲げ操作入力を棄却する。
Further, the
・文書の拡大／縮小表示制御
上記図１７および図１８では、リスト項目の拡大／縮小表示制御を例に挙げたが、表示制御例１による拡大／縮小表示制御は、リスト項目に限られない。例えば、文書を拡大／縮小表示制御してもよい。以下、図１９を参照して文書の拡大／縮小表示制御について具体的に説明する。
Document Enlargement / Reduction Display Control In FIGS. 17 and 18 described above, the list item enlargement / reduction display control is taken as an example. However, the enlargement / reduction display control according to the display control example 1 is not limited to the list item. For example, the document may be controlled to be enlarged / reduced. Hereinafter, the document enlargement / reduction display control will be described in detail with reference to FIG.
図１９は、第２の実施形態による表示制御例１において、曲がり中心線２５に応じた文章拡大表示制御を説明するための図である。図１９上に示すように、情報処理装置１０−２を左右方向から湾曲させると、上辺の曲がり中心位置ｔ’および下辺の曲がり中心位置ｂ’を結ぶ曲がり中心線２５が認識部１１０により認識される。そして、認識部１１０は、各中心位置における曲げ量Ｒｔ’、Ｒｂ’が所定の閾値以上である場合、曲げ操作入力として認識し、対応する表示制御を実行する。例えば制御部１１５は、曲がり中心線２５の位置に相当する表示部分を拡大表示する制御を行う。
FIG. 19 is a diagram for explaining sentence enlargement display control according to the
ここでは、図１９下に示すように、フレキシブルディスプレイ１５に文章が表示されるので、制御部１５は、曲がり中心線２５の位置に相当する行を拡大表示する。これにより、行５３がフォーカスされていることを表現することができる。また、制御部１１５は、拡大した行５３周辺の行について、縮小（減衰）表示制御を行ってもよい。
Here, as shown in the lower part of FIG. 19, since the text is displayed on the
このように、制御部１１５は、曲がり中心線２５に近い行ほど大きく表示し（拡大表示制御）、その周辺は小さく表示する制御（減衰表示制御）を行ってもよい。なお、拡大率および縮小率（周辺減衰率）は、曲げ量Ｒ’（図１９に示す例では、曲げ量Ｒｔ’、Ｒｂ’に基づいて求められる）に応じて変化させてもよい。
As described above, the
・曲がり中心線の変化に応じたコンテンツ拡大／縮小表示制御
上記図１７から図１９では、曲がり中心線２５の位置に相当する表示部分の拡大／縮小表示制御について具体的に説明した。本実施形態による制御部１１５は、上述したような曲がり中心線２５に応じたコンテンツ拡大／縮小表示制御を、曲がり中心線２５の変化に応じて動的に行ってもよい。ここでコンテンツ（オブジェクト）とは、アイコンおよびサムネイルリスト等に代表されるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）のタイルグラフィック、一方向に並んでいるＧＵＩリスト、文字情報などである。以下、図２０を参照して動的なコンテンツ拡大／縮小表示制御について具体的に説明する。
-Content Enlargement / Reduction Display Control According to Change of Bending Center Line In FIGS. 17 to 19, the enlargement / reduction display control of the display portion corresponding to the position of the
図２０は、第２の実施形態による表示制御例１において、曲がり中心線２５の変化に応じた動的な拡大表示制御を説明するための図である。図２０左に示すように、情報処理装置１０−２を左右方向から徐々に湾曲させると、曲がり中心線２５の位置や、曲げ量Ｒ’（図２０に示す例では、曲げ量Ｒｔ’、Ｒｂ’から求められる）が変化する。そして、認識部１１０は、曲がり中心線の位置や曲げ量Ｒの変化に応じて、フレキシブルディスプレイ１５の表示内容を制御する。
FIG. 20 is a diagram for explaining dynamic enlargement display control according to a change in the
図２０左に示す例では、情報処理装置１０−２が左右方向から徐々に湾曲されることで、曲がり中心線２５の曲げ量Ｒ’が徐々に大きくなる。かかる曲げ量Ｒ’の変化に応じて、制御部１１５は、図２０右に示すように、曲がり中心線２５に近いコンテンツ５７を徐々に拡大表示する制御を行う。また、制御部１１５は、拡大したコンテンツ５７周辺のコンテンツについては、縮小（減衰）表示制御を行ってもよい。
In the example shown on the left in FIG. 20, the bending amount R ′ of the
このように、制御部１１５は、曲がり中心線２５に近いコンテンツほど大きく表示し（拡大表示制御）、その周辺は小さく表示する制御（減衰表示制御）を行ってもよい。なお、拡大率および縮小率（周辺減衰率）は、曲げ量Ｒ’に応じて変化させてもよい。
As described above, the
（表示制御例２）
次に、制御部１１５が、認識部１１０により認識された曲がり中心線２５に沿ってアイコン３１を整列させる表示制御例２について説明する。上記第１の実施形態において、撓み状態から張り状態に急激に変化した場合に、アイコン３１を整列させる操作例１について図７および図８を参照して説明した。第２の実施形態による表示制御例２では、上記第１の実施形態による撓み状態から張り状態に急激に変化する操作入力と、本実施形態による曲げ操作入力を組み合わせる。以下、図２１を参照して具体的に説明する。
(Display control example 2)
Next, display control example 2 in which the
図２１は、第２の実施形態による表示制御例２において、曲がり中心線２５に沿ってアイコン３１を整列させる制御を説明するための図である。図２１上に示すように、ユーザは、アイコン３１が不規則に表示されている情報処理装置１０−２を左右方向から湾曲させて撓み状態にさせた後、図２１下に示すように、急激に張り状態に変化させる。そして、本実施形態による認識部１１０は、撓み状態から張り状態に変化した際の速度が所定の速度以上である場合、操作入力として認識し、制御部１１５は、対応する処理コマンドを出力する。具体的には、図２１下に示すように、制御部１１５は、張り状態に変化する前の撓み状態における曲がり中心線２５（図２１上参照）の位置に沿ってアイコン３１を整列させる表示制御を行う。
FIG. 21 is a diagram for describing control for aligning the
（表示制御例３）
上記表示制御例１および表示制御例２では、フレキシブルディスプレイ１５が湾曲された場合に、曲がり中心線２５を求め、対応する表示制御を行う場合について説明した。しかし、本実施形態による表示制御はこれに限定されず、例えばフレキシブルディスプレイ１５の角部が折り曲げられた状態を認識し、対応する表示制御を行ってもよい。以下、第２の実施形態による表示制御例２において、角部が折り曲げられた場合の表示制御について説明する。
(Display control example 3)
In the display control example 1 and the display control example 2 described above, the case where the
図２２は、第２の実施形態による表示制御例３によるブックマーク表示制御を説明するための図である。図２２に示す例では、フレキシブルディスプレイ１５に電子書籍が表示されているが、この他、ＷＥＢページや新聞など、ブックマーク機能が有効な表示内容であればよい。
FIG. 22 is a diagram for explaining bookmark display control according to display control example 3 according to the second embodiment. In the example shown in FIG. 22, an electronic book is displayed on the
図２２に示すように、ユーザがフレキシブルディスプレイ１５の左上角を曲げると、認識部１１０により、各アレイ上の曲げ量ピーク位置が抽出される。例えば、図２２に示すように、上辺において、曲げ量ピーク位置ｔ’、左辺において曲げ量ピーク位置ｌ’が抽出される。これにより、認識部１１０は、左上角部が折り曲げられと判断できる。さらに、認識部１１０は、各ピーク位置の曲げ量の総和が所定の値以上であるか否かを判断する。
As shown in FIG. 22, when the user bends the upper left corner of the
そして認識部１１０は、左上角部が折り曲げられ、さらに曲げ量Ｒｔ’、Ｒｌ’の総和が所定の値以上である場合、ユーザによる折り曲げ動作を操作入力として認識し、認識結果を制御部１１５に出力する。
When the upper left corner is bent and the sum of the bending amounts R t ′ and R 1 ′ is equal to or greater than a predetermined value, the
制御部１１５は、当該認識結果に応じて、フレキシブルディスプレイ１５の左上角部にブックマークアイコン３３を表示し、ユーザによる折り曲げ操作入力に対する視覚的フィードバックを行う。また、制御部１１５は、ブックマークしたページをＲＡＭ１１などに記憶させる。
The
以上、角部が折り曲げられた場合の表示制御の一例として、ブックマーク表示制御について説明した。なお、本実施形態による制御部１１５は、どの角部が折り曲げられたかによって異なる制御を行ってもよい。以下、図２３を参照して、図２２に示す例とは異なる角部が折り曲げられた場合の制御について説明する。
As described above, bookmark display control has been described as an example of display control when a corner is bent. Note that the
図２３は、第２の実施形態による表示制御例３によるページめくり表示制御を説明するための図である。図２３に示す例では、フレキシブルディスプレイ１５に円グラフや文書を含むグラフィックが表示されているが、この他、電子書籍、ＷＥＢページ、新聞など、ページめくりが有効な表示内容であればよい。
FIG. 23 is a diagram for explaining page-turning display control according to display control example 3 according to the second embodiment. In the example shown in FIG. 23, a graphic including a pie chart and a document is displayed on the
図２３に示すように、ユーザがフレキシブルディスプレイ１５の右下角を曲げると、認識部１１０により、フレキシブルディスプレイ１５の右辺において曲げ量ピーク位置ｒ’、および下辺において曲げ量ピーク位置ｂ’、が抽出される。これにより、認識部１１０は、右下角部が折り曲げられと判断できる。さらに、認識部１１０は、各ピーク位置の曲げ量の総和が所定の値以上であるか否かを判断する。
As shown in FIG. 23, when the user bends the lower right corner of the
そして認識部１１０は、右下角部が折り曲げられ、さらに曲げ量Ｒｒ’、Ｒｂ’の総和が所定の値以上である場合、ユーザによる折り曲げ動作を操作入力として認識し、認識結果を制御部１１５に出力する。
When the lower right corner is bent and the sum of the bending amounts R r ′ and R b ′ is equal to or greater than a predetermined value, the recognizing
制御部１１５は、当該認識結果に応じて、図２３上に示すように、フレキシブルディスプレイ１５のめくり領域６７に次ページの表示内容を表示する。
In accordance with the recognition result, the
ここで、めくり領域６７は、例えば右辺の曲げ量ピーク位置ｒ’と、フレキシブルディスプレイ１５の折り返された右下角の位置６３とを結ぶ線分６５に応じて設定してもよい。折り返された右下角の位置６３は、右辺の曲げ量ピーク位置ｒ’および下辺の曲げ量ピーク位置ｂ’を利用して制御部１１５により求められる。
Here, the turning
したがって、フレキシブルディスプレイ１５の右下角部をさらに折ると、図２３下に示すように、線分６５の位置が移動し、めくり領域６７の領域が広がる。
Therefore, when the lower right corner of the
なお、めくり領域６７の設定は上記例に限定されず、曲げ量ピーク位置ｒ’、ｂ’から推定される折り曲げ形状に応じて設定されてもよい。
The setting of the turning
（表示制御例４）
上述した表示制御例１〜３では、フレキシブルディスプレイ１５を正対する方向から湾曲させた場合や、角部を折り曲げた場合の曲げ状態を操作入力として認識し、対応する表示制御について説明した。しかし、本実施形態による認識部１１０は、上述した湾曲や折り曲げの認識に限定されず、その他様々な曲げ状態のパターンを認識することができる。
(Display control example 4)
In the display control examples 1 to 3 described above, the corresponding display control is described by recognizing the bending state when the
例えば、本実施形態による認識部１１０は、ユーザがフレキシブルディスプレイ１５の一端を手で把持した状態（持ち状態）を認識することもできる。以下、第２の実施形態による表示制御例４として、ユーザの持ち状態を認識し、対応する表示制御を行う場合について説明する。
For example, the
図２４は、第２の実施形態による表示制御例４による持ち状態に応じた表示制御を説明するための図である。ユーザがフレキシブルディスプレイ１５の一端を持ち、フレキシブルディスプレイ１５が撓むと、認識部１１０は、各曲率センサ２０から検知される曲げ量に基づいて、待ち位置を抽出する。
FIG. 24 is a diagram for explaining display control according to the holding state according to display control example 4 according to the second embodiment. When the user holds one end of the
待ち位置は、例えば全アレイ上の曲率センサ２０のうち、最も高い曲げ量Ｒを検知した曲率センサ２０が設けられている位置（曲げ量ピーク位置）と判断してもよい。図２４に示す例では、フレキシブルディスプレイ１５の下辺において、持ち位置ｂ’が抽出される。
For example, the waiting position may be determined as a position (bending amount peak position) where the
また、認識部１１０は、持ち位置ｂ’を含む下辺と正対する上辺の曲がり中心位置ｔ’を抽出し、持ち位置ｂ’と曲がり中心位置ｔ’を結ぶ持ち折り線分５５を求める。
In addition, the
このように、認識部１１０は、複数の曲率センサ２０からの各検知結果（曲げ量）に基づいて、持ち位置、および持ち位置に応じた持ち折り線分５５を求めることで、持ち状態を操作入力として認識し、認識結果を制御部１１５に出力する。なお、認識部１１０は、持ち状態を操作入力として認識する条件に、上記曲げ量ピーク位置の曲げ量Ｒ’が所定の閾値以上である場合という条件を加えてもよい。
As described above, the
そして、制御部１１５は、上記認識結果に基づいて、持ち折り線分５５により２分割されるフレキシブルディスプレイ１５の表示領域の割合に応じた制御を行う。例えば図２４下の持ち状態Ａ〜Ｂに示すように、分割割合に応じて、動画再生、コメント表示、プレイリスト表示などが表示される。
Then, the
より具体的には、フレキシブルディスプレイ１５の左寄りに位置する持ち折り線分５５Ａで２分割された場合、制御部１１５は、図２４下の持ち状態Ａに示すように、狭い方の表示領域にはコメントを表示し、広い方の表示領域では動画再生を行うよう制御する。
More specifically, when divided into two by the
また、フレキシブルディスプレイ１５の中央に位置する持ち折り線分５５Ｂで２分割された場合、制御部１１５は、図２４下の持ち状態Ｂに示すように、両表示領域に動画のプレイリストを表示するよう制御する。
Further, in the case where it is divided into two by the
また、フレキシブルディスプレイ１５の右寄りに位置する持ち折り線分５５Ｃで２分割された場合、制御部１１５は、図２４下の持ち状態Ｃに示すように、狭い方の表示領域で動画再生し、広い方の表示領域でコメントを表示するよう制御する。
Further, when the
（表示制御例５）
以上説明した情報処理装置１０−２では、装置の透過性については特に言及しなかったが、情報処理装置１０−２が透過性を有する場合、裏から表の表示内容が透けて見えるが、表示内容は反転している。そこで、第２の実施形態による表示制御例５として、表示反転制御について、以下図２５を参照して説明する。
(Display control example 5)
In the information processing apparatus 10-2 described above, the transparency of the apparatus is not particularly mentioned. However, when the information processing apparatus 10-2 has transparency, the display contents of the front can be seen through from the back. The contents are reversed. Accordingly, display inversion control will be described below with reference to FIG. 25 as display control example 5 according to the second embodiment.
図２５上に示すように、透過性を有する情報処理装置１０−２のフレキシブルディスプレイ１５に画像が表示されている場合に、図２５中央右に示すように情報処理装置１０−２の端を折り曲げると、裏から表の画像が透けて見えるが、内容は反転している。この場合、認識部１１０は、図２５中央左に示すように、曲げ量ピーク位置ｔ’、ｌ’を結ぶ折り曲げ線分５７を求め、操作入力として認識し、認識結果を制御部１１５に出力する。なお、認識部１１０は、操作入力として認識する条件に、各曲げ量ピーク位置の曲げ量の総和（図２５に示す例では、曲げ量Ｒｔ’、Ｒｌ’の総和）が所定の閾値以上である場合という条件を加えてもよい。
25, when an image is displayed on the
そして、制御部１１５は、上記認識結果に基づいて、折り曲げ線分５７、上辺、および左辺に囲まれた折り返し領域７１の表示内容の向きを、表側の表示内容の向きに合わせる制御を行う（反転制御）。これにより、図２５下に示すように、フレキシブルディスプレイ１５の折り返し領域７１において透けて見える画像が、表の画像と同様の向きで表示される。
Then, based on the recognition result, the
また、情報処理装置１０−２が透過性を有さず、両面にフレキシブルディスプレイ１５を備える構造の場合も、制御部１１５は、折り曲げる操作入力に応じて表示内容の向きを制御することができる。より具体的には、両面にフレキシブルディスプレイ１５を有する情報処理装置１０−２を、図２５に示すように折り曲げると、裏側のディスプレイが表から見えるが、その表示内容は横向きになってしまう。そこで、制御部１１５は、ユーザによる折り曲げる操作入力に応じて、裏面のディスプレイを制御し、表側から見える部分の表示内容の向きを変更する。
Further, even when the information processing apparatus 10-2 does not have transparency and includes a
以上説明したように、本開示の第２の実施形態によれば、曲率センサ２０を情報処理装置１０−２の各辺にそれぞれ複数配列することにより、曲げ量および曲がり位置を抽出でき、さらにこれらに基づいて情報処理装置１０−２の曲げ状態を認識することができる。また、第２の実施形態によれば、このように認識した曲げ状態を操作入力として認識し、対応する処理コマンドを出力することができる。
As described above, according to the second embodiment of the present disclosure, the bending amount and the bending position can be extracted by arranging a plurality of
［２−３．第３の実施形態］
（概要）
次に、本開示による第３の実施形態について説明する。上述した第２の実施形態では、情報処理装置１０の物理的な曲げ状態を操作入力として認識し、対応する処理コマンドを出力していたが、情報処理装置１０が物理的に丸められた状態を操作入力として認識する点については特に言及されていない。
[2-3. Third Embodiment]
(Overview)
Next, a third embodiment according to the present disclosure will be described. In the second embodiment described above, the physical bending state of the
そこで、第３の実施形態によれば、撓み検知部（曲率センサ）の検知結果に基づいて、図２６に示すように表示面（フレキシブルディスプレイ１５）が物理的に丸められた状態を操作入力として認識し、対応する処理コマンドを出力することができる。これにより、本開示による第３の実施形態は、表示面を物理的に丸めることによる操作入力を実現することができる。 Therefore, according to the third embodiment, based on the detection result of the deflection detection unit (curvature sensor), the state in which the display surface (flexible display 15) is physically rounded as shown in FIG. Recognize and output corresponding processing commands. Thereby, the third embodiment according to the present disclosure can realize operation input by physically rounding the display surface.
なお、本実施形態に係る丸めることによる操作入力を実現する情報処理装置１０−３のハードウェア構成および機能構成は、「１−１．ハードウェア構成」および「１−２．機能構成」で上述した通りである。続いて、本実施形態の認識部１１０による丸め状態の認識について説明する。
Note that the hardware configuration and functional configuration of the information processing apparatus 10-3 that realizes the operation input by rounding according to the present embodiment are described above in “1-1. Hardware configuration” and “1-2. Functional configuration”. That's right. Subsequently, the recognition of the rounded state by the
（丸め状態の認識）
第３の実施形態による認識部１１０（図４参照）は、情報処理装置１０−３（フレキシブルディスプレイ１５）の各辺に設けられた曲率センサ２０から検知された曲げ量に基づいて、情報処理装置１０−３が丸められた状態か否かを判断する。より具体的には、認識部１１０は、検知された曲げ量と、情報処理装置１０−３を丸めて一周させた閉状態における、３６０度を示すような曲げ量を示す閾値とを比較することにより判断できる。
(Round state recognition)
The recognition unit 110 (see FIG. 4) according to the third embodiment is based on the amount of bending detected from the
例えば、曲率センサ２０が図３に示したようにフレキシブルディスプレイ１５の各アレイ上に複数配列され、ユーザにより情報処理装置１０−３が丸められると、認識部１１０は、各アレイの複数の曲率センサ２０から曲げ量を取得する。
For example, when a plurality of
そして、認識部１１０は、アレイ毎に曲げ量Ｒを合計、すなわち、上辺の合計曲げ量ｓｕｍＲ（ｔ）、下辺の合計曲げ量ｓｕｍＲ（ｂ）、左辺の合計曲げ量ｓｕｍＲ（ｌ）、および右辺の合計曲げ量ｓｕｍＲ（ｒ）を求める。
Then, the
なお、情報処理装置１０−３（フレキシブルディスプレイ１５）の各辺に１個ずつ曲率センサ２０が設けられている場合は、各曲率センサ２０から検知された曲げ量をそれぞれｓｕｍＲと定義してもよい。
When one
そして、認識部１１０は、このように求めたｓｕｍＲのうち、上位２つの各ｓｕｍＲと、情報処理装置１０−３を一周丸めた場合に想定される、３６０度を示すような１辺の合計曲げ量を示す閾値（以下、閾値ｖ）とを比較することにより情報処理装置１０−３の状態を判断する。
And the
例えば、図２７に示す例では、ｓｕｍＲ（ｔ）およびｓｕｍＲ（ｂ）が上位２つの合計曲げ量であるので、これらが上記閾値ｖを満たす場合、認識部１１０は、情報処理装置１０−３が丸められた状態であると判断し、操作入力として認識する。そして、認識部１１０は認識結果を制御部１１５に出力し、制御部１１５は当該認識結果に基づいて、対応する処理コマンドを出力する。
For example, in the example shown in FIG. 27, sumR (t) and sumR (b) are the upper two total bending amounts. Therefore, when these satisfy the threshold value v, the
なお、ここでは閾値ｖを満たす場合に丸め操作入力と認識する旨を説明したが、本実施形態はこれに限定されない。例えば、情報処理装置１０−３を二週丸めた場合に想定される７２０度を示すような合計曲げ量を示す閾値（以下、閾値ｗ）を用いてもよい。認識部１１０は、各上位ｓｕｍＲが閾値ｗを満たす場合、二重丸め操作入力として認識する。これにより、情報処理装置１０−３の丸め状態の認識精度を向上させることができ、また、対応する処理コマンドのバリエーションを広げることができる。
Here, although the description has been made that the rounding operation input is recognized when the threshold value v is satisfied, the present embodiment is not limited to this. For example, you may use the threshold value (henceforth, threshold value w) which shows the total bending amount which shows 720 degree | times assumed when the information processing apparatus 10-3 is rounded for two weeks. The recognizing
また、図２７を参照して上述した例では、上位２つの各ｓｕｍＲと、閾値ｖとを比較することにより情報処理装置１０−３の丸め状態を判断したが、本実施形態はこれに限定されない。例えば、認識部１１０は、各アレイに配列される曲率センサ２０の各曲げ量と、閾値ｏとを比較することにより、丸め状態を判断してもよい。閾値ｏは、情報処理装置１０−３を一周丸めた場合に想定される、丸めた辺の各曲率センサの曲げ量を示す閾値である。
In the example described above with reference to FIG. 27, the rounding state of the information processing apparatus 10-3 is determined by comparing each of the upper two sumRs with the threshold value v. However, the present embodiment is not limited to this. . For example, the
例えば、図２８に示す例では、上辺に配列される曲率センサ２０ｔ−ｔ０〜ｔＮの各曲げ量が閾値ｏに対して分散しているので、認識部１１０は、上辺が丸まっていると認識できる。このように、個々の曲率センサの曲げ量をそれぞれ閾値ｏと比較することで、合計曲げ量ｓｕｍＲの場合は１箇所だけ曲げ量が高い場合にも丸まっていると判断されてしまうことを回避することができるので、より丸め状態の認識精度を向上させることができる。
For example, in the example shown in FIG. 28, since the bending amounts of the
以上、第３の実施形態による丸め状態の認識について詳細に説明した。続いて、本実施形態による動作処理の一例について図２９を参照して説明する。 Heretofore, the recognition of the rounded state according to the third embodiment has been described in detail. Next, an example of operation processing according to the present embodiment will be described with reference to FIG.
（動作処理）
図２９は、第３の実施形態による動作処理の一例を示すフローチャートである。なお、図２９に示す例では、上記図２７を参照して説明した合計曲げ量ｓｕｍＲを用いた丸め状態認識を行う。
(Operation processing)
FIG. 29 is a flowchart illustrating an example of operation processing according to the third embodiment. In the example shown in FIG. 29, the rounded state recognition is performed using the total bending amount sumR described with reference to FIG.
図２９に示すように、まず、ステップＳ１３３において、認識部１１０は、アレイ毎に、曲げ量の総量（合計曲げ量ｓｕｍＲ）を算出する。次に、ステップＳ１３６において、認識部１１０は、上位２つの合計曲げ量ｓｕｍＲが、閾値ｖ以上であるか否かを判断する。
As shown in FIG. 29, first, in step S133, the
ステップＳ１３６において、合計曲げ量ｓｕｍＲが閾値ｖ以上である場合、認識部１１０は、情報処理装置１０−３が丸められた状態であると判断し、丸め操作入力と認識する旨を認識結果として認識部１１０に出力する。
In step S136, when the total bending amount sumR is equal to or greater than the threshold value v, the
次いで、ステップＳ１３９において、制御部１１５は、認識部１１０から出力された認識結果に基づいて、対応する処理コマンドを出力する。
Next, in step S139, the
以上、第３の実施形態による動作処理について説明した。上記ステップＳ１３９で制御部１１５が出力する処理コマンドは特に限定されないが、例えば丸めるという動作と直感的に関連するとユーザに感じさせる処理コマンドであってもよい。丸める動作は、ユーザにとって「まとめる」といった操作感覚と同様である。そこで、このような操作感覚に基づいて、複数のファイルをまとめる処理コマンド（機能）を実行することで、直感的な操作入力を実現することができる。以下、図３０を参照して実行する機能の一例を説明する。
The operation process according to the third embodiment has been described above. The processing command output by the
（機能実行）
図３０は、第３の実施形態による制御部１１５が、丸め操作入力に応じて実行する機能を説明するための図である。図３０の「丸め開始前」に示すように、フレキシブルディスプレイ１５には複数のファイルアイコン７３が表示されている状態において、ユーザは情報処理装置１０−３を丸める。
(Function execution)
FIG. 30 is a diagram for explaining a function executed by the
制御部１１５は、図３０の「丸め開始」に示すように、徐々に変化する各辺の合計曲げ量ｓｕｍＲに応じて、複数のファイル７３の表示位置を近づけさせ、複数のファイル７３のまとまり具合を表現する。
As shown in “Rounding start” in FIG. 30, the
さらに、ユーザは情報処理装置１０−３を丸め、図３０の「丸め状態」に示すように、一周以上丸めた状態とする。認識部１１０は、フレキシブルディスプレイ１５の各アレイ上の曲げ量の総量を算出し、算出したｓｕｍＲの上位２つの各ｓｕｍＲが閾値ｖ以上の場合、情報処理装置１０−３が丸められた状態であると判断し、丸め操作入力として認識する。
Further, the user rounds the information processing apparatus 10-3 so that the information processing apparatus 10-3 is rounded one or more times as shown in the “rounding state” in FIG. The recognizing
次に、制御部１１５は、認識部１１０の丸め操作入力認識に応じて、複数のファイルアイコン７３を１つのフォルダにまとめる機能（変換機能）を実行する。
Next, the
また、制御部１１５は、図３０の「丸め操作後」に示すように、複数ファイルの集合を示すフォルダアイコン７５をフレキシブルディスプレイ１５に表示する。
In addition, as shown in “After rounding operation” in FIG. 30, the
以上、丸め操作入力に応じて実行される具体的な機能について説明した。なお、情報処理装置１０−３を一周以上丸めた場合、図３０の「丸め状態」に示すように、情報処理装置１０−３の一部が重なり、その部分が指で押さえられる。したがって、例えば情報処理装置１０−３がタッチパネルを有する構造であった場合、情報処理装置１０−３が丸められ、一部の重なった部分が指で押圧されることにより、意図せずタッチ操作を検知する恐れがある。 The specific function executed in response to the rounding operation input has been described above. When the information processing apparatus 10-3 is rounded one or more times, as shown in the “rounding state” in FIG. Therefore, for example, when the information processing apparatus 10-3 has a structure having a touch panel, the information processing apparatus 10-3 is rounded, and a part of the overlapping portion is pressed with a finger, so that an unintentional touch operation is performed. There is a risk of detection.
よって、例えば情報処理装置１０−３が一周以上丸められたと認識された場合、制御部１１５はタッチパネルの機能（タッチ操作検知機能）を一時的にＯＦＦしてもよい。若しくは、タッチパネルの一部の領域のみ、タッチ操作検知機能をＯＦＦしてもよい。タッチパネルの一部の領域のみ機能ＯＦＦする場合について、以下図３１を参照して説明する。
Therefore, for example, when it is recognized that the information processing apparatus 10-3 has been rounded one or more times, the
図３１は、第３の実施形態による制御部１１５が丸め状態に応じてタッチ操作検知機能をＯＦＦすることを説明するための図である。図３１に示すように、情報処理装置１０−３は、フレキシブルタッチパネル１６、フレキシブルディスプレイ１５、および曲率センサ２０が積層された構造である。図３１左に示すように、情報処理装置１０−３の一部が丸められると、情報処理装置１０−３の上辺に配置された曲率センサ２０ｔ、および下辺に配置された曲率センサ２０ｂからは、図３１右に示すような曲げ量Ｒの信号系列が検知される。
FIG. 31 is a diagram for explaining that the
認識部１１０は、各曲率センサ２０から取得された曲げ量Ｒに基づいて、情報処理装置１０−３のどの領域が一周以上丸まっているかを認識する。例えば、認識部１１０は、曲率センサ２０から検知される各曲げ量に基づいて、情報処理装置１０−３の立体形状を推定し、一周以上丸められている領域を認識してもよい。そして、制御部１１５は、かかる領域のタッチ操作検知機能をＯＦＦにしてもよい。具体的には、例えば制御部１１５は、フレキシブルタッチパネル１６のかかる領域から検知されたタッチ操作を棄却してもよい。
Based on the bending amount R acquired from each
以上説明したように、本開示の第３の実施形態によれば、曲率センサ２０により検知される曲げ量に基づいて、表示面が物理的に丸められた状態を操作入力として認識し、対応する処理コマンドを出力することができる。
As described above, according to the third embodiment of the present disclosure, the state in which the display surface is physically rounded is recognized as an operation input based on the amount of bending detected by the
＜３．まとめ＞
上述したように、本開示の第１の実施形態によれば、情報処理装置１０−１の物理的な撓みの変化を操作入力として認識し、対応する処理コマンドを出力することで、曲げ操作入力の利便性を向上させることができる。また、撓ませる操作感覚から連想される処理コマンドを出力することにより、直感的な操作入力を実現することができる。
<3. Summary>
As described above, according to the first embodiment of the present disclosure, a bending operation input is performed by recognizing a change in physical deflection of the information processing apparatus 10-1 as an operation input and outputting a corresponding processing command. Convenience can be improved. In addition, an intuitive operation input can be realized by outputting a processing command associated with an operating sense of bending.
また、本開示の第２の実施形態によれば、曲率センサ２０を情報処理装置１０−２の各辺にそれぞれ複数配列することにより、曲げ量および曲がり位置を抽出でき、さらにこれらに基づいて情報処理装置１０−２の曲げ状態を認識することができる。また、第２の実施形態によれば、このように認識した曲げ状態を操作入力として認識し、対応する処理コマンドを出力することができる。
In addition, according to the second embodiment of the present disclosure, by arranging a plurality of
また、本開示の第３の実施形態によれば、曲率センサ２０により検知される曲げ量に基づいて、表示面が物理的に丸められた状態を操作入力として認識し、対応する処理コマンドを出力することができる。
Further, according to the third embodiment of the present disclosure, the state where the display surface is physically rounded is recognized as an operation input based on the bending amount detected by the
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属
するものと了解される。
The preferred embodiments of the present disclosure have been described in detail above with reference to the accompanying drawings, but the present technology is not limited to such examples. It is obvious that a person having ordinary knowledge in the technical field of the present disclosure can come up with various changes or modifications within the scope of the technical idea described in the claims. Of course, it is understood that it belongs to the technical scope of the present disclosure.
例えば、上記各実施形態において、フレキシブルディスプレイ１５の曲がり中心線を示す表示制御を併せて行い、曲げ操作に対する視覚的フィードバックを行ってもよい。具体的には、曲率センサ２０の上にフレキシブルディスプレイ１５が積層される構造において、例えば図３２に示すように、曲がり中心線が位置すると認識された箇所を矢印や三角などのアイコン７７で示してもよい。
For example, in each of the above embodiments, display control indicating the bending center line of the
また、検知された曲げ量が大きい箇所程赤に近い色を表示し、曲げ量が小さい箇所程青に近い色を表示するなど、図３３に示すように、曲げ量の大きさに応じた色分け表示７９を各辺に表示してもよい。
In addition, as shown in FIG. 33, color coding according to the amount of bending is performed, such as displaying a color closer to red at a location where the detected bending amount is larger and displaying a color closer to blue at a location where the bending amount is smaller. The
なお、本技術は以下のような構成も取ることができる。
（１）
可撓性を有する表示面と、
前記表示面の撓みを検知する撓み検知部と、
前記撓み検知部による検知結果に基づいて前記表示面が丸められたか否かを判断し、丸められた状態を操作入力として認識する認識部と、
前記認識部による認識結果に対応する処理コマンドを出力する制御部と、
を備える、情報処理装置。
（２）
前記認識部は、前記撓み検知部により検知された撓み量と、前記表示面を丸めた場合の所定の撓み量とを比較することにより、前記表示面が丸められたか否かを判断する、前記（１）に記載の情報処理装置。
（３）
前記撓み検知部は、前記表示面に複数設けられ、
前記認識部は、複数の前記撓み検知部により検知された撓み総量と、前記表示面を丸めた場合の所定の撓み総量とを比較することにより、前記表示面が丸められたか否かを判断する、前記（２）に記載の情報処理装置。
（４）
前記撓み検知部は、前記表示面に複数設けられ、
前記認識部は、複数の前記撓み検知部により検知された各撓み量と、前記表示面を丸めた場合の所定の各撓み量とを比較することにより、前記表示面が丸められたか否かを判断する、前記（２）または（３）に記載の情報処理装置。
（５）
前記認識部は、複数の前記撓み検知部により検知された各撓み量の、前記所定の各撓み量に対する分散値に基づいて、前記表示面が丸められた状態であるか否かを判断する、前記（４）に記載の情報処理装置。
（６）
前記制御部は、前記丸められた状態が操作入力として認識された場合、前記表示画面に表示した複数のファイルを１つにまとめる処理コマンドを出力する、前記（１）から（５）のいずれか１項に記載の情報処理装置。
（７）
前記表示面には、可撓性を有するタッチセンサが設けられ、
前記制御部は、前記丸められた状態が操作入力として認識された場合、前記タッチセンサをオフする、前記（１）から（６）のいずれか１項に記載の情報処理装置。
（８）
可撓性を有する表示面の撓みを検知するステップと、
前記撓みを検知するステップによる検知結果に基づいて前記表示面が丸められたか否かを判断し、丸められた状態を操作入力として認識するステップと、
前記認識するステップによる認識結果に対応する処理コマンドを出力するステップと、
を含む、制御方法。
（９）
可撓性を有する表示面の撓みを検知する処理と、
前記撓みを検知するステップによる検知結果に基づいて前記表示面が丸められたか否かを判断し、丸められた状態を操作入力として認識する処理と、
前記認識するステップによる認識結果に対応する処理コマンドを出力する処理と、
を含む、プログラム。
（１０）
前記認識する処理は、前記撓みを検知する処理により検知された撓み量と、前記表示面を丸めた場合の所定の撓み量とを比較することにより、前記表示面が丸められたか否かを判断する、前記（９）に記載のプログラム。
（１１）
前記認識する処理は、前記表示面に設けられた複数の撓み検知部により検知された撓み総量と、前記表示面を丸めた場合の所定の撓み総量とを比較することにより、前記表示面が丸められたか否かを判断する、前記（１０）に記載のプログラム。
（１２）
前記認識する処理は、前記表示面に設けられた複数の撓み検知部により検知された各撓み量と、前記表示面を丸めた場合の所定の各撓み量とを比較することにより、前記表示面が丸められたか否かを判断する、前記（９）または（１０）に記載のプログラム。
（１３）
前記認識する処理は、前記複数の撓み検知部により検知された各撓み量の、前記所定の各撓み量に対する分散値に基づいて、前記表示面が丸められた状態であるか否かを判断する、前記（１２）に記載のプログラム。
（１４）
前記制御する処理は、前記丸められた状態が操作入力として認識された場合、前記表示画面に表示した複数のファイルを１つにまとめる処理コマンドを出力する、前記（９）から（１０）のいずれか１項に記載のプログラム。
（１５）
前記表示面には、可撓性を有するタッチセンサが設けられ、
前記制御する処理は、前記丸められた状態が操作入力として認識された場合、前記タッチセンサをオフする、前記（９）から（１０）のいずれか１項に記載のプログラム。
In addition, this technique can also take the following structures.
(1)
A flexible display surface;
A deflection detector for detecting deflection of the display surface;
A recognition unit that determines whether the display surface is rounded based on a detection result by the deflection detection unit, and recognizes the rounded state as an operation input;
A control unit that outputs a processing command corresponding to a recognition result by the recognition unit;
An information processing apparatus comprising:
(2)
The recognizing unit determines whether or not the display surface is rounded by comparing a deflection amount detected by the deflection detection unit with a predetermined deflection amount when the display surface is rounded. The information processing apparatus according to (1).
(3)
A plurality of the deflection detection units are provided on the display surface,
The recognition unit determines whether or not the display surface is rounded by comparing the total amount of deflection detected by the plurality of deflection detection units with a predetermined total amount of bending when the display surface is rounded. The information processing apparatus according to (2).
(4)
A plurality of the deflection detection units are provided on the display surface,
The recognizing unit compares each deflection amount detected by the plurality of deflection detection units with a predetermined deflection amount when the display surface is rounded to determine whether the display surface is rounded or not. The information processing apparatus according to (2) or (3), which is determined.
(5)
The recognizing unit determines whether or not the display surface is in a rounded state based on a dispersion value of each deflection amount detected by the plurality of deflection detection units with respect to each predetermined deflection amount. The information processing apparatus according to (4).
(6)
When the rounded state is recognized as an operation input, the control unit outputs a processing command for combining a plurality of files displayed on the display screen into one, (1) to (5) The information processing apparatus according to item 1.
(7)
The display surface is provided with a flexible touch sensor,
The information processing apparatus according to any one of (1) to (6), wherein the control unit turns off the touch sensor when the rounded state is recognized as an operation input.
(8)
Detecting deflection of a flexible display surface;
Determining whether or not the display surface is rounded based on a detection result of the step of detecting the deflection, and recognizing the rounded state as an operation input; and
Outputting a processing command corresponding to the recognition result of the recognizing step;
Including a control method.
(9)
A process of detecting the deflection of the display surface having flexibility;
A process of determining whether or not the display surface is rounded based on a detection result of the step of detecting the deflection, and recognizing the rounded state as an operation input;
Processing for outputting a processing command corresponding to a recognition result in the recognition step;
Including the program.
(10)
The recognizing process determines whether or not the display surface is rounded by comparing the amount of flexure detected by the process of detecting the flexure and a predetermined flexure amount when the display surface is rounded. The program according to (9).
(11)
The recognizing process is performed by comparing the total amount of deflection detected by a plurality of deflection detectors provided on the display surface with a predetermined total amount of bending when the display surface is rounded. The program according to (10), wherein it is determined whether or not it has been performed.
(12)
The process of recognizing the display surface by comparing each deflection amount detected by a plurality of deflection detectors provided on the display surface and each predetermined deflection amount when the display surface is rounded. The program according to (9) or (10), wherein it is determined whether or not is rounded.
(13)
The recognizing process determines whether or not the display surface is in a rounded state based on a dispersion value of each deflection amount detected by the plurality of deflection detection units with respect to each predetermined deflection amount. The program according to (12).
(14)
The control processing outputs a processing command for combining a plurality of files displayed on the display screen into one when the rounded state is recognized as an operation input, any of (9) to (10) The program according to item 1.
(15)
The display surface is provided with a flexible touch sensor,
The program according to any one of (9) to (10), wherein the control process turns off the touch sensor when the rounded state is recognized as an operation input.
１０、１０−１〜１０−３ 情報処理装置
１１ ＲＡＭ
１３ 不揮発性メモリ
１５ フレキシブルディスプレイ
１７ ＣＰＵ
１９ 通信部
２０（２０ｔ０〜ｔＮ、２０ｂ０〜ｂＮ、２０ｌ０〜ｌＮ、２０ｒ０〜ｒＮ） 曲率センサ
１１０ 認識部
１１５ 制御部
10, 10-1 to 10-3
13
19 Communication unit 20 (20t0 to tN, 20b0 to bN, 2010 to 1N, 20r0 to rN)
Claims (15)
前記表示面の撓みを検知する撓み検知部と、
前記撓み検知部による検知結果に基づいて前記表示面が丸められたか否かを判断し、丸められた状態を操作入力として認識する認識部と、
前記認識部による認識結果に対応する処理コマンドを出力する制御部と、
を備える、情報処理装置。 A flexible display surface;
A deflection detector for detecting deflection of the display surface;
A recognition unit that determines whether the display surface is rounded based on a detection result by the deflection detection unit, and recognizes the rounded state as an operation input;
A control unit that outputs a processing command corresponding to a recognition result by the recognition unit;
An information processing apparatus comprising:
前記認識部は、複数の前記撓み検知部により検知された撓み総量と、前記表示面を丸めた場合の所定の撓み総量とを比較することにより、前記表示面が丸められたか否かを判断する、請求項２に記載の情報処理装置。 A plurality of the deflection detection units are provided on the display surface,
The recognition unit determines whether or not the display surface is rounded by comparing the total amount of deflection detected by the plurality of deflection detection units with a predetermined total amount of bending when the display surface is rounded. The information processing apparatus according to claim 2.
前記認識部は、複数の前記撓み検知部により検知された各撓み量と、前記表示面を丸めた場合の所定の各撓み量とを比較することにより、前記表示面が丸められたか否かを判断する、請求項２に記載の情報処理装置。 A plurality of the deflection detection units are provided on the display surface,
The recognizing unit compares each deflection amount detected by the plurality of deflection detection units with a predetermined deflection amount when the display surface is rounded to determine whether the display surface is rounded or not. The information processing apparatus according to claim 2, wherein the determination is made.
前記制御部は、前記丸められた状態が操作入力として認識された場合、前記タッチセンサをオフする、請求項２に記載の情報処理装置。 The display surface is provided with a flexible touch sensor,
The information processing apparatus according to claim 2, wherein the control unit turns off the touch sensor when the rounded state is recognized as an operation input.
前記撓みを検知するステップによる検知結果に基づいて前記表示面が丸められたか否かを判断し、丸められた状態を操作入力として認識するステップと、
前記認識するステップによる認識結果に対応する処理コマンドを出力するステップと、
を含む、制御方法。 Detecting deflection of a flexible display surface;
Determining whether or not the display surface is rounded based on a detection result of the step of detecting the deflection, and recognizing the rounded state as an operation input; and
Outputting a processing command corresponding to the recognition result of the recognizing step;
Including a control method.
前記撓みを検知するステップによる検知結果に基づいて前記表示面が丸められたか否かを判断し、丸められた状態を操作入力として認識する処理と、
前記認識するステップによる認識結果に対応する処理コマンドを出力する処理と、
を含む、プログラム。 A process of detecting the deflection of the display surface having flexibility;
A process of determining whether or not the display surface is rounded based on a detection result of the step of detecting the deflection, and recognizing the rounded state as an operation input;
Processing for outputting a processing command corresponding to a recognition result in the recognition step;
Including the program.
前記制御する処理は、前記丸められた状態が操作入力として認識された場合、前記タッチセンサをオフする、請求項１０に記載のプログラム。 The display surface is provided with a flexible touch sensor,
The program according to claim 10, wherein the control process turns off the touch sensor when the rounded state is recognized as an operation input.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011248607A JP2013105312A (en) | 2011-11-14 | 2011-11-14 | Information processing device, control method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011248607A JP2013105312A (en) | 2011-11-14 | 2011-11-14 | Information processing device, control method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013105312A true JP2013105312A (en) | 2013-05-30 |
Family
ID=48624804
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011248607A Pending JP2013105312A (en) | 2011-11-14 | 2011-11-14 | Information processing device, control method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013105312A (en) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130113895A (en) * | 2012-04-08 | 2013-10-16 | 삼성전자주식회사 | Flexible display apparatus and user interface providing method thereof |
| WO2015002037A1 (en) * | 2013-07-02 | 2015-01-08 | Semiconductor Energy Laboratory Co., Ltd. | Data processing device |
| JP2015015018A (en) * | 2013-06-07 | 2015-01-22 | 株式会社半導体エネルギー研究所 | Information processing device and program |
| KR20150008997A (en) * | 2013-07-04 | 2015-01-26 | 엘지전자 주식회사 | Mobile terminal |
| KR20150011690A (en) * | 2013-07-23 | 2015-02-02 | 엘지전자 주식회사 | Mobile terminal and control method for the mobile terminal |
| KR20150038873A (en) * | 2013-10-01 | 2015-04-09 | 엘지디스플레이 주식회사 | Flexible device and method for detecting bending of the same |
| JP2015228022A (en) * | 2014-05-06 | 2015-12-17 | 株式会社半導体エネルギー研究所 | Electronic device |
| US9298221B2 (en) | 2013-12-30 | 2016-03-29 | Samsung Display Co., Ltd. | Method of displaying folding information and foldable display apparatus using the method |
| CN105678684A (en) * | 2014-11-18 | 2016-06-15 | 中兴通讯股份有限公司 | Image capture method and device |
| WO2016129697A1 (en) * | 2015-02-13 | 2016-08-18 | 株式会社ニコン | Image display device and image generation device |
| JP2017062391A (en) * | 2015-09-25 | 2017-03-30 | キヤノン株式会社 | Display unit and control method for display unit |
| KR20170058425A (en) * | 2014-11-11 | 2017-05-26 | 인텔 코포레이션 | User input via elastic deformation of a material |
| JPWO2016043138A1 (en) * | 2014-09-19 | 2017-07-20 | 日本電気株式会社 | Display device, display method, and display program |
| CN109427104A (en) * | 2017-08-24 | 2019-03-05 | 富士施乐株式会社 | Information processing unit and the computer-readable medium for storing program |
| JP2019079209A (en) * | 2017-10-23 | 2019-05-23 | 富士ゼロックス株式会社 | Information processing device and program |
| JP2019204526A (en) * | 2013-06-21 | 2019-11-28 | 株式会社半導体エネルギー研究所 | Information processing device |
| WO2021199282A1 (en) * | 2020-03-31 | 2021-10-07 | ソニーグループ株式会社 | Information processing terminal, program, and method |
| JP2021168170A (en) * | 2015-12-11 | 2021-10-21 | 株式会社半導体エネルギー研究所 | Input device system |
-
2011
- 2011-11-14 JP JP2011248607A patent/JP2013105312A/en active Pending
Cited By (48)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130113895A (en) * | 2012-04-08 | 2013-10-16 | 삼성전자주식회사 | Flexible display apparatus and user interface providing method thereof |
| KR101661526B1 (en) | 2012-04-08 | 2016-10-04 | 삼성전자주식회사 | Flexible display apparatus and user interface providing method thereof |
| US11321039B2 (en) | 2013-06-07 | 2022-05-03 | Semiconductor Energy Laboratory Co., Ltd. | Information processor and program |
| US10628103B2 (en) | 2013-06-07 | 2020-04-21 | Semiconductor Energy Laboratory Co., Ltd. | Information processor and program |
| JP2015015018A (en) * | 2013-06-07 | 2015-01-22 | 株式会社半導体エネルギー研究所 | Information processing device and program |
| JP2020030867A (en) * | 2013-06-21 | 2020-02-27 | 株式会社半導体エネルギー研究所 | Information processing device |
| JP2020095736A (en) * | 2013-06-21 | 2020-06-18 | 株式会社半導体エネルギー研究所 | Information processing device |
| JP7291823B2 (en) | 2013-06-21 | 2023-06-15 | 株式会社半導体エネルギー研究所 | Information processing equipment |
| JP2019204526A (en) * | 2013-06-21 | 2019-11-28 | 株式会社半導体エネルギー研究所 | Information processing device |
| JP2022066591A (en) * | 2013-06-21 | 2022-04-28 | 株式会社半導体エネルギー研究所 | Information processing device |
| US9753495B2 (en) | 2013-07-02 | 2017-09-05 | Semiconductor Energy Laboratory Co., Ltd. | Data processing device |
| US11720218B2 (en) | 2013-07-02 | 2023-08-08 | Semiconductor Energy Laboratory Co., Ltd. | Data processing device |
| WO2015002037A1 (en) * | 2013-07-02 | 2015-01-08 | Semiconductor Energy Laboratory Co., Ltd. | Data processing device |
| US10452104B2 (en) | 2013-07-02 | 2019-10-22 | Semiconductor Energy Laboratory Co., Ltd. | Data processing device |
| US11221720B2 (en) | 2013-07-02 | 2022-01-11 | Semiconductor Energy Laboratory Co., Ltd. | Data processing device |
| KR20150008997A (en) * | 2013-07-04 | 2015-01-26 | 엘지전자 주식회사 | Mobile terminal |
| KR102159592B1 (en) | 2013-07-04 | 2020-09-24 | 엘지전자 주식회사 | Mobile terminal |
| KR102189447B1 (en) | 2013-07-23 | 2020-12-11 | 엘지전자 주식회사 | Mobile terminal and control method for the mobile terminal |
| KR20150011690A (en) * | 2013-07-23 | 2015-02-02 | 엘지전자 주식회사 | Mobile terminal and control method for the mobile terminal |
| JP2015072268A (en) * | 2013-10-01 | 2015-04-16 | エルジー ディスプレイ カンパニー リミテッド | Flexible device and bending detection apparatus therefor |
| US9863915B2 (en) | 2013-10-01 | 2018-01-09 | Lg Display Co., Ltd. | Flexible device and bending detection apparatus therefor |
| KR20150038873A (en) * | 2013-10-01 | 2015-04-09 | 엘지디스플레이 주식회사 | Flexible device and method for detecting bending of the same |
| KR102022322B1 (en) | 2013-10-01 | 2019-09-18 | 엘지디스플레이 주식회사 | Flexible device and method for detecting bending of the same |
| US9298221B2 (en) | 2013-12-30 | 2016-03-29 | Samsung Display Co., Ltd. | Method of displaying folding information and foldable display apparatus using the method |
| KR20170005019A (en) * | 2014-05-06 | 2017-01-11 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | Electronic device |
| US11740728B2 (en) | 2014-05-06 | 2023-08-29 | Semiconductor Energy Laboratory Co., Ltd. | Electronic device |
| US10606379B2 (en) | 2014-05-06 | 2020-03-31 | Semiconductor Energy Laboratory Co., Ltd. | Electronic device |
| JP2015228022A (en) * | 2014-05-06 | 2015-12-17 | 株式会社半導体エネルギー研究所 | Electronic device |
| KR102495922B1 (en) | 2014-05-06 | 2023-02-02 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | Electronic device |
| US11216106B2 (en) | 2014-05-06 | 2022-01-04 | Semiconductor Energy Laboratory Co., Ltd. | Electronic device |
| JPWO2016043138A1 (en) * | 2014-09-19 | 2017-07-20 | 日本電気株式会社 | Display device, display method, and display program |
| KR20170058425A (en) * | 2014-11-11 | 2017-05-26 | 인텔 코포레이션 | User input via elastic deformation of a material |
| KR102310132B1 (en) * | 2014-11-11 | 2021-10-08 | 인텔 코포레이션 | User input via elastic deformation of a material |
| JP2018504662A (en) * | 2014-11-18 | 2018-02-15 | ゼットティーイー コーポレイション | Image capture method, apparatus, and storage medium |
| CN105678684A (en) * | 2014-11-18 | 2016-06-15 | 中兴通讯股份有限公司 | Image capture method and device |
| CN105678684B (en) * | 2014-11-18 | 2020-11-03 | 中兴通讯股份有限公司 | Method and device for intercepting image |
| US10419742B2 (en) | 2014-11-18 | 2019-09-17 | Xi'an Zhongxing New Software Co. Ltd. | Method and device for capturing image and storage medium |
| WO2016129697A1 (en) * | 2015-02-13 | 2016-08-18 | 株式会社ニコン | Image display device and image generation device |
| JPWO2016129697A1 (en) * | 2015-02-13 | 2017-11-24 | 株式会社ニコン | Image display device and image generation device |
| JP2017062391A (en) * | 2015-09-25 | 2017-03-30 | キヤノン株式会社 | Display unit and control method for display unit |
| JP2021168170A (en) * | 2015-12-11 | 2021-10-21 | 株式会社半導体エネルギー研究所 | Input device system |
| JP7110453B2 (en) | 2015-12-11 | 2022-08-01 | 株式会社半導体エネルギー研究所 | input device system |
| CN109427104A (en) * | 2017-08-24 | 2019-03-05 | 富士施乐株式会社 | Information processing unit and the computer-readable medium for storing program |
| CN109427104B (en) * | 2017-08-24 | 2023-09-26 | 富士胶片商业创新有限公司 | Information processing apparatus and computer readable medium storing program |
| JP2022023931A (en) * | 2017-10-23 | 2022-02-08 | 富士フイルムビジネスイノベーション株式会社 | Information processing apparatus, program, and control method |
| JP2019079209A (en) * | 2017-10-23 | 2019-05-23 | 富士ゼロックス株式会社 | Information processing device and program |
| WO2021199282A1 (en) * | 2020-03-31 | 2021-10-07 | ソニーグループ株式会社 | Information processing terminal, program, and method |
| US11917095B2 (en) | 2020-03-31 | 2024-02-27 | Sony Group Corporation | Information processing terminal, program, and method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2013105310A (en) | Information processing device, control method, and program | |
| JP2013105312A (en) | Information processing device, control method, and program | |
| WO2013073279A1 (en) | Information processing device | |
| JP5702296B2 (en) | Software keyboard control method | |
| US8823749B2 (en) | User interface methods providing continuous zoom functionality | |
| EP2676178B1 (en) | Breath-sensitive digital interface | |
| KR101361214B1 (en) | Interface Apparatus and Method for setting scope of control area of touch screen | |
| US9448714B2 (en) | Touch and non touch based interaction of a user with a device | |
| EP2309370A2 (en) | Information processing apparatus, information processing method, and information processing program | |
| US9459704B2 (en) | Method and apparatus for providing one-handed user interface in mobile device having touch screen | |
| EP3510480A1 (en) | Gesture language for a device with multiple touch surfaces | |
| US20110175831A1 (en) | Information processing apparatus, input operation determination method, and input operation determination program | |
| CN102422236A (en) | Using motion detection to process pan and zoom functions on mobile computing devices | |
| KR20110010906A (en) | Apparatus and method for controlling of electronic machine using user interaction | |
| JP2014059887A (en) | System and method for navigating 3d graphical user interface | |
| US20140055385A1 (en) | Scaling of gesture based input | |
| TW201205417A (en) | Method and device for determining a user's touch gesture | |
| JP2011227854A (en) | Information display device | |
| KR20130124139A (en) | Control method of terminal by using spatial interaction | |
| JP2016015181A (en) | User interface device, program, and function starting method capable of starting different function according to degree of pressing force | |
| JP5833511B2 (en) | User interface device capable of discriminating pressing position under multi-touch state, program and function invocation method | |
| KR20200000418A (en) | Control method of terminal by using spatial interaction | |
| KR20130124143A (en) | Control method of terminal by using spatial interaction | |
| TWI522895B (en) | Interface operating method and portable electronic apparatus using the same | |
| KR102061254B1 (en) | Control method of terminal by using spatial interaction |