JP2018165836A - Display device, image processor, and program - Google Patents
Display device, image processor, and program Download PDFInfo
- Publication number
- JP2018165836A JP2018165836A JP2018129892A JP2018129892A JP2018165836A JP 2018165836 A JP2018165836 A JP 2018165836A JP 2018129892 A JP2018129892 A JP 2018129892A JP 2018129892 A JP2018129892 A JP 2018129892A JP 2018165836 A JP2018165836 A JP 2018165836A
- Authority
- JP
- Japan
- Prior art keywords
- display
- unit
- displayed
- display unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明は、表示装置、画像処理装置及びプログラムに関する。 The present invention relates to a display device, an image processing device, and a program.
特許文献１には、前面方向又は背面方向に曲げる又は折り畳むことができるフォールディング部を、端末装置の長辺方向中央に配置したフレキシブル携帯端末装置が記載されている。
画像を表示する表示装置には、変形可能な表示面を有する装置もある。しかし、これらの表示装置では、表示面の変形によって生じる複数の画面に表示される画像に応じた音を発生することは想定されていない。 Some display devices that display images have a deformable display surface. However, in these display devices, it is not assumed that sound corresponding to images displayed on a plurality of screens generated by deformation of the display surface is generated.
本発明は、曲げ位置によって生じる複数の画面に表示される画像に応じた音を発生させない場合に比して、変形可能な表示装置等の利便性を向上させることを目的とする。 An object of the present invention is to improve the convenience of a deformable display device or the like as compared with a case where sound corresponding to images displayed on a plurality of screens generated by a bending position is not generated.
請求項１に記載の発明は、変形可能な表示部と、前記表示部の曲げ位置によって生じた複数の画面に画像を表示する描画部と、複数の前記画面に表示される画像に応じた音を発生する音再生部とを有する表示装置である。
請求項２に記載の発明は、前記音は予め定めた特定位置の前記画面に表示される画像の付属音である、請求項１に記載の表示装置である。
請求項３に記載の発明は、前記音は、複数の前記画面に表示される各画像の付属音である、請求項１に記載の表示装置である。
請求項４に記載の発明は、利用者の視線方向又は利用者が観察する位置を検知する検知手段を更に有し、前記描画部は、複数の前記画面のうち利用者による観察が可能な領域に画像を描画する、請求項１に記載の表示装置である。
請求項５に記載の発明は、両面に表示領域を有する前記表示部に表示される前記複数の画面の一部は、当該表示部の第１の面に表示され、当該複数の画面の残りは、当該第１の面とは表裏の関係にある第２の面に表示される、請求項４に記載の表示装置である。
請求項６に記載の発明は、両面に表示領域を有する前記表示部が立体的に曲げられている場合に、前記複数の画面の一部は、当該表示部の第１の面に表示され、当該複数の画面の残りは、当該第１の面とは表裏の関係にある第２の面に表示される、請求項４に記載の表示装置である。
請求項７に記載の発明は、変形可能な表示部の曲げ位置を検知する検知部と、曲げ位置によって前記表示部に生じた複数の画面に画像を表示する描画部と、複数の前記画面に表示される画像に応じた音を発生する音再生部とを有する画像処理装置である。
請求項８に記載の発明は、コンピュータに、変形可能な表示部の曲げ位置を検知する機能と、曲げ位置によって前記表示部に生じた複数の画面に画像を表示する機能と、複数の前記画面に表示される画像に応じた音を発生する機能とを実行させるためのプログラムである。
The invention according to
The invention according to
The invention according to
The invention according to
According to a fifth aspect of the present invention, a part of the plurality of screens displayed on the display unit having display areas on both sides is displayed on the first surface of the display unit, and the rest of the plurality of screens is The display device according to
In the invention according to claim 6, when the display unit having display areas on both sides is three-dimensionally bent, a part of the plurality of screens is displayed on the first surface of the display unit, 5. The display device according to
The invention according to claim 7 includes a detection unit that detects a bending position of the deformable display unit, a drawing unit that displays an image on a plurality of screens generated on the display unit by the bending position, and a plurality of the screens. An image processing apparatus including a sound reproduction unit that generates sound according to a displayed image.
According to an eighth aspect of the present invention, a computer has a function of detecting a bending position of a deformable display unit, a function of displaying an image on a plurality of screens generated on the display unit by the bending position, and a plurality of the screens. And a function for generating a sound corresponding to an image displayed on the screen.
請求項１記載の発明によれば、曲げ位置によって生じる複数の画面に表示される画像に応じた音を発生させない場合に比して、変形可能な表示装置の利便性を向上できる。
請求項２記載の発明によれば、変形可能な表示装置の利便性を向上できる。
請求項３記載の発明によれば、変形可能な表示装置の利便性を向上できる。
請求項４記載の発明によれば、利用者が観察する位置によって画像が表示される小画像が変更されない場合に比して、変形可能な表示装置の利便性を向上できる。
請求項５記載の発明によれば、利用者が観察する位置によって画像が表示される小画像が変更されない場合に比して、変形可能な表示装置の利便性を向上できる。
請求項６記載の発明によれば、利用者が観察する位置によって画像が表示される小画像が変更されない場合に比して、変形可能な表示装置の利便性を向上できる。
請求項７記載の発明によれば、曲げ位置によって生じる複数の画面に表示される画像に応じた音を発生させない場合に比して、変形可能な画像処理装置の利便性を向上できる。
請求項８記載の発明によれば、曲げ位置によって生じる複数の画面に表示される画像に応じた音を発生させない場合に比して、変形可能な表示装置等の利便性を向上できる。
According to the first aspect of the present invention, the convenience of the deformable display device can be improved as compared with the case where no sound corresponding to the images displayed on the plurality of screens generated by the bending position is generated.
According to the invention described in
According to the invention of
According to the fourth aspect of the present invention, the convenience of the deformable display device can be improved as compared with the case where the small image on which the image is displayed is not changed depending on the position observed by the user.
According to the fifth aspect of the present invention, the convenience of the deformable display device can be improved as compared with the case where the small image on which the image is displayed is not changed depending on the position observed by the user.
According to the sixth aspect of the present invention, the convenience of the deformable display device can be improved as compared with the case where the small image on which the image is displayed is not changed depending on the position observed by the user.
According to the seventh aspect of the present invention, the convenience of the deformable image processing apparatus can be improved as compared with the case where no sound corresponding to the images displayed on the plurality of screens caused by the bending position is generated.
According to the invention described in claim 8, the convenience of the deformable display device and the like can be improved as compared with the case where no sound corresponding to the image displayed on the plurality of screens generated by the bending position is generated.
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。 Embodiments of the present invention will be described below in detail with reference to the accompanying drawings.
＜実施の形態１＞
＜表示装置の構成＞
図１は、変形可能な表示装置１の外観構成を示す図である。本実施の形態における表示装置１の変形には、例えば任意の位置での折り曲げ、予め定めた位置で折り曲げが含まれる。図１は、変形前における表示装置１の外観を示している。平坦な板面上に置いた表示装置１は、図１に示すように、平面形状となる。本実施の形態では、平面形状にある表示装置１を変形前の状態という。
<
<Configuration of display device>
FIG. 1 is a diagram showing an external configuration of a
表示装置１は、プラスチックなどで形成された柔軟性を有する薄膜基板に、画像の表示に用いられる表示部２や装置全体を制御する制御部３などを実装して構成される。表示装置１は、いわゆるフレキシブルディスプレイとも呼ばれる。なお、本実施の形態では、表示を専らの機能とする表示装置１について説明するが、本実施の形態における表示装置には、変形可能である限り、表示機能を有する各種の電子機器も含まれる。例えば表示装置１には、携帯型の端末装置も含まれる。
The
表示部２は、発光素子として、有機ＥＬ（Electro Luminescence）素子や液晶素子などを使用する。表示部２は、不図示の駆動回路によって駆動される。なお、発光素子を液晶素子とする場合には、不図示の光源も配置される。
The
本実施の形態における表示装置１には、音の出力に用いられるスピーカ４や不図示のデバイスも搭載される。図１の場合、左右一対のスピーカ４が、表示装置１の下辺の両端付近に配置されている。もっとも、スピーカ４の搭載は必須でなく、スピーカ４の代わりに又は一緒に、オーディオポートやイヤホンジャックを搭載してもよい。音データは、表示装置１と外部機器の間で無線通信により伝送してもよい。
The
表示装置１の表示面（表示部２が配置される面）は、矩形形状を有している。本実施の形態においては、表示装置１の短辺に沿った方向を縦方向Ｖと呼び、長辺に沿った方向を横方向Ｈと呼ぶ。従って、本実施の形態における表示装置１は、横方向Ｈに長い形状を有している。勿論、表示装置１は、縦方向Ｖに長い形状を有していてもよい。
The display surface of the display device 1 (the surface on which the
図２は、表示装置１のハードウェア構成例を説明する図である。表示装置１は、前述したデバイスに加え、各種のデータを記憶する記憶部１４と、利用者の操作を受け付ける操作受付部１５と、表示部２の変形の検知に用いられる複数の変形検知部１６と、外部機器との通信に用いる通信部１７と、各部に電力を供給する電源部１８とを有している。なお、前述した各部はバス１９に接続され、各部のデータはバス１９を介して受け渡しされる。
FIG. 2 is a diagram illustrating a hardware configuration example of the
制御部３は、いわゆるコンピュータであり、プログラムを実行するＣＰＵ（Central Processing Unit）１１と、ＢＩＯＳ（Basic Input / Output System）やファームウェアなどのプログラムやデータを記憶するＲＯＭ（Read Only Memory）１２と、プログラムに作業エリアを与えるＲＡＭ（Random Access Memory）１３とにより構成される。本実施の形態における制御部３は，画像処理装置の一例として機能する。
The
記憶部１４は、印刷技術を用いて形成される変形可能な記憶装置や半導体メモリで構成される。本実施の形態における操作受付部１５は、利用者の指が触れた位置を検知するタッチパネルセンサで構成される。従って、操作受付部１５は、表示部２の表面側に重ねて配置される。
The
変形検知部１６は、いわゆる歪センサで構成される。歪センサは、折り曲げ量（角度）に応じた大きさのセンサ出力を出力する。このように、歪センサは、付着された部材の変形を検知できるデバイスである。従って、変形検知部１６は、折り畳み状態に至る前の湾曲による変形も検知する。図３は、変形検知部１６の配置位置の例を説明する図である。図３における変形検知部１６は、表示部２の各辺に沿って複数個ずつ配置される。変形検知部１６の配置箇所や配置間隔（配置密度）は、歪センサのサイズや仕様に応じて決まる。なお、変形検知部１６は、表示部２と重なるように配置してもよい。
The
詳細については後述するが、制御部３は、変形検知部１６によって折り曲げが検知された位置の関係に基づいて、表示部２の折り曲げ位置（すなわち折り位置）を推定する。また、本実施の形態では、変形検知部１６は、表示部２の片面側（例えば表示面側）に配置する。もっとも、変形検知部１６を薄膜基板の両面に配置してもよい。通信部１７は、通信インターフェースで構成される。電源部１８は、電源用の集積回路により構成される。
Although details will be described later, the
＜制御部の機能構成＞
次に、制御部３の機能構成について説明する。図４は、表示部２の変形に応じて表示内容を変化させる処理機能に関する制御部３の機能構成例を説明するブロック図である。図４に示す処理機能は、ＣＰＵ１１によるプログラムの実行を通じて実現される。
<Functional configuration of control unit>
Next, the functional configuration of the
制御部３は、複数の変形検知部１６のそれぞれからセンサ出力を取得し、変形の発生を検知する変形情報取得部２１と、変形が検知された位置の関係から表示部２の折り曲げ位置を特定する曲げ位置特定部２２と、特定された曲げ位置に応じて表示内容に変化を加える描画部２３と、音声や音楽をスピーカ４から出力させる音再生部２４と、利用者による表示部２の折り曲げ操作を案内する案内部２５とを有している。
The
本実施の形態の場合、変形情報取得部２１は、予め定めた閾値を超える変化がセンサ出力に現れた場合、センサ出力に対応する変形検知部１６の位置で変形が発生したと判定する。一方、変形情報取得部２１は、予め定めた閾値以下に戻る変化がセンサ出力に現れた場合、センサ出力に対応する変形検知部１６の位置での変形状態が解除されたと判定する。
In the case of the present embodiment, the deformation
なお、センササイズが小さい変形検知部１６が密に配置されている場合にあって、変形を検知した変形検知部１６の配置が連続する場合、変形情報取得部２１は、連続する複数個の変形検知部１６の中で最も大きいセンサ出力が得られる位置を変形位置として用いてもよい。
In addition, when the deformation |
曲げ位置特定部２２は、変形を検知した変形検知部１６の位置関係に基づいて、表示部２の曲げ位置を特定する。図５及び図６は、変形の検出位置と対応する曲げ位置との関係を説明する図である。ここでの曲げ位置特定部２２と前述した変形情報取得部２１は、取得手段の一例を構成する。
The bending
図５（ａ）は、表示装置１の各短辺の中点付近に位置する２つの変形検知部１６で変形が検知された場合に、曲げ位置特定部２２が特定する曲げ位置を説明する図である。図５（ａ）の場合、曲げ位置特定部２２は、表示装置１の長辺と平行な線Ｌ１が折り目となるように表示部２が２つ折り（横折り）されていると判定する。
FIG. 5A illustrates a bending position specified by the bending
図５（ｂ）は、表示装置１の各長辺の中点付近に位置する２つの変形検知部１６からのセンサ出力に変形が検知された場合に、曲げ位置特定部２２が特定する曲げ位置を説明する図である。図５（ｂ）の場合、曲げ位置特定部２２は、表示装置１の短辺と平行な線Ｌ２が折り目となるように表示部２が２つ折り（縦折り）されていると判定する。
FIG. 5B shows the bending position specified by the bending
図５（ｃ）は、表示装置１の右上隅と左下隅に位置する２つの変形検知部１６からのセンサ出力に変形が検知された場合に、曲げ位置特定部２２が特定する曲げ位置を説明する図である。図５（ｃ）の場合、曲げ位置特定部２２は、右上がりの対角線方向の線Ｌ３が折り目となるように表示部２が２つ折り（斜め折り）されていると判定する。
FIG. 5C illustrates the bending position specified by the bending
図５（ｄ）は、表示装置１の右上隅と左上隅から２番目に位置する２つの変形検知部１６からのセンサ出力に変形が検知された場合に、曲げ位置特定部２２が特定する曲げ位置を説明する図である。図５（ｄ）の場合、曲げ位置特定部２２は、左上隅を直角とする三角形の斜辺を形成する線Ｌ４が折り目となるように、表示部２が２つ折り（斜め折り）されていると判定する。
FIG. 5D shows a bending that the bending
図５（ｅ）は、上辺（長辺）の３か所と下辺（長辺）の３か所に位置する６つの変形検知部１６からのセンサ出力に変形が検知された場合に、曲げ位置特定部２２が特定する曲げ位置を説明する図である。図５（ｅ）の場合、曲げ位置特定部２２は、左側から右側の方向に、谷折りを形成する線Ｌ５、山折りを形成する線Ｌ６、谷折りを形成する線Ｌ７が並ぶように、表示部２が３つ折りされていると判定する。
FIG. 5 (e) shows the bending position when deformation is detected in the sensor outputs from the six
図６は、曲げ位置をより正確に入力するための手法を説明する図である。変形が検知された変形検知部１６の位置のみを用いて曲げ位置を特定する場合、変形検知部１６の配置数が少ないと（密度が疎である）と、特定された曲げ位置と実際の曲げ位置との間にずれが生じる可能性がある。そこで、図６に示すように、操作受付部１５の一例であるタッチパネルセンサのセンサ出力を曲げ位置の入力に使用する。曲げ位置特定部２２は、変形検知部１６の変形が検知されている状態で、タッチパネルセンサからのセンサ入力があった場合、尾根線をなぞるように移動する指３０の移動軌跡を曲げ位置として特定する。
FIG. 6 is a diagram for explaining a method for more accurately inputting a bending position. When the bending position is specified using only the position of the
図４の説明に戻る。描画部２３は、曲げ位置特定部２２において特定された曲げ位置に応じて変化を加えた画像を表示部２に表示する。例えば描画部２３は、特定された曲げ位置を境とする複数の小画面に表示面を分割し、各画面にそれぞれ異なる画像を表示する。また例えば描画部２３は、表示部２に表示されている画像のうち、特定された曲げ位置の部位に編集を加えた画像を表示部２に表示する。ここでの曲げ位置には、実時間で特定された曲げ位置だけでなく、記憶されている曲げ位置（変形の履歴）も含む。いずれの曲げ位置も、変形に関する情報の一例である。処理動作の詳細については後述する。
Returning to the description of FIG. The
音再生部２４は、表示部２に表示されている画像に応じた音をスピーカ４に与える機能である。案内部２５は、利用者が望む表示形態を実現するために必要となる曲げ状態を得るためには、表示部２をどのように折り曲げ操作したらよいかを案内する機能である。案内の手法には、画像による方法や音による方法がある。
The
＜制御部の制御動作＞
続いて、本実施の形態に係る制御部３が実行する処理動作について説明する。図７は、制御部３で実行される処理手順の概要を説明するフローチャートである。まず、制御部３は、表示部２に配置されている変形検知部１６からのセンサ出力を監視し、表示部２が変形したか否かを判定する（ステップ１０１）。ここでの監視には、変形情報取得部２１の機能が使用される。否定結果が継続している間、変形情報取得部２１は、ステップ１０１の判定動作を繰り返す。一方、閾値を超える変化がセンサ出力に現れた場合、変形情報取得部２１は、肯定結果を得てステップ１０２に進む。
<Control action of control unit>
Subsequently, processing operations executed by the
次に、制御部３は、変化が検知された変形検知部１６の位置情報を使用し、表示部２の曲げ位置を特定する（ステップ１０２）。ここでの特定には、曲げ位置特定部２２の機能が使用される。続いて、制御部３は、特定された曲げ位置を画面分割処理に使用するか否かを判定する（ステップ１０３）。ここでの判定には、描画部２３の機能が用いられる。なお、特定された曲げ位置をどのような処理に使用するかは、利用者が予め入力していることが望ましい。
Next, the
肯定結果が得られた場合、描画部２３は、特定された曲げ位置により定まる画面の分割数に応じた個数の画像を各小画面に出力する（ステップ１０４）。この際、描画部２３は、特定された曲げ位置を境とする小画面のサイズや形状、画像のアスペクト比や画素数等のパラメータに基づいて、各小画面に出力する画像の内容を決定する。
If a positive result is obtained, the
なお、描画部２３による画像の切り替えは、例えば以下の期間に実行される。
（１）曲げ状態の検出中だけ
（２）曲げ状態の検出中と次の曲げ状態の検出まで（変形の履歴情報も用いる）
（３）曲げ状態の検出終了から次の曲げ状態の検出まで（変形の履歴情報のみを用いる）
Note that image switching by the
(1) Only during detection of bending state (2) Until detection of bending state and detection of next bending state (deformation history information is also used)
(3) From the end of detection of the bending state to the detection of the next bending state (only the deformation history information is used)
ここで、画像の切り替えの終了は、次の曲げ状態の検出に限らない。例えば利用者が予め定めた表示時間の経過や利用者による表示の終了指示を待って、画像の切り替えを終了してもよい。 Here, the end of the image switching is not limited to the detection of the next bending state. For example, the switching of images may be terminated after the display time predetermined by the user elapses or a display end instruction from the user.
図８は、曲げ状態が検出されている間だけ、表示部２の表示内容を変化させる表示モードが選択されている場合の表示内容の推移を説明する図である。図８の場合、表示部２が変形前の時点Ｔ１において、表示部２に、リンゴの絵の画像（以下「Ａ画像」という。）が表示されている。
FIG. 8 is a diagram for explaining the transition of the display content when the display mode for changing the display content of the
図８の場合、時点Ｔ２において、短辺に対して平行に２つの折り目が形成されるように表示部２が折り曲げられる。表示部２がその長辺上の２か所で内側に折り曲げられると、表示部２の画面が３つの小画面に分割される。描画部２３は、形成された小画面のサイズや形状等に応じて各小画面に表示する画像を決定する。図８の例では、真ん中の小画面にＡ画像が表示され、左側の小画面に四角形の画像（以下、「Ｂ画像」という。）が表示され、右側の小画面に三角形の画像（以下、「Ｃ画像」という。）が表示されている。
In the case of FIG. 8, at the time T2, the
時点Ｔ３以降は、表示部２が元の平面状態に戻る。この状態で、描画部２３は、表示部２を１つの画面として扱い、Ａ画像のみを表示する。この表示手法の場合、利用者による折り曲げ期間と表示内容の変化期間とが一致する。
After time T3, the
図９は、曲げ状態の検出中と次の曲げ状態の検出まで、表示部２の表示内容を変化させる表示モードが選択されている場合の表示内容の推移を説明する図である。変化前の時点Ｔ１において、表示部２にはＡ画像のみが表示されている。この状態で、表示部２が図８と同様に折り曲げられた場合を考える。すなわち、時点Ｔ２において、表示部２の画面が３つの小画面に分割される場合を考える。このとき、描画部２３は、図８の例と同じく、真ん中の小画面にＡ画像を表示し、左側の小画面にＢ画像を表示し、右側の小画面にＣ画像を表示する。
FIG. 9 is a diagram for explaining the transition of the display content when the display mode for changing the display content of the
ただし、図９の場合、表示部２が平面状態に戻った時点Ｔ３以降の場合にも、描画部２３は、直前までの表示内容をそのまま維持する。すなわち、曲げ状態が検知されなくなった後も、変形が検知されていたときの情報（履歴情報）を使用し、真ん中の小画面にＡ画像を表示し、左側の小画面にＢ画像を表示し、右側の小画面にＣ画像を表示する。この表示手法は、利用者が表示部２を折り曲げている期間中だけでなく、折り曲げの終了後も履歴情報を使用して折り曲げ中と同じ表示内容が継続する点に特徴がある。
However, in the case of FIG. 9, the
図１０は、曲げ状態の検出終了から次の曲げ状態の検出までの間だけ、表示部２の表示内容を変化させる表示モードが選択されている場合の表示内容の推移を説明する図である。図１０の場合も時点Ｔ１における表示内容は同じである。ただし、図１０の場合には、表示部２が折り曲げられた後も、表示部２の表示面は小画面に分割されず、Ａ画像だけが表示される。
FIG. 10 is a diagram for explaining the transition of the display content when the display mode for changing the display content of the
そして、表示部２が曲げ状態から元の平面状態に戻った時点Ｔ３以降に初めて、表示部２の画面が３つの小画面に分割され、それぞれに応じた画像の表示が開始される。すなわち、描画部２３は、真ん中の小画面にＡ画像を表示し、左側の小画面にＢ画像を表示し、右側の小画面にＣ画像を表示する。図１０の場合、利用者による表示部２の折り曲げは、小画面の境界位置の入力のためだけに用いられ、画像の視認は、表示部２を平面状態に戻した後に行われる。
Then, for the first time after time T3 when the
図７の説明に戻る。ステップ１０３で否定結果が得られた場合、描画部２３は、特定された曲げ位置を画像編集で使用するモードに移行する（ステップ１０５）。すなわち、描画部２３は、特定された曲げ位置を使用して表示中の画像に編集を加えるモードに移行する。図１１は、特定された曲げ位置を画像編集に使用する例を説明する図である。図１１では、表示部２が変形される前の時点Ｔ１において、表示部２にＡ画像だけが表示されている。次の時点Ｔ２において、表示部２は、画面中央に対してやや右側の位置で内側に折り曲げられる。この時点では、Ａ画像の表示に変化はない。
Returning to the description of FIG. If a negative result is obtained in step 103, the
続く時点Ｔ３において、表示部２は元の平面状態に戻っているが、Ａ画像には時点Ｔ２の曲げ位置（折り目の位置）に相当するリンゴの画像部分に線分４１が追加されている。図１１の場合、曲げ位置の入力は、線分４１追加するための操作として使用される。なお、図１１では、線分４１の表示が曲げ状態の検出が終了した以降に開始されているが、図８の時点Ｔ２のように曲げ状態の検出中にのみ線分４１が表示されてもよいし、図９の時点Ｔ２及びＴ３のように曲げ状態の検出中と曲げ状態の検出終了後に線分４１が表示されてもよい。
At the subsequent time T3, the
図１２は、特定された曲げ位置を他の画像編集に使用する例を説明する図である。図１２の場合も、時点Ｔ１、Ｔ２及びＴ３の順番で、図１１と同様の折り曲げが表示部２に対して加えられる。ただし、図１２の場合には、時点Ｔ３において、特定された曲げ位置でリンゴを切断した画像が表示されている。すなわち、図１２の場合には、利用者による表示部２の折り曲げ操作が、特殊効果処理（切断処理）を加える部位の入力に使用される。
FIG. 12 is a diagram illustrating an example in which the specified bending position is used for other image editing. Also in the case of FIG. 12, the same bending as in FIG. 11 is applied to the
図１２においては、切断処理後の画像のみが表示されているが、切断開始から切断後に至るまでの過程が動画として表示されてもよい。図１２においては切断面が表示されていないが、切断面が表示されてもよい。切断面が表示されることで、画像処理の臨場感が高まる。本実施の形態の場合、実行される特殊効果処理の内容は、予め利用者によって指定される。また、本実施の形態では、特殊効果処理の一例として切断処理を示しているが、表示部２が手で丸めるように変形され、この際の変形箇所を変形検知部１６のセンサ出力を通じて曲げ位置特定部２２が検知できる場合には、表示されているリンゴを握りつぶしたように画像処理を加えた結果を表示してもよい。
In FIG. 12, only the image after the cutting process is displayed, but the process from the start of cutting to after cutting may be displayed as a moving image. Although the cut surface is not displayed in FIG. 12, the cut surface may be displayed. By displaying the cut surface, the realism of image processing is enhanced. In the case of the present embodiment, the content of the special effect process to be executed is designated in advance by the user. Further, in the present embodiment, the cutting process is shown as an example of the special effect process, but the
ところで、画像編集の実行時には、画像編集の内容に応じた効果音を付加してもよい。例えば図１２の例であれば、スピーカ４を通じてリンゴが切断される音（例えば「ザクッ」）という効果音を付加してもよい。効果音の付加により、画像処理の臨場感が高まる。 By the way, when executing image editing, a sound effect according to the content of the image editing may be added. For example, in the example of FIG. 12, a sound effect such as a sound of cutting an apple through the speaker 4 (for example, “Zaku”) may be added. By adding sound effects, the realism of image processing is enhanced.
＜実施の形態１の効果＞
以上説明したように、本実施の形態によれば、表示部２の変形操作を通じ、複数の小画面に異なる画像を表示させたり、表示中の画像に特殊効果を付与させたりでき、変形可能な表示部２を有する表示装置１の利便性が向上される。また、特殊効果の内容に応じた音を表示の際に付加することにより、特殊効果を施した画像を表示する際の臨場感が向上する。
<Effect of
As described above, according to the present embodiment, different images can be displayed on a plurality of small screens or special effects can be given to the displayed image through the deformation operation of the
＜実施の形態２＞
本実施の形態では、図１３〜図１５を使用し、利用者の眼球位置（観察位置）に応じた画像の出力位置の切り替え技術について説明する。なお、図１３〜図１５の場合、変形可能な表示装置１は、収納容器５０に収容された状態から引き出されて使用されるものとする。ここで、図１３〜図１５は、ＸＹＺ座標系で表している。すなわち、Ｚ軸は高さ方向であり、Ｘ軸とＹ軸は水平面を与える２方向である。また、図１３〜図１５においては、形成される３つの小画面を、収納容器５０から遠い方から順番に第１（＃１）、第２（＃２）、第３（＃３）で表す。
<
In this embodiment, a technique for switching an output position of an image according to a user's eyeball position (observation position) will be described with reference to FIGS. In the case of FIGS. 13 to 15, the
図１３は、収納容器５０から引き出される表示部２を、引き出し方向の２か所で同じ方向に折り曲げた場合（上方から見ると、３つの小画面５１、５２、５３がコ字状に形成される場合）に、利用者が薄膜基板の同一面に配置される３つの小画面５１、５２、５３を観察する場合の表示形態を示す図である。図１３では、利用者の観察位置５４を眼球の表記により示す。図１３では、表示部２をその引き出し方向について２回直角に折り曲げているが、折り曲げ位置で隣り合う２つの面が形成する角度は直角に限らない。例えば鈍角でもよい。
FIG. 13 shows a case where the
図１３の場合には、表示部２が折り曲げられている間中、小画面５１、５２、５３にそれぞれ異なる画像が表示される。例えば利用者の正面に位置する小画面５２には正面の風景が、右側に位置する小画面５１には右側の風景が、左側に位置する小画面５３には左側の風景が表示される。図１３に示す観察位置５４は、表示装置１を構成する薄膜基板の片面に表示部２が搭載される場合にも、両面に搭載される場合に可能である。本実施の形態の場合、観察位置５４は、利用者により予め表示装置１に設定されている。なお、収納容器５０や表示装置１の一部に利用者の視線方向を検知する視線検知センサが配置されている場合には、その検知結果を使用して観察位置５４を特定してもよい。
In the case of FIG. 13, different images are displayed on the
図１４は、収納容器５０から引き出される表示部２を、引き出し方向の２か所で同じ方向に折り曲げた場合（上方から見ると、３つの小画面５１、５２、５３がコ字状に形成される場合）に、利用者が収納容器５０から遠い側の折り曲げ位置の外側斜め上方位置から観察する場合の表示形態を示す図である。
FIG. 14 shows that when the
図１４に示す観察位置５４は、表示装置１を構成する薄膜基板の両面に表示部２が搭載される場合に可能である。図１４の場合、折り曲げられた薄膜基板の外側に配置された表示部２のうち２つの小画面（小画面５１、５２）と、薄膜基板の内側に配置された表示部２のうちの１つの小画面（小画面５３）とが観察される。図１４でも、表示部２をその引き出し方向について２回直角に折り曲げているが、折り曲げ位置で隣り合う２つの面が形成する角度は直角に限らない。
The
図１４の場合も、観察位置５４は、利用者により予め表示装置１に設定されている。なお、収納容器５０や表示装置１の一部に利用者の視線方向を検知する視線検知センサが配置されている場合には、その検知結果を使用して観察位置５４を特定してもよい。図１４の場合も、表示部２が折り曲げられている間中、小画面５１、５２、５３にそれぞれ異なる画像が表示される。
Also in the case of FIG. 14, the
図１５は、収納容器５０から引き出される表示部２を、引き出し方向の２か所で同じ方向に折り曲げた場合（上方から見ると、３つの小画面５１、５２、５３がコ字状に形成される場合）に、３人の利用者が３方向から観察する場合の表示形態を示す図である。
15 shows a case where the
図１５に示す観察位置５４は、表示装置１を構成する薄膜基板の片面に表示部２が搭載される場合にも両面に搭載される場合にも可能である。図１５の場合、薄膜基板の同一面（折り曲げられた状態で外側に位置する面）に配置された表示部２を分割する３つの小画面５１、５２、５３が観察される。図１５の場合も、表示部２をその引き出し方向について２回直角に折り曲げているが、折り曲げ位置で隣り合う２つの面が形成する角度は直角に限らない。
The
図１５の場合、３つの小画面５１、５２、５３には、各観察位置５４に対応する利用者に専用の画像が表示されてもよい。例えば観察位置５４Ａに対応する小画面５１にはチャンネルＡのテレビジョン画像が表示され、観察位置５４Ｂに対応する小画面５２にはパソコンの操作画面が表示され、観察位置５４Ｃに対応する小画面５３にはチャンネルＣのテレビジョン画像が表示されてもよい。
In the case of FIG. 15, on the three
図１５の場合も、観察位置５４は、利用者により予め表示装置１に設定されている。また、収納容器５０や表示装置１の一部に利用者の視線方向を検知する視線検知センサが配置されている場合には、その検知結果を使用して観察位置５４を特定してもよい。図１５の場合も、表示部２が折り曲げられている間中、小画面５１、５２、５３にそれぞれ異なる画像が表示される。
Also in the case of FIG. 15, the
以上説明したように、本実施の形態の場合には、表示部２の変形操作によって出現する３つの小画面５１、５２、５３に対する画像の出力が、各小画面と観察位置５４との位置関係に応じて変更されるため、変形可能な表示部２を有する表示装置１の利便性が向上される。
As described above, in the case of the present embodiment, the image output for the three
＜実施の形態３＞
本実施の形態では、表示部２の変形を、小画面間における表示内容の入れ替えに使用する場合について説明する。図１６は、表示中の小画面とは異なる位置に新たな曲げ位置が検知された場合に実行される表示内容の切り替え制御を説明する図である。図１６の上段では、左側の小画面にＡ画像が表示され、右側の小画面にＢ画像が表示されている。この場合、２つの画面の境界を与える線Ｌ１１は、表示部２の短辺と平行である。一方、図１６の下段は、線Ｌ１１とは異なる位置に、新たな曲げ位置に対応する線Ｌ１２が検知された場合の表示内容を示している。下段では、左側の小画面にＢ画像が表示され、右側の小画面にＡ画像が表示されている。このように、新たな曲げ位置の検知の前後で表示内容が左右で入れ替わっている。
<
In the present embodiment, a case will be described in which the deformation of the
図１７は、表示位置の入れ替え制御を実現する制御部３の処理動作の概要を説明するフローチャートである。まず、制御部３は、表示部２に配置されている変形検知部１６からのセンサ出力を監視し、表示部２が変形したか否かを判定する（ステップ２０１）。ここでの監視には、変形情報取得部２１の機能が使用される。否定結果が継続している間、変形情報取得部２１は、ステップ２０１の判定動作を繰り返す。一方、閾値を超える変化がセンサ出力に現れた場合、変形情報取得部２１は、肯定結果を得てステップ２０２に進む。
FIG. 17 is a flowchart for explaining an overview of the processing operation of the
次に、制御部３は、変形が検知された変形検知部１６の位置情報を使用し、表示部２の曲げ位置を特定する（ステップ２０２）。ここでの特定には、曲げ位置特定部２２の機能が使用される。続いて、制御部３は、特定された曲げ位置が直前の曲げ位置と異なるか否かを判定する（ステップ２０３）。ここでの判定には描画部２３の機能が使用される。肯定結果が得られた場合、描画部２３は、新たな曲げ位置を境とする小画面の間で、画像の表示位置を入れ替える（ステップ２０４）。一方、否定結果が得られた場合、描画部２３は、現在の表示を継続する。
Next, the
このように、本実施の形態によれば、表示部２の変形という分かり易い操作で、表示部２に表示されている画像の表示位置を入れ替えることができ、利用者にとっての表示装置１の利便性が向上される。
As described above, according to the present embodiment, the display position of the image displayed on the
＜実施の形態４＞
本実施の形態では、利用者の望む表示形態（例えば画像の表示に用いる小画面の数や配置）や利用者が選択した画像に適した表示を実現するために求められる表示部２の変形操作を案内する機能について説明する。図１８は、利用者が指定した表示形態に適した表示部２の形状を利用者に案内するための画面例を示す図である。
<
In the present embodiment, the
図１８に示す画面例は、表示部２の上下に異なる画像を表示させたい場合の操作例である。本実施の形態の場合、表示部２の中央付近に長辺と平行に延びる点線６１が表示されると共に、利用者の作業内容を指示する案内文６２が表示される。図１８の例では、山折りとするか谷折りとするかは記載されていない。なお、案内文６２を表示する際に、案内文６２の内容が音声出力されることが望ましい。
The screen example shown in FIG. 18 is an operation example when different images are to be displayed above and below the
図１９は、制御部３が利用者の操作を案内する場合に実行する処理動作の概要を説明するフローチャートである。この機能は、案内部２５の機能を通じて実行される。まず、案内部２５は、折り曲げ位置の案内が要求されているか否かを判定する（ステップ３０１）。否定結果が継続している間、案内部２５は、ステップ３０１の判定動作を繰り返す。
FIG. 19 is a flowchart illustrating an outline of processing operations executed when the
一方、肯定結果が得られた場合、案内部２５は、案内する表示形態を特定する（ステップ３０２）。例えば案内部２５は、表示部２に表示された複数種類の表示形態の中から利用者が指定した表示形態を特定する。次に、案内部２５は、特定された表示形態に応じた折り曲げ位置を示す案内画面（図１８参照）を表示部２に表示する（ステップ３０３）。
On the other hand, when a positive result is obtained, the guide unit 25 specifies a display form to be guided (step 302). For example, the guide unit 25 specifies a display form designated by the user from among a plurality of types of display forms displayed on the
以上の案内画面は、直感的にもわかり易い例であったが、表示する画像の内容等に適した曲げ位置が案内されることで、利用者は短時間のうちに画像の観察に適した形状に表示部２を変形することができる。
The above guidance screen is an example that is easy to understand intuitively, but by guiding the bending position suitable for the content of the image to be displayed, the user can shape the shape suitable for image observation in a short time. The
＜他の実施の形態＞
前述の実施の形態においては、表示部２の変形操作を通じて、表示部２に表示される画像を変化させる場合について説明したが、特定位置の小画面に表示されている画像についてのみ付属音を再生してもよい。また、個々の小画面の対応位置にスピーカ４が配置されている場合、各小画面に表示されている画像の付属音を各小画面に対応する位置のスピーカ４を通じて再生してもよい。すなわち、小画面ごとに異なる付属音を再生してもよい。
<Other embodiments>
In the above-described embodiment, the case where the image displayed on the
前述の実施の形態においては、表示画像の出力形態についてのみ説明しているが、表示部２の変形によって形成される複数の小画面のうち特定の位置（例えば左、真ん中、右の３つの小画面のうちの真ん中）の小画面についてのみ表示画像の再生速度を変更してもよい。例えば真ん中の小画面に表示される画像についてのみ再生速度を倍速としてもよいし、スローモーションやコマ送りとしてもよい。
In the above-described embodiment, only the output form of the display image has been described. However, among the plurality of small screens formed by the deformation of the
前述の実施の形態においては、表示部２と制御部３が図１に示すように一体に構成されているが、表示部２（通信部を含む）が制御部３から分離されたプロジェクタ型の装置構成でもよい。この形態における表示部２は、いわゆるプロジェクタスクリーンとして構成される例と、いわゆる空中ディスプレイとして構成される例を含む。
In the above-described embodiment, the
表示部２がプロジェクタスクリーンとして構成される場合、表示部２は、複数の変形検知部１６と通信部とがシート状のスクリーン面に実装される。表示部２の通信部は、例えば変形検知部１６のセンサ出力を制御部３に対して送信するために使用される。一方、表示部２が空中ディスプレイとして構成される場合、表示部２は鏡映像として実現される。すなわち、空中ディスプレイとしての表示部２は知覚上の存在であり、物理的な存在ではない。従って、空中ディスプレイとしての表示部２に用いられる変形検知部１６は、利用者が表示面を折り曲げるジェスチャを撮像する撮像カメラやジェスチャに伴う空間の揺らぎ（例えば空気や風の変化）などを検知するセンサとして表示部２の周囲に配置される。変形検知部１６のセンサ出力は通信部を通じて制御部３に出力される。
When the
この形態の場合、制御部３は、独立した筐体として構成される画像処理装置に含まれる。前述した実施の形態における描画部２３は、同じく画像処理装置に含まれる投光部（光源と光学系で構成される）を制御して、表示部２の表面（投影面）に投影する画像の内容を変化させる。このような装置構成の場合にも、前述した実施例と同じ効果が実現される。
In the case of this form, the
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。 Although the embodiments of the present invention have been described above, the technical scope of the present invention is not limited to the scope described in the above embodiments. It is clear from the description of the scope of the claims that various modifications or improvements added to the above embodiment are also included in the technical scope of the present invention.
１…表示装置、２…表示部、３…制御部、４…スピーカ、１４…記憶部、１５…操作受付部、１６…変形検知部、１７…通信部、１８…電源部、２１…変形情報取得部、２２…曲げ位置特定部、２３…描画部、２４…音再生部、２５…案内部、４１…線分、５０…収納容器、５１、５２、５３…小画面、５４、５４Ａ、５４Ｂ、５４Ｃ…観察位置
DESCRIPTION OF
Claims (8)
前記表示部の曲げ位置によって生じた複数の画面に画像を表示する描画部と、
複数の前記画面に表示される画像に応じた音を発生する音再生部と
を有する表示装置。 A deformable display; and
A drawing unit for displaying images on a plurality of screens generated by the bending position of the display unit;
And a sound reproducing unit that generates sound corresponding to the images displayed on the plurality of screens.
前記描画部は、複数の前記画面のうち利用者による観察が可能な領域に画像を描画する、
請求項１に記載の表示装置。 A detection unit that detects a user's line-of-sight direction or a position observed by the user;
The drawing unit draws an image in an area that can be observed by a user among the plurality of screens.
The display device according to claim 1.
曲げ位置によって前記表示部に生じた複数の画面に画像を表示する描画部と、
複数の前記画面に表示される画像に応じた音を発生する音再生部と
を有する画像処理装置。 A detection unit for detecting the bending position of the deformable display unit;
A drawing unit for displaying images on a plurality of screens generated in the display unit by a bending position;
An image processing apparatus comprising: a sound reproduction unit that generates sound according to images displayed on the plurality of screens.
変形可能な表示部の曲げ位置を検知する機能と、
曲げ位置によって前記表示部に生じた複数の画面に画像を表示する機能と、
複数の前記画面に表示される画像に応じた音を発生する機能と
を実行させるためのプログラム。 On the computer,
A function for detecting the bending position of the deformable display unit,
A function of displaying images on a plurality of screens generated in the display unit according to a bending position;
A program for executing a function of generating sound according to images displayed on a plurality of the screens.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018129892A JP6631661B2 (en) | 2018-07-09 | 2018-07-09 | Display device, image processing device, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018129892A JP6631661B2 (en) | 2018-07-09 | 2018-07-09 | Display device, image processing device, and program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017121837A Division JP6399157B2 (en) | 2017-06-22 | 2017-06-22 | Display device, image processing device, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018165836A true JP2018165836A (en) | 2018-10-25 |
| JP6631661B2 JP6631661B2 (en) | 2020-01-15 |
Family
ID=63922607
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018129892A Active JP6631661B2 (en) | 2018-07-09 | 2018-07-09 | Display device, image processing device, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6631661B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020187591A (en) * | 2019-05-15 | 2020-11-19 | コニカミノルタ株式会社 | Image forming apparatus |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002278515A (en) * | 2001-03-15 | 2002-09-27 | Minolta Co Ltd | Image display device |
| JP2007264258A (en) * | 2006-03-28 | 2007-10-11 | Pioneer Electronic Corp | Display device |
| JP2008177974A (en) * | 2007-01-22 | 2008-07-31 | Fujitsu Ltd | Display device |
| US20100060548A1 (en) * | 2008-09-09 | 2010-03-11 | Choi Kil Soo | Mobile terminal and operation method thereof |
| US20130265262A1 (en) * | 2012-04-08 | 2013-10-10 | Samsung Electronics Co., Ltd. | Flexible display apparatus and method for controlling thereof |
| US20140015743A1 (en) * | 2012-07-11 | 2014-01-16 | Samsung Electronics Co., Ltd. | Flexible display apparatus and operating method thereof |
| JP2014035496A (en) * | 2012-08-09 | 2014-02-24 | Canon Inc | Display device, control method of display device, and program |
| US20140306908A1 (en) * | 2013-04-10 | 2014-10-16 | Samsung Electronics Co., Ltd. | Foldable electronic device and method of managing visible regions thereof |
| JP2015179299A (en) * | 2014-03-18 | 2015-10-08 | 日本電気株式会社 | Flexible portable terminal device, control method of portable terminal device and program |
| US20160034047A1 (en) * | 2014-07-31 | 2016-02-04 | Samsung Electronics Co., Ltd. | Flexible device and interfacing method thereof |
| US20160291762A1 (en) * | 2013-12-19 | 2016-10-06 | Korea Elecronics Technology Institute | Electronic device and a control method thereof |
-
2018
- 2018-07-09 JP JP2018129892A patent/JP6631661B2/en active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002278515A (en) * | 2001-03-15 | 2002-09-27 | Minolta Co Ltd | Image display device |
| JP2007264258A (en) * | 2006-03-28 | 2007-10-11 | Pioneer Electronic Corp | Display device |
| JP2008177974A (en) * | 2007-01-22 | 2008-07-31 | Fujitsu Ltd | Display device |
| US20100060548A1 (en) * | 2008-09-09 | 2010-03-11 | Choi Kil Soo | Mobile terminal and operation method thereof |
| US20130265262A1 (en) * | 2012-04-08 | 2013-10-10 | Samsung Electronics Co., Ltd. | Flexible display apparatus and method for controlling thereof |
| US20140015743A1 (en) * | 2012-07-11 | 2014-01-16 | Samsung Electronics Co., Ltd. | Flexible display apparatus and operating method thereof |
| JP2014035496A (en) * | 2012-08-09 | 2014-02-24 | Canon Inc | Display device, control method of display device, and program |
| US20140306908A1 (en) * | 2013-04-10 | 2014-10-16 | Samsung Electronics Co., Ltd. | Foldable electronic device and method of managing visible regions thereof |
| US20160291762A1 (en) * | 2013-12-19 | 2016-10-06 | Korea Elecronics Technology Institute | Electronic device and a control method thereof |
| JP2015179299A (en) * | 2014-03-18 | 2015-10-08 | 日本電気株式会社 | Flexible portable terminal device, control method of portable terminal device and program |
| US20160034047A1 (en) * | 2014-07-31 | 2016-02-04 | Samsung Electronics Co., Ltd. | Flexible device and interfacing method thereof |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020187591A (en) * | 2019-05-15 | 2020-11-19 | コニカミノルタ株式会社 | Image forming apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6631661B2 (en) | 2020-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6187668B1 (en) | Display device, image processing device, and program | |
| JP6816858B2 (en) | How to control the display of multiple objects by operation-related input to the mobile terminal and the mobile terminal | |
| CN110471596B (en) | Split screen switching method and device, storage medium and electronic equipment | |
| JP5900393B2 (en) | Information processing apparatus, operation control method, and program | |
| US9229562B2 (en) | Information processing apparatus and storage medium for storing information processing program | |
| EP2796973B1 (en) | Method and apparatus for generating a three-dimensional user interface | |
| CN109144304A (en) | At least one display window distributing adjustment and touch-control automatic calibrating method and system | |
| CN104777997A (en) | Display apparatus and method for operating the same | |
| WO2021036531A1 (en) | Screenshot method and terminal device | |
| JP2014241005A (en) | Display controller, display control method, and display control program | |
| WO2018010440A1 (en) | Projection picture adjusting method and apparatus, and projection terminal | |
| JP6399158B2 (en) | Image processing system | |
| KR102103957B1 (en) | Apparatus, method and recording medium for controlling display area of a flexible display device including display unit and touch panel | |
| WO2018233537A1 (en) | Method and apparatus for dynamically displaying interface content, and device thereof | |
| JP2018165836A (en) | Display device, image processor, and program | |
| JP6399157B2 (en) | Display device, image processing device, and program | |
| JP6579905B2 (en) | Information processing apparatus, display control method for information processing apparatus, and program | |
| US20190318503A1 (en) | Non-transitory computer-readable storage medium, display apparatus, head-mounted display apparatus, and marker | |
| JP2018085088A (en) | Display, image processing apparatus, and program | |
| CN107885439A (en) | A kind of note dividing method and mobile terminal | |
| JP2013225321A (en) | Information processing program, information processing apparatus, information processing system, and information processing method | |
| JP6484914B2 (en) | Information processing equipment and operation system | |
| KR101462419B1 (en) | Terminal for drawing vector graphics | |
| KR20120117107A (en) | Mobile terminal comprising dual display and method for operating that mobile terminal | |
| JP6000482B1 (en) | User interface image display method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180709 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190312 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190509 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190604 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190802 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190827 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191025 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191112 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191125 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6631661 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |