JP2013174738A - Display device, method of controlling display device, control program, and computer readable recording medium recording the control program - Google Patents

Display device, method of controlling display device, control program, and computer readable recording medium recording the control program Download PDF

Info

Publication number
JP2013174738A
JP2013174738A JP2012039295A JP2012039295A JP2013174738A JP 2013174738 A JP2013174738 A JP 2013174738A JP 2012039295 A JP2012039295 A JP 2012039295A JP 2012039295 A JP2012039295 A JP 2012039295A JP 2013174738 A JP2013174738 A JP 2013174738A
Authority
JP
Japan
Prior art keywords
unevenness
image
information
convex
concavo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012039295A
Other languages
Japanese (ja)
Inventor
Kazunori Inoue
和典 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2012039295A priority Critical patent/JP2013174738A/en
Publication of JP2013174738A publication Critical patent/JP2013174738A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a visual stereoscopic effect which eliminates the feeling of incompatibility for a user.SOLUTION: A display device 1 includes irregularity information acquiring means for acquiring irregularity information for making an irregularity form section 23 form visible irregularities corresponding to an image to be displayed on an expandable/contractible flexible display 22, and irregularity control means for controlling the irregularity form section to form the image and the irregularities visibly on the flexible display 22 by superimposing them on each other.

Description

本発明は、視覚的立体感を伴って画像を提示する表示装置に関するものである。   The present invention relates to a display device that presents an image with a visual stereoscopic effect.

テレビや携帯電話、パソコン等の表示装置にとっての1つの大きなテーマに、より強い現実感の実現があり、現実感を構成する要素の1つとして立体感がある。   One of the major themes for display devices such as televisions, mobile phones, and personal computers is the realization of a stronger sense of reality, and a three-dimensional effect is one of the elements that make up reality.

立体感の実現を目指した技術として、現在、3D液晶ディスプレイなど、視覚的な立体感を得ることができる動画像表示装置が広く普及している。これらの多くは両眼視差を利用し、左右の目にそれぞれ異なる動画像を提示することで、閲覧者に視覚的な立体感を知覚させるものである。例えば、特許文献1には、両眼視差を有する映像を分離して観察者に導くことで立体視を行わせる立体映像表示装置において、上記両眼視差を有する映像の集光点間距離を小さくすることで、小型のディスプレイでも立体視を可能にするとともに、平面視の状態も知覚できるようにすることで、立体視と逆視状態との間の移行に伴う違和感を軽減する立体映像表示装置が記載されている。   As a technique aiming at realizing a three-dimensional effect, a moving image display device capable of obtaining a visual three-dimensional effect, such as a 3D liquid crystal display, is now widely used. Many of these use binocular parallax to present different moving images to the left and right eyes, thereby allowing the viewer to perceive a visual stereoscopic effect. For example, in Patent Document 1, in a stereoscopic image display apparatus that performs stereoscopic viewing by separating an image having binocular parallax and guiding it to an observer, the distance between the condensing points of the image having binocular parallax is reduced. As a result, a stereoscopic display can be realized even on a small display, and a stereoscopic view can be perceived, and a stereoscopic view can be perceived, thereby reducing a sense of discomfort associated with the transition between the stereoscopic view and the reverse view state. Is described.

その他、視覚的な立体感とは異なるが、特許文献2には、ディスプレイの表面に触覚兼タッチパネルを設置し、ディスプレイに表示される視覚情報を、触覚兼タッチパネル上に振動や凹凸として出力する構成が記載されている。   In addition, although different from the visual three-dimensional effect, Patent Document 2 has a configuration in which a touch-sensitive touch panel is installed on the surface of the display, and visual information displayed on the display is output as vibration or unevenness on the touch-sensitive touch panel. Is described.

また、特許文献3には、画像の材質感などの触覚情報を凹凸情報として、画像表示部の表面または底面に設置した凹凸情報出力部によって画像とともに出力する情報出力装置が記載されている。   Patent Document 3 describes an information output device that outputs tactile information such as a material feeling of an image as unevenness information together with an image by an unevenness information output unit installed on the surface or bottom surface of the image display unit.

また、近年は非常に薄型かつ軽量で、紙のように曲げることができるフレキシブルディスプレイの開発が進んでいる。例えば、現時点では商品化には至っていないものの、非特許文献1には、ゴムのように伸縮可能なフレキシブルディスプレイが記載されている。このように、表示装置はさまざまな形態に進化しており、表示形態の多様化が進んでいる。   In recent years, development of a flexible display that is very thin and lightweight and can be bent like paper has been progressing. For example, although not commercialized at present, Non-Patent Document 1 describes a flexible display that can expand and contract like rubber. Thus, display devices have evolved into various forms, and display forms have been diversified.

また、平面画像から立体情報を抽出する方法として、特許文献4には、1枚の画像から影領域と非影領域とを認識し、影境界を抽出することができる方法が記載されている。   Further, as a method for extracting stereoscopic information from a planar image, Patent Document 4 describes a method capable of recognizing a shadow region and a non-shadow region from one image and extracting a shadow boundary.

特開2004−144792号公報(2004年 5月20日公開)JP 2004-144792 A (published on May 20, 2004) 特開2000−148393号公報(2000年 5月26日公開)JP 2000-148393 A (published on May 26, 2000) 特開2004−145456号公報(2004年 5月20日公開)JP 2004-145456 A (published on May 20, 2004) 特開2007−272292号公報(2007年10月18日公開)JP 2007-272292 A (released on October 18, 2007)

関谷毅、外5名,「A Rubberlike Stretchable Active Matrix Using Elastic Conductors」,Science,AAAS,2008年9月12日,第321巻,第5895号,p.1468-1472Satoshi Sekiya, 5 others, “A Rubberlike Stretchable Active Matrix Using Elastic Conductors”, Science, AAAS, September 12, 2008, Vol. 321, No. 5895, p.1468-1472

しかしながら、現在広く普及している3Dディスプレイは、左右の目にそれぞれ異なる動画像を提示するという特性上、立体感を得ることができる角度範囲が限定されるという問題や、知覚的な奥行きと実際の画面との距離が異なることで、ユーザが違和感を覚えたり、頭痛や吐き気等の症状を生じたりする問題があった。   However, 3D displays that are widely used nowadays have the problem that the range of angles in which a stereoscopic effect can be obtained is limited due to the characteristic of presenting different moving images to the left and right eyes, and the perceptual depth and actuality. Due to the difference in the distance from the screen, there are problems that the user feels uncomfortable and that symptoms such as headache and nausea occur.

また、特許文献1は、裸眼3Dディスプレイにおける立体視と逆視状態との間の移行の違和感を軽減するものではあるが、立体感を得ることができる角度範囲が限定されるという問題を根本的には解決していない。   Moreover, although patent document 1 reduces the discomfort of the transition between the stereoscopic vision and the reverse vision state in the naked-eye 3D display, the fundamental problem is that the angle range in which the stereoscopic effect can be obtained is limited. Is not solved.

また、特許文献2および3は、画面上に凹凸を形成させる構成であるが、これは触覚を生じさせることを目的としており、視覚的な立体感を生じさせるものではない。   Further, Patent Documents 2 and 3 are configured to form irregularities on the screen, but this is intended to generate a tactile sensation and does not generate a visual three-dimensional effect.

本発明は上記の事情を鑑みてなされたものであり、その目的は、ユーザにとって違和感のない視覚的立体感を、視認角度を限定することなく実現することにある。   The present invention has been made in view of the above circumstances, and an object of the present invention is to realize a visual stereoscopic effect that does not cause a sense of incongruity for the user without limiting the viewing angle.

上記課題を解決するために、本発明に係る表示装置は、画像を表示する伸縮可能なフレキシブルディスプレイと、上記フレキシブルディスプレイに視認可能な凹凸を形成するための凹凸形成部と、上記フレキシブルディスプレイに表示される画像に対応した凹凸を形成させるための凹凸情報を取得する凹凸情報取得手段と、上記凹凸情報取得手段が取得した凹凸情報に基づいて、上記凹凸を上記画像と重畳させて上記フレキシブルディスプレイに視認可能に形成させるように上記凹凸形成部を制御する凹凸制御手段と、を備えることを特徴とする。   In order to solve the above-mentioned problems, a display device according to the present invention includes a flexible display that displays an image, a concavo-convex forming portion for forming a concavo-convex visible on the flexible display, and a display on the flexible display. Concavo-convex information acquisition means for acquiring concavo-convex information for forming the concavo-convex corresponding to the image to be formed, and the concavo-convex information superimposed on the image based on the concavo-convex information acquired by the concavo-convex information acquisition means on the flexible display And a concavo-convex control means for controlling the concavo-convex forming part so as to be formed so as to be visible.

また、本発明に係る表示装置の制御方法は、画像を表示する伸縮可能なフレキシブルディスプレイを備えた表示装置の制御方法であって、上記表示装置は、上記フレキシブルディスプレイに視認可能な凹凸を形成するための凹凸形成部を備えるものであり、上記制御方法は、上記フレキシブルディスプレイに表示される画像に対応した凹凸を形成するための凹凸情報を取得する凹凸情報取得ステップと、上記凹凸情報取得ステップにて取得した凹凸情報に基づいて、上記凹凸を上記画像と重畳させて上記フレキシブルディスプレイに視認可能に形成するように上記凹凸形成部を制御する凹凸制御ステップと、を含むことを特徴とする。   The display device control method according to the present invention is a display device control method including a flexible display that can expand and contract to display an image, and the display device forms a concavity and convexity that is visible on the flexible display. The unevenness forming unit for acquiring the unevenness information for forming the unevenness corresponding to the image displayed on the flexible display, and the unevenness information acquiring step are provided. And an unevenness control step for controlling the unevenness forming part so as to form the unevenness so as to be visible on the flexible display based on the unevenness information acquired in this manner.

ここで、画像に対応した凹凸とは、フレキシブルディスプレイに画像が表示されるとき、該画像に重畳して提示される凹凸が、該画像が示す内容物の形状を3次元的に模したものであることを示す。また、視認可能な凹凸とは、上記画像に重畳されることによって、ユーザが該画像に立体感を知覚するような凹凸を示す。   Here, the unevenness corresponding to the image means that when the image is displayed on the flexible display, the unevenness that is superimposed on the image is three-dimensionally imitating the shape of the contents indicated by the image. Indicates that there is. Further, the visually recognizable unevenness indicates an unevenness that allows the user to perceive a stereoscopic effect by being superimposed on the image.

上記構成によれば、フレキシブルディスプレイは、表示させる画像の内容に応じて、視認可能な凹凸を上記画像と重畳させて提示することができる。   According to the above configuration, the flexible display can present visible irregularities superimposed on the image according to the content of the image to be displayed.

これにより、表示装置は、所定の画像を、該画像の内容に対応した視認可能な凹凸を伴って提示することができる。   Accordingly, the display device can present a predetermined image with visible irregularities corresponding to the content of the image.

従って、ユーザは、画像を視覚的な立体感を伴って視認することができる。また、ユーザが知覚する立体感はフレキシブルディスプレイによって形成された実際の凹凸であるため、立体感を視認できる角度範囲が限定されず、また、違和感や、焦点距離の不一致による頭痛や吐き気等の症状を回避することができる。   Therefore, the user can visually recognize the image with a visual stereoscopic effect. In addition, since the stereoscopic effect perceived by the user is an actual unevenness formed by a flexible display, the angle range in which the stereoscopic effect can be visually recognized is not limited, and symptoms such as a sense of incongruity and headaches and nausea due to mismatched focal lengths Can be avoided.

さらに、本発明に係る表示装置において、上記凹凸情報取得手段は、上記フレキシブルディスプレイに表示される画像を解析して、当該画像に対応した凹凸情報を生成してもよい。   Furthermore, in the display device according to the present invention, the unevenness information acquiring unit may analyze the image displayed on the flexible display and generate unevenness information corresponding to the image.

上記構成によれば、さらに、凹凸制御手段は、あらかじめデータベース等に登録されているデータ以外の画像について、凹凸情報取得手段が画像を解析して生成した凹凸情報に従い、該画像に対応する凹凸を形成させるように凹凸形成部を制御することができる。   According to the above configuration, the concavo-convex control unit further performs concavo-convex corresponding to the image according to the concavo-convex information generated by analyzing the image by the concavo-convex information obtaining unit for images other than data registered in advance in a database or the like. The concavo-convex forming portion can be controlled so as to be formed.

これにより、表示装置は、凹凸情報が事前に登録されていない任意の画像について、該画像の内容に対応する凹凸と重畳させて提示することができる。   As a result, the display device can present an arbitrary image in which the unevenness information is not registered in advance, superimposed on the unevenness corresponding to the content of the image.

従って、ユーザは任意の画像について視覚的な立体感を伴って閲覧することができる。   Therefore, the user can browse an arbitrary image with a visual stereoscopic effect.

さらに、本発明に係る表示装置は、上記フレキシブルディスプレイの画像表示面上に伸縮可能なタッチパネルをさらに備え、上記凹凸形成部は、上記フレキシブルディスプレイとともに上記タッチパネルを変形させることにより、上記タッチパネルに視認可能な凹凸を形成してもよい。   Furthermore, the display device according to the present invention further includes a touch panel that can expand and contract on the image display surface of the flexible display, and the unevenness forming portion can be visually recognized by the touch panel by deforming the touch panel together with the flexible display. Unevenness may be formed.

上記構成によれば、さらに、フレキシブルディスプレイは、自身の表面に設けられたタッチパネルに対するユーザ操作に応じて、画像と凹凸を重畳させて提示することができる。   According to the said structure, a flexible display can further superimpose an image and an unevenness | corrugation according to the user operation with respect to the touch panel provided in the surface of own.

これにより、表示装置は、ユーザ操作の受付と、画像と凹凸との重畳提示とを、同じ領域内で行うことができる。   Thereby, the display apparatus can perform reception of a user operation and superimposed presentation of an image and unevenness within the same region.

従って、ユーザは、画像に対して操作入力を行いながら、該画像を視覚的立体感を伴って視認することができる。   Therefore, the user can visually recognize the image with a visual stereoscopic effect while performing an operation input on the image.

さらに、本発明に係る表示装置は、上記フレキシブルディスプレイを見ている人の位置を検知する人感センサと、上記人感センサが検知した人の位置に応じて上記凹凸情報を補正する第1の凹凸情報補正手段と、を備えていてもよい。   Furthermore, the display device according to the present invention includes a human sensor that detects a position of a person who is looking at the flexible display, and a first sensor that corrects the unevenness information according to the position of the person detected by the human sensor. And an unevenness information correcting means.

上記構成によれば、さらに、第1の凹凸情報補正手段は、ユーザの位置に応じて画像に対応する凹凸情報を変化させる。   According to the above configuration, the first unevenness information correcting unit changes unevenness information corresponding to the image according to the position of the user.

これにより、凹凸制御手段は、ユーザがどの角度から画像を見ているのかに応じて、画像と重畳して提示させる凹凸を変化させることができる。   Thereby, the unevenness control means can change the unevenness to be presented superimposed on the image, depending on from which angle the user is viewing the image.

従って、ユーザは任意の位置で、画像をより適切な視覚的立体感を伴って視認することができる。   Therefore, the user can visually recognize the image with a more appropriate visual stereoscopic effect at an arbitrary position.

さらに、本発明に係る表示装置において、上記第1の凹凸情報補正手段は、上記人感センサの検知した人の位置に対して上記フレキシブルディスプレイの表示面が向くように、上記凹凸情報を補正することが好ましい。   Furthermore, in the display device according to the present invention, the first unevenness information correcting unit corrects the unevenness information so that the display surface of the flexible display faces the position of the person detected by the human sensor. It is preferable.

上記構成によれば、さらに、凹凸制御手段は、第1の凹凸情報補正手段が補正した凹凸情報に従い、画像と該画像に対応する凹凸がユーザの位置に対して正面を向くように、例えば凹凸の基準面を傾斜させるように、凹凸形成部を制御することができる。   According to the above configuration, the unevenness control unit further includes, for example, an unevenness according to the unevenness information corrected by the first unevenness information correction unit such that the image and the unevenness corresponding to the image face the front of the user. The concavo-convex forming portion can be controlled so that the reference plane is inclined.

これにより、表示装置は、画像と該画像に対応する凹凸がユーザから見て正面を向くように、画像と凹凸とを重畳させて提示することができる。   Accordingly, the display device can present the image and the unevenness so as to overlap each other so that the image and the unevenness corresponding to the image face the front as viewed from the user.

従って、ユーザは任意の位置で、視覚的な立体感を伴う画像を正面から視認することができる。   Therefore, the user can visually recognize an image with a visual stereoscopic effect from any front at an arbitrary position.

さらに、本発明に係る表示装置は、光源の位置を検知する照度センサと、上記照度センサの検知した光源の位置に応じて上記凹凸情報を補正する第2の凹凸情報補正手段と、を備えていてもよい。   Furthermore, the display device according to the present invention includes an illuminance sensor that detects a position of the light source, and a second concavo-convex information correction unit that corrects the concavo-convex information according to the position of the light source detected by the illuminance sensor. May be.

上記構成によれば、さらに、第2の凹凸情報補正手段は、光源の位置に応じて画像に対応する凹凸情報を変化させることができる。   According to the said structure, the 2nd unevenness | corrugation information correction | amendment means can further change the uneven | corrugated information corresponding to an image according to the position of a light source.

これにより、凹凸制御手段は、画像に対する光の照射角度に応じて、画像と重畳して提示させる凹凸を変化させることができる。   Thereby, the unevenness control means can change the unevenness to be presented superimposed on the image according to the irradiation angle of the light with respect to the image.

従って、ユーザは、外部の光を利用した立体感を伴う画像を視認することができる。   Accordingly, the user can visually recognize an image with a stereoscopic effect using external light.

さらに、本発明に係る表示装置において、上記第2の凹凸情報補正手段は、上記照度センサが検知した光源の位置からの光を遮蔽することによって、上記画像中の影の領域である影形成領域に影が形成されるように、上記凹凸情報を補正することが好ましい。   Furthermore, in the display device according to the present invention, the second unevenness information correcting unit shields light from the position of the light source detected by the illuminance sensor to thereby form a shadow formation region that is a shadow region in the image. It is preferable to correct the unevenness information so that a shadow is formed on the surface.

上記構成によれば、さらに、凹凸制御手段は、第2の凹凸情報補正手段が補正した凹凸情報に従い、光源からの光によって影形成領域が実際に影となるような凹凸を形成させるように、凹凸形成部を制御することができる。   According to the above configuration, the concavo-convex control means further forms the concavo-convex so that the shadow formation region actually becomes a shadow by the light from the light source according to the concavo-convex information corrected by the second concavo-convex information correction means. The unevenness forming part can be controlled.

これにより、表示装置は、外部の光源によって所望の領域が実際に影となるように、画像と凹凸とを重畳させて提示することができる。   Accordingly, the display device can present the image and the unevenness so as to overlap each other so that the desired region is actually shaded by the external light source.

従って、ユーザは、より強い立体感を伴って画像を視認することができる。   Therefore, the user can visually recognize an image with a stronger stereoscopic effect.

なお、上記表示装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記表示装置をコンピュータにて実現させる表示装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。   The display device may be realized by a computer. In this case, the display device control program for causing the display device to be realized by the computer by causing the computer to operate as each of the means, and the program are recorded. Computer-readable recording media are also within the scope of the present invention.

以上のように、本発明に係る表示装置は、画像を表示する伸縮可能なフレキシブルディスプレイと、上記フレキシブルディスプレイに視認可能な凹凸を形成するための凹凸形成部と、上記フレキシブルディスプレイに表示される画像に対応した凹凸を形成させるための凹凸情報を取得する凹凸情報取得手段と、上記凹凸情報取得手段が取得した凹凸情報に基づいて、上記凹凸を上記画像と重畳させて上記フレキシブルディスプレイに視認可能に形成させるように上記凹凸形成部を制御する凹凸制御手段と、を備える構成である。   As described above, the display device according to the present invention includes a stretchable flexible display for displaying an image, a concavo-convex forming portion for forming a concavo-convex visible on the flexible display, and an image displayed on the flexible display. The unevenness information acquisition means for acquiring unevenness information for forming the unevenness corresponding to the, and the unevenness information acquired by the unevenness information acquisition means, the unevenness can be superimposed on the image and visible on the flexible display And a concavo-convex control means for controlling the concavo-convex forming portion so as to be formed.

また、本発明に係る表示装置の制御方法は、表示装置が上記フレキシブルディスプレイに視認可能な凹凸を形成するための凹凸形成部を備えるものであり、上記制御方法は、上記フレキシブルディスプレイに表示される画像に対応した凹凸を形成するための凹凸情報を取得する凹凸情報取得ステップと、上記凹凸情報取得ステップにて取得した凹凸情報に基づいて、上記凹凸を上記画像と重畳させて上記フレキシブルディスプレイに視認可能に形成するように上記凹凸形成部を制御する凹凸制御ステップと、を含む方法である。   Moreover, the control method of the display apparatus which concerns on this invention is provided with the uneven | corrugated formation part for a display apparatus to form the unevenness | corrugation visible to the said flexible display, The said control method is displayed on the said flexible display. An unevenness information acquisition step for acquiring unevenness information for forming unevenness corresponding to an image, and the unevenness is superimposed on the image based on the unevenness information acquired in the unevenness information acquisition step. A concavo-convex control step for controlling the concavo-convex forming part so as to be formed.

上記の構成によれば、ユーザは、画像を視覚的な立体感を伴って視認することができるという効果を奏する。また、ユーザが知覚する立体感はフレキシブルディスプレイによって形成された実際の凹凸であるため、立体感を視認できる角度範囲が限定されず、また、違和感や、焦点距離の不一致による頭痛や吐き気等の症状を回避することができるという効果を奏する。   According to said structure, there exists an effect that the user can visually recognize an image with a visual stereoscopic effect. In addition, since the stereoscopic effect perceived by the user is an actual unevenness formed by a flexible display, the angle range in which the stereoscopic effect can be visually recognized is not limited, and symptoms such as a sense of incongruity and headaches and nausea due to mismatched focal lengths There is an effect that can be avoided.

本発明の第1の実施形態に係る表示装置の構成を示す機能ブロック図である。It is a functional block diagram which shows the structure of the display apparatus which concerns on the 1st Embodiment of this invention. 図1に示す表示装置による、タッチパネル操作位置に応じたフレキシブルディスプレイ上への画像と凹凸の出力処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the output process of the image on a flexible display according to a touch panel operation position by the display apparatus shown in FIG. 1, and an unevenness | corrugation. (a)は、図1に示す表示装置による画像および凹凸の重畳提示の外観を示す図であり、(b)は、図1に示す表示装置による、実施例1の外観を示す図であり、(c)は、図1に示す表示装置による、実施例2の外観を示す図であり、(d)は、図1に示す表示装置による、実施例3の外観を示す図である。(A) is a figure which shows the external appearance of the superimposed presentation of the image and unevenness | corrugation by the display apparatus shown in FIG. 1, (b) is a figure which shows the external appearance of Example 1 by the display apparatus shown in FIG. (C) is a figure which shows the external appearance of Example 2 by the display apparatus shown in FIG. 1, (d) is a figure which shows the external appearance of Example 3 by the display apparatus shown in FIG. 本発明の第2の実施形態に係る表示装置の構成を示す機能ブロック図である。It is a functional block diagram which shows the structure of the display apparatus which concerns on the 2nd Embodiment of this invention. 図4に示す表示装置による、ユーザ位置に応じたフレキシブルディスプレイ上への画像と凹凸の出力処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the output process of the image on a flexible display according to a user position, and an unevenness | corrugation by the display apparatus shown in FIG. (a)は、図4に示す表示装置による、画像の凹凸との重畳表示の外観(上)および上から見た断面図(下)を示す図であり、(b)は、図4に示す表示装置による、ユーザ位置に応じた画像と凹凸の重畳表示の変化を上から見た図である。(A) is a figure which shows the external appearance (top) of the superimposed display with the unevenness | corrugation of an image by the display apparatus shown in FIG. 4, and sectional drawing (bottom) seen from the top, (b) is shown in FIG. It is the figure which looked at the change of the superimposition display of the image according to a user position and unevenness | corrugation by a display apparatus from the top. 本発明の第3の実施形態に係る表示装置の構成を示す機能ブロック図である。It is a functional block diagram which shows the structure of the display apparatus which concerns on the 3rd Embodiment of this invention. 図7に示す表示装置による、光源位置に応じたフレキシブルディスプレイ上への画像と凹凸の出力処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the output process of the image and unevenness | corrugation on the flexible display according to the light source position by the display apparatus shown in FIG. (a)は、図7に示す表示装置による、画像の凹凸との重畳表示の外観(上)および上から見た断面図(下)を示す図であり、(b)は、図7に示す表示装置による、光源位置に応じた画像と凹凸の重畳表示の一例を上から見た図であり、(c)は、図7に示す表示装置による、光源位置に応じた画像と凹凸の重畳表示の別の例を上から見た図であり、(d)は、図7に示す表示装置による、ユーザ位置に応じた画像と凹凸の重畳表示の一例を上から見た図であり、(e)は、図7に示す表示装置による、ユーザ位置に応じた画像と凹凸の重畳表示の別の例を上から見た図である。(A) is a figure which shows the external appearance (top) of the superimposed display with the unevenness | corrugation of an image by the display apparatus shown in FIG. 7, and sectional drawing (bottom) seen from the top, (b) is shown in FIG. FIG. 8C is a view of an example of a superimposed display of an image and unevenness according to a light source position by the display device, and FIG. 7C is a superimposed display of an image and unevenness according to the light source position by the display device shown in FIG. FIG. 7D is a diagram of an example of a superimposed display of an image and unevenness corresponding to a user position by the display device illustrated in FIG. ) Is a view of another example of the superimposed display of the image and the unevenness corresponding to the user position by the display device shown in FIG. (a)は、図1、4、7に示す表示装置の備える凹凸形成部の、機械的な実現例の断面図であり、(b)は、図1、4、7に示す表示装置の備える凹凸形成部の、磁力を利用した実現例の断面図であり、(c)は、図1、4、7に示す表示装置の備える凹凸形成部の、空気圧を利用した実現例の断面図である。(A) is sectional drawing of the mechanical implementation example of the uneven | corrugated formation part with which the display apparatus shown to FIG.1,4,7 is equipped, (b) is equipped with the display apparatus shown to FIG.1,4,7. It is sectional drawing of the implementation example using the magnetic force of the uneven | corrugated formation part, (c) is sectional drawing of the implementation example using the air pressure of the uneven | corrugated formation part with which the display apparatus shown to FIG. .

〔第1の実施形態〕
(表示装置1の概要)
図1〜図3を参照しながら、本発明の一実施形態について説明する。本実施形態は、伸縮可能なフレキシブルディスプレイ22を備える表示装置1に関連するものである。表示装置1は伸縮可能なタッチパネル21をさらに備え、ユーザがタッチパネル21を操作することにより、フレキシブルディスプレイ22において提示する画像Aを変化させ、該画像Aに対応する視認可能な凹凸Bを画像Aに重畳させて提示することを可能にするものである。
[First Embodiment]
(Outline of display device 1)
An embodiment of the present invention will be described with reference to FIGS. The present embodiment relates to a display device 1 including a flexible display 22 that can be expanded and contracted. The display device 1 further includes a touch panel 21 that can be expanded and contracted. When the user operates the touch panel 21, the image A presented on the flexible display 22 is changed, and the visible unevenness B corresponding to the image A is displayed on the image A. It is possible to superimpose and present.

ここで、「画像Aに対応する」とは、図3(a)に示すように、フレキシブルディスプレイ22に車を示す画像Aが表示されるとき、該画像Aに重畳して提示される凹凸Bがその車の形状を模したものであることを示す。また、「視認可能な凹凸B」とは、上記凹凸Bが上記画像Aに重畳されることによって、ユーザが画像Aと凹凸Bを重畳した凹凸画像Cに立体感を知覚するような凹凸Bを示す。   Here, “corresponding to the image A” means the unevenness B that is presented superimposed on the image A when the image A showing the car is displayed on the flexible display 22 as shown in FIG. Indicates that it is a model of the car. Further, the “visible unevenness B” means an unevenness B that allows the user to perceive a three-dimensional effect in the unevenness image C in which the image A and the unevenness B are superimposed by superimposing the unevenness B on the image A. Show.

(表示装置1の構成)
図1は、本実施形態に係る表示装置1の機能ブロック図である。表示装置1には、テレビ、パソコン、タブレット端末、携帯電話など、フレキシブルディスプレイを備えるあらゆる表示装置が含まれる。
(Configuration of display device 1)
FIG. 1 is a functional block diagram of a display device 1 according to this embodiment. The display device 1 includes all display devices including a flexible display, such as a television, a personal computer, a tablet terminal, and a mobile phone.

表示装置1は、図1に示すように、入出力パネル2、制御部3、記憶部4を有している。   As shown in FIG. 1, the display device 1 includes an input / output panel 2, a control unit 3, and a storage unit 4.

入出力パネル2は、ユーザが入力を行うインターフェースを備えるとともに、画像および視認可能な凹凸を提示する。入出力パネル2は、タッチパネル21と、フレキシブルディスプレイ22と、凹凸形成部23とを備える。   The input / output panel 2 includes an interface for a user to input, and presents an image and visible irregularities. The input / output panel 2 includes a touch panel 21, a flexible display 22, and an unevenness forming part 23.

タッチパネル21は、ユーザがタッチすることで表示装置1の操作を可能にする手段であって、伸縮可能なものである。   The touch panel 21 is a means that enables the operation of the display device 1 when the user touches it, and can be expanded and contracted.

フレキシブルディスプレイ22は、制御部3から取得した画像情報を表示する手段であって、伸縮可能なものである。   The flexible display 22 is a means for displaying the image information acquired from the control unit 3, and can be expanded and contracted.

凹凸形成部23は、フレキシブルディスプレイ22において視認可能な凹凸を形成する。本実施形態においては、画像の内容に応じた凹凸を、フレキシブルディスプレイ22において該画像と重畳するように形成する。具体的には、図3(a)に示すように、画像Aの示す車の形に対応する凹凸Bを、画像Aに重畳させ、凹凸画像Cを提示する。凹凸形成部23は、フレキシブルディスプレイ22の表示面とは反対面側に設置されており、フレキシブルディスプレイ22の画面全体において、視認可能な凹凸Bを形成可能である。凹凸形成部23の凹凸形成素子はフレキシブルディスプレイの画素と一対一で対応している必要はなく、数ピクセルの画素と1つの凹凸形成素子が対応していればよい。凹凸形成部23の詳細な構造については後述する。   The unevenness forming part 23 forms unevenness that is visible on the flexible display 22. In the present embodiment, the unevenness corresponding to the content of the image is formed on the flexible display 22 so as to overlap the image. Specifically, as shown in FIG. 3A, the unevenness B corresponding to the shape of the car indicated by the image A is superimposed on the image A to present the unevenness image C. The concavo-convex forming portion 23 is installed on the side opposite to the display surface of the flexible display 22, and can form a visible concavo-convex B on the entire screen of the flexible display 22. The unevenness forming elements of the unevenness forming part 23 do not have to correspond to the pixels of the flexible display on a one-to-one basis, and it is sufficient that the pixels of several pixels correspond to one unevenness forming element. The detailed structure of the unevenness forming part 23 will be described later.

なお、凹凸非形成時のフレキシブルディスプレイ22によって表現される2次元平面を基準面とするとき、凹凸形成部23は、各凹凸形成素子の出力状態すなわち高さを、連続する凹凸形成素子の間で段階的に増加あるいは減少する数値に設定することで、上記基準面を平面のまま傾けた傾斜基準面を形成することが可能である。これにより、フレキシブルディスプレイ22によって表現される2次元平面をユーザの正面に向けることができる。   Note that when the two-dimensional plane expressed by the flexible display 22 at the time when the unevenness is not formed is used as a reference surface, the unevenness forming unit 23 determines the output state of each unevenness forming element, that is, the height between the continuous unevenness forming elements. By setting the numerical value to increase or decrease stepwise, it is possible to form an inclined reference plane that is tilted while the reference plane remains flat. Thereby, the two-dimensional plane expressed by the flexible display 22 can be directed to the front of the user.

制御部3は、上記の各部材の機能を統括し、表示装置1の駆動を制御する。   The control unit 3 controls the functions of the above members and controls the driving of the display device 1.

次に、制御部3の詳細な構成について説明する。制御部3は、操作取得部31と、アプリケーション制御部32と、画像情報処理部33と、凹凸情報処理部(凹凸情報出力手段)34と、表示制御部35と、凹凸制御部36とを備える。   Next, a detailed configuration of the control unit 3 will be described. The control unit 3 includes an operation acquisition unit 31, an application control unit 32, an image information processing unit 33, an uneven information processing unit (unevenness information output unit) 34, a display control unit 35, and an unevenness control unit 36. .

操作取得部31は、タッチパネル21に対するユーザ入力を取得する。具体的には、タッチパネル21からのユーザ入力情報に基づいて、操作位置を検出し、上記操作がアプリケーションに対するものであれば、アプリケーション制御部32に対して入力情報を送信する。   The operation acquisition unit 31 acquires user input to the touch panel 21. Specifically, an operation position is detected based on user input information from the touch panel 21, and if the operation is for an application, the input information is transmitted to the application control unit 32.

アプリケーション制御部32は、操作取得部31からの入力情報に応じてアプリケーションの起動および終了を制御する。また、画像情報処理部33に対し、上記入力情報に応じてアプリケーション上で提示すべき画像情報を通知する。   The application control unit 32 controls the activation and termination of the application according to the input information from the operation acquisition unit 31. In addition, the image information processing unit 33 is notified of image information to be presented on the application in accordance with the input information.

画像情報取得部33は、フレキシブルディスプレイ22に表示させる画像Aを示す画像情報を要求および取得する。具体的には、画像/凹凸情報データベース41に対し、アプリケーション制御部32から通知を受けた画像情報と、該画像情報に対応付けられた凹凸情報とのデータセットである画像/凹凸情報データセットを要求し取得する。上記画像/凹凸情報データセットは、画像内のピクセル情報と凹凸情報とが対応付けられたデータセットであることが好ましいが、これに限らない。また、画像情報処理部33は、上記画像情報と対応付けられて取得された上記凹凸情報を、凹凸情報処理部34に送信する。   The image information acquisition unit 33 requests and acquires image information indicating the image A to be displayed on the flexible display 22. Specifically, an image / unevenness information data set which is a data set of image information notified from the application control unit 32 and unevenness information associated with the image information is stored in the image / unevenness information database 41. Request and get. The image / unevenness information data set is preferably a data set in which pixel information and unevenness information in an image are associated with each other, but is not limited thereto. Further, the image information processing unit 33 transmits the unevenness information acquired in association with the image information to the unevenness information processing unit 34.

凹凸情報処理部34は、凹凸制御部36が凹凸形成部23に対し凹凸の形成を指示する信号の元となる凹凸情報を生成する。凹凸情報処理部34は、凹凸情報取得部341を備える。   The concavo-convex information processing unit 34 generates concavo-convex information that is a source of a signal for the concavo-convex control unit 36 to instruct the concavo-convex forming unit 23 to form concavo-convex. The unevenness information processing unit 34 includes an unevenness information acquisition unit 341.

凹凸情報取得部341は、画像情報取得部33から、上記画像情報と対応付けられた上記凹凸情報を取得する。画像情報処理部33から取得した上記凹凸情報に基づき、画像情報処理部33の生成する画像情報に対応するように凹凸情報を生成する。   The unevenness information acquisition unit 341 acquires the unevenness information associated with the image information from the image information acquisition unit 33. Based on the uneven information acquired from the image information processing unit 33, uneven information is generated so as to correspond to the image information generated by the image information processing unit 33.

上記凹凸情報とは、平面である画像Aの各領域に高さ方向の情報を付与するものであり、これによって画像Aを凹凸画像Cにするためのものである。上記凹凸情報のデータ構造について説明する。上記凹凸情報は、一例として、画像Aを縦(y軸)横(x軸)に所定の間隔(例えば凹凸形成素子のピッチ)で分割したときの分割交点の座標値に、z軸(高さ)方向の値(z値)を対応付けたデータであってもよい。また別の例として、画像Aの全てのピクセルについて、各ピクセルの座標値にz値を対応付けておいてもよい。この場合、凹凸情報処理部34は、凹凸形成素子のピッチに基づき、例えば、ある凹凸形成素子に対応する領域内のピクセルに対応付けられたz値の平均値を算出して、これを当該凹凸形成素子のz値とするように変換してもよい。これにより、凹凸形成素子とピクセルとの対応関係(例えば、凹凸形成素子に対応する領域内のピクセル数)の変更に柔軟に対応することができる。   The concavo-convex information is information for giving information in the height direction to each area of the image A which is a plane, and thereby making the image A a concavo-convex image C. The data structure of the unevenness information will be described. As an example, the unevenness information includes the z-axis (height) as the coordinate value of the dividing intersection when the image A is divided vertically (y-axis) horizontally (x-axis) at a predetermined interval (for example, the pitch of the unevenness forming elements). ) Data in which direction values (z values) are associated with each other. As another example, the z value may be associated with the coordinate value of each pixel for all pixels of the image A. In this case, the concavo-convex information processing unit 34 calculates, for example, an average value of z values associated with pixels in a region corresponding to a certain concavo-convex forming element based on the pitch of the concavo-convex forming element, and calculates the average value. The z value of the forming element may be converted. Thereby, it is possible to flexibly cope with a change in the correspondence between the unevenness forming element and the pixel (for example, the number of pixels in the region corresponding to the unevenness forming element).

上記凹凸情報の具体的な例としては、画像Aが写真であれば、撮影時の赤外線センサによる深度計測結果を保持してもよいし、多眼カメラ撮影による対象物までの距離測定結果を保持してもよい。また、画像Aが3次元コンピュータグラフィックス画像であれば、画像Aの各画素の3次元座標値に基づいて上記凹凸情報を設定してもよい。   As a concrete example of the unevenness information, if the image A is a photograph, the depth measurement result by the infrared sensor at the time of shooting may be held, or the distance measurement result to the object by multi-lens camera shooting may be held. May be. If the image A is a three-dimensional computer graphics image, the unevenness information may be set based on the three-dimensional coordinate value of each pixel of the image A.

表示制御部35は、フレキシブルディスプレイ22に画像Aを表示させる。具体的には、画像情報処理部33から取得した画像情報を画像として表示させるための信号に変換してフレキシブルディスプレイ22に送信する。   The display control unit 35 displays the image A on the flexible display 22. Specifically, the image information acquired from the image information processing unit 33 is converted into a signal for displaying as an image and transmitted to the flexible display 22.

凹凸制御部36は、凹凸形成部23に凹凸Bを形成させる。具体的には、凹凸情報処理部34から凹凸情報を取得し、凹凸形成部23に対し所定の凹凸の形成を指示する信号を送信する。   The unevenness control unit 36 causes the unevenness forming unit 23 to form the unevenness B. Specifically, the unevenness information is acquired from the unevenness information processing unit 34 and a signal instructing the formation of the predetermined unevenness is transmitted to the unevenness forming unit 23.

記憶部4は、制御部3が行う各処理において参照されるデータやプログラムを保持する。記憶部4は、画像/凹凸情報データベース41を備える。   The storage unit 4 holds data and programs referred to in each process performed by the control unit 3. The storage unit 4 includes an image / unevenness information database 41.

画像/凹凸情報データベース41は、フレキシブルディスプレイ22に表示される画像Aを示す画像情報と、それに重畳して出力される凹凸を示す凹凸情報とを対応付けた画像/凹凸情報データセットを保持するデータベースである。上記画像/凹凸情報データセットは、画像内のピクセル情報と凹凸情報とが対応付けられたデータセットであることが好ましいが、これに限らない。   The image / unevenness information database 41 is a database that holds an image / unevenness information data set in which image information indicating the image A displayed on the flexible display 22 is associated with unevenness information indicating the unevenness output by being superimposed thereon. It is. The image / unevenness information data set is preferably a data set in which pixel information and unevenness information in an image are associated with each other, but is not limited thereto.

ここで、上記画像/凹凸情報データセットのデータ構造について説明する。一例として、上記画像/凹凸情報データセットは、上記画像情報と上記凹凸情報とを含んだデータセットであってもよい。この場合、画像情報取得部33が上記画像/凹凸情報データセットを取得して、該画像/凹凸情報データセットから上記画像情報と上記凹凸情報とを別々に抽出し、さらに上記凹凸情報を凹凸情報処理部34に送信する。また別の例として、上記画像/凹凸情報データセットは、上記画像情報と上記凹凸情報はそれぞれIDを埋め込まれて分離されたデータセットであってもよい。この場合、画像情報取得部33は、先に上記画像情報を取得し、該画像情報に埋め込まれたIDに基づいて、同一のIDで識別される上記凹凸情報を取得する。   Here, the data structure of the image / unevenness information data set will be described. As an example, the image / unevenness information data set may be a data set including the image information and the unevenness information. In this case, the image information acquisition unit 33 acquires the image / unevenness information data set, extracts the image information and the unevenness information separately from the image / unevenness information data set, and further extracts the unevenness information as the unevenness information. The data is transmitted to the processing unit 34. As another example, the image / unevenness information data set may be a data set in which the image information and the unevenness information are separated by embedding IDs. In this case, the image information acquisition unit 33 acquires the image information first, and acquires the unevenness information identified by the same ID based on the ID embedded in the image information.

なお、図示しないが、撮像部や通信部が備えられていてもよく、撮像部を介して画像情報を取得したり、通信部を介して画像情報や凹凸情報を取得するようにしてもよい。
(表示装置1における処理)
図2は、表示装置1の行う処理の流れを示すフローチャートである。ここでは、所定のアプリケーションを起動した状態から処理を開始するものとする。
Although not shown, an imaging unit or a communication unit may be provided, and image information may be acquired via the imaging unit, or image information or unevenness information may be acquired via the communication unit.
(Processing in the display device 1)
FIG. 2 is a flowchart showing a flow of processing performed by the display device 1. Here, it is assumed that the processing is started from a state where a predetermined application is activated.

まず、操作取得部31が、タッチパネル操作を検出したか否かを判定する(S101)。具体的には、タッチパネル21からのユーザ入力信号を取得したか否かを判定する。タッチパネル操作を検出しなかった場合(S101でNo)、操作取得部31は、タッチパネル操作を検出するまで待機する。   First, the operation acquisition unit 31 determines whether a touch panel operation has been detected (S101). Specifically, it is determined whether or not a user input signal from the touch panel 21 has been acquired. When the touch panel operation is not detected (No in S101), the operation acquisition unit 31 waits until the touch panel operation is detected.

タッチパネル操作を検出した場合(S101でYes)、操作取得部31は、アプリケーション制御部32に対し、タッチパネル21上での操作位置を示す情報を送信し、アプリケーション制御部32は、上記操作位置情報に応じて当該アプリケーション上で表示すべき画像情報を、画像情報処理部33に通知する。   When the touch panel operation is detected (Yes in S101), the operation acquisition unit 31 transmits information indicating the operation position on the touch panel 21 to the application control unit 32, and the application control unit 32 adds the operation position information to the operation position information. In response, the image information processing unit 33 is notified of image information to be displayed on the application.

タッチパネル操作を検出した場合(S101でYes)、画像情報取得部33が、画像/凹凸情報データセットを取得する(S102)。具体的には、アプリケーション制御部32から通知された画像情報を含む画像/凹凸情報データセットを、画像/凹凸情報データベース41に対して要求し、取得する。このとき、画像情報取得部33は、上記画像/凹凸情報データセットのうち凹凸情報を、凹凸情報処理部34にも送信する。凹凸情報処理部34が画像/凹凸情報データベースから画像/凹凸情報データセットを直接取得するようにしてもよい。   When a touch panel operation is detected (Yes in S101), the image information acquisition unit 33 acquires an image / unevenness information data set (S102). Specifically, the image / unevenness information data set including the image information notified from the application control unit 32 is requested from the image / unevenness information database 41 and acquired. At this time, the image information acquisition unit 33 also transmits the unevenness information in the image / unevenness information data set to the unevenness information processing unit 34. The unevenness information processing unit 34 may directly acquire the image / unevenness information data set from the image / unevenness information database.

続いて、画像情報取得部33が、操作位置に対応する画像情報を取得する(S103)。具体的には、上記画像/凹凸情報データセットから、上記操作位置に対応する画像情報を取得する。また、画像情報取得部33は、凹凸情報処理部34に対して、表示画像として出力する画像情報をリアルタイムで通知する。これにより、フレキシブルディスプレイ上で、画像と凹凸を重畳させて提示することが可能となる。   Subsequently, the image information acquisition unit 33 acquires image information corresponding to the operation position (S103). Specifically, image information corresponding to the operation position is acquired from the image / unevenness information data set. Further, the image information acquisition unit 33 notifies the uneven information processing unit 34 of image information to be output as a display image in real time. As a result, it is possible to present the image and the unevenness on the flexible display.

次に、凹凸情報処理部34の凹凸情報取得部341が、画像情報に対応する凹凸情報を取得する(S104:凹凸情報取得ステップ)。具体的には、画像情報処理部33から取得した上記画像/凹凸情報データセットから、上記出力する画像情報に対応する凹凸情報を取得する。   Next, the unevenness information acquisition unit 341 of the unevenness information processing unit 34 acquires unevenness information corresponding to the image information (S104: unevenness information acquisition step). Specifically, the unevenness information corresponding to the output image information is acquired from the image / unevenness information data set acquired from the image information processing unit 33.

続いて、表示制御部35と凹凸制御部36が、画像情報と凹凸情報とを重畳させて出力する(S105:凹凸制御ステップ)。具体的には、ステップS103で画像情報処理部33が生成した上記画像情報を取得し、これに基づき、フレキシブルディスプレイ22に画像Aを表示させる指示を出す。一方で、凹凸制御部36は、ステップS104で凹凸情報処理部34が生成した上記凹凸情報を取得し、これに基づき、凹凸形成部23に凹凸Bを形成させる指示を出す。   Subsequently, the display control unit 35 and the unevenness control unit 36 superimpose and output the image information and the unevenness information (S105: unevenness control step). Specifically, the image information generated by the image information processing unit 33 in step S103 is acquired, and based on this, an instruction to display the image A on the flexible display 22 is issued. On the other hand, the concavo-convex control unit 36 acquires the concavo-convex information generated by the concavo-convex information processing unit 34 in step S104, and issues an instruction to form the concavo-convex B on the concavo-convex forming unit 23 based on the acquired information.

次に、フレキシブルディスプレイ22と凹凸形成部23とが、画像Aと凹凸Bとを重畳させて提示する(S106:凹凸形成ステップ)。具体的には、フレキシブルディスプレイ22は、表示制御部35から受信した画像表示信号に基づいて画像Aを表示し、一方で、凹凸形成部23は、凹凸制御部36から受信した凹凸形成信号に基づいて凹凸Bを形成する。これにより、ユーザがタッチパネル21を操作した位置に応じた画像Aと、該画像に対応する凹凸Bの重畳表示が実現される。すなわち、ユーザが指で操作した位置に依存してさまざまな凹凸画像Cがフレキシブルディスプレイ22に提示される。   Next, the flexible display 22 and the concavo-convex forming part 23 present the image A and the concavo-convex B superimposed on each other (S106: concavo-convex forming step). Specifically, the flexible display 22 displays the image A based on the image display signal received from the display control unit 35, while the unevenness forming unit 23 is based on the unevenness forming signal received from the unevenness control unit 36. To form irregularities B. Thereby, the superimposed display of the image A according to the position where the user operated the touch panel 21 and the unevenness B corresponding to the image is realized. That is, various uneven images C are presented on the flexible display 22 depending on the position operated by the user's finger.

(実施例1)
本実施形態の一実施例として、図3(b)に示すように、描画ソフト等のアプリケーションにおいて、ユーザがタッチパネル21に触れた箇所を検知し、フレキシブルディスプレイ22の該当箇所に、描画時の絵の具等の筆跡に類似した凹凸Bを伴った凹凸画像Cを提示するものが考えられる。
Example 1
As an example of the present embodiment, as shown in FIG. 3B, in an application such as drawing software, a place where the user touches the touch panel 21 is detected, and a paint at the time of drawing is displayed on the corresponding place of the flexible display 22. It is conceivable to present a concavo-convex image C with a concavo-convex B similar to a handwriting such as.

ここで、凹凸情報処理部34は、タッチパネル21に対する操作速度に応じて出力する凹凸情報を変化させてもよい。例えば、ユーザのタッチパネル操作速度に応じて画像Aと重畳して提示される凹凸Bの高さや幅を変化させてもよい。これにより、ユーザは、描画速度に応じて、実際に筆で絵の具を塗っているかのような立体感を伴う凹凸画像Cを視認することができる。   Here, the concavo-convex information processing unit 34 may change the concavo-convex information to be output according to the operation speed on the touch panel 21. For example, the height and width of the unevenness B that is presented superimposed on the image A may be changed according to the touch panel operation speed of the user. Thereby, the user can visually recognize the concavo-convex image C with a three-dimensional effect as if the paint was actually painted with a brush according to the drawing speed.

また、タッチパネル21は圧力センサを備えていてもよく、凹凸情報処理部34は上記圧力センサが検知したタッチ強度に応じて出力する凹凸情報を変化させるようにしてもよい。例えば、ユーザのタッチ強度に応じて画像Aと重畳して提示される凹凸Bの高さや幅を変化させてもよい。これにより、ユーザは、描画の筆圧に応じて、実際に筆で絵の具を塗っているかのような立体感を伴う凹凸画像Cを視認することができる。   The touch panel 21 may include a pressure sensor, and the unevenness information processing unit 34 may change the unevenness information to be output according to the touch intensity detected by the pressure sensor. For example, the height and width of the unevenness B that is presented to be superimposed on the image A may be changed according to the touch intensity of the user. Thereby, the user can visually recognize the concavo-convex image C accompanied by a three-dimensional effect as if the paint was actually painted with a brush according to the writing pressure.

(実施例2)
本実施形態の別の実施例として、図3(c)に示すように、ユーザがタッチパネル21に触れた箇所から波紋が広がるような画像Aを表示するとともに、上記画像Aに対応する凹凸Bを重畳させた波紋の凹凸画像Cを移動させながら提示するといった構成が考えられる。
(Example 2)
As another example of the present embodiment, as shown in FIG. 3C, an image A in which a ripple spreads from a location where the user touches the touch panel 21 is displayed, and an unevenness B corresponding to the image A is displayed. A configuration in which the superimposed rippled uneven image C is presented while being moved is conceivable.

ここで、波紋の広がりを表す映像は各フレームにあたる静止画のシーケンスと考えることができ、上記ステップS103〜106の処理を各フレームについて実行することによって実現可能である。   Here, the video representing the spread of ripples can be considered as a sequence of still images corresponding to each frame, and can be realized by executing the processing of steps S103 to S106 for each frame.

この構成により、表示装置1は、静止画だけでなく動画についても、フレキシブルディスプレイを用いて凹凸画像Cを提示することが可能であり、従って、ユーザは動画についても立体感を伴って閲覧することが可能となる。   With this configuration, the display device 1 can present the concavo-convex image C using a flexible display not only for still images but also for moving images. Therefore, the user can also view moving images with a stereoscopic effect. Is possible.

(実施例3)
本実施形態のさらに別の実施例として、図3(d)に示すように、フレキシブルディスプレイ22にそろばんやおはじき等を表示するとともに、その玉を凹凸画像Cで再現し、指で玉を弾くと、弾かれた玉を示す凹凸画像Cが移動するようにしてもよい。
(Example 3)
As yet another example of the present embodiment, as shown in FIG. 3 (d), an abacus, a flick, etc. are displayed on the flexible display 22, and the ball is reproduced as a concavo-convex image C, and the ball is played with a finger. The concavo-convex image C showing the bounced ball may be moved.

この構成により、ユーザは実際にそろばんやおはじき等を扱っているような立体感を伴って凹凸画像Cを視認することができる。   With this configuration, the user can visually recognize the concavo-convex image C with a three-dimensional feeling such as actually handling an abacus or an oyster.

(実施例4)
本実施形態のさらに別の実施例として、フレキシブルディスプレイ22にキーボードを表示するとともにキーを凹凸画像Cで再現し、指でキーをタッチすると、キーの凹凸状態が凸から凹に変化するようにしてもよい。
Example 4
As yet another example of the present embodiment, when the keyboard is displayed on the flexible display 22 and the key is reproduced in the uneven image C, and the key is touched with a finger, the uneven state of the key changes from convex to concave. Also good.

この構成により、ユーザは実際のキーボードのような立体感を伴って、上記キーボードを操作することができる。   With this configuration, the user can operate the keyboard with a stereoscopic effect like an actual keyboard.

(構成および作用効果)
以上のように、本実施形態に係る表示装置1は、画像を表示する伸縮可能なフレキシブルディスプレイ22と、フレキシブルディスプレイ22に視認可能な凹凸Bを形成するための凹凸形成部23と、フレキシブルディスプレイ22に表示される画像Aに対応した凹凸Bを形成させるための凹凸情報を取得する凹凸情報取得部33と、凹凸情報取得部33が取得した凹凸情報に基づいて、凹凸Bを画像Aと重畳させてフレキシブルディスプレイ22に視認可能に形成させるように凹凸形成部23を制御する凹凸制御部36とを備える構成である。さらに、表示装置1は、伸縮可能なタッチパネル21を備えることで、タッチパネル21上のユーザ操作位置に応じて、フレキシブルディスプレイ22に表示する画像Aを変化させ、上記画像に応じて凹凸Bを形成し、上記画像Aと凹凸Bを重畳して提示することができる。
(Configuration and effect)
As described above, the display device 1 according to the present embodiment includes the stretchable flexible display 22 that displays an image, the unevenness forming portion 23 for forming the unevenness B that is visible on the flexible display 22, and the flexible display 22. The concavo-convex information acquisition unit 33 for acquiring concavo-convex information for forming the concavo-convex B corresponding to the image A displayed on the image, and the concavo-convex B is superimposed on the image A based on the concavo-convex information acquired by the concavo-convex information acquisition unit 33 The concave / convex control section 36 is configured to control the concave / convex forming section 23 so that the flexible display 22 is formed to be visible. Furthermore, the display device 1 includes the expandable / contractible touch panel 21, thereby changing the image A displayed on the flexible display 22 according to the user operation position on the touch panel 21, and forming the unevenness B according to the image. The image A and the unevenness B can be superimposed and presented.

これにより、表示装置1は、タッチパネル21上でユーザが操作する対象物を実際に奥行きを持った立体として提示することができるので、ユーザは対象物を視覚的立体感を伴って視認することができるとともに、立体として操作することができる。   Thereby, since the display apparatus 1 can present the target object which a user operates on the touch panel 21 as a solid with a depth actually, a user can visually recognize a target object with a visual three-dimensional effect. And can be operated as a solid.

さらに、タッチパネル21における操作速度に応じてフレキシブルディスプレイ22に形成される凹凸Bを変化させることで、ユーザは、画像Aを操作速度に応じたさまざまな視覚的立体感を伴って視認することができる。   Furthermore, by changing the unevenness B formed on the flexible display 22 according to the operation speed on the touch panel 21, the user can visually recognize the image A with various visual stereoscopic effects corresponding to the operation speed. .

さらに、圧力センサを備え、タッチパネル21の押下強度に応じてフレキシブルディスプレイ22に形成される凹凸Bを変化させることにより、ユーザは、画像Aを操作速度に応じたさまざまな視覚的立体感を伴って視認することができる。   Furthermore, by providing the pressure sensor and changing the unevenness B formed on the flexible display 22 according to the pressing strength of the touch panel 21, the user can display the image A with various visual stereoscopic effects according to the operation speed. It can be visually recognized.

〔第2の実施形態〕
(表示装置12の概要)
図4〜図6を参照しながら、本発明の他の実施形態について説明する。本実施形態は、伸縮可能なフレキシブルディスプレイ22を備える表示装置12に関するものである。表示装置12はさらに人感センサ6を備え、人感センサ6が検知したユーザ60の位置に応じて、フレキシブルディスプレイ22において画像Aと重畳させて提示する該画像Aに対応する凹凸Bを変化させることを可能にするものである。さらに、表示装置12は、凹凸情報と対応付けられていない画像Aについて、画像解析処理によって凹凸情報を生成することで、データベースに登録されていない任意の画像Aと該画像Aに対応する凹凸Bとの重畳表示を可能にするものである。
[Second Embodiment]
(Outline of display device 12)
Another embodiment of the present invention will be described with reference to FIGS. The present embodiment relates to a display device 12 including a flexible display 22 that can be expanded and contracted. The display device 12 further includes a human sensor 6, and changes the unevenness B corresponding to the image A to be presented by being superimposed on the image A on the flexible display 22 according to the position of the user 60 detected by the human sensor 6. It makes it possible. Further, the display device 12 generates unevenness information by image analysis processing for the image A that is not associated with the unevenness information, so that any image A that is not registered in the database and the unevenness B that corresponds to the image A are displayed. Can be displayed in a superimposed manner.

本実施形態では、図6に示すように、人感センサ6が検知したユーザ60の位置に基づき、フレキシブルディスプレイ22上に提示している画像Aおよび該画像に対応する凹凸Bがユーザに対して正面を向くように、フレキシブルディスプレイ22に出力する凹凸情報を変化させる例について説明する。   In the present embodiment, as shown in FIG. 6, based on the position of the user 60 detected by the human sensor 6, the image A presented on the flexible display 22 and the unevenness B corresponding to the image are displayed to the user. An example in which the unevenness information output to the flexible display 22 is changed so as to face the front will be described.

(表示装置12の構成)
図4は、本実施形態に係る表示装置12の機能ブロック図である。なお、説明の便宜上、上記第1の実施形態にて説明した図面と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
(Configuration of display device 12)
FIG. 4 is a functional block diagram of the display device 12 according to the present embodiment. For convenience of explanation, members having the same functions as those in the drawings described in the first embodiment are given the same reference numerals, and descriptions thereof are omitted.

上記表示装置12は、図4に示すように、上記第1の実施形態の表示装置1に加えて、人感センサ6と、第1凹凸情報補正部343とをさらに備え、かつ、凹凸情報取得部341内に凹凸情報生成部342を備える構成である。なお、本実施形態の説明では、タッチパネル21、特定のアプリケーション、および画像情報と凹凸情報とを対応付けて格納したデータベースについては説明しないため、タッチパネル21、アプリケーション制御部32、および画像/凹凸情報データベース41を図示しないが、本実施形態でもこれらを備えていてもよい。また、フレキシブルディスプレイ22と凹凸形成部23とを合わせた出力部を出力パネル2aとした。   As shown in FIG. 4, the display device 12 further includes a human sensor 6 and a first unevenness information correction unit 343 in addition to the display device 1 of the first embodiment, and acquires unevenness information. The concave / convex information generating unit 342 is included in the unit 341. In the description of the present embodiment, the touch panel 21, the specific application, and the database that stores the image information and the unevenness information in association with each other are not described. Therefore, the touch panel 21, the application control unit 32, and the image / unevenness information database. Although 41 is not illustrated, these may also be provided in this embodiment. Moreover, the output part which united the flexible display 22 and the uneven | corrugated formation part 23 was made into the output panel 2a.

人感センサ6は、人物(ユーザ)の存在位置を検知するセンサであり、赤外線や超音波、可視光などを用いたセンサである。人感センサ6は好ましくは表示装置12の表示面側、すなわちフレキシブルディスプレイ22を閲覧可能な範囲における人物の位置を検知する。   The human sensor 6 is a sensor that detects the presence position of a person (user), and is a sensor using infrared rays, ultrasonic waves, visible light, or the like. The human sensor 6 preferably detects the position of the person in the display screen side of the display device 12, that is, in a range where the flexible display 22 can be browsed.

凹凸情報生成部342は、フレキシブルディスプレイ22上に表示する画像に対応する凹凸情報を生成する。具体的には、画像情報取得部33から取得した画像情報に対し画像解析処理を行い、該画像情報に対応する凹凸情報を生成する。   The unevenness information generation unit 342 generates unevenness information corresponding to the image displayed on the flexible display 22. Specifically, image analysis processing is performed on the image information acquired from the image information acquisition unit 33, and unevenness information corresponding to the image information is generated.

凹凸情報生成部342が行う画像解析処理としては、特許文献4に記載の公知技術を適用し、画像A中の影領域を認識し、フレキシブルディスプレイ22上で該影領域が凹部となって実際に影となるように、上記凹凸情報を生成してもよい。   As the image analysis processing performed by the unevenness information generation unit 342, a known technique described in Patent Document 4 is applied, the shadow area in the image A is recognized, and the shadow area actually becomes a recess on the flexible display 22. The unevenness information may be generated so as to be a shadow.

第1凹凸情報補正部343は、凹凸制御部36に出力する凹凸情報の補正を行う。具体的には、人感センサ6からのユーザ位置情報に基づき、フレキシブルディスプレイ22で提示される、画像Aと凹凸Bを重畳した凹凸画像Cが、ユーザ60に対して正面を向くように、凹凸情報取得部341から取得した凹凸情報を補正する。   The first unevenness information correction unit 343 corrects unevenness information output to the unevenness control unit 36. Specifically, on the basis of the user position information from the human sensor 6, the concave / convex image C presented on the flexible display 22 in which the image A and the concave / convex B are superimposed faces the user 60 so as to face the front. The unevenness information acquired from the information acquisition unit 341 is corrected.

第1凹凸情報補正部343による補正後の凹凸情報は、上記第1の実施形態において述べた、各区画(ピクセル)の座標値(x,y)に紐付けた高さ(z軸)方向の情報に加え、図1の説明において記載した上記傾斜基準面を形成するための傾斜情報を含んでいてもよい。   The uneven | corrugated information after the correction | amendment by the 1st uneven | corrugated information correction | amendment part 343 is the height (z-axis) direction linked | related with the coordinate value (x, y) of each division (pixel) described in the said 1st Embodiment. In addition to the information, inclination information for forming the inclination reference plane described in the description of FIG. 1 may be included.

図5は、本実施形態に係る表示装置12の行う処理の流れを示すフローチャートである。ここでは、ユーザが、フレキシブルディスプレイ22上で所望の画像を凹凸と重畳して表示させることを選択しようとしている状態から処理を開始するものとする。   FIG. 5 is a flowchart showing a flow of processing performed by the display device 12 according to the present embodiment. Here, it is assumed that the process starts from a state where the user is about to select to display a desired image on the flexible display 22 so as to be superimposed on the unevenness.

まず、操作取得部31が、表示する画像Aを決定する(S201)。具体的には、表示対象となる画像Aを決定するユーザ入力情報を取得する。ユーザによる画像Aの選択は、サムネイルやファイル名の選択で行うようにしてもよい。なお、映像を複数の静止画のシーケンスとして扱うことで、静止画だけでなく動画にも以降の処理を適用することが可能である。操作取得部31が取得したユーザ入力情報は、表示画像決定情報として画像情報取得部33に伝えられる。   First, the operation acquisition unit 31 determines an image A to be displayed (S201). Specifically, user input information for determining the image A to be displayed is acquired. The user may select the image A by selecting a thumbnail or a file name. It should be noted that by treating the video as a sequence of a plurality of still images, it is possible to apply the subsequent processing not only to the still images but also to the moving images. The user input information acquired by the operation acquisition unit 31 is transmitted to the image information acquisition unit 33 as display image determination information.

次に、画像情報取得部33が、画像情報を取得する(S202)。具体的には、ステップS201で決定された画像Aに対応する画像情報を含む画像情報を記憶部4から取得するとともに、凹凸情報処理部34に対し上記画像情報を送信する。   Next, the image information acquisition unit 33 acquires image information (S202). Specifically, the image information including the image information corresponding to the image A determined in step S201 is acquired from the storage unit 4, and the image information is transmitted to the uneven information processing unit.

続いて、凹凸情報取得部341の凹凸情報生成部342が、画像情報に対応する凹凸情報を生成する(S203)。具体的には、ステップS202で取得した画像情報に対し、3次元的な立体情報を抽出する画像解析を実行し、その結果得られた立体情報に基づいて、上記画像情報に対応する凹凸情報を生成する。   Subsequently, the unevenness information generation unit 342 of the unevenness information acquisition unit 341 generates unevenness information corresponding to the image information (S203). Specifically, an image analysis for extracting three-dimensional solid information is performed on the image information acquired in step S202, and uneven information corresponding to the image information is obtained based on the obtained three-dimensional information. Generate.

次に、人感センサ6が、ユーザ位置を検知する(S204)。具体的には、フレキシブルディスプレイ22を閲覧可能な範囲に存在するユーザ60の位置を検知する。検知したユーザ位置情報は、第1凹凸情報補正部343に送信される。ステップS204を実行する時期はこれに限定されず、後述するユーザ位置に応じた凹凸情報の補正より前の段階であればどの時期で行ってもよい。   Next, the human sensor 6 detects the user position (S204). Specifically, the position of the user 60 existing in a range where the flexible display 22 can be browsed is detected. The detected user position information is transmitted to the first unevenness information correction unit 343. The time for executing step S204 is not limited to this, and may be any time as long as it is a stage before the correction of the unevenness information according to the user position described later.

次に、第1凹凸情報補正部343が、ユーザ位置に応じて凹凸情報を補正する(S205)。具体的には、人感センサ6から取得した上記ユーザ位置情報に基づき、凹凸情報取得部341から取得した凹凸情報を補正し、補正後の凹凸情報を生成する。上記補正後の凹凸情報は、上記画像情報と、ステップS203で生成された凹凸情報とを、上記ユーザ位置情報が示す位置にいるユーザに対して正面を向いた状態で出力するような凹凸情報である。   Next, the first unevenness information correction unit 343 corrects unevenness information according to the user position (S205). Specifically, the unevenness information acquired from the unevenness information acquisition unit 341 is corrected based on the user position information acquired from the human sensor 6 to generate corrected unevenness information. The uneven information after the correction is uneven information that outputs the image information and the uneven information generated in step S203 in a state of facing the user at the position indicated by the user position information. is there.

次に、表示制御部35と凹凸制御部36とが、画像情報と補正後の凹凸情報とを重畳させて出力する(S206)。具体的には、表示制御部35は、ステップS202で画像情報取得部33が取得した上記画像情報を取得し、これに基づき、フレキシブルディスプレイ22に画像を表示させる指示を出す。一方で、凹凸制御部36は、ステップS205で第1凹凸情報補正部343が生成した上記補正後の凹凸情報を取得し、これに基づき、凹凸形成部23に凹凸を形成させる指示を出す。例えば、図6(a)の上図においてフレキシブルディスプレイ22に表示される画像Aに対応する凹凸Bが、下図のような画像A中の建物の立体構造を反映した形状である場合、図6(b)のようにユーザ60の位置に対して図6(a)の下図に示した凹凸Bの形状が正面を向くように、上記傾斜基準面上に上記凹凸Bが形成された形状に形成する。   Next, the display control unit 35 and the unevenness control unit 36 superimpose and output the image information and the corrected unevenness information (S206). Specifically, the display control unit 35 acquires the image information acquired by the image information acquisition unit 33 in step S202, and issues an instruction to display an image on the flexible display 22 based on the acquired image information. On the other hand, the unevenness control unit 36 acquires the corrected unevenness information generated by the first unevenness information correction unit 343 in step S205, and issues an instruction for the unevenness forming unit 23 to form unevenness based on the acquired unevenness information. For example, when the unevenness B corresponding to the image A displayed on the flexible display 22 in the upper diagram of FIG. 6A is a shape reflecting the three-dimensional structure of the building in the image A as shown in the lower diagram, FIG. As shown in (b), the projections and depressions B are formed in a shape in which the projections and depressions B are formed on the inclined reference plane so that the projections and depressions B shown in the lower part of FIG. .

次に、フレキシブルディスプレイ22と凹凸形成部23とが、画像Aと凹凸Bとを重畳させて提示する(S207)。ここでの処理は、上記第1の実施形態におけるステップS106と同様である。ただし、ここで形成される凹凸Bは、第1凹凸情報補正部343による上記補正後の凹凸情報に基づくものである。   Next, the flexible display 22 and the concavo-convex forming part 23 present the image A and the concavo-convex B superimposed on each other (S207). The processing here is the same as step S106 in the first embodiment. However, the unevenness B formed here is based on the unevenness information after the correction by the first unevenness information correction unit 343.

次に、人感センサ6が、再度ユーザ位置を検知する(S208)。具体的には、ユーザ位置が変化しているか、すなわち、ユーザ60が移動したか否かを確認するため、再度ユーザ位置を検知する。   Next, the human sensor 6 detects the user position again (S208). Specifically, the user position is detected again to confirm whether the user position has changed, that is, whether the user 60 has moved.

続いて、人感センサ6が、ユーザ位置が変化したか否かを判定する(S209)。具体的には、S207で検知した上記ユーザ位置が、S204で検知したユーザ位置と異なっているかを判定する。この判定は、あらかじめ設定された閾値に基づいて行うことが好ましい。ここで、ユーザ位置が変化したと判定されると(S209でYes)、人感センサ6は、第1凹凸情報補正部343に、新たなユーザ位置情報を送信し、これに基づいてステップS205以降の処理が再度行われる。すなわち、図6(b)のようにユーザ60が場所を移動した場合、その移動に応じてフレキシブルディスプレイ22上に形成される凹凸Bが変化する。一方、ユーザ位置が変化していないと判定されると(S209でNo)、人感センサ6は、次のユーザ位置検知まで待機する。   Subsequently, the human sensor 6 determines whether or not the user position has changed (S209). Specifically, it is determined whether the user position detected in S207 is different from the user position detected in S204. This determination is preferably performed based on a preset threshold value. Here, if it is determined that the user position has changed (Yes in S209), the human sensor 6 transmits new user position information to the first unevenness information correction unit 343, and based on this, step S205 and subsequent steps. The process is performed again. That is, when the user 60 moves from place to place as shown in FIG. 6B, the unevenness B formed on the flexible display 22 changes according to the movement. On the other hand, if it is determined that the user position has not changed (No in S209), the human sensor 6 waits until the next user position detection.

なお、本実施形態では、画像解析により凹凸情報を生成する構成について説明したが、表示する画像は画像/凹凸情報データベース41に格納されている画像であってもよく、その場合は画像解析等の複雑な処理を要しないため、高い演算処理能力を有さない表示装置であってもユーザ位置に応じた凹凸画像Cの提示が可能である。   In the present embodiment, the configuration for generating the unevenness information by image analysis has been described. However, the image to be displayed may be an image stored in the image / unevenness information database 41, in which case image analysis or the like is performed. Since complicated processing is not required, it is possible to present the concavo-convex image C according to the user position even in a display device that does not have high calculation processing capability.

(構成および作用効果)
以上のように、本実施形態に係る表示装置12は、ユーザ位置を検知する人感センサ6と第1凹凸情報補正部343とを備えることで、検知したユーザ60の位置に応じて、フレキシブルディスプレイ22に画像Aと重畳して出力する凹凸Bを変化させることができる。
(Configuration and effect)
As described above, the display device 12 according to the present embodiment includes the human sensor 6 that detects the user position and the first unevenness information correction unit 343, so that a flexible display is provided according to the detected position of the user 60. It is possible to change the concavo-convex B to be output by superimposing the image A on the image 22.

これにより、ユーザ60は、フレキシブルディスプレイ22に対する視線の角度を限定されることなく、常に最適な立体感を伴った凹凸画像Cを視認することができる。   Thereby, the user 60 can always visually recognize the uneven | corrugated image C with the optimal three-dimensional effect, without being limited in the angle of the eyes | visual_axis with respect to the flexible display 22. FIG.

さらに、画像解析処理によって凹凸情報を生成する凹凸情報生成部342を備えることで、あらかじめ凹凸情報と対応付けられていない画像Aについても凹凸画像Cを提示することができる。   Furthermore, by providing the concavo-convex information generation unit 342 that generates concavo-convex information by image analysis processing, the concavo-convex image C can be presented even for the image A that is not associated with the concavo-convex information in advance.

これにより、ユーザは、データベースに登録されていない任意の画像Aを立体感を伴って視認することができる。   Thereby, the user can visually recognize an arbitrary image A that is not registered in the database with a stereoscopic effect.

〔第3の実施形態〕
(表示装置13の概要)
図7〜図9を参照しながら、本発明のさらに他の実施形態について説明する。本実施形態は、伸縮可能なフレキシブルディスプレイ22を備える表示装置13に関するものである。上記表示装置はさらに照度センサ7を備え、照度センサ7が検知した光源90の位置に応じて、フレキシブルディスプレイ22において画像Aと重畳させて提示する該画像Aに対応する凹凸Bを変化させることを可能にするものである。特に、画像Aにおいて影として強調したい領域が、光源90からの光によって実際に影となるように凹凸Bを変化させることを可能にするものである。
[Third Embodiment]
(Outline of display device 13)
Still another embodiment of the present invention will be described with reference to FIGS. The present embodiment relates to a display device 13 including a flexible display 22 that can be expanded and contracted. The display device further includes an illuminance sensor 7, and according to the position of the light source 90 detected by the illuminance sensor 7, the unevenness B corresponding to the image A to be presented on the flexible display 22 in a superimposed manner is changed. It is what makes it possible. In particular, it is possible to change the unevenness B so that the region to be emphasized as a shadow in the image A is actually a shadow by the light from the light source 90.

本実施形態では、図9(a)〜(c)に示すように、照度センサ7が検知した光源90の位置に基づき、フレキシブルディスプレイ上に提示する画像中で影として強調したい領域である影形成領域91が、光源90からの光によって実際に影となるように、フレキシブルディスプレイに出力する凹凸情報を変化させる例について説明する。   In this embodiment, as shown in FIGS. 9A to 9C, based on the position of the light source 90 detected by the illuminance sensor 7, a shadow formation that is an area to be emphasized as a shadow in an image presented on a flexible display. An example in which the unevenness information output to the flexible display is changed so that the region 91 is actually shaded by the light from the light source 90 will be described.

(表示装置13の構成)
図7は、本実施形態に係る表示装置13の機能ブロック図である。なお、説明の便宜上、上記第1および第2の実施形態にて説明した図面と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
(Configuration of display device 13)
FIG. 7 is a functional block diagram of the display device 13 according to the present embodiment. For convenience of explanation, members having the same functions as those in the drawings described in the first and second embodiments are denoted by the same reference numerals and description thereof is omitted.

上記表示装置13は、図7に示すように、上記第2の実施形態の表示装置12が備えている人感センサ6および第1凹凸情報補正部343に代えて、照度センサ7および第2凹凸情報補正部344を有する構成である。   As shown in FIG. 7, the display device 13 includes an illuminance sensor 7 and a second concavo-convex instead of the human sensor 6 and the first concavo-convex information correction unit 343 provided in the display device 12 of the second embodiment. The information correction unit 344 is included.

照度センサ7は、光源90の存在位置を検知するセンサであり、フォトトランジスタやフォトダイオードなどを用いたセンサである。照度センサ7は好ましくは表示装置13の前面側、すなわちフレキシブルディスプレイ22を照射可能な範囲における光源90の位置を検知する。なお、自発的な発光体だけでなく、反射によってフレキシブルディスプレイ22を照射しうる物体も光源90に含まれると理解されたい。   The illuminance sensor 7 is a sensor that detects the position of the light source 90 and is a sensor that uses a phototransistor, a photodiode, or the like. The illuminance sensor 7 preferably detects the position of the light source 90 in the front side of the display device 13, that is, in a range where the flexible display 22 can be irradiated. It should be understood that the light source 90 includes not only spontaneous light emitters but also objects that can illuminate the flexible display 22 by reflection.

第2凹凸情報補正部344は、凹凸制御部36に出力する凹凸情報の補正を行う。具体的には、照度センサ7からの光源位置情報に基づき、フレキシブルディスプレイ22において表示される画像Aにおいて影として強調したい領域(影形成領域91)が、光源90からの光を凸部で遮蔽することで影となるように、上記凹凸情報を補正する。   The second unevenness information correction unit 344 corrects unevenness information output to the unevenness control unit 36. Specifically, based on the light source position information from the illuminance sensor 7, a region (shadow formation region 91) to be emphasized as a shadow in the image A displayed on the flexible display 22 blocks light from the light source 90 with a convex portion. The unevenness information is corrected so as to be a shadow.

第2凹凸情報補正部344による補正後の凹凸情報は、上記第1の実施形態において述べた、各区画(ピクセル)の座標値(x,y)に紐付けた高さ(z軸)方向の情報に加え、図1の説明において記載した上記傾斜基準面を形成するための傾斜情報、または上記凸部をより突出させるための凸部突出情報を含んでいてもよい。   The unevenness information after correction by the second unevenness information correction unit 344 is the height (z-axis) direction associated with the coordinate values (x, y) of each section (pixel) described in the first embodiment. In addition to the information, it may include inclination information for forming the inclination reference plane described in the description of FIG. 1 or protrusion protrusion information for further protruding the protrusion.

図8は、本実施形態に係る表示装置13の行う処理の流れを示すフローチャートである。ここでは、ユーザが、フレキシブルディスプレイ22において所望の画像Aを凹凸Bと重畳して表示させることを選択しようとしている状態から処理を開始するものとする。   FIG. 8 is a flowchart showing a flow of processing performed by the display device 13 according to the present embodiment. Here, it is assumed that the process starts from a state in which the user intends to select to display a desired image A superimposed on the unevenness B on the flexible display 22.

ステップS301〜S303における処理は、上記第2の実施形態におけるステップS201〜S203と同様である。   The processes in steps S301 to S303 are the same as steps S201 to S203 in the second embodiment.

次に、操作取得部31が、影形成領域91を決定する(S304)。具体的には、凹凸画像Cにおいて、影として強調したい領域である影形成領域91を決定するユーザ入力を取得する。ユーザによる影形成領域91の選択は、画像A上をドラッグ&ドロップすることで行うようにしてもよい。操作取得部31が取得したユーザ入力情報は、影形成領域決定情報として画像情報取得部33に伝えられる。画像情報取得部33は、上記影形成領域決定情報に基づき、上記影形成領域を上記画像中のピクセル位置と対応付けた影形成領域情報を、凹凸情報処理部34に送信する。   Next, the operation acquisition part 31 determines the shadow formation area 91 (S304). Specifically, in the concavo-convex image C, a user input for determining a shadow forming area 91 that is an area to be emphasized as a shadow is acquired. The user may select the shadow formation area 91 by dragging and dropping on the image A. The user input information acquired by the operation acquisition unit 31 is transmitted to the image information acquisition unit 33 as shadow formation region determination information. The image information acquisition unit 33 transmits shadow formation region information in which the shadow formation region is associated with the pixel position in the image to the unevenness information processing unit 34 based on the shadow formation region determination information.

次に、照度センサ7が、光源位置を検知する(S305)。具体的には、フレキシブルディスプレイ22を照射可能な範囲に存在する光源90の位置を検知する。検知した光源位置情報は、第2凹凸情報補正部344に送信される。ステップS305を実行する時期はこれに限定されず、後述する光源位置に応じた凹凸情報の補正より前の段階であればどの時期で行ってもよい。   Next, the illuminance sensor 7 detects the light source position (S305). Specifically, the position of the light source 90 existing in a range where the flexible display 22 can be irradiated is detected. The detected light source position information is transmitted to the second unevenness information correction unit 344. The time for executing step S305 is not limited to this, and any time may be used as long as it is a stage before correction of the unevenness information corresponding to the light source position described later.

次に、第2凹凸情報補正部344が、光源位置に応じて凹凸情報を補正する(S306)。具体的には、照度センサ7から取得した上記光源位置情報と、画像情報取得部33から取得した影形成領域情報とに基づき、凹凸情報取得部341から取得した凹凸情報を補正し、補正後の凹凸情報を生成する。上記補正後の凹凸情報は、影形成領域91が、光源90からの光の遮蔽によって実際に影となるように、上記画像情報と、ステップS303で生成された凹凸情報とを出力するような凹凸情報である。   Next, the second unevenness information correction unit 344 corrects unevenness information according to the light source position (S306). Specifically, the unevenness information acquired from the unevenness information acquisition unit 341 is corrected based on the light source position information acquired from the illuminance sensor 7 and the shadow formation region information acquired from the image information acquisition unit 33. Protrusion information is generated. The corrected unevenness information is such that the shadow formation area 91 outputs the image information and the unevenness information generated in step S303 so that the shadow formation region 91 is actually shadowed by shielding light from the light source 90. Information.

次に、表示制御部35と凹凸制御部36とが、画像情報と補正後の凹凸情報とを重畳させて出力する(ステップS307)。ここでは、表示制御部35は、ステップS302で画像情報取得部33が取得した上記画像情報を取得し、これに基づき、フレキシブルディスプレイ22に画像Aを表示させる指示を出す。一方で、凹凸制御部36は、ステップS306で第2凹凸情報補正部344が生成した上記補正後の凹凸情報を取得し、これに基づき、凹凸形成部23に凹凸Bを形成させる指示を出す。例えば、図9(a)の上図においてフレキシブルディスプレイ22に表示される画像Aに対応する凹凸Bが、下図のような画像A中の建物の立体構造を反映した形状であり、かつ画像A中の影にあたる領域を影形成領域91とした場合、図9(b)のように光源90から影形成領域91への光が遮蔽されるように、フレキシブルディスプレイ22を傾けるような凹凸Bを形成する。あるいは、図9(c)のように、凸部をより突出させることで、光源90からの光を遮蔽してもよい。   Next, the display control unit 35 and the concavo-convex control unit 36 superimpose and output the image information and the concavo-convex information after correction (step S307). Here, the display control unit 35 acquires the image information acquired by the image information acquisition unit 33 in step S302, and issues an instruction to display the image A on the flexible display 22 based on the acquired image information. On the other hand, the unevenness control unit 36 acquires the corrected unevenness information generated by the second unevenness information correction unit 344 in step S306, and issues an instruction to form the unevenness B on the unevenness forming unit 23 based on the acquired unevenness information. For example, the unevenness B corresponding to the image A displayed on the flexible display 22 in the upper diagram of FIG. 9A is a shape reflecting the three-dimensional structure of the building in the image A as shown in the lower diagram, and If the area corresponding to the shadow is defined as the shadow forming area 91, the unevenness B that tilts the flexible display 22 is formed so that the light from the light source 90 to the shadow forming area 91 is shielded as shown in FIG. 9B. . Or you may shield the light from the light source 90 by making a convex part protrude more like FIG.9 (c).

次に、フレキシブルディスプレイ22と凹凸形成23とが、画像Aと凹凸Bとを重畳させて提示する(S308)。ここでの処理は、上記第1の実施形態におけるステップS106と同様である。ただし、ここで形成される凹凸Bは、第2凹凸情報補正部344による上記補正後の凹凸情報に基づくものである。   Next, the flexible display 22 and the unevenness formation 23 present the image A and the unevenness B superimposed on each other (S308). The processing here is the same as step S106 in the first embodiment. However, the unevenness B formed here is based on the unevenness information after the correction by the second unevenness information correction unit 344.

なお、S304における影形成領域91の決定は、ユーザ入力によらず、凹凸情報生成部342が行う画像解析(S203)によって決定されてもよい。すなわち、画像A中で影の領域として判定された領域を影形成領域91としてもよい。上記構成によれば、表示装置13は、影形成領域91を指定するためのユーザ操作を必要とせずに凹凸画像Cで影を強調できる。   Note that the determination of the shadow formation area 91 in S304 may be determined by image analysis (S203) performed by the unevenness information generation unit 342, regardless of user input. That is, an area determined as a shadow area in the image A may be used as the shadow formation area 91. According to the above configuration, the display device 13 can emphasize a shadow in the uneven image C without requiring a user operation for designating the shadow formation region 91.

また、状況によっては、画像A中で影となっている領域と影形成領域91とが必ずしも一致しない場合がある。このような場合のために、画像情報取得部33は、凹凸情報生成部342によって上記の決定が行われた後、特許文献4に記載の方法等を利用して画像A中の影の部分のピクセル値を補正し、画像Aの内容が示す対象の全ての面に光が当たっているような画像A’を生成してもよい。上記構成によれば、フレキシブルディスプレイ22上に提示される凹凸画像Cには、光源90からの光のみによる影が形成されるため、より違和感のない凹凸画像Cの提示が可能となる。   Further, depending on the situation, the shadow area in the image A and the shadow formation area 91 may not necessarily match. For such a case, the image information acquisition unit 33 uses the method described in Patent Document 4 after the above-described determination is performed by the unevenness information generation unit 342, so that the shadow information in the image A is detected. You may correct | amend a pixel value and you may produce | generate image A 'that all the surfaces of the object which the content of the image A shows are shining. According to the above configuration, the uneven image C presented on the flexible display 22 is formed with a shadow only by the light from the light source 90, so that it is possible to present the uneven image C without a sense of incongruity.

また、上記第2の実施形態におけるステップS207〜208と同様の手順によって、光源位置の変化に応じて凹凸情報を随時補正するようにしてもよい。   Further, the unevenness information may be corrected at any time according to the change in the light source position by the same procedure as Steps S207 to S208 in the second embodiment.

また、上記第1および第2の実施形態と同様に、表示する画像Aは画像/凹凸情報データベース41に格納されている画像であってもよい。
(構成および作用効果)
以上のように、本実施形態に係る表示装置13は、光源位置を検知する照度センサ7と第2凹凸情報補正部344とを備えることで、検知した光源90の位置に応じて、影形成領域91が光源90からの光によって実際に影となるように、フレキシブルディスプレイ22上に画像Aと重畳して出力する凹凸Bを変化させることができる。
Similarly to the first and second embodiments, the image A to be displayed may be an image stored in the image / unevenness information database 41.
(Configuration and effect)
As described above, the display device 13 according to the present embodiment includes the illuminance sensor 7 that detects the light source position and the second unevenness information correction unit 344, so that the shadow forming region is determined according to the detected position of the light source 90. The unevenness B that is superimposed on the image A and output on the flexible display 22 can be changed so that 91 is actually shaded by the light from the light source 90.

これにより、ユーザ60は、凹凸画像Cをより強い立体感を伴って視認することができる。   Thereby, the user 60 can visually recognize the concavo-convex image C with a stronger stereoscopic effect.

さらに、画像補正によって画像A中の影を消すことで、凹凸画像Cにおいて、光源90からの光のみによる影を提示することができる。   Furthermore, by eliminating the shadows in the image A by image correction, the shadows due to only the light from the light source 90 can be presented in the concavo-convex image C.

これにより、ユーザは、より違和感のない立体感を伴う凹凸画像Cを視認することができる。   Thereby, the user can visually recognize the uneven | corrugated image C with a three-dimensional effect without a more uncomfortable feeling.

(変形例)
上記第2および第3の実施形態を組み合わせた例として、図7における照度センサ7を人感センサ6に代えた構成により、図9(d)(e)に示すように、ユーザ60の位置に応じてフレキシブルディスプレイ22上に出力する凹凸Bを変化させることで、影形成領域91を影として知覚されるようにする例が考えられる。
(Modification)
As an example in which the second and third embodiments are combined, a configuration in which the illuminance sensor 7 in FIG. 7 is replaced with the human sensor 6, as shown in FIGS. Accordingly, an example in which the shadow forming area 91 is perceived as a shadow by changing the unevenness B output on the flexible display 22 can be considered.

上記構成によれば、光源位置が変化しても、ユーザは常に適切な凹凸画像Cを視認することができる。   According to the said structure, even if a light source position changes, the user can always visually recognize the appropriate uneven | corrugated image C. FIG.

〔凹凸形成部の構造〕
本発明に係る表示装置1、12、13において、フレキシブルディスプレイ22に凹凸Bを形成するための出力部である、凹凸形成部23の構造について説明する。
[Structure of irregularities forming part]
In the display devices 1, 12, and 13 according to the present invention, the structure of the concavo-convex forming part 23 that is an output part for forming the concavo-convex B on the flexible display 22 will be described.

凹凸形成部23の駆動原理は複数考えられるが、以下では機械的な実現例、磁力を利用した実現例、空気圧を利用した実現例について説明する。   Although a plurality of driving principles of the concavo-convex forming portion 23 can be considered, a mechanical implementation example, an implementation example using magnetic force, and an implementation example using air pressure will be described below.

(機械的な実現例)
図10(a)に、機械的に実現された凹凸形成部23aの、凹凸非形成時(上図)および凹凸形成時(下図)の断面図を示す。図10(a)上図に示すように、凹凸形成部23aは、土台231と、突起23a2と、突起制御部23a3とを備える。
(Mechanical implementation example)
FIG. 10A is a cross-sectional view of the mechanically realized unevenness forming portion 23a when the unevenness is not formed (upper figure) and when the unevenness is formed (lower figure). As shown in the upper part of FIG. 10A, the unevenness forming part 23a includes a base 231, a protrusion 23a2, and a protrusion control part 23a3.

土台231は、フレキシブルディスプレイ22に凹凸Bを形成させるための凹凸出力部であり、例えば凹凸形成素子(突起23a2)をはめ込む穴等によって、凹凸形成素子の駆動との連動を可能にする構造を有する。   The base 231 is a concavo-convex output part for forming the concavo-convex B on the flexible display 22 and has a structure that enables interlocking with the driving of the concavo-convex forming element by, for example, a hole into which the concavo-convex forming element (projection 23a2) is fitted. .

突起23a2は、凹凸形成部23の凹凸形成素子である。突起23a2は土台231の上記穴にはめ込まれており、土台231を押し上げることによってフレキシブルディスプレイ22に凸部を形成する。また、土台231を引き下げることによってフレキシブルディスプレイ22に凹部を形成する。   The protrusion 23 a 2 is an unevenness forming element of the unevenness forming part 23. The protrusion 23 a 2 is fitted in the hole of the base 231, and a convex portion is formed on the flexible display 22 by pushing up the base 231. Further, the concave portion is formed in the flexible display 22 by lowering the base 231.

突起制御部23a3は、突起23a2の駆動を制御する。突起制御部23a3の挙動はフレキシブルディスプレイ22の近接する複数の画素の駆動と対応していることが好ましい。   The protrusion control unit 23a3 controls driving of the protrusion 23a2. It is preferable that the behavior of the protrusion control unit 23a3 corresponds to the driving of a plurality of adjacent pixels of the flexible display 22.

凹凸形成時は、図10(a)下図に示すように、突起制御部23a3が突起23a2を上下させることで、土台231ならびにフレキシブルディスプレイ22を押し上げたり引き下げたりすることで凹凸Bを形成する。突起23a2を駆動させる手法は、油圧、空気圧、ソレノイドなどを用いてもよい。   At the time of forming the unevenness, as shown in the lower diagram of FIG. 10A, the protrusion control unit 23a3 moves the protrusion 23a2 up and down to push up and down the base 231 and the flexible display 22 to form the unevenness B. As a method for driving the protrusion 23a2, hydraulic pressure, pneumatic pressure, solenoid, or the like may be used.

(磁力を利用した実現例)
図10(b)に、磁力によって実現された凹凸形成部23bの、凹凸非形成時(上図)および凹凸形成時(下図)の断面図を示す。図10(b)上図に示すように、凹凸形成部23bは、図10(a)に示した凹凸形成部23aにおける突起23a2と突起制御部23a3とに代えて、微小磁石23b2とコイル制御部23b3とを有する構造である。
(Realization example using magnetic force)
FIG. 10B is a cross-sectional view of the concavo-convex forming portion 23b realized by magnetic force when the concavo-convex is not formed (upper figure) and when the concavo-convex is formed (lower figure). As shown in the upper part of FIG. 10 (b), the unevenness forming part 23b includes a micro magnet 23b2 and a coil control part instead of the protrusions 23a2 and the protrusion control part 23a3 in the unevenness forming part 23a shown in FIG. 10 (a). 23b3.

微小磁石23b2は、凹凸形成部23bの凹凸形成素子である。微小磁石23b2は土台231の上記穴にはめ込まれており、土台231を押し上げることによってフレキシブルディスプレイ22に凸部を形成する。また、土台231を引き下げることによってフレキシブルディスプレイ22に凹部を形成する。   The micro magnet 23b2 is an unevenness forming element of the unevenness forming portion 23b. The micro magnet 23 b 2 is fitted in the hole of the base 231, and a convex portion is formed on the flexible display 22 by pushing up the base 231. Further, the concave portion is formed in the flexible display 22 by lowering the base 231.

コイル制御部23b3は、微小磁石23b2の駆動を制御する。コイル制御部23b3の挙動はフレキシブルディスプレイ22の近接する複数の画素の駆動と対応していることが好ましい。   The coil controller 23b3 controls the driving of the micro magnet 23b2. The behavior of the coil control unit 23b3 preferably corresponds to driving of a plurality of adjacent pixels of the flexible display 22.

凹凸形成時は、図10(b)下図に示すように、コイル制御部23b3が発生させた磁力により、土台231にはめ込まれた微小磁石23b2が反発もしくは吸引されることで、土台231ならびにフレキシブルディスプレイ22を押し上げたり引き下げたりすることで凹凸Bを形成する。   When the irregularities are formed, as shown in the lower diagram of FIG. 10B, the base 231 and the flexible display are formed by repelling or attracting the micro magnet 23b2 fitted in the base 231 by the magnetic force generated by the coil control unit 23b3. Unevenness B is formed by pushing 22 up or down.

(空気圧を利用した実現例)
図10(c)に、空気圧によって実現された凹凸形成部23cの、凹凸非形成時(上図)および凹凸形成時(下図)の断面図を示す。図10(c)上図に示すように、凹凸形成部23cは、図10(a)に示した凹凸形成部23aにおける突起23a2と突起制御部23a3とに代えて、空気室23c2と空気室制御部23c3とを有する構造である。
(Example using air pressure)
FIG. 10C shows a cross-sectional view of the unevenness forming portion 23c realized by air pressure when the unevenness is not formed (upper figure) and when the unevenness is formed (lower figure). As shown in the upper part of FIG. 10 (c), the unevenness forming part 23c has an air chamber 23c2 and an air chamber control instead of the protrusion 23a2 and the protrusion control part 23a3 in the unevenness forming part 23a shown in FIG. 10 (a). This is a structure having a portion 23c3.

空気室23c2は、凹凸形成部23cの凹凸形成素子である。空気室23c2は伸縮性であり、土台231を押し上げることによってフレキシブルディスプレイ22に凸部を形成する。また、土台231を引き下げることによってフレキシブルディスプレイ22に凹部を形成する。   The air chamber 23c2 is an unevenness forming element of the unevenness forming portion 23c. The air chamber 23c2 is stretchable, and a convex portion is formed on the flexible display 22 by pushing up the base 231. Further, the concave portion is formed in the flexible display 22 by lowering the base 231.

空気室制御部23c3は、空気室23c2の駆動を制御する。空気室制御部23b3の挙動はフレキシブルディスプレイ22の近接する複数の画素の駆動と対応していることが好ましい。   The air chamber control unit 23c3 controls driving of the air chamber 23c2. The behavior of the air chamber control unit 23b3 preferably corresponds to driving of a plurality of adjacent pixels of the flexible display 22.

凹凸形成時は、図10(c)下図に示すように、空気室制御部23c3から送られる空気により、空気室23c2が図の上下方向に膨張もしくは収縮することで、土台231ならびにフレキシブルディスプレイ22を押し上げたり引き下げたりすることで凹凸Bを形成する。   When the unevenness is formed, as shown in the lower diagram of FIG. 10 (c), the air chamber 23c2 expands or contracts in the vertical direction of the figure by the air sent from the air chamber control unit 23c3, so that the base 231 and the flexible display 22 are Unevenness B is formed by pushing up or down.

〔ソフトウェアによる実現例〕
最後に、表示装置1、12、13の制御部3の各ブロックは、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェア的に実現してもよい。
[Example of software implementation]
Finally, each block of the control unit 3 of the display devices 1, 12, and 13 may be realized by hardware by a logic circuit formed on an integrated circuit (IC chip), or may be a CPU (Central Processing Unit). You may implement | achieve by software using.

後者の場合、表示装置1、12、13は、各機能を実現するプログラムの命令を実行するCPU、上記プログラムを格納したROM(Read Only Memory)、上記プログラムを展開するRAM(Random Access Memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである表示装置1、12、13の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、表示装置1、12、13に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。   In the latter case, the display devices 1, 12, and 13 include a CPU that executes instructions of a program that realizes each function, a ROM (Read Only Memory) that stores the program, a RAM (Random Access Memory) that expands the program, A storage device (recording medium) such as a memory for storing the program and various data is provided. The object of the present invention is to record the program code (execution format program, intermediate code program, source program) of the control program of the display device 1, 12, 13 which is software that realizes the above-described functions in a computer-readable manner. This can also be achieved by supplying the recording medium to the display devices 1, 12, and 13 and reading and executing the program code recorded on the recording medium by the computer (or CPU or MPU).

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク類、ICカード(メモリカードを含む)/光カード等のカード類、マスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ類、あるいはPLD(Programmable logic device)やFPGA(Field Programmable Gate Array)等の論理回路類などを用いることができる。   Examples of the recording medium include tapes such as magnetic tapes and cassette tapes, magnetic disks such as floppy (registered trademark) disks / hard disks, and disks including optical disks such as CD-ROM / MO / MD / DVD / CD-R. IC cards (including memory cards) / optical cards, semiconductor memories such as mask ROM / EPROM / EEPROM / flash ROM, PLD (Programmable logic device), FPGA (Field Programmable Gate Array), etc. Logic circuits can be used.

また、表示装置1、12、13を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(Virtual Private Network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL(Asymmetric Digital Subscriber Line)回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、IEEE802.11無線、HDR(High Data Rate)、NFC(Near Field Communication)、DLNA(Digital Living Network Alliance)、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。   The display devices 1, 12, and 13 may be configured to be connectable to a communication network, and the program code may be supplied via the communication network. The communication network is not particularly limited as long as it can transmit the program code. For example, the Internet, intranet, extranet, LAN, ISDN, VAN, CATV communication network, virtual private network, telephone line network, mobile communication network, satellite communication network, and the like can be used. The transmission medium constituting the communication network may be any medium that can transmit the program code, and is not limited to a specific configuration or type. For example, even with wired lines such as IEEE 1394, USB, power line carrier, cable TV line, telephone line, and ADSL (Asymmetric Digital Subscriber Line) line, infrared rays such as IrDA and remote control, Bluetooth (registered trademark), IEEE 802.11 wireless, HDR ( It can also be used by radio such as High Data Rate (NFC), Near Field Communication (NFC), Digital Living Network Alliance (DLNA), mobile phone network, satellite line, and digital terrestrial network. The present invention can also be realized in the form of a computer data signal embedded in a carrier wave in which the program code is embodied by electronic transmission.

このように、本明細書においては、手段とは必ずしも物理的手段を意味せず、各手段の機能がソフトウェアによって実現される場合も含む。また、1つの手段の機能が2つ以上の物理的手段により実現されてもよいし、2つ以上の手段の機能が1つの物理的手段により実現されてもよい。   As described above, in this specification, the means does not necessarily mean a physical means, and includes the case where the function of each means is realized by software. Further, the function of one means may be realized by two or more physical means, and the function of two or more means may be realized by one physical means.

本発明は、視覚的立体感を伴って画像を提示する装置、特に、テレビ、携帯電話、パソコン等の表示装置に好適に利用できる。   INDUSTRIAL APPLICABILITY The present invention can be suitably used for a device that presents an image with a visual stereoscopic effect, in particular, a display device such as a television, a mobile phone, or a personal computer.

1 表示装置
6 人感センサ
7 照度センサ
12 表示装置
13 表示装置
21 タッチパネル
22 フレキシブルディスプレイ
23 凹凸形成部
36 凹凸制御部(凹凸制御手段)
60 ユーザ
90 光源
91 影形成領域
341 凹凸情報取得部(凹凸情報取得手段)
343 第1凹凸情報補正部(第1の凹凸情報補正手段)
344 第2凹凸情報補正部(第2の凹凸情報補正手段)
A 画像
B 凹凸
S104 凹凸情報取得ステップ
S105 凹凸制御ステップ
S106 凹凸形成ステップ
DESCRIPTION OF SYMBOLS 1 Display apparatus 6 Human sensor 7 Illuminance sensor 12 Display apparatus 13 Display apparatus 21 Touch panel 22 Flexible display 23 Concavity and convexity formation part 36 Concavity and convexity control part (Concavity and convexity control means)
60 User 90 Light source 91 Shadow formation area 341 Concavity and convexity information acquisition unit (Concavity and convexity information acquisition means)
343 1st uneven | corrugated information correction | amendment part (1st uneven | corrugated information correction means)
344 Second unevenness information correction unit (second unevenness information correction unit)
A image B unevenness S104 unevenness information acquisition step S105 unevenness control step S106 unevenness formation step

Claims (10)

画像を表示する伸縮可能なフレキシブルディスプレイと、
上記フレキシブルディスプレイに視認可能な凹凸を形成するための凹凸形成部と、
上記フレキシブルディスプレイに表示される画像に対応した凹凸を形成させるための凹凸情報を取得する凹凸情報取得手段と、
上記凹凸情報取得手段が取得した凹凸情報に基づいて、上記凹凸を上記画像と重畳させて上記フレキシブルディスプレイに視認可能に形成させるように上記凹凸形成部を制御する凹凸制御手段と、を備えることを特徴とする表示装置。
Flexible flexible display for displaying images,
An unevenness forming part for forming an unevenness visible to the flexible display;
Concavity and convexity information acquisition means for acquiring concavity and convexity information for forming concavities and convexities corresponding to the image displayed on the flexible display,
And a concavo-convex control means for controlling the concavo-convex forming section so as to form the concavo-convex on the flexible display so as to be visible on the flexible display based on the concavo-convex information acquired by the concavo-convex information acquiring means. Characteristic display device.
上記凹凸情報取得手段は、上記フレキシブルディスプレイに表示される画像を解析して、当該画像に対応した凹凸情報を生成することを特徴とする請求項1に記載の表示装置。   The display device according to claim 1, wherein the unevenness information acquiring unit analyzes an image displayed on the flexible display and generates unevenness information corresponding to the image. 上記フレキシブルディスプレイの画像表示面上に、伸縮可能なタッチパネルをさらに備え、
上記凹凸形成部は、上記フレキシブルディスプレイとともに上記タッチパネルを変形させることにより、上記タッチパネルに視認可能な凹凸を形成することを特徴とする請求項1または2に記載の表示装置。
The image display surface of the flexible display further includes an extendable touch panel,
The display device according to claim 1, wherein the concavo-convex forming portion forms a concavo-convex visible to the touch panel by deforming the touch panel together with the flexible display.
上記フレキシブルディスプレイを見ている人の位置を検知する人感センサと、
上記人感センサが検知した人の位置に応じて上記凹凸情報を補正する第1の凹凸情報補正手段と、を備えることを特徴とする請求項1から3のいずれか1項に記載の表示装置。
A human sensor for detecting the position of the person watching the flexible display;
4. The display device according to claim 1, further comprising a first unevenness information correcting unit that corrects the unevenness information according to a position of the person detected by the human sensor. 5. .
上記第1の凹凸情報補正手段は、上記人感センサの検知した人の位置に対して上記フレキシブルディスプレイの表示面が向くように、上記凹凸情報を補正することを特徴とする請求項4に記載の表示装置。   The said 1st uneven | corrugated information correction | amendment means correct | amends the said uneven | corrugated information so that the display surface of the said flexible display may face the position of the person which the said human sensitive sensor detected. Display device. 光源の位置を検知する照度センサと、
上記照度センサの検知した光源の位置に応じて上記凹凸情報を補正する第2の凹凸情報補正手段と、を備えることを特徴とする請求項1から5のいずれか1項に記載の表示装置。
An illuminance sensor that detects the position of the light source;
6. The display device according to claim 1, further comprising a second unevenness information correcting unit that corrects the unevenness information in accordance with a position of a light source detected by the illuminance sensor.
上記第2の凹凸情報補正手段は、上記照度センサが検知した光源の位置からの光を遮蔽することによって、上記画像中の影の領域である影形成領域に影が形成されるように、上記凹凸情報を補正することを特徴とする請求項6に記載の表示装置。   The second concavo-convex information correcting unit is configured to shield the light from the position of the light source detected by the illuminance sensor so that a shadow is formed in a shadow forming region that is a shadow region in the image. The display device according to claim 6, wherein the unevenness information is corrected. 画像を表示する伸縮可能なフレキシブルディスプレイを備えた表示装置の制御方法であって、
上記表示装置は、上記フレキシブルディスプレイに視認可能な凹凸を形成するための凹凸形成部を備えるものであり、
上記制御方法は、上記フレキシブルディスプレイに表示される画像に対応した凹凸を形成するための凹凸情報を取得する凹凸情報取得ステップと、
上記凹凸情報取得ステップにて取得した凹凸情報に基づいて、上記凹凸を上記画像と重畳させて上記フレキシブルディスプレイに視認可能に形成するように上記凹凸形成部を制御する凹凸制御ステップと、を含む表示装置の制御方法。
A control method for a display device including a flexible display that can expand and contract to display an image,
The display device includes a concavo-convex forming portion for forming a concavo-convex visible on the flexible display,
The control method includes a concavo-convex information acquisition step for acquiring concavo-convex information for forming the concavo-convex corresponding to the image displayed on the flexible display;
An unevenness control step for controlling the unevenness forming part so as to form the unevenness so as to be visible on the flexible display based on the unevenness information acquired in the unevenness information acquisition step. Control method of the device.
請求項1から7のいずれか1項に記載の表示装置の上記各手段としてコンピュータを機能させるための制御プログラム。   The control program for functioning a computer as said each means of the display apparatus of any one of Claim 1 to 7. 請求項9に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。   A computer-readable recording medium on which the control program according to claim 9 is recorded.
JP2012039295A 2012-02-24 2012-02-24 Display device, method of controlling display device, control program, and computer readable recording medium recording the control program Pending JP2013174738A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012039295A JP2013174738A (en) 2012-02-24 2012-02-24 Display device, method of controlling display device, control program, and computer readable recording medium recording the control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012039295A JP2013174738A (en) 2012-02-24 2012-02-24 Display device, method of controlling display device, control program, and computer readable recording medium recording the control program

Publications (1)

Publication Number Publication Date
JP2013174738A true JP2013174738A (en) 2013-09-05

Family

ID=49267690

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012039295A Pending JP2013174738A (en) 2012-02-24 2012-02-24 Display device, method of controlling display device, control program, and computer readable recording medium recording the control program

Country Status (1)

Country Link
JP (1) JP2013174738A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013196000A (en) * 2012-03-21 2013-09-30 Samsung Electronics Co Ltd Method and apparatus for displaying on electronic device
JP2017049274A (en) * 2015-08-31 2017-03-09 株式会社Nsc Display unit
JP2018504012A (en) * 2014-11-29 2018-02-08 クンシャン ニュー フラット パネル ディスプレイ テクノロジー センター カンパニー リミテッド 3D flexible display panel and display method thereof
KR101852062B1 (en) * 2016-01-21 2018-04-25 한양대학교 에리카산학협력단 A flexible display device and a method for operating it
US10685591B2 (en) 2016-01-26 2020-06-16 Samsung Display Co., Ltd. Display device comprising a magnetic generator for controlling the position of a portion of the display surface
JP2021131553A (en) * 2015-09-30 2021-09-09 株式会社半導体エネルギー研究所 Display system
JP7429748B2 (en) 2021-12-21 2024-02-08 エルジー ディスプレイ カンパニー リミテッド Display panel and display device including it

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013196000A (en) * 2012-03-21 2013-09-30 Samsung Electronics Co Ltd Method and apparatus for displaying on electronic device
JP2018504012A (en) * 2014-11-29 2018-02-08 クンシャン ニュー フラット パネル ディスプレイ テクノロジー センター カンパニー リミテッド 3D flexible display panel and display method thereof
JP2017049274A (en) * 2015-08-31 2017-03-09 株式会社Nsc Display unit
JP2021131553A (en) * 2015-09-30 2021-09-09 株式会社半導体エネルギー研究所 Display system
JP7064039B2 (en) 2015-09-30 2022-05-09 株式会社半導体エネルギー研究所 Display system
KR101852062B1 (en) * 2016-01-21 2018-04-25 한양대학교 에리카산학협력단 A flexible display device and a method for operating it
US10685591B2 (en) 2016-01-26 2020-06-16 Samsung Display Co., Ltd. Display device comprising a magnetic generator for controlling the position of a portion of the display surface
JP7429748B2 (en) 2021-12-21 2024-02-08 エルジー ディスプレイ カンパニー リミテッド Display panel and display device including it

Similar Documents

Publication Publication Date Title
US10652522B2 (en) Varying display content based on viewpoint
JP2013174738A (en) Display device, method of controlling display device, control program, and computer readable recording medium recording the control program
AU2021347112B2 (en) Methods for manipulating objects in an environment
US9495805B2 (en) Three dimensional (3D) display terminal apparatus and operating method thereof
US8217997B2 (en) Interactive display system
US20130318479A1 (en) Stereoscopic user interface, view, and object manipulation
KR20150046105A (en) System and method for perceiving images with multimodal feedback
US9703400B2 (en) Virtual plane in a stylus based stereoscopic display system
US10891800B1 (en) Providing features of an electronic product in an augmented reality environment
JP2012256214A (en) Information processing device, information processing method, and program
US11402965B2 (en) Object display method and apparatus for simulating feeling of blind person and storage medium
TW201336294A (en) Stereoscopic imaging system and method thereof
US20170185147A1 (en) A method and apparatus for displaying a virtual object in three-dimensional (3d) space
US20150033157A1 (en) 3d displaying apparatus and the method thereof
US9348485B2 (en) Image processing apparatus and method, and computer program product
JP5341126B2 (en) Detection area expansion device, display device, detection area expansion method, program, and computer-readable recording medium
CN102307308B (en) Method and equipment for generating three-dimensional image on touch screen
US11057612B1 (en) Generating composite stereoscopic images usually visually-demarked regions of surfaces
CN104598035A (en) Cursor display method based on 3D image display, intelligent equipment and intelligent system
CN106131533A (en) A kind of method for displaying image and terminal
CN103164142A (en) Method of adjusting screen touch point position of picture-in-picture interface and electronic equipment
CN111612916A (en) Movement within an environment
CN110968248A (en) Generating 3D models of fingertips for visual touch detection
WO2016102948A1 (en) Coherent touchless interaction with stereoscopic 3d images
KR101288590B1 (en) Apparatus and method for motion control using infrared radiation camera