JP2013005237A - Projection display device, portable device, projection display method, and projection display program - Google Patents

Projection display device, portable device, projection display method, and projection display program Download PDF

Info

Publication number
JP2013005237A
JP2013005237A JP2011134497A JP2011134497A JP2013005237A JP 2013005237 A JP2013005237 A JP 2013005237A JP 2011134497 A JP2011134497 A JP 2011134497A JP 2011134497 A JP2011134497 A JP 2011134497A JP 2013005237 A JP2013005237 A JP 2013005237A
Authority
JP
Japan
Prior art keywords
projection
image
projection display
display device
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011134497A
Other languages
Japanese (ja)
Other versions
JP5595337B2 (en
Inventor
Shigeki Yokoi
茂樹 横井
Takuya Tanaka
拓也 田中
Hiroyuki Ito
博之 伊藤
Yong Yi
瑩 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2011134497A priority Critical patent/JP5595337B2/en
Priority to PCT/JP2012/003869 priority patent/WO2012172797A1/en
Publication of JP2013005237A publication Critical patent/JP2013005237A/en
Application granted granted Critical
Publication of JP5595337B2 publication Critical patent/JP5595337B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1639Details related to the display arrangement, including those related to the mounting of the display in the housing the display being based on projection
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3188Scale or resolution adjustment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0492Change of orientation of the displayed image, e.g. upside-down, mirrored
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/08Cursor circuits
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports

Abstract

PROBLEM TO BE SOLVED: To provide a projection display device etc. capable of easy acquisition of a satisfactory viewing environment though there are many viewers.SOLUTION: The projection display device, that is a portable device 1 which projects light 15b and displays an image on a surface for projection, comprises an image database 12 for storing images; an acceleration sensor 21 and a tilt information processing unit 13 for detecting the tilt of the portable device 1; an operation pattern determination part 41 which determines, on the basis of the detected tilt, the operation pattern of an image to be displayed on the surface for projection; an image processing part 14 for performing image processing corresponding to the determined operation pattern, on the images stored in the image database 12; and a projection part 15 which projects light for displaying the processed image on the surface for projection.

Description

本発明は、投射表示装置、携帯機器、投射表示方法及び投射表示プログラムに関する。特に、光を投射し、被投射面に画像を表示する投射表示装置等に関する。   The present invention relates to a projection display device, a portable device, a projection display method, and a projection display program. In particular, the present invention relates to a projection display device that projects light and displays an image on a projection surface.

従来、複数人が集まっている場所で、1台の携帯電話に保存された写真を見る場合、携帯電話を回して見ることが行われている。また、プロジェクタ機能を搭載した携帯電話の場合、壁や天井やテーブルに写真を映すことが行われている。   2. Description of the Related Art Conventionally, when viewing photos stored on a single mobile phone at a place where multiple people are gathering, turning the mobile phone to view the photos. In the case of a mobile phone equipped with a projector function, a photograph is projected on a wall, ceiling, or table.

従来、テーブルに写真を投射する装置として、入力画像を第1の角度だけ回転させた画像と第2の角度だけ回転させた画像を1画面に合成し、この1画面の出力画像を投射するものが知られている(例えば、特許文献1参照)。これにより、テーブルを囲む複数の視聴者の視認性が向上する。   Conventionally, as a device for projecting a photograph on a table, an image obtained by rotating an input image by a first angle and an image rotated by a second angle are combined into one screen, and an output image of this one screen is projected. Is known (see, for example, Patent Document 1). Thereby, the visibility of a plurality of viewers surrounding the table is improved.

特開2010−237347号公報JP 2010-237347 A

しかしながら、上記従来の投射表示装置では、出力画像が投射された画面に角度の異なる(例えば反対向き)の2つの画像が表示されるので、3人以上の視聴者が画面を見る際、正しい向きで写真等の画像を閲覧することができないことがある。これにより、良好な視聴環境が得られない。また、投射の仕方に自由度がなく、状況に応じた適切な投射を行うことができなかった。   However, in the conventional projection display device, two images with different angles (for example, opposite directions) are displayed on the screen on which the output image is projected. Therefore, when three or more viewers view the screen, the correct orientation is displayed. You may not be able to view images such as photos. Thereby, a favorable viewing environment cannot be obtained. Further, there is no degree of freedom in the way of projection, and appropriate projection according to the situation could not be performed.

本発明は、上記従来の事情に鑑みてなされたものであり、視聴者が多数であっても、容易に良好な視聴環境を得ることができる投射表示装置、携帯機器、投射表示方法及び投射表示プログラムを提供することを目的とする。   The present invention has been made in view of the above-described conventional circumstances, and can provide a projection display device, a portable device, a projection display method, and a projection display that can easily obtain a good viewing environment even when there are many viewers. The purpose is to provide a program.

本発明の投射表示装置は、光を投射し、被投射面に画像を表示する投射表示装置であって、画像を記憶する画像記憶部と、前記投射表示装置の傾きを検出する傾き検出部と、前記傾き検出部によって検出された傾きに基づき、前記被投射面に表示される画像の動作パターンを決定する動作パターン決定部と、前記動作パターン決定部によって決定された動作パターンに対応する画像処理を、前記画像記憶部に記憶された画像に対して行う画像処理部と、前記画像処理部によって画像処理が行われた画像を前記被投射面に表示するための光を投射する投射部と、を備える。   The projection display device of the present invention is a projection display device that projects light and displays an image on a projection surface, an image storage unit that stores an image, and an inclination detection unit that detects an inclination of the projection display device; , An operation pattern determination unit that determines an operation pattern of an image displayed on the projection surface based on the inclination detected by the inclination detection unit, and image processing corresponding to the operation pattern determined by the operation pattern determination unit An image processing unit for the image stored in the image storage unit, a projection unit for projecting light for displaying an image subjected to image processing by the image processing unit on the projection surface, Is provided.

この構成によれば、視聴者が多数であっても、容易に良好な視聴環境を得ることができる。また、動作パターンを変えることで、投射のし方を容易に変更することができ、状況に応じた適切な投射を行うことができる。   According to this configuration, a good viewing environment can be easily obtained even when there are many viewers. In addition, by changing the operation pattern, it is possible to easily change the way of projection, and it is possible to perform appropriate projection according to the situation.

また、本発明の投射表示方法は、投射部から光を投射し、被投射面に画像を表示する投射表示装置における投射表示方法であって、前記投射表示装置の傾きを検出するステップと、前記検出された傾きに基づき、前記被投射面に表示される画像の動作パターンを決定するステップと、前記決定された動作パターンに対応する画像処理を、画像を記憶する画像記憶部に記憶された画像に対して行うステップと、前記画像処理が行われた画像を前記被投射面に表示するための光を前記投射部から投射するステップと、を有する。   The projection display method of the present invention is a projection display method in a projection display device that projects light from a projection unit and displays an image on a projection surface, the step of detecting the inclination of the projection display device, An image stored in an image storage unit for storing an image, a step of determining an operation pattern of an image displayed on the projection surface based on the detected inclination, and image processing corresponding to the determined operation pattern And a step of projecting light from the projection unit for displaying the image on which the image processing has been performed on the projection surface.

この方法によれば、視聴者が多数であっても、容易に良好な視聴環境を得ることができる。また、動作パターンを変えることで、投射のし方を容易に変更することができ、状況に応じた適切な投射を行うことができる。   According to this method, even if there are many viewers, a favorable viewing environment can be easily obtained. In addition, by changing the operation pattern, it is possible to easily change the way of projection, and it is possible to perform appropriate projection according to the situation.

また、本発明の投射表示プログラムは、上記投射表示方法の各ステップをコンピュータに実行させるためのプログラムである。   Moreover, the projection display program of this invention is a program for making a computer perform each step of the said projection display method.

このプログラムによれば、視聴者が多数であっても、容易に良好な視聴環境を得ることができる。また、動作パターンを変えることで、投射のし方を容易に変更することができ、状況に応じた適切な投射を行うことができる。   According to this program, even if there are many viewers, a favorable viewing environment can be easily obtained. In addition, by changing the operation pattern, it is possible to easily change the way of projection, and it is possible to perform appropriate projection according to the situation.

本発明によれば、視聴者が多数であっても、容易に良好な視聴環境を得ることができる。   According to the present invention, a good viewing environment can be easily obtained even when there are many viewers.

本発明の実施形態における携帯機器の構成例を示すブロック図The block diagram which shows the structural example of the portable apparatus in embodiment of this invention. (A)〜(C)本発明の実施形態における携帯機器の外観例を示す図(A)-(C) The figure which shows the example of an external appearance of the portable apparatus in embodiment of this invention. (A)〜(C)本発明の実施形態における携帯機器によって投射された写真を多数の視聴者が閲覧する様子の一例を示す図(A)-(C) The figure which shows an example of a mode that many viewers browse the photograph projected with the portable apparatus in embodiment of this invention. (A)〜(B)本発明の実施形態における回転表示速度の設定動作例を示す図(A)-(B) The figure which shows the example of a setting operation | movement of the rotation display speed in embodiment of this invention. (A)〜(C)本発明の実施形態における種々の投射パターンを示す図(A)-(C) The figure which shows the various projection patterns in embodiment of this invention. (A)〜(B)本発明の実施形態における投射パターンを変更して回転モードを切り替える操作の一例を示す図(A)-(B) The figure which shows an example of operation which changes the projection pattern in embodiment of this invention, and switches rotation mode (A)〜(B)本発明の実施形態における携帯機器の傾きに応じて投射画面に表示される画像の枚数の一例を示す図(A)-(B) The figure which shows an example of the number of the images displayed on a projection screen according to the inclination of the portable apparatus in embodiment of this invention. 本発明の実施形態における携帯機器のUI画面の一例を示す図The figure which shows an example of UI screen of the portable apparatus in embodiment of this invention 本発明の実施形態における投射表示動作手順の一例を示すフローチャートThe flowchart which shows an example of the projection display operation | movement procedure in embodiment of this invention. 本発明の実施形態における投射される画像をスライドショー的に入れ替えるUI画面の一例を示す図The figure which shows an example of UI screen which replaces the image projected in embodiment of this invention like a slide show 本発明の実施形態における投射に関する設定値が入力可能なUI画面の一例を示す図The figure which shows an example of UI screen which can input the setting value regarding projection in embodiment of this invention (A)〜(C)本発明の実施形態における座席パターンに対応する投射画面の一例を示す図(A)-(C) The figure which shows an example of the projection screen corresponding to the seat pattern in embodiment of this invention (A)〜(B)本発明の実施形態におけるUI操作で回転表示速度を変更する操作の一例を説明する図(A)-(B) The figure explaining an example of operation which changes rotation display speed by UI operation in embodiment of this invention. (A)〜(B)本発明の実施形態におけるカメラで撮影された画像から投射枚数を設定する操作の一例を示す図(A)-(B) The figure which shows an example of operation which sets the number of projections from the image image | photographed with the camera in embodiment of this invention.

以下、本発明の実施形態における投射表示装置、携帯機器、投射表示方法、及び投射表示プログラムについて図面を用いて説明する。本実施形態の投射表示装置は、例えば、プロジェクタ機能を搭載した携帯機器に適用される。以下、投射表示装置として携帯機器を例示する。   Hereinafter, a projection display device, a portable device, a projection display method, and a projection display program according to an embodiment of the present invention will be described with reference to the drawings. The projection display device of the present embodiment is applied to, for example, a portable device equipped with a projector function. Hereinafter, a portable device will be exemplified as the projection display device.

図1は本発明の実施形態における投射表示装置としての携帯機器1の構成例を示すブロック図である。携帯機器1は、UI処理部11、画像データベース12、傾き情報処理部13、画像処理部14、投射部15、表示部18、通信部25、および画像認識処理部31を有して構成される。   FIG. 1 is a block diagram illustrating a configuration example of a portable device 1 as a projection display device according to an embodiment of the present invention. The mobile device 1 includes a UI processing unit 11, an image database 12, an inclination information processing unit 13, an image processing unit 14, a projection unit 15, a display unit 18, a communication unit 25, and an image recognition processing unit 31. .

傾き情報処理部13には、携帯機器1内に配置された加速度センサ21が接続される。傾き情報処理部13は、後述するように、加速度センサ21から得られる携帯機器1の傾き(傾斜角度)や、携帯機器1が傾く時の回転速度(傾斜速度)などを検出する。加速度センサ21および傾き情報処理部13は傾き検出部に相当する。なお、加速度センサとは、地磁気センサ、ジャイロセンサ、6軸センサなどのいずれかもしくは組み合わせにより、傾きを検出できるセンサであれば良い。   An acceleration sensor 21 disposed in the mobile device 1 is connected to the tilt information processing unit 13. As will be described later, the tilt information processing unit 13 detects the tilt (tilt angle) of the mobile device 1 obtained from the acceleration sensor 21, the rotation speed (tilt speed) when the mobile device 1 tilts, and the like. The acceleration sensor 21 and the tilt information processing unit 13 correspond to a tilt detection unit. The acceleration sensor may be any sensor that can detect the inclination by any one or combination of a geomagnetic sensor, a gyro sensor, a six-axis sensor, and the like.

UI処理部11は、動作パターン決定部41を有する。動作パターン決定部41は、傾き情報処理部13から得られる傾き情報をもとに動作パターンを生成する。ここで、動作パターンとは、投射画面(被投射面)に表示される画像の数(投射枚数)、大きさ、回転(スライド)パターン、回転方向、回転速度などを表すものであり、画像処理部14で画像処理を行うためのパラメータで決定される。   The UI processing unit 11 includes an operation pattern determination unit 41. The motion pattern determination unit 41 generates a motion pattern based on the tilt information obtained from the tilt information processing unit 13. Here, the operation pattern represents the number (number of projections) of images displayed on the projection screen (projected surface), size, rotation (slide) pattern, rotation direction, rotation speed, and the like. It is determined by parameters for performing image processing in the unit 14.

また、UI処理部11には、UI画面等の各種の情報を表示する表示部18、使用者が入力操作可能なタッチパネル23およびキー24が接続される。キー24には、投射機能のオン/オフを行う投射ボタン24aが配置されている。なお、投射ボタン24aはソフトキーでも良い。または、直接投射ボタン24aに対する入力操作がなくても、携帯機器1の筐体が一定時間以上所定角度で持続した場合、オン/オフとしても良い。   The UI processing unit 11 is connected to a display unit 18 for displaying various information such as a UI screen, a touch panel 23 that can be input by a user, and keys 24. The key 24 is provided with a projection button 24a for turning on / off the projection function. The projection button 24a may be a soft key. Or even if there is no input operation with respect to the direct projection button 24a, when the housing | casing of the portable apparatus 1 continues at a predetermined angle more than fixed time, it is good also as ON / OFF.

画像データベース12(画像記憶部)には、通信部25を介して外部装置(図示せず)と通信を行い、外部装置から入力された静止画および動画等の画像データが格納される。
また、携帯機器1のカメラ34で撮影した、画像や動画も格納される。
The image database 12 (image storage unit) communicates with an external device (not shown) via the communication unit 25 and stores image data such as still images and moving images input from the external device.
In addition, images and moving images taken by the camera 34 of the mobile device 1 are also stored.

画像処理部14は、変換処理部43、合成処理部44、および回転処理部45を有し、画像データベース12に格納された画像データに対し、画像処理を行い、投射用の映像データを生成して投射部15に出力する。   The image processing unit 14 includes a conversion processing unit 43, a composition processing unit 44, and a rotation processing unit 45, and performs image processing on the image data stored in the image database 12 to generate video data for projection. To the projection unit 15.

変換処理部43は、携帯機器1が傾くことによる投射面積に応じて、投射画面に表示される画像の枚数あるいは大きさを変更する。合成処理部44は、複数枚の画像を1画面に合成する。回転処理部45は、1画面に合成された複数枚もしくは1枚の画像の回転処理を行う。この回転処理では、連続的に回転するように画像が処理されてもよいし、所定の角度ごとに切り替わって回転するように画像が処理されてもよい。   The conversion processing unit 43 changes the number or size of images displayed on the projection screen according to the projection area when the mobile device 1 is tilted. The composition processing unit 44 composes a plurality of images into one screen. The rotation processing unit 45 performs rotation processing on a plurality of images or one image combined on one screen. In this rotation processing, the image may be processed so as to rotate continuously, or the image may be processed so as to be switched at predetermined angles.

投射部15は、投光窓15a(図2(A)参照)を有し、この投光窓15aを通して、映像データをもとにテーブル等に光15b(図3(A)参照)を投射する。   The projection unit 15 has a projection window 15a (see FIG. 2A), and projects light 15b (see FIG. 3A) onto a table or the like based on the video data through the projection window 15a. .

画像認識処理部31には、カメラ34が接続される。画像認識処理部31は、後述するように、カメラ34で撮影された画像から人物認識等を行い、視聴者の人数を認識する。   A camera 34 is connected to the image recognition processing unit 31. As will be described later, the image recognition processing unit 31 performs person recognition or the like from an image captured by the camera 34 and recognizes the number of viewers.

なお、UI処理部11、傾き情報処理部13、画像処理部14、画像認識処理部31等の各部の機能は、携帯機器1を制御するCPUがROMに格納されたプログラムを実行することにより実現される。   Note that the functions of each unit such as the UI processing unit 11, the tilt information processing unit 13, the image processing unit 14, and the image recognition processing unit 31 are realized by the CPU that controls the portable device 1 executing a program stored in the ROM. Is done.

図2(A)〜(C)は携帯機器1の外観例を示す図である。図2(A)に示すように、携帯機器1は筐体1aを有する。投射部15は、筐体1aの端部に設けられ、筐体1aの短手方向の軸aを中心に回動自在である。これにより、投光窓15aを筐体1aの端面もしくは裏面に向けることが可能である。   2A to 2C are diagrams showing an example of the appearance of the mobile device 1. As shown in FIG. 2A, the portable device 1 has a housing 1a. The projection unit 15 is provided at an end of the housing 1a and is rotatable about an axis a in the short direction of the housing 1a. Thereby, the light projection window 15a can be directed to the end surface or the back surface of the housing 1a.

投光窓15aを筐体1aの端面に向けることで、図2(B)に示すように、携帯機器1の先端からの投射が可能となる。一方、投光窓15aを筐体1aの裏面に向けることで、図2(C)に示すように、携帯機器1の裏面からの投射が可能となる。   By projecting the light projection window 15a toward the end surface of the housing 1a, projection from the front end of the portable device 1 becomes possible as shown in FIG. On the other hand, by directing the light projection window 15a toward the back surface of the housing 1a, projection from the back surface of the portable device 1 becomes possible as shown in FIG.

図3(A)〜(C)は携帯機器1によって投射された写真を多数の視聴者が閲覧する様子を示す図である。図3(A)は携帯機器1によって投射された写真を多数の視聴者が閲覧する様子を側方から見たものであり、図3(B)は上方から見たものである。ここでは、視聴者の1人が携帯機器1を操作してテーブル5のテーブル面に光15bを投射して映像を映し、残りの6人の視聴者がテーブル面に映し出された映像を視ている様子が示されている。テーブル面に映像として映し出された8枚の写真65が、7人の視聴者の前を通り過ぎるように旋回している。   FIGS. 3A to 3C are views showing how a large number of viewers browse photographs projected by the mobile device 1. FIG. 3A is a side view of a large number of viewers viewing a photograph projected by the mobile device 1, and FIG. 3B is a top view. Here, one of the viewers operates the mobile device 1 to project the light 15b on the table surface of the table 5 to project an image, and the remaining six viewers view the image projected on the table surface. The situation is shown. Eight photographs 65 projected as images on the table surface are swung so as to pass in front of seven viewers.

図3(C)はテーブル面に他の写真65が映し出される投射画面61を示す。この場合、連続した旋回ではなく、6枚の写真65はステップ的に切り替わるように旋回する。   FIG. 3C shows a projection screen 61 on which another photograph 65 is projected on the table surface. In this case, instead of continuous turning, the six photographs 65 turn so as to switch stepwise.

なお、本実施形態では、1枚の画像がその中心に対して回転する場合、1枚もしくは複数枚の画像がテーブル5等の周囲を連続的もしくはステップ的に旋回する場合、のいずれも同様に「回転」と称することにする。   In the present embodiment, the same applies to the case where one image rotates with respect to the center thereof, and the case where one or a plurality of images rotate continuously or stepwise around the table 5 or the like. This will be referred to as “rotation”.

この映し出された写真等の画像が旋回する際の回転表示速度は任意に設定可能である。図4(A)、(B)は回転表示速度の設定動作例を示す図である。画像の回転表示速度を、予め設定された所定時間で360°回転するように設定しておくことも可能である。   The rotational display speed when the projected image such as a photograph rotates can be arbitrarily set. FIGS. 4A and 4B are diagrams showing an example of setting operation of the rotational display speed. It is also possible to set the rotational display speed of the image to rotate 360 ° for a predetermined time set in advance.

本実施形態では、携帯機器1を傾斜させ、映し出された画像の回転を開始させる時の携帯機器1の傾斜速度に基づき、回転表示速度が設定される場合を示す。このように、携帯機器1を傾ける操作を行うことによって、回転の開始と回転表示速度の設定の両方を極めて簡単に行うことができる。   In this embodiment, the case where the rotation display speed is set based on the tilt speed of the mobile device 1 when the mobile device 1 is tilted and rotation of the projected image is started is shown. Thus, by performing the operation of tilting the portable device 1, both the start of rotation and the setting of the rotation display speed can be performed very easily.

図4(A)、(B)において、テーブル5の面に水平な方向をX−Y方向とし、テーブル5の面に対して垂直な方向をZ方向とする。図4(A)に示すように、携帯機器1をZ方向の縦位置からゆっくりと傾斜させ、Z方向に対する筐体1aの長手方向の傾きを加速度センサ21により検出する。この傾きが60°となる時点、つまり、携帯機器1の裏面から光を投射する際、光の投射方向(第1の方向)がZ方向に対して30°傾いた投射角度(傾斜角度)θ1になった時点で、画像の回転を開始し、さらに、その時点の傾斜速度を加速度センサ21により得る。   4A and 4B, a direction horizontal to the surface of the table 5 is defined as an XY direction, and a direction perpendicular to the surface of the table 5 is defined as a Z direction. As shown in FIG. 4A, the mobile device 1 is slowly tilted from the vertical position in the Z direction, and the acceleration sensor 21 detects the tilt in the longitudinal direction of the housing 1a with respect to the Z direction. When this inclination becomes 60 °, that is, when light is projected from the back surface of the mobile device 1, the projection angle (tilt angle) θ1 in which the light projection direction (first direction) is inclined by 30 ° with respect to the Z direction. At that time, the rotation of the image is started, and the inclination speed at that time is obtained by the acceleration sensor 21.

この傾斜速度が所定値以下である場合、テーブル5の面に投射された画像の回転表示速度は低速に設定される。一方、図4(B)に示すように、この傾斜速度が所定値を超える場合、テーブル5の面に投射された画像の回転表示速度は高速に設定される。このように、携帯機器1を傾ける際の傾斜速度で簡単に回転表示速度を変更することができ、操作が簡単になる。   When the tilt speed is equal to or lower than the predetermined value, the rotational display speed of the image projected on the surface of the table 5 is set to a low speed. On the other hand, as shown in FIG. 4B, when the tilt speed exceeds a predetermined value, the rotational display speed of the image projected on the surface of the table 5 is set to a high speed. Thus, the rotation display speed can be easily changed by the tilt speed when the portable device 1 is tilted, and the operation is simplified.

なお、傾斜角度θ1は、30°に限らず、任意の角度でよい。また、図4(A)、(B)では、携帯機器1の筐体1aの裏面に投光窓15aが位置する場合を示したが、筐体1aの長手方向/短手方向の端面、つまり携帯機器1の筐体のいずれかの面に位置する場合においても(図7(A)、(B)参照)、同様の動作が行われる。   The inclination angle θ1 is not limited to 30 °, and may be any angle. 4A and 4B show the case where the light projection window 15a is positioned on the back surface of the casing 1a of the portable device 1, the end face in the longitudinal / short direction of the casing 1a, that is, Even when it is located on any surface of the casing of the portable device 1 (see FIGS. 7A and 7B), the same operation is performed.

このように、動作パターン決定部41は、傾き検出部としての加速度センサ21および傾き情報処理部13によって検出された傾きが所定の角度に達した場合、被投射面に表示される画像の回転が開始するように、動作パターンを決定してもよい。   As described above, when the inclination detected by the acceleration sensor 21 serving as the inclination detecting unit and the inclination information processing unit 13 reaches a predetermined angle, the motion pattern determining unit 41 rotates the image displayed on the projection surface. An operational pattern may be determined to begin.

また、傾き検出部としての加速度センサ21および傾き情報処理部13は、第1の方向としてのZ方向の傾きを検出し、動作パターン決定部41は、Z方向の傾きが所定の角度に達した場合、被投射面に表示される画像の回転が開始するように、動作パターンを決定してもよい。   Further, the acceleration sensor 21 and the tilt information processing unit 13 as the tilt detecting unit detect the tilt in the Z direction as the first direction, and the motion pattern determining unit 41 has reached the predetermined angle in the Z direction. In this case, the operation pattern may be determined so that rotation of the image displayed on the projection surface starts.

これにより、携帯機器1の傾きに連動させて、画像の回転を容易に開始することができる。   Thereby, the rotation of the image can be easily started in conjunction with the inclination of the mobile device 1.

また、動作パターン決定部41は、傾き検出部としての加速度センサ21および傾き情報処理部13によって検出された傾きの傾斜速度が大きいほど、画像の回転が速くなるように、動作パターンを決定してもよい。   Further, the motion pattern determination unit 41 determines the motion pattern so that the rotation of the image becomes faster as the tilt speed of the tilt detected by the acceleration sensor 21 and the tilt information processing unit 13 as the tilt detection unit is larger. Also good.

また、傾き検出部としての加速度センサ21および傾き情報処理部13は、投射部15による光の投射方向である第1の方向としてのZ方向に対して直交する第2の方向としてのX−Y方向の傾きを検出し、動作パターン決定部41は、X−Y方向の傾きの傾斜速度が大きいほど、画像の回転が速くなるように、動作パターンを決定してもよい。   Further, the acceleration sensor 21 and the tilt information processing unit 13 as the tilt detection unit are XY as the second direction orthogonal to the Z direction as the first direction that is the light projection direction by the projection unit 15. The motion pattern determination unit 41 may determine the motion pattern so that the rotation of the image becomes faster as the tilt speed of the tilt in the XY direction is larger.

これにより、携帯機器1の傾斜速度に連動させて、画像の回転速度を容易に調整することができる。   Thereby, the rotation speed of the image can be easily adjusted in conjunction with the inclination speed of the mobile device 1.

また、本実施形態では、テーブル面に投射される画像の投射パターンは複数用意されている。図5(A)〜(C)は種々の投射パターンを示す図である。図5(A)では、テーブル面に投射された1枚の写真が単体で360°連続して右または左に回転するパターンAが示される。図5(B)では、テーブル面に投射された複数枚の写真が一方向に360°連続して右または左に旋回するパターンBが示される。図5(C)では、旋回する領域が2分割され、複数枚の写真が互いに反対向きに旋回するパターンCが示される。なお、これらのパターンでは、1周もしくは1回転し終わった段階で、未表示の新たな写真と入れ替え、連続して旋回もしくは回転が行われるようにしてもよい。   In the present embodiment, a plurality of projection patterns of images projected on the table surface are prepared. 5A to 5C are diagrams showing various projection patterns. FIG. 5A shows a pattern A in which a single photograph projected on the table surface is rotated 360 ° continuously to the right or left. FIG. 5B shows a pattern B in which a plurality of photographs projected on the table surface rotate 360 degrees continuously in one direction to the right or left. FIG. 5C shows a pattern C in which the turning area is divided into two and a plurality of photographs are turned in opposite directions. In these patterns, when one round or one rotation is completed, it may be replaced with a new photograph that has not been displayed, and swirling or rotation may be performed continuously.

本実施形態では、この投射パターンを変更して回転モードを切り替える操作は、視聴者が携帯機器1を把持して投射している状態において、実行可能である。図6(A)は投射パターンを変更して回転モードを切り替える操作を示す図である。図6(A)に示すように、携帯機器1を把持してテーブル5の面に投射している状態で、携帯機器1の長手方向に直交する短手方向(第2の方向)を左右に傾ける。このことにより、その傾き(傾斜角度)θ2が加速度センサ21によって検出され、投射パターンが変更可能である。したがって、極めて簡単な操作で回転モードの切り替えが可能となる。   In the present embodiment, the operation of changing the projection pattern and switching the rotation mode can be performed in a state where the viewer is holding and projecting the portable device 1. FIG. 6A is a diagram illustrating an operation of changing the projection pattern and switching the rotation mode. As shown in FIG. 6A, in the state where the portable device 1 is gripped and projected onto the surface of the table 5, the short direction (second direction) orthogonal to the longitudinal direction of the portable device 1 is set to the left and right. Tilt. Thus, the inclination (inclination angle) θ2 is detected by the acceleration sensor 21, and the projection pattern can be changed. Therefore, it is possible to switch the rotation mode with an extremely simple operation.

この傾斜角度θ2が所定の角度(例えば30°)以上になった時、傾ける方向が右あるいは左であるかによって、図6(B)に示すように、環状に変更される投射パターンの切り替え順序が異なる。例えば、投射パターンがパターンAの1枚右回りである場合、右に傾くと、1枚左回りに切り替わる。一旦、向きを戻した後、さらに、右に傾くと、パターンBの複数枚の右回りに切り替わる。同様に、投射パターンがパターンAの1枚右回りである場合、左に傾くと、パターンCの複数枚2分割に切り替わる。   When the tilt angle θ2 becomes equal to or greater than a predetermined angle (for example, 30 °), depending on whether the tilt direction is right or left, as shown in FIG. Is different. For example, when the projection pattern is clockwise one pattern A, when the projection pattern is tilted to the right, the projection pattern is switched one counterclockwise. Once the orientation has been returned, when it is further tilted to the right, the pattern B is switched to a plurality of clockwise turns. Similarly, when the projection pattern is clockwise by one pattern A, when the projection pattern is tilted to the left, the pattern C is switched to a plurality of two divisions.

なお、傾けた時、被投射面の位置や形状が一瞬変化するが、すぐに携帯機器1の傾きは元に戻されるので、被投射面も元どおりとなる。   Note that when tilted, the position and shape of the projected surface change momentarily, but since the tilt of the portable device 1 is immediately restored, the projected surface is also restored.

このように、傾き検出部としての加速度センサ21および傾き情報処理部13は、第2の方向としてのX−Y方向の傾きを検出し、動作パターン決定部41は、X−Y方向の傾きに基づき、被投射面に表示される画像の回転モードを切り替えてもよい。これにより、携帯機器1の傾斜方向に連動させて、画像の回転モードを容易に設定することができる。   As described above, the acceleration sensor 21 and the tilt information processing unit 13 as the tilt detection unit detect the tilt in the XY direction as the second direction, and the motion pattern determination unit 41 determines the tilt in the XY direction. Based on this, the rotation mode of the image displayed on the projection surface may be switched. Accordingly, the image rotation mode can be easily set in conjunction with the tilt direction of the mobile device 1.

図7(A)〜(B)は携帯機器1の傾きに応じて投射画面に表示される画像の枚数を示す図である。ここでは、携帯機器1の先端面に投光窓15a(図2(A)参照)が向けられている。図7(A)に示すように、携帯機器1の傾斜角度(投射角度)θ1が小さい場合、テーブル5に映し出される投射画面61の面積は小さい。一方、図7(B)に示すように、携帯機器1の傾斜角度(投射角度)θ1が大きい場合、テーブル5に映し出される投射画面63の面積は大きい。   7A to 7B are diagrams showing the number of images displayed on the projection screen in accordance with the inclination of the mobile device 1. Here, the light projection window 15 a (see FIG. 2A) is directed to the distal end surface of the mobile device 1. As shown in FIG. 7A, when the tilt angle (projection angle) θ1 of the portable device 1 is small, the area of the projection screen 61 projected on the table 5 is small. On the other hand, as shown in FIG. 7B, when the tilt angle (projection angle) θ1 of the portable device 1 is large, the area of the projection screen 63 projected on the table 5 is large.

本実施形態では、投射画面の面積が大きい場合、小さい場合と比べ、映し出される写真の枚数が増える。投射画面61では7枚の写真、投射画面63では10枚の写真が映し出されている。これにより、投射画面が広がったことにより生じる空きスペースを有効に活用することができる。なお、写真の枚数を増減する代わりに、映し出される写真の大きさを大きくしてもよい。また、投射画面61の中央部の空きスペースを利用して、メッセージ等の各種の情報を映し出すようにしてもよい。   In the present embodiment, when the area of the projection screen is large, the number of photographs to be projected increases compared to the case where the projection screen is small. On the projection screen 61, seven photos are displayed, and on the projection screen 63, ten photos are displayed. Thereby, the empty space which arises when a projection screen spreads can be utilized effectively. Note that, instead of increasing or decreasing the number of photographs, the size of the photograph to be projected may be increased. Further, various information such as a message may be projected using an empty space at the center of the projection screen 61.

このように、動作パターン決定部41は、傾き検出部としての加速度センサ21および傾き情報処理部13によって検出された傾きが変わることによって変化する被投射面の大きさに応じて、被投射面に表示される画像の動作パターンを変化させてもよい。   As described above, the motion pattern determination unit 41 is applied to the projection surface according to the size of the projection surface that is changed by the change in the inclination detected by the acceleration sensor 21 and the inclination information processing unit 13 as the inclination detection unit. The operation pattern of the displayed image may be changed.

また、動作パターン決定部41は、被投射面の大きさに応じて、被投射面に表示される画像の大きさ及び枚数の少なくとも一方を変更させてもよい。   Further, the operation pattern determination unit 41 may change at least one of the size and the number of images displayed on the projection surface according to the size of the projection surface.

これにより、携帯機器1の傾きを変えるだけで、簡単に写真の枚数や大きさを変えることができ、極めて操作性が良くなる。   As a result, the number and size of photographs can be easily changed by simply changing the tilt of the portable device 1, and the operability is extremely improved.

図8は携帯機器1のUI画面71を示す図である。携帯機器1の表示部18に表示されるUI画面71には、投射画面をユーザにイメージさせるリボルバータイプのUI71aが表示される。このUI71aでは、投射する写真等の画像が設定される。また、UI画面71の下側には、設定候補となる画像群71bが表示される。ユーザは、画像群71bの中から所望の写真を選び、タッチ&スライド操作等でUI71aの所定の枠72に移動させることで、投射用の写真が事前に設定される。   FIG. 8 is a diagram showing a UI screen 71 of the mobile device 1. The UI screen 71 displayed on the display unit 18 of the mobile device 1 displays a revolver type UI 71a that makes the user imagine the projection screen. In the UI 71a, an image such as a photograph to be projected is set. Further, an image group 71b that is a setting candidate is displayed below the UI screen 71. The user selects a desired photograph from the image group 71b and moves it to a predetermined frame 72 of the UI 71a by touch & slide operation or the like, so that a projection photograph is set in advance.

次に、携帯機器1の投射表示動作について説明する。
図9は投射表示動作手順を示すフローチャートである。この動作を行わせる投射表示プログラムは、前述したように、携帯機器1内のROMに格納されており、投射ボタン24aがオンに操作されることで、携帯機器1内のCPUによって実現される。
Next, the projection display operation of the mobile device 1 will be described.
FIG. 9 is a flowchart showing a projection display operation procedure. The projection display program for performing this operation is stored in the ROM in the portable device 1 as described above, and is realized by the CPU in the portable device 1 when the projection button 24a is turned on.

まず、携帯機器1は、加速度センサ21によって検知され、傾き情報処理部13で処理された傾き情報から、動作パターン決定部41が縦位置の状態にあるか否かを判別する(ステップS1)。縦位置にない場合、携帯機器1はステップS1の処理を繰り返す。なお、縦位置の状態とは、Z方向に沿って携帯機器1の長手方向が位置する状態である。   First, the mobile device 1 determines whether or not the motion pattern determination unit 41 is in the vertical position from the tilt information detected by the acceleration sensor 21 and processed by the tilt information processing unit 13 (step S1). If it is not in the vertical position, the mobile device 1 repeats the process of step S1. The vertical position state is a state in which the longitudinal direction of the mobile device 1 is positioned along the Z direction.

一方、縦位置の状態になると、携帯機器1は、加速度センサ21を用いた筐体1aの傾き(傾斜角度)を検知する(ステップS2)。携帯機器1は、筐体1aの傾きが所定の角度、例えば30°に達したか否かを判別する(ステップS3、図4(A)、(B)参照)。   On the other hand, if it will be in the state of a vertical position, the portable apparatus 1 will detect the inclination (inclination angle) of the housing | casing 1a using the acceleration sensor 21 (step S2). The mobile device 1 determines whether or not the inclination of the housing 1a has reached a predetermined angle, for example, 30 ° (see step S3, FIGS. 4A and 4B).

筐体1aの傾きが30°未満である場合、携帯機器1はステップS2の処理に戻る。一方、筐体1aの傾きが30°に達した場合、携帯機器1は投射部15から光の投射を開始する(ステップS4)。光の投射が開始されると、テーブル5に映し出される投射画面には、写真などの画像が表示される。なお、光の投射は、30°傾斜した時点でなく、30°より大きいもしくは小さい角度に傾斜した時点でもよく、また、投射ボタン24aがオンに操作された時点で開始してもよい。   When the inclination of the housing 1a is less than 30 °, the portable device 1 returns to the process of step S2. On the other hand, when the inclination of the housing 1a reaches 30 °, the portable device 1 starts projecting light from the projection unit 15 (step S4). When light projection is started, an image such as a photograph is displayed on the projection screen projected on the table 5. The light projection may be performed not when it is inclined by 30 °, but when it is inclined at an angle larger or smaller than 30 °, or may be started when the projection button 24a is turned on.

このように、投射部15は、Z方向の傾きが所定の角度に達した場合、光の投射を開始してもよい。これにより、不意に投射部15から視聴者に向けて光が照射されることを防ぐことができる。   In this way, the projection unit 15 may start projecting light when the inclination in the Z direction reaches a predetermined angle. Thereby, it can prevent that light is unexpectedly irradiated toward the viewer from the projection part 15. FIG.

さらに、携帯機器1は、30°傾斜した時の傾斜速度を検出し、この傾斜速度に対応する、投射画面に表示される画像の回転表示速度を設定する(ステップS5)。   Furthermore, the portable device 1 detects the tilt speed when tilted by 30 °, and sets the rotational display speed of the image displayed on the projection screen corresponding to this tilt speed (step S5).

携帯機器1は、画像データベース12に登録されている画像データを読み出し、この画像データに対し、画像処理部14で、回転表示速度等の設定値になるように、画像の合成や回転など各種の画像処理を行う(ステップS6)。   The portable device 1 reads the image data registered in the image database 12, and the image processing unit 14 performs various kinds of image data such as composition and rotation on the image data so as to obtain a set value such as a rotation display speed. Image processing is performed (step S6).

光の投射中、携帯機器1は、筐体1aの左右の傾斜角度θ2が30°を超えたか否かを判別する(ステップS7)。筐体1aの左右の傾斜角度が30°を超えた場合、携帯機器1は、図6(B)に示した順序で投射パターンを変更し回転モードを切り替える(ステップS8)。この後、携帯機器1はステップS6の処理に戻る。一方、筐体1aの左右の傾斜角度が30°を超えていない場合、携帯機器1はそのままステップS9の処理に進む。   During the light projection, the portable device 1 determines whether or not the left / right inclination angle θ2 of the housing 1a exceeds 30 ° (step S7). When the left and right inclination angles of the housing 1a exceed 30 °, the portable device 1 changes the projection pattern in the order shown in FIG. 6B and switches the rotation mode (step S8). Thereafter, the mobile device 1 returns to the process of step S6. On the other hand, when the left and right inclination angles of the housing 1a do not exceed 30 °, the portable device 1 proceeds directly to the process of step S9.

携帯機器1は、図7(A)、(B)に示すように、筐体1aの傾斜角度θ1が変更されたか否かを判別する(ステップS9)。傾斜角度θ1が変更された場合、携帯機器1は、変更された傾斜角度θ1に対応する投射枚数等に設定を変更し、投射を継続する(ステップS10)。この後、携帯機器1はステップS6の処理に戻る。一方、ステップS9で傾斜角度θ1が変更されない場合、携帯機器1はそのままステップS11の処理に進む。   As shown in FIGS. 7A and 7B, the mobile device 1 determines whether or not the inclination angle θ1 of the housing 1a has been changed (step S9). When the inclination angle θ1 is changed, the portable device 1 changes the setting to the number of projections corresponding to the changed inclination angle θ1 and continues the projection (step S10). Thereafter, the mobile device 1 returns to the process of step S6. On the other hand, when the inclination angle θ1 is not changed in step S9, the mobile device 1 proceeds to the process of step S11 as it is.

この後、携帯機器1は、投射ボタン24aがオフに操作されたか否かを判別する(ステップS11)。オフに操作されていない場合、携帯機器1はステップS6の処理に戻る。一方、オフに操作された場合、携帯機器1は本動作を終了する。   Thereafter, the mobile device 1 determines whether or not the projection button 24a has been operated off (step S11). If not turned off, the mobile device 1 returns to the process of step S6. On the other hand, when operated off, the portable device 1 ends this operation.

このように、本実施形態の投射表示装置としての携帯機器1は、光15bを投射し、被投射面に画像を表示するものであり、画像を記憶する画像記憶部としての画像データベース12と、携帯機器1の傾きを検出する傾き検出部としての加速度センサ21および傾き情報処理部13と、検出された傾きに基づき、被投射面に表示される画像の動作パターンを決定する動作パターン決定部41と、決定された動作パターンに対応する画像処理を画像データベース12に記憶された画像に対して行う画像処理部14と、画像処理が行われた画像を被投射面に表示するための光を投射する投射部15と、を備える。   Thus, the portable device 1 as the projection display device of the present embodiment projects the light 15b and displays an image on the projection surface, and the image database 12 as an image storage unit that stores the image; The acceleration sensor 21 and the tilt information processing unit 13 serving as a tilt detection unit that detects the tilt of the mobile device 1, and the motion pattern determination unit 41 that determines the motion pattern of the image displayed on the projection surface based on the detected tilt. And an image processing unit 14 that performs image processing corresponding to the determined operation pattern on the image stored in the image database 12, and projecting light for displaying the image subjected to the image processing on the projection surface Projecting unit 15.

これにより、視聴者が多数であっても、容易に良好な視聴環境を得ることができる。また、投射のし方を容易に変更することができ、状況に応じた適切な投射を行うことができる。   Thereby, even if there are many viewers, a favorable viewing environment can be obtained easily. In addition, the way of projection can be easily changed, and appropriate projection according to the situation can be performed.

なお、本発明は、上記実施形態の構成に限られるものではなく、特許請求の範囲で示した機能、または本実施形態の構成が持つ機能が達成できる構成であればどのようなものであっても適用可能である。   The present invention is not limited to the configuration of the above-described embodiment, and any configuration can be used as long as the functions shown in the claims or the functions of the configuration of the present embodiment can be achieved. Is also applicable.

例えば、図8のUI画面71では、予め決められた枠72に写真等の画像をドラッグ&ドロップで挿入することで配置したが、スライドショーのように、順番に投射される画像を入れ替えることも可能である。図10は投射される画像をスライドショー的に入れ替えるUI画面71Aを示す図である。このUI画面71Aでは、投射される写真が8枚の環状の枠72aに配置される。また、投射される複数の写真が左回りに旋回する場合、右枠72bには、次に投射対象となる写真が配置され、左枠72cには、投射終了となる写真が配置される。一方、投射される複数の写真が右回りに旋回する場合、この逆の動作が行われる。   For example, in the UI screen 71 of FIG. 8, the images are arranged by dragging and dropping them in a predetermined frame 72 by drag and drop, but it is also possible to replace the images projected in order like a slide show. It is. FIG. 10 is a diagram showing a UI screen 71A for exchanging projected images in a slide show. In the UI screen 71A, the projected photograph is arranged in eight annular frames 72a. In addition, when a plurality of projected photographs turn counterclockwise, a photograph to be projected next is disposed in the right frame 72b, and a photograph that is to be projected is disposed in the left frame 72c. On the other hand, when a plurality of projected pictures turn clockwise, the reverse operation is performed.

そして、写真1枚分の回転角度に達する度、スライドショー的に1枚の写真がリングに入り、1枚の写真がリングから出ていく。この動作は、画像データベース12に登録されている最後の画像に達するまで、継続される。   Each time the rotation angle for one photo is reached, one photo enters the ring like a slide show, and one photo exits the ring. This operation is continued until the last image registered in the image database 12 is reached.

このように、連続的に自動で写真等の画像を投射することが可能である。たくさんの画像がある場合、画像を出し入れする手間が省け、操作性が向上する。   In this way, it is possible to automatically project images such as photographs continuously. When there are a lot of images, the trouble of putting in and out the images can be saved and the operability is improved.

この他にも、UI画面(操作部)により、投射に関する詳細が設定可能である。図11は投射に関する設定値が入力可能なUI画面71Bを示す図である。UI画面71Bの右上部には、座席パターンを選択するプルダウンメニュー73が表示される。このプルダウンメニュー73では、円卓、角卓あるいは任意が選択可能である。円卓の場合、円形に座席が配置されるテーブルが想定される。角卓の場合、各辺に座席が配置されるテーブルが想定される。任意の場合、例えばタッチ操作により座席の位置が移動自在に配置されるテーブルが想定される。例えば、楕円形のテーブルや8角形のテーブルであっても、座席の位置を指定することができる。そして、決められた座席パターンに合わせるように、投射画面には、写真等の画像が配置される。図12(A)〜(C)は座席パターンに対応する投射画面を示す図である。図12(A)は角卓のテーブル5aの場合を示す。図12(B)、(C)はそれぞれ任意の設定で楕円形のテーブル5b、8角形のテーブル5cの場合を示す。   In addition, details regarding projection can be set on the UI screen (operation unit). FIG. 11 is a diagram showing a UI screen 71B on which setting values related to projection can be input. In the upper right part of the UI screen 71B, a pull-down menu 73 for selecting a seat pattern is displayed. In this pull-down menu 73, a round table, a corner table, or an arbitrary one can be selected. In the case of a round table, a table in which seats are arranged in a circle is assumed. In the case of a round table, a table with seats on each side is assumed. In any case, for example, a table in which the position of the seat is movably arranged by a touch operation is assumed. For example, the position of the seat can be specified even for an elliptical table or an octagonal table. Then, an image such as a photograph is arranged on the projection screen so as to match the determined seat pattern. 12A to 12C are diagrams showing projection screens corresponding to seat patterns. FIG. 12A shows the case of a table 5a of a round table. FIGS. 12B and 12C show the case of an elliptical table 5b and an octagonal table 5c with arbitrary settings, respectively.

また、UI画面71Bには、投射枚数を設定可能であるプルダウンメニュー74、および投射方法を設定可能な選択ボタン75が表示される。プルダウンメニュー74では、テーブルを囲む視聴者の人数に合わせて枚数を設定可能である。図11では、8枚が設定されている。   In addition, a pull-down menu 74 capable of setting the number of projections and a selection button 75 capable of setting the projection method are displayed on the UI screen 71B. In the pull-down menu 74, the number can be set according to the number of viewers surrounding the table. In FIG. 11, eight sheets are set.

また、選択ボタン75には、画像の見せ方として、複数枚同じものを見せる「同一」と順次違う画像を見せる「リボルバー」の選択が可能である。   In addition, the selection button 75 can select “revolver” that shows different images sequentially as “same” that shows a plurality of images that are the same.

また、上記実施形態では、複数枚の写真の回転表示速度は、携帯機器1が30°傾く時の傾斜速度から決められたが、デフォルト値として、キー24あるいはタッチパネル23の入力操作によって決定されるようにしてもよい。   In the above embodiment, the rotational display speed of a plurality of photographs is determined from the tilt speed when the mobile device 1 tilts by 30 °, but is determined by the input operation of the key 24 or the touch panel 23 as a default value. You may do it.

図13(A)、(B)はUI操作で回転表示速度を変更する操作を説明する図である。図13(A)に示すように、携帯機器1Aにキー24の一部としてスピードセレクタ24bが設けられている場合、このスピードセレクタ24bの回転操作(右回り、左回り)をタッチパネル23やキー24を介して手動で行い、そのスピードあるいは操作量に応じて、動作パターン決定部41が回転表示速度を変更してもよい。   FIGS. 13A and 13B are diagrams illustrating an operation for changing the rotation display speed by the UI operation. As shown in FIG. 13A, when the speed selector 24b is provided as a part of the key 24 in the portable device 1A, the rotation operation (clockwise, counterclockwise) of the speed selector 24b is performed by the touch panel 23 or the key 24. The operation pattern determination unit 41 may change the rotation display speed according to the speed or the operation amount.

なお、スピードセレクタ24bの回転操作を用いる代わりに、タッチパネル23に対し、回転を表すフリック操作を行ってもよい。また、タッチパネル23やキー24を介した手動による回転の設定と、あらかじめ所定時間で360°回転するように設定された自動回転とを切り替え可能であってもよい。これにより、回転表示速度の設定を簡単にすることができ、また、後から容易に変更することが可能である。   Instead of using the rotation operation of the speed selector 24b, a flick operation representing rotation may be performed on the touch panel 23. Further, it may be possible to switch between setting of manual rotation via the touch panel 23 or the key 24 and automatic rotation set to rotate 360 ° in a predetermined time in advance. Thereby, the setting of the rotation display speed can be simplified and can be easily changed later.

このように、ユーザが入力可能なUI画面で設定された設定値を、必要に応じて、携帯機器1Aの傾きの情報とともに用いることで、より詳細な画像の動作パターンの設定が可能となる。   As described above, the setting value set on the UI screen that can be input by the user is used together with the tilt information of the mobile device 1A as necessary, so that the operation pattern of the image can be set in more detail.

また、図11では、UI画面71Bのプルダウンメニュー74から、タッチパネル23やキー24を介してユーザが手動で投射枚数を設定しているが、視聴者を撮影し、動作パターン決定部41が視聴者の人数に応じて投射枚数を設定してもよい。図14(A)、(B)はカメラ34で撮影された画像から投射枚数を設定する操作を示す図である。図14(A)に示すように、ユーザは、携帯機器1Aに搭載されたカメラ34により視聴者を撮影する。携帯機器1Aは、画像認識処理部31により、カメラ34で撮影された画像から、顔検出機能等により視聴者(人物)の人数を特定する。   In FIG. 11, the user manually sets the number of projections from the pull-down menu 74 of the UI screen 71B via the touch panel 23 or the key 24. However, the viewer is photographed, and the operation pattern determination unit 41 displays the viewer. The number of projections may be set according to the number of people. 14A and 14B are diagrams illustrating an operation for setting the number of projections from an image captured by the camera 34. FIG. As shown in FIG. 14A, the user photographs the viewer with the camera 34 mounted on the portable device 1A. In the portable device 1 </ b> A, the number of viewers (persons) is specified by the image recognition processing unit 31 from the image captured by the camera 34 using a face detection function or the like.

例えば、図14(B)に示すように、視聴者の人数が3人である場合、動作パターン決定部41が投射枚数を3枚に設定する。なお、動作パターン決定部41は、投射枚数を、撮影した人数の倍数もしくは一定の規則に沿って計算された枚数に設定しても良い。このように、ユーザが手動で投射枚数を入力する手間を省くことができる。   For example, as shown in FIG. 14B, when the number of viewers is three, the operation pattern determination unit 41 sets the number of projections to three. Note that the operation pattern determination unit 41 may set the number of projections to a multiple of the number of photographed persons or a number calculated according to a certain rule. In this way, it is possible to save the user from manually inputting the number of projections.

このように、画像を撮影する画像撮影部としてのカメラ34と、カメラ34によって撮影された画像から人物を認識する人物認識部としての画像認識処理部31と、を備え、動作パターン決定部41は、画像認識処理部31によって認識された人物の人数に応じて、被投射面に表示される画像の枚数を決定してもよい。これにより、特別な設定操作を行うことなく、画像の枚数を容易に設定することができる。   As described above, the operation pattern determination unit 41 includes the camera 34 as an image capturing unit that captures an image and the image recognition processing unit 31 as a person recognition unit that recognizes a person from an image captured by the camera 34. The number of images displayed on the projection surface may be determined according to the number of persons recognized by the image recognition processing unit 31. Thus, the number of images can be easily set without performing a special setting operation.

また、一旦設定された画像処理パラメータの変更を禁止する入力操作を、キー24やタッチパネル23を介して行えるようにしてもよい。これにより、投射中、誤って画像処理パラメータを変更してしまうような操作が防止される。また、禁止する入力操作の代わりに、設定が変更されなくなってから、所定時間が経過したことをトリガとしてもよい。   Further, an input operation for prohibiting the change of the image processing parameter once set may be performed via the key 24 or the touch panel 23. This prevents an operation that mistakenly changes the image processing parameter during projection. Further, instead of the input operation to be prohibited, the trigger may be that a predetermined time has elapsed after the setting is not changed.

このように、動作パターン決定部41は、操作部としてのタッチパネル23またはキー24による操作又は動作パターンの決定時から所定時間の経過に応じて、決定された動作パターンの変更を禁止してもよい。これにより、携帯機器1はユーザの手で把持されることで傾きが変更されやすいが、このような傾きの変更の都度、動作パターンや画像処理パラメータが変更されることを防止できる。   As described above, the operation pattern determination unit 41 may prohibit the change of the determined operation pattern according to the elapse of a predetermined time from the time when the operation or the operation pattern is determined by the touch panel 23 or the key 24 as the operation unit. . Thereby, although the inclination of the portable device 1 is easily changed by being held by the user's hand, it is possible to prevent the operation pattern and the image processing parameter from being changed every time the inclination is changed.

また、上記実施形態では、テーブル5の面に映し出される画像は、写真であったが、図形、表などでもよく、さらには動画であってもよい。   Moreover, in the said embodiment, although the image projected on the surface of the table 5 was a photograph, a figure, a table | surface, etc. may be sufficient, and also a moving image may be sufficient.

また、上記実施形態では、投射表示装置が搭載される携帯機器1としては、プロジェクタそのものの他、携帯電話、スマートフォン等の携帯端末、あるいはPC等に無線もしくは有線で接続可能な単体の機器であってもよい。この場合、PC等に画像データを保持しておき、必要に応じてPC等から画像データが転送されてもよい。   In the above embodiment, the mobile device 1 on which the projection display device is mounted is a single device that can be connected to a mobile terminal such as a mobile phone or a smartphone, or a PC or the like wirelessly or by wire in addition to the projector itself. May be. In this case, image data may be held in a PC or the like, and image data may be transferred from the PC or the like as necessary.

また、本発明は、上記実施形態の機能を実現する投射表示プログラムを、ネットワークあるいは各種記憶媒体を介して携帯機器に供給し、この携帯機器内のコンピュータ(CPU)が読み出して実行するプログラムも適用範囲である。   The present invention also applies a program that supplies a projection display program that realizes the functions of the above-described embodiments to a portable device via a network or various storage media, and that is read and executed by a computer (CPU) in the portable device. It is a range.

本発明は、光を投射し、被投射面に画像を表示する際、視聴者が多数であっても、容易に良好な視聴環境を得ることができ、有用である。   INDUSTRIAL APPLICABILITY The present invention is useful because it can easily obtain a good viewing environment even when there are many viewers when light is projected and an image is displayed on a projection surface.

1、1A 携帯機器
1a 筐体
5 テーブル
11 UI処理部
12 画像データベース
13 傾き情報処理部
14 画像処理部
15 投射部
15a 投光窓
15b 光
18 表示部
21 加速度センサ
23 タッチパネル
24 キー
24a 投射ボタン
24b スピードセレクタ
25 通信部
31 画像認識処理部
34 カメラ
41 動作パターン決定部
43 変換処理部
44 合成処理部
45 回転処理部
61、63 投射画面
65 写真
71、71A、71B UI画面
71a UI
71b 画像群
72 枠
73、74 プルダウンメニュー
75 選択ボタン
DESCRIPTION OF SYMBOLS 1, 1A Portable apparatus 1a Case 5 Table 11 UI processing part 12 Image database 13 Inclination information processing part 14 Image processing part 15 Projection part 15a Light projection window 15b Light 18 Display part 21 Acceleration sensor 23 Touch panel 24 Key 24a Projection button 24b Speed Selector 25 Communication unit 31 Image recognition processing unit 34 Camera 41 Operation pattern determination unit 43 Conversion processing unit 44 Composition processing unit 45 Rotation processing unit 61, 63 Projection screen 65 Photo 71, 71A, 71B UI screen 71a UI
71b Image group 72 Frame 73, 74 Pull-down menu 75 Select button

Claims (14)

光を投射し、被投射面に画像を表示する投射表示装置であって、
画像を記憶する画像記憶部と、
前記投射表示装置の傾きを検出する傾き検出部と、
前記傾き検出部によって検出された傾きに基づき、前記被投射面に表示される画像の動作パターンを決定する動作パターン決定部と、
前記動作パターン決定部によって決定された動作パターンに対応する画像処理を前記画像記憶部に記憶された画像に対して行う画像処理部と、
前記画像処理部によって画像処理が行われた画像を前記被投射面に表示するための光を投射する投射部と、
を備える投射表示装置。
A projection display device that projects light and displays an image on a projection surface,
An image storage unit for storing images;
An inclination detector for detecting the inclination of the projection display device;
An operation pattern determination unit that determines an operation pattern of an image displayed on the projection surface based on the inclination detected by the inclination detection unit;
An image processing unit that performs image processing corresponding to the operation pattern determined by the operation pattern determination unit on the image stored in the image storage unit;
A projection unit that projects light for displaying the image on which the image processing has been performed by the image processing unit;
A projection display device comprising:
請求項1に記載の投射表示装置であって、
前記動作パターン決定部は、前記傾き検出部によって検出された傾きが所定の角度に達した場合、前記被投射面に表示される画像の回転が開始するように、前記動作パターンを決定する投射表示装置。
The projection display device according to claim 1,
The motion pattern determination unit determines the motion pattern so that rotation of an image displayed on the projection surface starts when the tilt detected by the tilt detection unit reaches a predetermined angle. apparatus.
請求項2に記載の投射表示装置であって、
前記傾き検出部は、前記投射部による光の投射方向である第1の方向の傾きを検出し、前記傾き検出部によって検出された第1の方向の傾きが所定の角度に達した場合、前記動作パターン決定部は、前記被投射面に表示される画像の回転が開始するように、前記動作パターンを決定する投射表示装置。
The projection display device according to claim 2,
The tilt detection unit detects a tilt in a first direction that is a projection direction of light by the projection unit, and when the tilt in the first direction detected by the tilt detection unit reaches a predetermined angle, The motion pattern determination unit is a projection display device that determines the motion pattern so that rotation of an image displayed on the projection surface starts.
請求項1に記載の投射表示装置であって、
前記動作パターン決定部は、前記傾き検出部によって検出された傾きの傾斜速度が大きいほど、前記画像の回転が速くなるように、前記動作パターンを決定する投射表示装置。
The projection display device according to claim 1,
The projection display device, wherein the motion pattern determination unit determines the motion pattern so that the rotation of the image is faster as the tilt speed of the tilt detected by the tilt detection unit is larger.
請求項3に記載の投射表示装置であって、
前記傾き検出部は、前記投射部による光の投射方向である第1の方向に対して直交する第2の方向の傾きを検出し、
前記動作パターン決定部は、前記傾き検出部によって検出された第2の方向の傾きの傾斜速度が大きいほど、前記画像の回転が速くなるように、前記動作パターンを決定する投射表示装置。
The projection display device according to claim 3,
The tilt detection unit detects a tilt in a second direction orthogonal to the first direction, which is a light projection direction by the projection unit,
The projection display device, wherein the motion pattern determination unit determines the motion pattern so that the rotation of the image becomes faster as the tilt speed of the tilt in the second direction detected by the tilt detection unit is larger.
請求項1に記載の投射表示装置であって、
前記傾き検出部は、前記投射部による光の投射方向である第1の方向の傾きを検出し、
前記投射部は、前記傾き検出部により検出された第1の方向の傾きが所定の角度に達した場合、光の投射を開始する投射表示装置。
The projection display device according to claim 1,
The tilt detection unit detects a tilt in a first direction that is a light projection direction by the projection unit,
The projection unit is a projection display device that starts projecting light when the tilt in the first direction detected by the tilt detection unit reaches a predetermined angle.
請求項1に記載の投射表示装置であって、
前記傾き検出部は、前記投射部による光の投射方向である第1の方向に対して直交する第2の方向の傾きを検出し、
前記動作パターン決定部は、前記傾き検出部によって検出された第2の方向の傾きに基づき、前記被投射面に表示される画像の回転モードを切り替える投射表示装置。
The projection display device according to claim 1,
The tilt detection unit detects a tilt in a second direction orthogonal to the first direction, which is a light projection direction by the projection unit,
The operation pattern determination unit is a projection display device that switches a rotation mode of an image displayed on the projection surface based on an inclination in a second direction detected by the inclination detection unit.
請求項1に記載の投射表示装置であって、
前記動作パターン決定部は、前記傾き検出部によって検出された傾きが変わることによって変化する前記被投射面の大きさに応じて、前記被投射面に表示される画像の動作パターンを変化させる投射表示装置。
The projection display device according to claim 1,
The operation pattern determination unit is a projection display that changes an operation pattern of an image displayed on the projection surface in accordance with a size of the projection surface that is changed by changing the inclination detected by the inclination detection unit. apparatus.
請求項8に記載の投射表示装置であって、
前記動作パターン決定部は、前記被投射面の大きさに応じて、前記被投射面に表示される画像の大きさ及び枚数の少なくとも一方を変更する投射表示装置。
The projection display device according to claim 8,
The operation pattern determination unit is a projection display device that changes at least one of the size and the number of images displayed on the projection surface according to the size of the projection surface.
請求項1に記載の投射表示装置であって、
画像を撮影する画像撮影部と、
前記画像撮影部によって撮影された画像から人物を認識する人物認識部と、
を備え、
前記動作パターン決定部は、前記人物認識部によって認識された人物の人数に応じて、前記被投射面に表示される画像の枚数を決定する投射表示装置。
The projection display device according to claim 1,
An image capturing unit for capturing images;
A person recognition unit for recognizing a person from an image photographed by the image photographing unit;
With
The operation pattern determination unit is a projection display device that determines the number of images displayed on the projection surface according to the number of persons recognized by the person recognition unit.
請求項1に記載の投射表示装置であって、
前記動作パターン決定部は、操作部による操作又は動作パターンの決定時から所定時間の経過に応じて、決定された動作パターンの変更を禁止する投射表示装置。
The projection display device according to claim 1,
The operation pattern determination unit is a projection display device that prohibits the change of the determined operation pattern according to the elapse of a predetermined time from the time of operation by the operation unit or determination of the operation pattern.
請求項1ないし12のいずれか1項に記載の投射表示装置が搭載された携帯機器。   A portable device on which the projection display device according to any one of claims 1 to 12 is mounted. 投射部から光を投射し、被投射面に画像を表示する投射表示装置における投射表示方法であって、
前記投射表示装置の傾きを検出するステップと、
前記検出された傾きに基づき、前記被投射面に表示される画像の動作パターンを決定するステップと、
前記決定された動作パターンに対応する画像処理を、画像を記憶する画像記憶部に記憶された画像に対して行うステップと、
前記画像処理が行われた画像を前記被投射面に表示するための光を前記投射部から投射するステップと、
を有する投射表示方法。
A projection display method in a projection display device that projects light from a projection unit and displays an image on a projection surface,
Detecting the tilt of the projection display device;
Determining an operation pattern of an image displayed on the projection surface based on the detected inclination;
Performing image processing corresponding to the determined operation pattern on an image stored in an image storage unit storing the image;
Projecting light from the projection unit to display the image subjected to the image processing on the projection surface;
A projection display method.
請求項13に記載の投射表示方法の各ステップをコンピュータに実行させるための投射表示プログラム。   A projection display program for causing a computer to execute each step of the projection display method according to claim 13.
JP2011134497A 2011-06-16 2011-06-16 Projection display device, portable device, projection display method, and projection display program Expired - Fee Related JP5595337B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011134497A JP5595337B2 (en) 2011-06-16 2011-06-16 Projection display device, portable device, projection display method, and projection display program
PCT/JP2012/003869 WO2012172797A1 (en) 2011-06-16 2012-06-13 Projection display device, mobile device, projection display method and projection display program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011134497A JP5595337B2 (en) 2011-06-16 2011-06-16 Projection display device, portable device, projection display method, and projection display program

Publications (2)

Publication Number Publication Date
JP2013005237A true JP2013005237A (en) 2013-01-07
JP5595337B2 JP5595337B2 (en) 2014-09-24

Family

ID=47356803

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011134497A Expired - Fee Related JP5595337B2 (en) 2011-06-16 2011-06-16 Projection display device, portable device, projection display method, and projection display program

Country Status (2)

Country Link
JP (1) JP5595337B2 (en)
WO (1) WO2012172797A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010170048A (en) * 2009-01-26 2010-08-05 Toshiba Corp Projector device
JP2010226683A (en) * 2009-02-25 2010-10-07 Kyocera Corp Portable electronic device
JP2011048039A (en) * 2009-08-26 2011-03-10 Nikon Corp Projector

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010170048A (en) * 2009-01-26 2010-08-05 Toshiba Corp Projector device
JP2010226683A (en) * 2009-02-25 2010-10-07 Kyocera Corp Portable electronic device
JP2011048039A (en) * 2009-08-26 2011-03-10 Nikon Corp Projector

Also Published As

Publication number Publication date
WO2012172797A1 (en) 2012-12-20
JP5595337B2 (en) 2014-09-24

Similar Documents

Publication Publication Date Title
US8767113B2 (en) Condition changing device
JP6205067B2 (en) Pan / tilt operating device, camera system, pan / tilt operating program, and pan / tilt operating method
US10931866B2 (en) Methods and apparatus for receiving and storing in a camera a user controllable setting that is used to control composite image generation performed after image capture
TWI476505B (en) Method and electric device for taking panoramic photograph
US10491806B2 (en) Camera device control related methods and apparatus
CN104081755B (en) Image processing apparatus and image processing method
JP4008299B2 (en) Operation panel consisting of an imaging device and touch panel
JP2009064109A (en) Image projector and its control method
JP2010092086A (en) User input apparatus, digital camera, input control method, and input control program
JP2018133674A (en) Imaging apparatus and control method of the same
TW201203031A (en) Image display device, image display control method, and program
JP2013009189A (en) Imaging device and imaging method
JP2019114922A (en) Electronic equipment, control method and program thereof
JP2014038195A (en) Photographing equipment
CN113287296A (en) Control method, handheld cloud deck, system and computer readable storage medium
JP2006146455A (en) Electronic equipment and display method for image with index
JP2004363707A (en) Display method and display device
CN113302908A (en) Control method, handheld cloud deck, system and computer readable storage medium
JP5595337B2 (en) Projection display device, portable device, projection display method, and projection display program
JP6324278B2 (en) Imaging apparatus, image processing apparatus, and control method thereof
JP2014062932A (en) Attitude control device, operation device, attitude control system, control method, control program, and recording medium
JP6529300B2 (en) Display control device and control method thereof
JP7467139B2 (en) Display control device and control method thereof
US20230209177A1 (en) Imaging apparatus
JP5382788B2 (en) Object information display device, object information display method, object information display program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130828

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140618

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140708

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140805

LAPS Cancellation because of no payment of annual fees