JP6828758B2 - Electronics, information systems, and programs - Google Patents

Electronics, information systems, and programs Download PDF

Info

Publication number
JP6828758B2
JP6828758B2 JP2019014291A JP2019014291A JP6828758B2 JP 6828758 B2 JP6828758 B2 JP 6828758B2 JP 2019014291 A JP2019014291 A JP 2019014291A JP 2019014291 A JP2019014291 A JP 2019014291A JP 6828758 B2 JP6828758 B2 JP 6828758B2
Authority
JP
Japan
Prior art keywords
housing
display
image
amount
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019014291A
Other languages
Japanese (ja)
Other versions
JP2019117378A (en
Inventor
井上　英也
英也 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of JP2019117378A publication Critical patent/JP2019117378A/en
Application granted granted Critical
Publication of JP6828758B2 publication Critical patent/JP6828758B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0492—Change of orientation of the displayed image, e.g. upside-down, mirrored
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Telephone Function (AREA)
  • Studio Devices (AREA)
  • Telephonic Communication Services (AREA)

Description

本発明は、電子機器、情報システム、サーバ、及びプログラムに関するものである。
本願は、２０１１年１１月１０日に出願された日本特許出願２０１１−２４６５７１号に基づき優先権を主張し、その内容をここに援用する。 The present invention relates to electronic devices, information systems, servers, and programs.
The present application claims priority based on Japanese Patent Application No. 2011-246571 filed on November 10, 2011, the contents of which are incorporated herein by reference.

デジタルカメラ、携帯電話やスマートフォンなどの携帯端末の普及に伴い、携帯端末を利用してインターネット、ニュースや新聞記事などの情報を取得して画面に表示させるアプリケーションや技術が知られている。このような技術は、省スペースで、かつ電子情報をいつでもどこでも簡単に取得することができることから、ユーザの利便性を向上させ、情報の迅速な取得及び活用などに利用されている。
上述のような携帯端末において、画面に表示される情報は画面横型又は縦型に表示される。また、画面横型又は縦型に情報を表示可能な携帯端末として、端末の傾きや方向などの表示状態に応じて画面横型や縦型のような画面表示型を切り替えて該情報を表示可能な携帯端末が知られている（例えば、特許文献１参照）。 With the spread of mobile terminals such as digital cameras, mobile phones and smartphones, applications and technologies are known that use mobile terminals to acquire information such as the Internet, news and newspaper articles and display them on the screen. Since such a technology is space-saving and electronic information can be easily acquired anytime and anywhere, it is used for improving user convenience and for prompt acquisition and utilization of information.
In the mobile terminal as described above, the information displayed on the screen is displayed horizontally or vertically on the screen. In addition, as a mobile terminal capable of displaying information in a horizontal or vertical screen, a mobile terminal capable of displaying the information by switching a screen display type such as a horizontal screen or a vertical screen according to a display state such as tilt or direction of the terminal. Terminals are known (see, for example, Patent Document 1).

特開２００７−０１７５９６号公報JP-A-2007-017596

しかしながら、例えば、画面横型や縦型を切り換えて該情報を表示可能な携帯端末をユーザが使用する時に、ユーザによる携帯端末の動作に対して意図しない画面表示型に切り替わる場合がある。このようなユーザの意図しない画面表示型の切り替えが生じた場合、ユーザは意図する画面表示型に切り替えるために携帯端末に対して新たな動作を行う必要がある。意図しない画面表示型の切り替えはユーザの利便性を低下させる要因となっていた。 However, for example, when a user uses a mobile terminal capable of displaying the information by switching between a horizontal screen type and a vertical screen type, the screen display type may be switched to an unintended screen display type for the operation of the mobile terminal by the user. When such an unintended screen display type switching occurs, the user needs to perform a new operation on the mobile terminal in order to switch to the intended screen display type. Unintentional switching of screen display type has been a factor that reduces user convenience.

本発明の一態様である電子機器は、筐体と、表示画像を表示する表示部と、前記表示部の前方側の被写体を撮像する撮像部と、撮像した前記被写体の画像から検出される変化量であって、前記表示画像に撮像されている前記被写体の特徴部分が前記表示画像の対向する一組の辺と平行となっている状態である前記筐体の傾斜前の画像の特徴部分と、前記表示画像に撮像されている前記被写体の特徴部分が前記表示画像のいずれの辺とも平行となっていない状態である前記筐体の傾斜後の画像の特徴部分との変化量に基づいて、前記表示画像の表示形式を制御する表示制御部と、を備え、前記表示制御部は、前記筐体が傾斜後において傾斜前から所定量以上傾斜していない場合に、前記筐体の傾斜前の画像の特徴部分と、前記筐体の傾斜後の画像の特徴部分との変化量に基づいて前記表示画像の表示形式を切り替える。 The electronic device according to one aspect of the present invention includes a housing, a display unit that displays a display image, an image pickup unit that captures an image of a subject on the front side of the display unit, and a change detected from the captured image of the subject. a quantity, a characteristic portion of a pair of sides and a state are parallel the housing inclined previous image of the characteristic portion of the object being imaged on the display image faces of the display image Based on the amount of change from the characteristic portion of the image after tilting the housing, which is a state in which the characteristic portion of the subject captured in the display image is not parallel to any side of the display image . The display control unit includes a display control unit that controls the display format of the display image, and the display control unit is before tilting the housing when the housing is not tilted by a predetermined amount or more from before tilting after tilting . The display format of the display image is switched based on the amount of change between the feature portion of the image and the feature portion of the image after the housing is tilted .

本発明の他の態様である電子機器は、表示画像を表示する表示部と、前記表示部の前方側のユーザを撮像する赤外線カメラと、前記ユーザの顔を撮像した顔画像から検出される変化量であって、前記表示画像に撮像されている被写体の特徴部分が前記表示画像の対向する一組の辺と平行となっている状態である筐体の傾斜前の画像の特徴部分と、前記表示画像に撮像されている前記被写体の特徴部分が前記表示画像のいずれの辺とも平行となっていない状態である前記筐体の傾斜後の画像の特徴部分との変化量に基づいて、前記表示画像の表示形式を制御する表示制御部と、を備える。 The electronic device according to another aspect of the present invention includes a display unit that displays a display image, an infrared camera that images a user on the front side of the display unit, and a change detected from a face image that captures the user's face. The characteristic portion of the image before tilting of the housing, which is a quantity and in which the characteristic portion of the subject captured in the display image is parallel to a set of opposite sides of the display image, and the above-mentioned The display is based on the amount of change from the feature portion of the image after tilting the housing, in which the feature portion of the subject captured in the display image is not parallel to any side of the display image. It includes a display control unit that controls an image display format.

本発明の他の態様である情報システムは、上述の態様に記載の電子機器と、電子機器と通信可能なサーバと、を備える。 An information system according to another aspect of the present invention includes the electronic device described in the above-described aspect and a server capable of communicating with the electronic device.

本発明の他の態様であるプログラムは、コンピュータに、表示画像を表示部に表示する表示ステップと、前記表示部の前方側の被写体を撮像する撮像ステップと、撮像した前記被写体の画像から検出される変化量であって、前記表示画像に撮像されている前記被写体の特徴部分が前記表示画像の対向する一組の辺と平行となっている状態である筐体の傾斜前の画像の特徴部分と、前記表示画像に撮像されている前記被写体の特徴部分が前記表示画像のいずれの辺とも平行となっていない状態である前記筐体の傾斜後の画像の特徴部分との変化量に基づいて、前記表示画像の表示形式を制御する表示制御ステップであって、前記筐体が傾斜後において傾斜前から所定量以上傾斜していない場合に、前記筐体の傾斜前の画像の特徴部分と、前記筐体の傾斜後の画像の特徴部分との変化量に基づいて前記表示画像の表示形式を切り替える表示ステップと、を実行させる。 A program according to another aspect of the present invention is detected by a display step of displaying a display image on a display unit, an imaging step of imaging a subject on the front side of the display unit, and an image of the captured subject on a computer. The characteristic portion of the image before tilting of the housing, which is a state in which the characteristic portion of the subject captured in the display image is parallel to a pair of opposite sides of the display image. Based on the amount of change from the characteristic portion of the image after tilting the housing, which is a state in which the characteristic portion of the subject captured in the display image is not parallel to any side of the display image. , a display control step for controlling the display format of the display image, the characteristic portion of the if the housing is not inclined with respect to the front inclined more than a predetermined amount after the tilt, the front slope of the housing image, a display step of switching a display format of the display image on the basis of a change amount of the characteristic part of the slope after the image of said housing, thereby to execute.

本発明の他の態様であるプログラムは、コンピュータに、表示画像を表示部に表示する表示ステップと、前記表示部の前方側のユーザを赤外線カメラで撮像する撮像ステップと、前記ユーザの顔を撮像した顔画像から検出される変化量であって、前記表示画像に撮像されている被写体の特徴部分が前記表示画像の対向する一組の辺と平行となっている状態である筐体の傾斜前と、前記表示画像に撮像されている前記被写体の特徴部分が前記表示画像のいずれの辺とも平行となっていない状態である前記筐体の傾斜後とにおける前記顔画像の二つの特徴部分を通過する直線の傾きの変化量に基づいて、前記表示画像の表示形式を制御する表示制御ステップと、を実行させる。
A program according to another aspect of the present invention includes a display step of displaying a display image on a display unit on a computer, an image pickup step of capturing a user on the front side of the display unit with an infrared camera, and an image pickup of the user's face. The amount of change detected from the face image, which is a state in which the characteristic portion of the subject captured in the display image is parallel to a pair of opposite sides of the display image before tilting the housing. And, the characteristic portion of the subject captured in the display image passes through the two characteristic portions of the face image after the housing is tilted, which is in a state where neither side of the display image is parallel. A display control step for controlling the display format of the display image is executed based on the amount of change in the inclination of the straight line.

本発明の第１の実施形態による電子機器の外観模式図である。It is a schematic appearance figure of the electronic device by 1st Embodiment of this invention. 本発明の第１の実施形態による電子機器の外観模式図である。It is a schematic appearance figure of the electronic device by 1st Embodiment of this invention. 本実施形態における電子機器のブロック図の一例である。It is an example of the block diagram of the electronic device in this embodiment. 本実施形態における表示制御部内のブロック図の一例である。This is an example of a block diagram in the display control unit in the present embodiment. 本実施形態における表示形式の切替機能による切替制御の一例である。This is an example of switching control by the display format switching function in the present embodiment. 本実施形態における電子機器の使用している様子である。It looks like the electronic device in this embodiment is being used. 本実施形態における被写体の特徴部分、被写体の特徴部分の変化量について説明する説明図である。It is explanatory drawing explaining the characteristic part of the subject and the amount of change of the characteristic part of a subject in this embodiment. 本実施形態における設定時の処理の流れを示すフローチャートの一例である。This is an example of a flowchart showing the flow of processing at the time of setting in this embodiment. 本実施形態における電子機器における表示形式の制御処理の流れを示すフローチャートの一例である。This is an example of a flowchart showing the flow of display format control processing in an electronic device according to the present embodiment. 本実施形態における表示形式の制御処理を説明する一例である。This is an example for explaining the control process of the display format in the present embodiment. 本実施形態における表示形式の制御処理を説明する一例である。This is an example for explaining the control process of the display format in the present embodiment. 本実施形態における表示形式の制御処理を説明する一例である。This is an example for explaining the control process of the display format in the present embodiment. 本実施形態における表示形式の制御処理を説明する一例である。This is an example for explaining the control process of the display format in the present embodiment. 本実施形態における電子機器における表示形式の制御処理の他の例を示す フローチャートである。It is a flowchart which shows another example of the control process of the display form in the electronic device in this embodiment. 本実施形態における表示形式の制御処理を説明する一例である。This is an example for explaining the control process of the display format in the present embodiment. 本実施形態における表示形式の制御処理を説明する一例である。This is an example for explaining the control process of the display format in the present embodiment. 本実施形態における表示形式の制御処理を説明する一例である。This is an example for explaining the control process of the display format in the present embodiment. 本実施形態における表示形式の制御処理を説明する一例である。This is an example for explaining the control process of the display format in the present embodiment. 本発明の第２の実施形態による電子機器が備える表示制御部内のブロック図の一例である。This is an example of a block diagram in a display control unit included in an electronic device according to a second embodiment of the present invention. 本実施形態における電子機器における表示形式の制御処理の一例を示すフローチャートである。It is a flowchart which shows an example of the control process of the display type in the electronic device in this embodiment. 本実施形態における電子機器における表示形式の制御処理の他の例を示すフローチャートである。It is a flowchart which shows other example of the control process of the display format in the electronic device in this embodiment. 本実施形態における表示形式の制御処理を説明する一例である。This is an example for explaining the control process of the display format in the present embodiment. 本実施形態における表示形式の制御処理を説明する一例である。This is an example for explaining the control process of the display format in the present embodiment. 本実施形態における情報システムの概略構成図である。It is a schematic block diagram of the information system in this embodiment. 本実施形態における電子機器が備える表示制御部内のブロック図、及び、サーバが備える表示制御情報生成部内のブロック図等の一例である。This is an example of a block diagram in the display control unit included in the electronic device and a block diagram in the display control information generation unit included in the server in the present embodiment. 本実施形態における電子機器が備える表示制御部内のブロック図、及び、サーバが備える表示制御情報生成部内のブロック図等の別の例である。This is another example of a block diagram in the display control unit included in the electronic device and a block diagram in the display control information generation unit included in the server in the present embodiment.

（第１の実施形態）
以下、図面を参照しながら本発明の第１の実施形態について説明する。図１Ａ及び図１Ｂは、本発明の第１の実施形態による電子機器３（例、携帯端末）の外観模式図である。
なお、図１Ａは電子機器３の筐体前面（表面、本体前面）、図１Ｂは電子機器３の筐体背面（裏面、本体背面）を表している。 (First Embodiment)
Hereinafter, the first embodiment of the present invention will be described with reference to the drawings. 1A and 1B are schematic external views of an electronic device 3 (eg, a mobile terminal) according to the first embodiment of the present invention.
Note that FIG. 1A shows the front surface of the housing of the electronic device 3 (front surface, front surface of the main body), and FIG. 1B shows the back surface of the housing of the electronic device 3 (back surface, back surface of the main body).

電子機器３は、図１Ａに示すように、筐体前面に、タッチスクリーン（表示部）４４、カーソルパッド４８、フロントカメラ（レンズ、撮像部）６２、スピーカ８２、マイクロフォン８４、決定／ホームボタン９２を有する。また、電子機器３は、図１Ｂに示すように、筐体背面に、バックカメラ（レンズ、撮像部）６４を有する。また、電子機器３は、図１Ａ及び１Ｂに示すように、筐体上部（本体上部）に、電源ボタン９０を有する。また、電子機器３は、破線にて示すように、内部に、モーションセンサ５０（例、３軸加速度センサや３軸角速度センサ）、ＧＰＳ５２、方位計５４、仰角センサ５６を備える。 As shown in FIG. 1A, the electronic device 3 has a touch screen (display unit) 44, a cursor pad 48, a front camera (lens, imaging unit) 62, a speaker 82, a microphone 84, and a decision / home button 92 on the front surface of the housing. Has. Further, as shown in FIG. 1B, the electronic device 3 has a back camera (lens, imaging unit) 64 on the back surface of the housing. Further, as shown in FIGS. 1A and 1B, the electronic device 3 has a power button 90 on the upper part of the housing (upper part of the main body). Further, as shown by a broken line, the electronic device 3 includes a motion sensor 50 (eg, a 3-axis acceleration sensor or a 3-axis angular velocity sensor), a GPS 52, an azimuth meter 54, and an elevation angle sensor 56 inside.

タッチスクリーン４４は、表示データに基づく表示画像を表示する。表示データとは、例えば、画像データ、テキストデータである。表示画像とは、画像（例えば、写真、イラストなどの画像）、テキスト（例えば、文字、記号）などである。また、タッチスクリーン４４は、ユーザによる指示位置を示すカーソルを表示する。また、タッチスクリーン４４は、タッチセンサを有し、ユーザによるタッチ位置を検出する。なお、タッチスクリーン４４に表示される表示画像の表示形式（画面表示型）は、表示制御部１００（後述）によって制御される（詳細は後述）。 The touch screen 44 displays a display image based on the display data. The display data is, for example, image data or text data. The display image is an image (for example, an image such as a photograph or an illustration), a text (for example, a character or a symbol) or the like. In addition, the touch screen 44 displays a cursor indicating a position indicated by the user. Further, the touch screen 44 has a touch sensor and detects a touch position by the user. The display format (screen display type) of the display image displayed on the touch screen 44 is controlled by the display control unit 100 (described later) (details will be described later).

カーソルパッド４８は、タッチスクリーン４４に表示されたカーソルの移動操作を受け付ける。即ち、タッチスクリーン４４上に表示されたカーソルは、カーソルパッド４８上におけるユーザの指の動きに応じて移動する。 The cursor pad 48 accepts the movement operation of the cursor displayed on the touch screen 44. That is, the cursor displayed on the touch screen 44 moves according to the movement of the user's finger on the cursor pad 48.

フロントカメラ６２は、カメラ部６０（後述）の制御に従って、前方側（筐体前面側、タッチスクリーン４４側）の被写体を撮像する。
バックカメラ６４は、カメラ部６０（後述）の制御に従って、後方側（筐体背面側、タッチスクリーン４４の逆側又は反対側）の被写体を撮像する。
なお、フロントカメラ６２（若しくは、フロントカメラ６２及びカメラ部６０）を第１撮像部とも称し、バックカメラ６４（若しくは、バックカメラ６４及びカメラ部６０）を第２撮像部とも称する。また、フロントカメラ６２及びバックカメラ６４は、被写体を撮像する環境が暗所などの場合において被写体を撮像することが可能なように、赤外線カメラ或いは照明付きカメラであってもよい。 The front camera 62 captures a subject on the front side (front side of the housing, touch screen 44 side) under the control of the camera unit 60 (described later).
The back camera 64 captures a subject on the rear side (rear side of the housing, opposite side or opposite side of the touch screen 44) under the control of the camera unit 60 (described later).
The front camera 62 (or the front camera 62 and the camera unit 60) is also referred to as a first imaging unit, and the back camera 64 (or the back camera 64 and the camera unit 60) is also referred to as a second imaging unit. Further, the front camera 62 and the back camera 64 may be an infrared camera or an illuminated camera so that the subject can be imaged when the environment for photographing the subject is a dark place or the like.

スピーカ８２は、オーディオ部８０（後述）の制御に従って、音（声を含む）を出力する。マイクロフォン８４は、集音した音データをオーディオ部８０（後述）に供給する。
電源ボタン９０は、筐体（a casing body、a body、本体（a body, a main body））に電源を投入するためのボタンである。決定／ホームボタン９２は、種々の決定、又は、ホーム画面（初期表示画面）の表示を指示するボタンである。 The speaker 82 outputs sound (including voice) according to the control of the audio unit 80 (described later). The microphone 84 supplies the collected sound data to the audio unit 80 (described later).
The power button 90 is a button for turning on the power to the housing (a casing body, a body, the main body (a body, a main body)). The decision / home button 92 is a button for instructing various decisions or display of the home screen (initial display screen).

モーションセンサ５０は、筐体の動き（例、筐体の傾斜など）を検出するために加速度センサ又は／及び角速度センサを備え、筐体に加わる加速度又は／及び角速度を検出する。ＧＰＳ５２は、筐体の位置を測定（測位）する。方位計５４は、例えば、地磁気センサであって、方位（即ち、筐体の向く方向）を検出する。仰角センサ５６は、筐体の動きを検出するために、筐体の仰角（例、光の入射方向と地表面とのなす角、或いは水平から上の視野角）を検出する。 The motion sensor 50 includes an acceleration sensor and / and an angular velocity sensor for detecting the movement of the housing (eg, tilting of the housing), and detects the acceleration / / and the angular velocity applied to the housing. The GPS 52 measures (positions) the position of the housing. The azimuth meter 54 is, for example, a geomagnetic sensor that detects a direction (that is, a direction in which the housing faces). The elevation angle sensor 56 detects the elevation angle of the housing (eg, the angle formed by the incident direction of light and the ground surface, or the viewing angle above the horizontal) in order to detect the movement of the housing.

図２は、電子機器３のブロック図の一例である。電子機器３は、図１Ａ及び図１Ｂに示したものに加え、図２に示すように、プロセッサ１０、インターフェイス部２０、記憶部３０、入出力部４０、カメラ部６０、通信部７０、及び、オーディオ部８０を備える。 FIG. 2 is an example of a block diagram of the electronic device 3. In addition to those shown in FIGS. 1A and 1B, the electronic device 3 includes a processor 10, an interface unit 20, a storage unit 30, an input / output unit 40, a camera unit 60, a communication unit 70, and, as shown in FIG. The audio unit 80 is provided.

プロセッサ１０は、電子機器３全体を制御する。例えば、プロセッサ１０は、表示制御部１００を有し、前方側を撮像した被写体の特徴部分（即ち、第１撮像部によって撮像された撮像画像上の特徴部分）の時間的な変化量（遷移量（a transition amount, a transition degree）、変化率（a change rate, a transition rate）、一期間における特徴部分の変化量）に基づいて、表示画像の表示形式を制御する。表示制御部１００の詳細は後述する。 The processor 10 controls the entire electronic device 3. For example, the processor 10 has a display control unit 100, and the amount of change (transition amount) with time of the characteristic portion (that is, the characteristic portion on the captured image captured by the first imaging unit) of the subject whose front side is imaged. The display format of the display image is controlled based on (a transition amount, a transition degree), a change rate, a transition rate, and the amount of change in the feature portion in one period. Details of the display control unit 100 will be described later.

インターフェイス部２０は、プロセッサ１０からの情報（例えば、制御情報、出力情報）を各部に供給する。また、インターフェイス部２０は、各部からの情報（例えば、記憶情報、入力情報）をプロセッサ１０に供給する。 The interface unit 20 supplies information (for example, control information, output information) from the processor 10 to each unit. Further, the interface unit 20 supplies information (for example, stored information, input information) from each unit to the processor 10.

記憶部３０は、種々の情報を記憶する。例えば、記憶部３０は、プロセッサ１０において処理されるプログラム、種々の設定情報を記憶する。また、記憶部３０は、タッチスクリーン４４に表示する表示データを記憶する。 The storage unit 30 stores various information. For example, the storage unit 30 stores a program processed by the processor 10 and various setting information. Further, the storage unit 30 stores the display data to be displayed on the touch screen 44.

入出力部４０は、タッチスクリーンコントローラ４２、カーソルパッドコントローラ４６などを含む。タッチスクリーンコントローラ４２は、プロセッサ１０（表示制御部１００）から出力される制御情報に基づいて、タッチスクリーン４４の表示を制御する。カーソルパッドコントローラ４６は、カーソルパッド４８を介して受け付けたカーソルの移動操作をプロセッサ１０に供給する。 The input / output unit 40 includes a touch screen controller 42, a cursor pad controller 46, and the like. The touch screen controller 42 controls the display of the touch screen 44 based on the control information output from the processor 10 (display control unit 100). The cursor pad controller 46 supplies the processor 10 with a cursor movement operation received via the cursor pad 48.

カメラ部６０は、フロントカメラ６２及びバックカメラ６４を制御し、被写体を撮像する。カメラ部６０は、撮像画像をプロセッサ１０に供給する。なお、カメラ部６０は、プロセッサ１０の制御に従って、被写体を撮像してもよい。 The camera unit 60 controls the front camera 62 and the back camera 64 to take an image of the subject. The camera unit 60 supplies the captured image to the processor 10. The camera unit 60 may take an image of the subject under the control of the processor 10.

通信部７０は、プロセッサ１０の制御に従って、外部（例えば、他の電子機器、サーバ、ストレージ）と通信する。オーディオ部８０は、プロセッサ１０の制御に従って、スピーカ８２及びマイクロフォン８４を制御する。 The communication unit 70 communicates with the outside (for example, other electronic devices, servers, storage) under the control of the processor 10. The audio unit 80 controls the speaker 82 and the microphone 84 according to the control of the processor 10.

図３は、表示制御部１００内のブロック図の一例である。図４は、表示形式の切替機能による切替制御の一例である。図５は、電子機器３の使用している様子である。図６は、被写体の特徴部分、被写体の特徴部分の変化量について説明する説明図である。 FIG. 3 is an example of a block diagram in the display control unit 100. FIG. 4 is an example of switching control by the display format switching function. FIG. 5 shows the electronic device 3 being used. FIG. 6 is an explanatory diagram illustrating a feature portion of the subject and a change amount of the feature portion of the subject.

表示制御部１００は、図３に示すように、設定認識部１１０、傾斜量判定部１２０、特徴領域抽出部１３０、変化量算出部１４０、切替判定部１５０、切替制限部（ホールド部）１６０、切替処理部１８０、及び、設定部１９０を備える。 As shown in FIG. 3, the display control unit 100 includes a setting recognition unit 110, an inclination amount determination unit 120, a feature area extraction unit 130, a change amount calculation unit 140, a switching determination unit 150, and a switching restriction unit (hold unit) 160. It includes a switching processing unit 180 and a setting unit 190.

設定部１９０は、種々の情報を設定する。例えば、表示画像の表示形式の切替機能のオン（有効）／オフ（無効）を設定する。また、設定部１９０は、表示画像の表示形式の制御機能の１つであるホールド機能（ホールド手段）のオン／オフを設定する。なお、ホールド機能のオン／オフは、表示画像の表示形式の切替機能がオンの場合に参照される。換言すれば、ホールド機能は、表示画像の表示形式の切替機能のサブ機能である。また、設定部１９０による設定内容は、記憶部３０に記憶される。 The setting unit 190 sets various information. For example, the on (enabled) / off (disabled) of the display format switching function of the display image is set. In addition, the setting unit 190 sets on / off of the hold function (hold means), which is one of the control functions of the display format of the display image. The on / off of the hold function is referred to when the display format switching function of the display image is on. In other words, the hold function is a sub-function of the display format switching function of the display image. Further, the contents set by the setting unit 190 are stored in the storage unit 30.

設定部１９０は、環境に応じて自動的に、又は、ユーザの指示に従って、表示形式の切替機能のオン／オフ、及び、ホールド機能のオン／オフを設定する。自動設定によってオン／オフを設定する場合、設定部１９０は、例えば、切替可能な表示形式の表示画像を表示するアプリケーションが実行され、かつ、節電モードに設定されていない場合、ホールド機能をオンに設定する。なお、切替可能な表示形式の表示画像を表示するアプリケーションとは、表示形式が、以下（図４参照）に示すように切り替わる表示画像を表示するアプリケーションである。 The setting unit 190 sets on / off of the display format switching function and on / off of the hold function automatically according to the environment or according to the instruction of the user. When setting on / off by automatic setting, the setting unit 190 turns on the hold function, for example, when an application for displaying a display image in a switchable display format is executed and the power saving mode is not set. Set. The application that displays the display image of the switchable display format is an application that displays the display image whose display format is switched as shown below (see FIG. 4).

以下、表示形式の切替機能による切替制御について説明する。図４（ａ）〜（ｄ）の夫々は、図５（ａ）に示すように、ユーザが筐体を回転させて、タッチスクリーン４４が縦向き状態（後述）から横向き状態（後述）に変化した場合、又は、横向き状態から縦向き状態に変化した場合における、表示画像の切替制御の一例である。
図４（ａ）及び（ｂ）は、タッチスクリーン４４の向きの変化に従って表示画像を回転させる切替制御を表している。例えば、図４（ａ）及び（ｂ）は、表示画像の表示形式が縦長画像（後述）から横長画像（後述）、又は、横長画像から縦長画像へと切り替わる切替制御の一例を表している。また、図４（ｃ）及び図４（ｄ）は、タッチスクリーン４４の向きの変化に従って表示画像を縮小させる切替制御、即ち、表示画像の表示形式が縦長画像から横長画像、又は、横長画像から縦長画像へと切り替わらない切替制御の一例を表している。 The switching control by the display format switching function will be described below. In each of FIGS. 4A to 4D, as shown in FIG. 5A, the user rotates the housing to change the touch screen 44 from the portrait orientation (described later) to the landscape orientation (described later). This is an example of switching control of the display image when the display image is changed from the horizontal orientation state to the vertical orientation state.
FIGS. 4A and 4B show switching control for rotating the display image according to a change in the orientation of the touch screen 44. For example, FIGS. 4A and 4B show an example of switching control in which the display format of the display image is switched from the vertically long image (described later) to the horizontally long image (described later) or from the horizontally long image to the vertically long image. Further, FIGS. 4 (c) and 4 (d) show switching control for reducing the display image according to the change in the orientation of the touch screen 44, that is, the display format of the display image is from a vertically long image to a horizontally long image or from a horizontally long image. It shows an example of switching control that does not switch to a vertically long image.

（図４（ａ）の一例）
図４（ａ）の矢印の左側の図は、天地方向を長手方向としている状態（以下、縦向き状態）のタッチスクリーン４４に、天地方向が長手方向である画像（以下、縦長画像）である表示画像ＨＧ１が、表示されている様子を表している。表示画像ＨＧ１は、テキストＴ１と写真Ｐ１とを含んでいる。写真Ｐ１は、縦長である。 (Example of FIG. 4A)
The figure on the left side of the arrow in FIG. 4A is an image (hereinafter, vertically long image) in which the top and bottom direction is the longitudinal direction on the touch screen 44 in the state where the top and bottom direction is the longitudinal direction (hereinafter, the vertical direction). The display image HG 1 shows how it is displayed. The display image HG 1 includes the text T 1 and the photograph P 1 . Photo P 1 is vertically long.

図４（ａ）の矢印の右側の図は、水平方向を長手方向としている状態（以下、横向き状態）のタッチスクリーン４４に、水平方向が長手方向である画像（以下、横長画像）である表示画像ＨＧ１’が、表示されている様子を表している。表示画像ＨＧ１’は、テキストＴ１’と写真Ｐ１とを含んでいる。写真Ｐ１は、縦長である。 The figure on the right side of the arrow in FIG. 4A is an image (hereinafter, horizontally long image) in which the horizontal direction is the longitudinal direction on the touch screen 44 in the state where the horizontal direction is the longitudinal direction (hereinafter, the horizontal direction). image HG 1 'is represents a state that is displayed. Display image HG 1 ', the text T 1' and a photograph P 1 and. Photo P 1 is vertically long.

例えば、ユーザが、図５（ａ）の如く筐体を回転させて、タッチスクリーン４４が縦向き状態から横向き状態に変化した場合（右向矢印）、表示画像の表示形式は、タッチスクリーン４４の向きの変化に従って、縦長画像である表示画像ＨＧ１から、横長画像である表示画像ＨＧ１’へと切り替わる。逆に、タッチスクリーン４４が横向き状態から縦向き状態に変化した場合（左向矢印）、表示画像の表示形式は、横長画像である表示画像ＨＧ１’から、縦長画像である表示画像ＨＧ１へと切り替わる。
なお、表示画像ＨＧ１’上の写真Ｐ１は、表示画像ＨＧ１上の写真Ｐ１と表示サイズ及び表示方向が同一である。表示画像ＨＧ１’上のテキストＴ１’は、横長である表示画像ＨＧ１’に合わせるように、表示画像ＨＧ１上のテキストＴ１を再配置したものである。 For example, when the user rotates the housing as shown in FIG. 5A and the touch screen 44 changes from the portrait state to the landscape state (right-pointing arrow), the display format of the display image is the touch screen 44. in accordance with the change of the orientation is switched from the display image HG 1 is a vertically long image, to the display image HG 1 'is oblong image. Conversely, when the touch screen 44 is changed vertically state from landscape state (left direction arrow), the display format of the display image, the display image HG 1 'is oblong image, the display image HG 1 is a vertically long image It switches to.
Incidentally, photographs P 1 on the display image HG 1 'are identical in photograph P 1 and the display size and the display direction of the display image HG 1. 'Text T 1 of the' on display image HG 1 is to match the a landscape display image HG 1 ', is obtained by rearranging the text T 1 of the on the display image HG 1.

（図４（ｂ）の一例）
図４（ｂ）の矢印の左側の図は、横向き状態のタッチスクリーン４４に、横長画像である表示画像ＨＧ２が、表示されている様子を表している。表示画像ＨＧ２は、テキストＴ２と写真Ｐ２とを含んでいる。写真Ｐ２は、横長である。 (Example of FIG. 4B)
The figure on the left side of the arrow in FIG. 4B shows how the display image HG 2, which is a horizontally long image, is displayed on the touch screen 44 in the landscape orientation state. The display image HG 2 includes the text T 2 and the photograph P 2 . Photo P 2 is horizontally long.

図４（ｂ）の矢印の右側の図は、縦横向き状態のタッチスクリーン４４に、縦長画像である表示画像ＨＧ２’が、表示されている様子を表している。表示画像ＨＧ２’は、テキストＴ２’と写真Ｐ２とを含んでいる。写真Ｐ２は、横長である。 The figure on the right side of the arrow in FIG. 4B shows a state in which the display image HG 2 ', which is a vertically long image, is displayed on the touch screen 44 in the vertical and horizontal orientation state. Display image HG 2 ', the text T 2' contains and the photograph P 2. Photo P 2 is horizontally long.

例えば、ユーザが、図５（ａ）の如く筐体を回転させて、タッチスクリーン４４が横向き状態から縦向き状態に変化した場合（右向矢印）、表示画像の表示形式は、タッチスクリーン４４の向きの変化に従って、横長画像である表示画像ＨＧ２から、縦長画像である表示画像ＨＧ２’へと切り替わる。逆に、タッチスクリーン４４が縦向き状態から横向き状態に変化した場合（左向矢印）、表示画像の表示形式は、縦長画像である表示画像ＨＧ２’から、横長画像である表示画像ＨＧ２へと切り替わる。
なお、表示画像ＨＧ２’上の写真Ｐ２は、表示画像ＨＧ２上の写真Ｐ２と表示サイズ及び表示方向が同一である。表示画像ＨＧ２’上のテキストＴ２’は、縦長である表示画像ＨＧ２’に合わせるように、表示画像ＨＧ２上のテキストＴ２を再配置したものである。 For example, when the user rotates the housing as shown in FIG. 5A and the touch screen 44 changes from the landscape orientation state to the portrait orientation state (right-pointing arrow), the display format of the display image is the touch screen 44. in accordance with the change of the orientation is switched from the display image HG 2 is a horizontally long image, to the display image HG 2 'is a vertically long image. Conversely, when the touch screen 44 is changed from the vertical state to the horizontal state (left direction arrow), the display format of the display image, the display image HG 2 'is a portrait image, the display image HG 2 is a horizontally long image It switches to.
Incidentally, photographs P 2 on the display image HG 2 'are identical in photograph P 2 and the display size and the display direction of the display image HG 2. 'Text T 2 of the' on display image HG 2, as fit in a vertically long display image HG 2 ', is obtained by rearranging the text T 2 of the on the display image HG 2.

（図４（ｃ）の一例）
図４（ｃ）の矢印の左側の図は、図４（ａ）の矢印の左側の図と同様、表示画像ＨＧ１が、表示されている様子を表している。 (Example of FIG. 4C)
The figure on the left side of the arrow in FIG. 4 (c) shows how the display image HG 1 is displayed, as in the figure on the left side of the arrow in FIG. 4 (a).

図４（ｃ）の矢印の右側の図は、横向き状態のタッチスクリーン４４に、縦長画像である表示画像ＨＧ１’’が、表示されている様子を表している。表示画像ＨＧ１’’は、テキストＴ１’’と写真Ｐ１’’を含んでいる。写真Ｐ１’’は、縦長である。 The figure on the right side of the arrow in FIG. 4C shows a state in which the display image HG 1 ″, which is a vertically long image, is displayed on the touch screen 44 in the landscape orientation state. The display image HG 1 ″ includes the text T 1 ″ and the photograph P 1 ″. Photo P 1 ″ is vertically long.

例えば、ユーザが、図５（ａ）の如く筐体を回転させて、タッチスクリーン４４が縦向き状態から横向き状態に変化した場合（右向矢印）、表示画像の表示形式は、タッチスクリーン４４の天地方向の長さの変化（短くなる）に従って、縦長画像である表示画像ＨＧ１から、縮小された縦長画像である表示画像ＨＧ１’’へと切り替わる。逆に、タッチスクリーン４４が横向き状態から縦向き状態に変化した場合（左向矢印）、表示画像の表示形式は、タッチスクリーン４４の天地方向の長さの変化（長くなる）に従って、縮小された縦長画像である表示画像ＨＧ１’’から、元の大きさの縦長画像である表示画像ＨＧ１へと切り替わる。
なお、表示画像ＨＧ１’’上の写真Ｐ１’’は、縮小された表示画像ＨＧ１’’に合わせるように、表示画像ＨＧ１上の写真Ｐ１を縮小したものである。表示画像ＨＧ１’’上のテキストＴ１’’についても同様である。 For example, when the user rotates the housing as shown in FIG. 5A and the touch screen 44 changes from the portrait state to the landscape state (right-pointing arrow), the display format of the display image is the touch screen 44. As the length in the vertical direction changes (shortens), the display image HG 1 which is a vertically long image is switched to the display image HG 1 '' which is a reduced vertically long image. Conversely, when the touch screen 44 changes from the landscape orientation to the portrait orientation (left-pointing arrow), the display format of the displayed image is reduced as the length of the touch screen 44 changes in the vertical direction (becomes longer). The display image HG 1 '' which is a vertically long image is switched to the display image HG 1 which is a vertically long image of the original size.
The display image HG 1 '' on the photo P 1 '' is to match the reduced display image HG 1 '', it is obtained by reducing the photo P 1 on the display image HG 1. The same is true for '' text T 1 on the 'display image HG 1'.

（図４（ｄ）の一例）
図４（ｄ）の矢印の左側の図は、図４（ｂ）の矢印の左側の図と同様、表示画像ＨＧ２が、表示されている様子を表している。 (Example of FIG. 4D)
The figure on the left side of the arrow in FIG. 4 (d) shows how the display image HG 2 is displayed, as in the figure on the left side of the arrow in FIG. 4 (b).

図４（ｄ）の矢印の右側の図は、縦向き状態のタッチスクリーン４４に、横長画像である表示画像ＨＧ２’’が、表示されている様子を表している。表示画像ＨＧ２’’は、テキストＴ２’’と写真Ｐ２’’を含んでいる。写真Ｐ２’’は、横長である。 The figure on the right side of the arrow in FIG. 4D shows a state in which the display image HG 2 ″, which is a horizontally long image, is displayed on the touch screen 44 in the vertical orientation state. The display image HG 2 ″ includes a text T 2 ″ and a photo P 2 ″. Photo P 2 ″ is horizontally long.

例えば、ユーザが、図５（ａ）の如く筐体を回転させて、タッチスクリーン４４が横向き状態から縦向き状態に変化した場合（左向矢印）、表示画像の表示形式は、タッチスクリーン４４の水平方向の長さの変化（短くなる）に従って、横長画像である表示画像ＨＧ２から、縮小された横長画像である表示画像ＨＧ２’’へと切り替わる。逆に、タッチスクリーン４４が縦向き状態から横向き状態に変化した場合（右向矢印）、表示画像の表示形式は、タッチスクリーン４４の水平方向の長さの変化（長くなる）に従って、縮小された横長画像である表示画像ＨＧ２’’から、元の大きさの横長画像である表示画像ＨＧ２へと切り替わる。
なお、表示画像ＨＧ２’’上の写真Ｐ２’’は、縮小された表示画像ＨＧ２’’に合わせるように、表示画像ＨＧ２上の写真Ｐ２を縮小したものである。表示画像ＨＧ２’’上のテキストＴ２’’についても同様である。 For example, when the user rotates the housing as shown in FIG. 5A and the touch screen 44 changes from the landscape orientation state to the portrait orientation state (left-pointing arrow), the display format of the display image is the touch screen 44. As the length changes (shortens) in the horizontal direction, the display image HG 2 which is a horizontally long image is switched to the display image HG 2 ″ which is a reduced horizontally long image. On the contrary, when the touch screen 44 changes from the portrait state to the landscape state (right-pointing arrow), the display format of the displayed image is reduced according to the change (longer) in the horizontal length of the touch screen 44. The display image HG 2 '' which is a horizontally long image is switched to the display image HG 2 which is a horizontally long image of the original size.
The photo P 2 ″ on the display image HG 2 '' is a reduced version of the photo P 2 on the display image HG 2 so as to match the reduced display image HG 2 ″. The same applies to the 'text T 2 of the' on display image HG 2 '.

設定認識部１１０は、記憶部３０に記憶されている設定情報（表示画像の表示形式の切替機能のオン／オフの情報、ホールド機能のオン／オフの情報）を取得する。例えば、設定認識部１１０は、傾斜量判定部１２０からの要求に応じて、記憶部３０に記憶されている設定情報を取得し、設定情報を傾斜量判定部１２０に出力（応答）する。 The setting recognition unit 110 acquires the setting information (information on turning on / off the display format of the display image, information on turning on / off the hold function) stored in the storage unit 30. For example, the setting recognition unit 110 acquires the setting information stored in the storage unit 30 in response to the request from the inclination amount determination unit 120, and outputs (responds) the setting information to the inclination amount determination unit 120.

傾斜量判定部１２０は、モーションセンサ５０（仰角センサ５６）から検出値を取得し、筐体の傾斜量を算出する。なお、傾斜量判定部１２０は、表示形式の切替機能がオンに設定されている場合に、筐体の傾斜量を算出してもよい。 The tilt amount determination unit 120 acquires a detected value from the motion sensor 50 (elevation angle sensor 56) and calculates the tilt amount of the housing. The tilt amount determination unit 120 may calculate the tilt amount of the housing when the display format switching function is set to ON.

筐体の傾斜量を算出した傾斜量判定部１２０は、算出した傾斜量が所定量以上であるか否か、即ち、筐体が所定量以上傾斜したか否かを判定する。上記所定量は、例えば、４５度や６０度である。上記所定量は、例えば、５、１０、１５、２０、２５、３０、３５、４０、４５、５０、６０、６５、７０、７５、８０、８５、又は９０度にできる。 The tilt amount determination unit 120 that has calculated the tilt amount of the housing determines whether or not the calculated tilt amount is equal to or greater than a predetermined amount, that is, whether or not the housing is tilted by a predetermined amount or more. The predetermined amount is, for example, 45 degrees or 60 degrees. The predetermined amount can be, for example, 5, 10, 15, 20, 25, 30, 35, 40, 45, 50, 60, 65, 70, 75, 80, 85, or 90 degrees.

傾斜量判定部１２０は、表示形式の切替機能がオフに設定されている場合、何もしない。即ち、傾斜量判定部１２０は、表示形式の切替機能がオフに設定されている場合には、表示形式の切り替えは行わないため、既に筐体の傾斜量を算出していた場合であっても、何もしない。 The tilt amount determination unit 120 does nothing when the display format switching function is set to off. That is, the tilt amount determination unit 120 does not switch the display format when the display format switching function is set to off, so that even if the tilt amount of the housing has already been calculated. ,do nothing.

また、傾斜量判定部１２０は、筐体が所定量以上傾斜していないと判定した場合には、表示形式の切り替えは行わないため、表示形式の切替機能がオンに設定されている場合であっても、何もしない。 Further, when the tilt amount determination unit 120 determines that the housing is not tilted by a predetermined amount or more, the display format is not switched, so that the display format switching function is set to ON. But do nothing.

傾斜量判定部１２０は、表示形式の切替機能がオンに設定され、かつ、筐体が所定量以上傾斜したと判定した場合において、本実施形態のホールド機能がオフに設定されている場合には、筐体の傾斜量、及び、筐体の傾斜方向とともに、ホールド機能がオフに設定されている旨の通知（情報）を切替判定部１５０に出力する。 When the tilt amount determination unit 120 determines that the display format switching function is turned on and the housing is tilted by a predetermined amount or more, the hold function of the present embodiment is set to off. Along with the amount of inclination of the housing and the direction of inclination of the housing, a notification (information) indicating that the hold function is set to off is output to the switching determination unit 150.

傾斜量判定部１２０は、表示形式の切替機能がオンに設定され、かつ、筐体が所定量以上傾斜したと判定した場合において、本実施形態のホールド機能がオンに設定されている場合には、筐体の傾斜量、及び、筐体の傾斜方向を特徴領域抽出部１３０に出力する。 When the tilt amount determination unit 120 determines that the display format switching function is turned on and the housing is tilted by a predetermined amount or more, the hold function of the present embodiment is set to on. , The amount of inclination of the housing and the direction of inclination of the housing are output to the feature region extraction unit 130.

特徴領域抽出部１３０は、フロントカメラ６２によって撮像された撮像画像をカメラ部６０から取得する。例えば、特徴領域抽出部１３０は、筐体の傾斜量、及び、筐体の傾斜方向を傾斜量判定部１２０から取得した場合に、筐体の傾斜前後の撮像画像をカメラ部６０から取得する。つまり、特徴領域抽出部１３０は、表示形式の切替機能、及び、ホールド機能がオンに設定され、かつ、筐体が所定量以上傾斜したと判定された場合に、筐体の傾斜前後の撮像画像をカメラ部６０から取得する。 The feature area extraction unit 130 acquires the captured image captured by the front camera 62 from the camera unit 60. For example, the feature region extraction unit 130 acquires images captured before and after the inclination of the housing from the camera unit 60 when the inclination amount of the housing and the inclination direction of the housing are acquired from the inclination amount determination unit 120. That is, when the display format switching function and the hold function are set to ON and it is determined that the housing is tilted by a predetermined amount or more, the feature area extraction unit 130 captures images before and after the housing is tilted. Is obtained from the camera unit 60.

傾斜前後の撮像画像とは、筐体の傾斜前の撮像画像（傾斜動作し始める直前の撮像画像、若しくは、傾斜動作し始めた直後の撮像画像）、及び、筐体の傾斜後の撮像画像（傾斜動作が完了した直後の撮像画像）である。 The captured images before and after tilting are the captured image before tilting the housing (the captured image immediately before the tilting operation starts, or the captured image immediately after the tilting operation starts), and the captured image after tilting the housing (the captured image). (Captured image immediately after the tilting operation is completed).

なお、傾斜前後の撮像画像のうち、筐体の傾斜前の撮像画像は、特徴領域抽出部１３０が、傾斜量判定部１２０から、筐体の傾斜量、及び、筐体の傾斜方向を取得する時点よりも前（過去）の画像である。従って、特徴領域抽出部１３０は、傾斜量判定部１２０から筐体の傾斜量等を取得した時点でカメラ部６０に撮像を要求するという方法では、筐体の傾斜前の撮像画像を取得することは難しい。そのため、例えば、下記方法によって、特徴領域抽出部１３０は、筐体の傾斜前の撮像画像を取得する。 Of the images captured before and after tilting, in the captured image before tilting the housing, the feature region extraction unit 130 acquires the tilting amount of the housing and the tilting direction of the housing from the tilting amount determination unit 120. It is an image before (past) the time point. Therefore, in the method in which the feature region extraction unit 130 requests the camera unit 60 to take an image when the inclination amount of the housing is acquired from the inclination amount determination unit 120, the captured image before the inclination of the housing is acquired. Is difficult. Therefore, for example, the feature region extraction unit 130 acquires the captured image before tilting the housing by the following method.

第１の方法は、カメラ部６０が、表示形式の切替機能、及び、ホールド機能がオンに設定されている場合には、常に、画像を撮像し、一定時間（所定時間）、一時的に記憶しておく方法である。第２の方法は、カメラ部６０が、モーションセンサ５０（仰角センサ５６）からの通知によって、筐体が傾斜動作し始めたとき（筐体の動きを検出したとき）から画像を撮像し、一定時間（所定時間）、一時的に記憶しておく方法である。第１の方法及び第２の方法の何れであっても、特徴領域抽出部１３０は、筐体の傾斜量、及び、筐体の傾斜方向を傾斜量判定部１２０から取得した時点において、一時的に記憶されている画像の中から傾斜前の撮像画像を取得することができる。 In the first method, when the camera unit 60 is set to turn on the display format switching function and the hold function, it always captures an image and temporarily stores it for a certain period of time (predetermined time). It is a way to keep it. In the second method, the camera unit 60 captures an image from the time when the housing starts to tilt (when the movement of the housing is detected) by the notification from the motion sensor 50 (elevation sensor 56), and is constant. This is a method of temporarily storing the time (predetermined time). In either of the first method and the second method, the feature region extraction unit 130 temporarily obtains the inclination amount of the housing and the inclination direction of the housing from the inclination amount determination unit 120. The captured image before tilting can be acquired from the images stored in.

特徴領域抽出部１３０は、筐体の傾斜前後の撮像画像（筐体の傾斜前の撮像画像、筐体の傾斜後の撮像画像）をカメラ部６０から取得した場合、筐体の傾斜前後の夫々の撮像画像から、被写体の特徴部分を抽出する。この場合、想定する被写体は、電子機器３を把持し、タッチスクリーン４４を見ているユーザ（自分）である。特徴部分は、例えば、ユーザの顔のパーツ（例えば、目、耳）又は顔の輪郭である。 When the feature area extraction unit 130 acquires images captured before and after tilting the housing (images captured before tilting the housing and images captured after tilting the housing) from the camera unit 60, the feature area extraction unit 130 takes images before and after tilting the housing, respectively. The characteristic part of the subject is extracted from the captured image of. In this case, the assumed subject is a user (self) who is holding the electronic device 3 and looking at the touch screen 44. The feature portion is, for example, a user's facial parts (eg, eyes, ears) or facial contours.

例えば、筐体の傾斜前の撮像画像が図６（ａ）に示す撮像画像ＳＧ、筐体の傾斜後の撮像画像が図６（ａ）に示す撮像画像ＳＧ’である場合、特徴領域抽出部１３０は、図６（ｂ）に示すように、撮像画像ＳＧ及び撮像画像ＳＧ’の夫々から、ユーザの両目を通過する直線Ｌ１、Ｌ１’を被写体の特徴部分として抽出する。
また、特徴領域抽出部１３０は、ユーザの両目を通過する直線Ｌ１、Ｌ１’に代えて、図６（ｃ）に示すように、ユーザの両耳を通過する直線Ｌ２、Ｌ２’を被写体の特徴部分として抽出してもよい。
また、特徴領域抽出部１３０は、上記に代えて、図６（ｄ）に示すように、ユーザの顔の輪郭に隣接する矩形の中心を通過する直線Ｌ３（又は直線Ｌ４）、直線Ｌ３’（又は直線Ｌ４’）を被写体の特徴部分として抽出してもよい。 For example, when the captured image before tilting the housing is the captured image SG shown in FIG. 6A and the captured image after tilting the housing is the captured image SG'shown in FIG. 6A, the feature region extraction unit. 130, as shown in FIG. 6 (b), 'from each of, the straight line L 1, L 1 passing through the eyes of the user' captured images SG and the captured image SG to extract a feature portion of the object.
Also, the feature region extraction unit 130, the straight line L 1, L 1 passing through the eyes of the user 'instead of, as shown in FIG. 6 (c), the straight line L 2 which passes through the ears of the user, L 2' May be extracted as a characteristic portion of the subject.
Further, instead of the above, the feature area extraction unit 130 has a straight line L 3 (or a straight line L 4 ) and a straight line L passing through the center of the rectangle adjacent to the contour of the user's face, as shown in FIG. 6 (d). 3 '(or linear L 4') may be extracted as a characteristic portion of the object.

特徴領域抽出部１３０は、筐体の傾斜前後の夫々の撮像画像から被写体の特徴部分を抽出できた場合には、傾斜量判定部１２０から取得した筐体の傾斜量、及び、筐体の傾斜方向とともに、傾斜前後の夫々の撮像画像から抽出した被写体の特徴部分を示す情報を変化量算出部１４０に出力する。例えば、特徴領域抽出部１３０は、図６（ｂ）に示す直線Ｌ１、Ｌ１’を被写体の特徴部分として抽出できた場合には、被写体の特徴部分を示す情報として、直線Ｌ１の傾きの値、及び、直線Ｌ１’の傾きの値を変化量算出部１４０に出力する。 When the feature area extraction unit 130 can extract the feature portion of the subject from the captured images before and after the tilt of the housing, the tilt amount of the housing acquired from the tilt amount determination unit 120 and the tilt of the housing Along with the direction, information indicating the characteristic portion of the subject extracted from each of the captured images before and after the tilt is output to the change amount calculation unit 140. For example, feature region extraction unit 130, if able to extract the lines L 1, L 1 'shown in FIG. 6 (b) as a characteristic portion of the object, as information indicating a characteristic portion of the object, the lines L 1 slope value, and outputs the value of the gradient of the straight line L 1 'to change calculator 140.

一方、特徴領域抽出部１３０は、筐体の傾斜前の撮像画像、筐体の傾斜後の撮像画像の少なくとも一方から被写体の特徴部分を抽出できなかった場合には、傾斜量判定部１２０から取得した筐体の傾斜量、及び、筐体の傾斜方向とともに、特徴部分を抽出できなかった旨の通知（情報）を切替判定部１５０に出力する。 On the other hand, when the feature region extraction unit 130 cannot extract the feature portion of the subject from at least one of the captured image before tilting the housing and the captured image after tilting the housing, the feature region extraction unit 130 acquires it from the tilt amount determination unit 120. Along with the tilted amount of the housing and the tilting direction of the housing, a notification (information) indicating that the feature portion could not be extracted is output to the switching determination unit 150.

なお、図１Ａに示すように、タッチスクリーン４４とフロントカメラ６２の位置関係から、ユーザが、電子機器３を把持し、タッチスクリーン４４を見ている場合には、筐体の傾斜前後の夫々の撮像画像から、当該ユーザの顔のパーツ又は輪郭を抽出できる公算が大きい。 As shown in FIG. 1A, due to the positional relationship between the touch screen 44 and the front camera 62, when the user holds the electronic device 3 and looks at the touch screen 44, each of them before and after tilting the housing. It is highly probable that the facial parts or contours of the user can be extracted from the captured image.

変化量算出部１４０は、筐体の傾斜量、筐体の傾斜方向、及び、夫々の撮像画像（筐体の傾斜前の撮像画像、及び、筐体の傾斜後の撮像画像）から抽出した被写体の特徴部分を示す情報を特徴領域抽出部１３０から取得した場合には、当該特徴部分の時間的な変化量を算出する。 The change amount calculation unit 140 is a subject extracted from the amount of inclination of the housing, the direction of inclination of the housing, and the captured images (images taken before the housing is tilted and images taken after the housing is tilted). When the information indicating the feature portion of is acquired from the feature region extraction unit 130, the amount of change over time of the feature portion is calculated.

例えば、変化量算出部１４０は、被写体の特徴部分を示す情報として、図６（ｂ）に示す直線Ｌ１の傾きの値、及び、直線Ｌ１’の傾きの値を取得した場合には、特徴部分の時間的な変化量として、直線Ｌ１と直線Ｌ１’の為す角度θ１（図６（ｂ）参照）を算出する。なお、変化量算出部１４０は、被写体の特徴部分を示す情報として、図６（ｃ）に示す直線Ｌ２の傾きの値、及び、直線Ｌ２’の傾きの値を取得した場合には、特徴部分の時間的な変化量として角度θ２（図６（ｃ）参照）を算出し、図６（ｄ）に示す直線Ｌ３の傾きの値、及び、直線Ｌ３’の傾きの値を取得した場合には、特徴部分の時間的な変化量として角度θ３（図６（ｄ）参照）を算出する。なお、上述の角度θ１、θ２、θ３は、筐体の傾斜前後における被写体の特徴部分の回転量でもある。なお、例えば、変化量算出部１４０は、被写体の特徴部分を示す情報として図６（ｂ）に示す撮像画像における直線Ｌ１の位置（座標）を取得した場合には、特徴部分の時間的な変化量として撮像画像における直線Ｌ１の位置の移動量を算出する。また、例えば、変化量算出部１４０は、被写体の特徴部分を示す情報としてモーションセンサ５０によって検出した筐体の重力方向に対する直線Ｌ１’の傾きの値を取得した場合には、特徴部分の時間的な変化量として重力方向に対する直線Ｌ１’の傾き（角度）を算出する。 For example, the change amount calculator 140, as information indicating a characteristic portion of the object, the slope of the value of the straight line L 1 shown in FIG. 6 (b), and, when obtaining the value of the slope of the straight line L 1 'is The angle θ 1 formed by the straight line L 1 and the straight line L 1 '(see FIG. 6 (b)) is calculated as the amount of change over time in the feature portion. The change amount calculation unit 140, as information indicating a characteristic portion of the object, the slope of the value of the straight line L 2 shown in FIG. 6 (c), and, when obtaining the value of the slope of the straight line L 2 'is calculates the angle theta 2 (see FIG. 6 (c)) as a temporal change amount of the characteristic portion, the slope of the values of the straight line L 3 shown in FIG. 6 (d), and the value of the gradient of the straight line L 3 ' When acquired, the angle θ 3 (see FIG. 6D) is calculated as the amount of change over time in the feature portion. The above-mentioned angles θ 1 , θ 2 , and θ 3 are also the amount of rotation of the characteristic portion of the subject before and after the inclination of the housing. Incidentally, for example, the change amount calculation unit 140, when acquiring the position of the straight line L 1 (coordinates) in the captured image shown in FIG. 6 (b) as the information indicating the characteristic portion of the object, a temporal characteristic parts It calculates a movement amount of the position of the straight line L 1 in the captured image as the variation amount. Further, for example, the change amount calculation unit 140, when obtaining the value of the slope of the straight line L 1 'with respect to the gravity direction of the casing detected by the motion sensor 50 as information indicating a characteristic portion of the object, the characteristic portion time calculating the gradient of the straight line L 1 '(angle) with respect to the direction of gravity as a change amount.

被写体の特徴部分の時間的な変化量を算出した変化量算出部１４０は、特徴領域抽出部１３０から取得した筐体の傾斜量、及び、筐体の傾斜方向とともに、被写体の特徴部分の時間的な変化量を切替判定部１５０に出力する。 The change amount calculation unit 140, which calculates the temporal change amount of the feature portion of the subject, includes the tilt amount of the housing acquired from the feature region extraction unit 130 and the tilt direction of the housing, as well as the temporal change amount of the feature portion of the subject. The amount of change is output to the switching determination unit 150.

切替判定部１５０は、表示画像の表示形式の切り替えの要否を判定する。
切替判定部１５０は、筐体の傾斜量、筐体の傾斜方向、及び、本実施形態のホールド機能がオフに設定されている旨の通知（情報）を傾斜量判定部１２０から取得した場合、表示形式の切り替えが必要であると判定する。
つまり、筐体が所定量以上傾斜したと判定された場合であって、本実施形態のホールド機能がオフに設定されている場合には、切替判定部１５０は、表示形式の切り替えが必要であると判定する。 The switching determination unit 150 determines the necessity of switching the display format of the display image.
When the switching determination unit 150 obtains a notification (information) from the inclination amount determination unit 120 that the inclination amount of the housing, the inclination direction of the housing, and the hold function of the present embodiment are set to off, It is determined that the display format needs to be switched.
That is, when it is determined that the housing is tilted by a predetermined amount or more and the hold function of the present embodiment is set to off, the switching determination unit 150 needs to switch the display format. Is determined.

また、切替判定部１５０は、筐体の傾斜量、筐体の傾斜方向、及び、特徴部分を抽出できなかった旨の通知（情報）を特徴領域抽出部１３０から取得した場合にも、表示形式の切り替えが必要であると判定する。
つまり、筐体が所定量以上傾斜したと判定された場合であって、ホールド機能がオンに設定されている場合において、筐体の傾斜前の撮像画像、筐体の傾斜後の撮像画像の少なくとも一方から被写体の特徴部分が抽出されなかった場合（換言すれば、被写体の特徴部分の時間的な変化量を算出することができない場合）には、切替判定部１５０は、表示形式の切り替えが必要であると判定する。 Further, the switching determination unit 150 also displays the display format even when the tilt amount of the housing, the tilt direction of the housing, and the notification (information) indicating that the feature portion could not be extracted are obtained from the feature area extraction unit 130. It is determined that switching is necessary.
That is, when it is determined that the housing is tilted by a predetermined amount or more and the hold function is set to ON, at least the captured image before the housing is tilted and the captured image after the housing is tilted. When the characteristic portion of the subject is not extracted from one of them (in other words, when the amount of change over time in the characteristic portion of the subject cannot be calculated), the switching determination unit 150 needs to switch the display format. Is determined to be.

また、切替判定部１５０は、筐体の傾斜量、筐体の傾斜方向、及び、被写体の特徴部分の時間的な変化量を変化量算出部１４０から取得した場合には、被写体の特徴部分の時間的な変化量と変化量に関する第１の閾値とを比較し、表示画像の表示形式の切り替えの要否を判定する。 Further, when the switching determination unit 150 acquires the tilt amount of the housing, the tilt direction of the housing, and the temporal change amount of the feature portion of the subject from the change amount calculation unit 140, the switching determination unit 150 of the feature portion of the subject. The amount of change over time is compared with the first threshold value for the amount of change, and the necessity of switching the display format of the display image is determined.

例えば、切替判定部１５０は、被写体の特徴部分の時間的な変化量が第１の閾値以上である場合、表示形式の切り替えが必要であると判定し、被写体の特徴部分の時間的な変化量が第１の閾値未満である場合には、表示画像の表示形式の切り替えが不要であると判定する。
つまり、筐体が所定量以上傾斜したと判定された場合であって、ホールド機能がオンに設定されている場合において、被写体の特徴部分の時間的な変化量が第１の閾値以上であるときは、切替判定部１５０は、表示形式の切り替えが必要（換言すれば、ホールド機能によるホールド処理が不要）であると判定し、被写体の特徴部分の時間的な変化量が第１の閾値未満である場合には、切替判定部１５０は、表示画像の表示形式の切り替えが不要（換言すれば、ホールド機能によるホールド処理が必要）であると判定する。一例において、被写体（ユーザの顔等）と筐体（本体）との間の相対姿勢の変化／遷移を検出した結果に基づいて、表示画像の表示形式が制御され得る。相対姿勢の変化／遷移が比較的大きい場合、表示形式を切り替える。相対姿勢の変化／遷移が比較的小さい場合、表示形式を切り替えない。 For example, when the switching determination unit 150 determines that the display format needs to be switched when the temporal change amount of the characteristic portion of the subject is equal to or greater than the first threshold value, the switching determination unit 150 determines that the display format needs to be switched and the temporal change amount of the characteristic portion of the subject. When is less than the first threshold value, it is determined that it is not necessary to switch the display format of the display image.
That is, when it is determined that the housing is tilted by a predetermined amount or more, and when the hold function is set to ON, the amount of time change of the characteristic portion of the subject is equal to or more than the first threshold value. Determines that the switching determination unit 150 needs to switch the display format (in other words, the hold processing by the hold function is unnecessary), and the amount of change over time in the characteristic portion of the subject is less than the first threshold value. In some cases, the switching determination unit 150 determines that it is not necessary to switch the display format of the display image (in other words, hold processing by the hold function is necessary). In one example, the display format of the display image can be controlled based on the result of detecting the change / transition of the relative posture between the subject (user's face, etc.) and the housing (main body). If the change / transition of the relative posture is relatively large, the display format is switched. If the change / transition of the relative posture is relatively small, the display format is not switched.

なお、被写体の特徴部分の時間的な変化量と比較する第１の閾値は、ユーザが、筐体を回転させるなどして筐体を傾斜させる際に、当該ユーザが筐体の傾斜に伴って自身の顔（例えば、両目を結ぶ直線）を意図的に傾斜させたか否かを判定するための値である。
筐体の傾斜に伴って自身の顔を意図的に傾斜させている例は、例えば、図５（ｂ）に示すような場合である。一方、図５（ａ）は、ユーザが、筐体のみを９０度傾斜させた際に、筐体の傾斜に連れて自身の顔を意図的に傾斜させていない例である。
図５（ａ）の場合、被写体の特徴部分の変化量は９０度となる。図５（ｂ）の場合、被写体の特徴部分の変化量は略０度となる。また、図示しないが、筐体が９０度傾斜し、ユーザが筐体と同一方向に５０度傾斜したときは、被写体の特徴部分の変化量は４０度になる。
以上から、例えば、第１の閾値は、数度程度〜４５度程度の角度としてもよい。例えば、第１の閾値は、５、１０、１５、２０、２５、３０、３５、４０、又は４５度にできる。
例えば、第１の閾値を３０度とした場合、ユーザが、筐体を時計回りに９０度傾斜させた際に、顔を時計回りに６０度以上傾斜させると、変化量は第１の閾値未満となるため、ホールド機能によるホールド処理が働く。 The first threshold value to be compared with the amount of change over time in the characteristic portion of the subject is that when the user tilts the housing by rotating the housing or the like, the user tilts the housing. It is a value for determining whether or not one's face (for example, a straight line connecting both eyes) is intentionally tilted.
An example in which one's face is intentionally tilted as the housing is tilted is, for example, the case shown in FIG. 5 (b). On the other hand, FIG. 5A is an example in which the user does not intentionally incline his / her face as the housing is tilted when only the housing is tilted 90 degrees.
In the case of FIG. 5A, the amount of change in the characteristic portion of the subject is 90 degrees. In the case of FIG. 5B, the amount of change in the characteristic portion of the subject is approximately 0 degrees. Further, although not shown, when the housing is tilted 90 degrees and the user is tilted 50 degrees in the same direction as the housing, the amount of change in the characteristic portion of the subject is 40 degrees.
From the above, for example, the first threshold value may be an angle of about several degrees to about 45 degrees. For example, the first threshold can be 5, 10, 15, 20, 25, 30, 35, 40, or 45 degrees.
For example, when the first threshold value is 30 degrees, when the user tilts the housing 90 degrees clockwise and the face is tilted 60 degrees or more clockwise, the amount of change is less than the first threshold value. Therefore, the hold process by the hold function works.

切替判定部１５０は、表示形式の切り替えが必要であると判定した場合には、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部１８０に出力する。一方、切替判定部１５０は、表示形式の切り替えが不要であると判定した場合には、表示形式を維持する旨の通知（情報）を切替制限部１６０に出力する。 When the switching determination unit 150 determines that the display format needs to be switched, the switching determination unit 150 outputs the inclination amount of the housing and the inclination direction of the housing to the switching processing unit 180. On the other hand, when the switching determination unit 150 determines that the display format switching is unnecessary, the switching determination unit 150 outputs a notification (information) to the effect that the display format is maintained to the switching restriction unit 160.

切替制限部１６０は、表示形式を維持する旨の通知を切替判定部１５０から取得した場合、表示画像の表示形式を、筐体の傾斜量及び筐体の傾斜方向に応じて切り替えないように制御する。例えば、切替制限部１６０は、何もしないか、若しくは、表示形式を維持する旨の通知（情報）を切替処理部１８０に出力する。 When the switching limiting unit 160 obtains a notification from the switching determination unit 150 that the display format is maintained, the switching limiting unit 160 controls the display format of the display image so as not to be switched according to the tilt amount of the housing and the tilting direction of the housing. To do. For example, the switching limiting unit 160 outputs a notification (information) indicating that nothing is done or the display format is maintained to the switching processing unit 180.

切替処理部１８０は、筐体の傾斜量、及び、筐体の傾斜方向を切替判定部１５０から取得した場合、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する。例えば、切替処理部１８０は、筐体の傾斜量、及び、筐体の傾斜方向に基づいて、表示形式（切替後の表示形式）を決定し、決定した表示形式をタッチスクリーンコントローラ４２に出力する。これにより、タッチスクリーン４４に表示されている表示画像が、図４に示すように、切り替わる。
一方、切替処理部１８０は、表示形式を維持する旨の通知（情報）を切替制限部１６０から取得した場合には、何もしない。 When the switching processing unit 180 acquires the tilting amount of the housing and the tilting direction of the housing from the switching determination unit 150, the switching processing unit 180 displays a display image according to the tilting amount of the housing and the tilting direction of the housing. Control to switch. For example, the switching processing unit 180 determines the display format (display format after switching) based on the tilt amount of the housing and the tilt direction of the housing, and outputs the determined display format to the touch screen controller 42. .. As a result, the display image displayed on the touch screen 44 is switched as shown in FIG.
On the other hand, when the switching processing unit 180 obtains the notification (information) indicating that the display format is maintained from the switching limiting unit 160, the switching processing unit 180 does nothing.

以上のように、表示制御部１００は、筐体が所定量以上傾斜したと判定された場合であって、表示形式の切替機能、及び、ホールド機能がオンに設定されている場合には、被写体の特徴部分の時間的な変化量に応じて、タッチスクリーン４４における表示画像の表示形式を選択的に切り替える。 As described above, the display control unit 100 is a subject when it is determined that the housing is tilted by a predetermined amount or more and the display format switching function and the hold function are set to ON. The display format of the display image on the touch screen 44 is selectively switched according to the amount of time change of the feature portion of.

なお、切替判定部１５０は、表示形式を維持する旨の通知（情報）を切替処理部１８０に出力してもよい。換言すれば、切替判定部１５０は、切替制限部１６０の機能を有してもよい（切替制限部１６０は切替判定部１５０に吸収されてもよい）。 The switching determination unit 150 may output a notification (information) to the effect that the display format is maintained to the switching processing unit 180. In other words, the switching determination unit 150 may have the function of the switching limiting unit 160 (the switching limiting unit 160 may be absorbed by the switching determination unit 150).

図７は、表示形式の切り替えの設定に関する処理（設定処理）の流れを示すフローチャートの一例である。例えば、図７のフローチャートは、自動設定処理の流れの一例である。図７のフローチャートは、電子機器３の電源オン時において随時（例えば定期的に）開始する。なお、出荷時において、記憶部３０には、切替制御のオン／オフ、ホールド機能のオン／オフの何れかが設定（記憶）されているものとする。 FIG. 7 is an example of a flowchart showing the flow of processing (setting processing) related to the setting of switching the display format. For example, the flowchart of FIG. 7 is an example of the flow of the automatic setting process. The flowchart of FIG. 7 starts at any time (for example, periodically) when the power of the electronic device 3 is turned on. At the time of shipment, it is assumed that either the switching control on / off or the hold function on / off is set (stored) in the storage unit 30.

図７において、プロセッサ１０（設定認識部１１０）は、記憶部３０を参照し、切替機能がオンである否かを判断する（ステップＳ１０）。 In FIG. 7, the processor 10 (setting recognition unit 110) refers to the storage unit 30 and determines whether or not the switching function is on (step S10).

切替機能がオンである場合（ステップＳ１０：Ｙｅｓ）、プロセッサ１０（非図示のアプリ実行部）は、切替可能な表示形式の表示画像を表示するアプリケーションを実行中であるか否かを判断する（ステップＳ２０）。 When the switching function is on (step S10: Yes), the processor 10 (application execution unit (not shown) determines whether or not an application for displaying a display image in a switchable display format is being executed (step S10: Yes). Step S20).

ステップＳ２０において、切替可能な表示形式の表示画像を表示するアプリケーションが実行中である場合（ステップＳ２０：Ｙｅｓ）、プロセッサ１０（非図示の節電モード制御部）は、節電モード中であるか否かを判断する（ステップＳ４０）。 In step S20, when an application for displaying a display image in a switchable display format is being executed (step S20: Yes), whether or not the processor 10 (power saving mode control unit (not shown) is in the power saving mode). Is determined (step S40).

ステップＳ４０において、節電モード（省エネルギーモード）中でない場合（ステップＳ４０：Ｎｏ）、プロセッサ１０（設定認識部１１０）は、記憶部３０を参照し、ホールド機能がオフである否かを判断する（ステップＳ５０）。ホールド機能がオフである場合（ステップＳ５０：Ｙｅｓ）、プロセッサ１０（設定部１９０）は、ホールド機能をオンに設定する（ステップＳ６０）。一方、ホールド機能がオフでない場合（ステップＳ５０：Ｎｏ）、即ち、ホールド機能が既にオンである場合、ステップＳ６０を飛ばして、本フローチャートは終了する。 In step S40, when the power saving mode (energy saving mode) is not in progress (step S40: No), the processor 10 (setting recognition unit 110) refers to the storage unit 30 and determines whether or not the hold function is off (step S40). S50). When the hold function is off (step S50: Yes), the processor 10 (setting unit 190) sets the hold function on (step S60). On the other hand, if the hold function is not off (step S50: No), that is, if the hold function is already on, step S60 is skipped and the flowchart ends.

ステップＳ４０において、節電モード中である場合（ステップＳ４０：Ｙｅｓ）、プロセッサ１０（設定認識部１１０）は、記憶部３０を参照し、ホールド機能がオンであるか否かを判断する（ステップＳ５２）。ホールド機能がオンである場合（ステップＳ５２：Ｙｅｓ）、プロセッサ１０（設定部１９０）は、ホールド機能をオフに設定する（ステップＳ６２）。一方、ホールド機能がオンでない場合（ステップＳ５２：Ｎｏ）、即ち、ホールド機能が既にオフである場合、ステップＳ６２を飛ばして、本フローチャートは終了する。 In step S40, when the power saving mode is in progress (step S40: Yes), the processor 10 (setting recognition unit 110) refers to the storage unit 30 and determines whether or not the hold function is on (step S52). .. When the hold function is on (step S52: Yes), the processor 10 (setting unit 190) sets the hold function to off (step S62). On the other hand, if the hold function is not on (step S52: No), that is, if the hold function is already off, step S62 is skipped and the flowchart ends.

ステップＳ２０において、切替可能な表示形式の表示画像を表示するアプリケーションが実行中でない場合（ステップＳ２０：Ｎｏ）、プロセッサ１０（設定部１９０）は、切替機能をオフに設定し（ステップＳ３０）、ステップＳ６２に進む。 In step S20, when the application for displaying the display image in the switchable display format is not being executed (step S20: No), the processor 10 (setting unit 190) sets the switching function to off (step S30), and steps. Proceed to S62.

ステップＳ１０において、切替機能がオフである場合（ステップＳ１０：Ｎｏ）、プロセッサ１０（非図示のアプリ実行部）は、切替可能な表示形式の表示画像を表示するアプリケーションを実行中であるか否かを判断する（ステップＳ２２）。 In step S10, when the switching function is turned off (step S10: No), whether or not the processor 10 (application execution unit (not shown) is executing an application that displays a display image in a switchable display format. Is determined (step S22).

ステップＳ２２において、切替可能な表示形式の表示画像を表示するアプリケーションが実行中である場合（ステップＳ２２：Ｙｅｓ）、プロセッサ１０（設定部１９０）は、切替機能をオンに設定し（ステップＳ３２）、ステップＳ４０に進む。
ステップＳ２２において、切替可能な表示形式の表示画像を表示するアプリケーションが実行中でない場合（ステップＳ２２：Ｎｏ）、本フローチャートは終了する。
なお、本発明の第２の実施形態による電子機器４における設定処理（切替機能の設定、ホールド機能の設定、追随機能（後述）の設定）についても同様である。 In step S22, when an application for displaying a display image in a switchable display format is being executed (step S22: Yes), the processor 10 (setting unit 190) sets the switching function on (step S32). The process proceeds to step S40.
In step S22, if the application for displaying the display image in the switchable display format is not being executed (step S22: No), this flowchart ends.
The same applies to the setting process (setting of switching function, setting of hold function, setting of follow-up function (described later)) in the electronic device 4 according to the second embodiment of the present invention.

図８は、電子機器３における表示形式の制御処理の流れを示すフローチャートの一例である。図８のフローチャートは、表示形式の切替機能がオンに設定されている場合において、筐体が所定量以上傾斜したときに開始する。筐体が所定量以上傾斜したか否かは、上述の如く、傾斜量判定部１２０によって判定される。 FIG. 8 is an example of a flowchart showing the flow of display format control processing in the electronic device 3. The flowchart of FIG. 8 starts when the housing is tilted by a predetermined amount or more when the display format switching function is set to ON. Whether or not the housing is tilted by a predetermined amount or more is determined by the tilt amount determination unit 120 as described above.

図８において、設定認識部１１０（又は傾斜量判定部１２０）は、記憶部３０を参照し、ホールド機能がオンである否かを判断する（ステップＳ１１０）。 In FIG. 8, the setting recognition unit 110 (or the inclination amount determination unit 120) refers to the storage unit 30 and determines whether or not the hold function is on (step S110).

ステップＳ１１０においてホールド機能がオンである場合（ステップＳ１１０：Ｙｅｓ）、傾斜量判定部１２０は、筐体の傾斜量、及び、筐体の傾斜方向を特徴領域抽出部１３０に出力する。次いで、特徴領域抽出部１３０は、筐体の傾斜前後の撮像画像の夫々から被写体の特徴部分の抽出を試みて（ステップＳ１２０）、夫々から被写体の特徴部分を抽出できたか否かを判断する（ステップＳ１３０）。なお、例えば、特徴領域抽出部１３０は、筐体の傾斜前において所定の時間ごとに選択的に撮像画像における被写体の特徴部分の抽出を行ってもよい。 When the hold function is turned on in step S110 (step S110: Yes), the tilt amount determination unit 120 outputs the tilt amount of the housing and the tilt direction of the housing to the feature area extraction unit 130. Next, the feature area extraction unit 130 attempts to extract the feature portion of the subject from each of the captured images before and after the tilt of the housing (step S120), and determines whether or not the feature portion of the subject can be extracted from each (step S120). Step S130). For example, the feature region extraction unit 130 may selectively extract the feature portion of the subject in the captured image at predetermined time intervals before the housing is tilted.

ステップＳ１３０において、夫々から被写体の特徴部分を抽出できた場合には（ステップＳ１３０：Ｙｅｓ）、特徴領域抽出部１３０は、筐体の傾斜量、及び、筐体の傾斜方向とともに、被写体の特徴部分を示す情報を変化量算出部１４０に出力する。次いで、変化量算出部１４０は、筐体の傾斜前における撮像画像（基準画像）と筐体の傾斜後における撮像画像（遷移画像）とに基づいて被写体の特徴部分の時間的な変化量を算出し（ステップＳ１４０）、算出した変化量を、筐体の傾斜量、及び、筐体の傾斜方向とともに切替判定部１５０に出力する。次いで、切替判定部１５０は、被写体の特徴部分の時間的な変化量が第１の閾値以上であるか否かを判定する（ステップＳ１５０）。 In step S130, when the feature portion of the subject can be extracted from each (step S130: Yes), the feature region extraction unit 130 includes the tilt amount of the housing and the tilt direction of the housing, as well as the feature portion of the subject. Is output to the change amount calculation unit 140. Next, the change amount calculation unit 140 calculates the temporal change amount of the characteristic portion of the subject based on the captured image (reference image) before the housing is tilted and the captured image (transition image) after the housing is tilted. (Step S140), the calculated change amount is output to the switching determination unit 150 together with the inclination amount of the housing and the inclination direction of the housing. Next, the switching determination unit 150 determines whether or not the amount of change over time in the characteristic portion of the subject is equal to or greater than the first threshold value (step S150).

ステップＳ１５０において、被写体の特徴部分の時間的な変化量が第１の閾値未満であると判定した場合（ステップＳ１５０：Ｎｏ）、切替判定部１５０は、表示画像の表示形式の切り替えが不要であると判定し、表示形式を維持する旨の通知（情報）を切替制限部１６０に出力する。表示形式を維持する旨の通知（情報）を取得した切替制限部１６０は、表示画像の表示形式を切り替えないように、即ち、表示形式の切り替えをホールドするように制御する（ステップＳ１７０）。例えば、切替制限部１６０は、表示形式を維持する旨の通知（情報）を切替処理部１８０に出力する。表示形式を維持する旨の通知（情報）を切替制限部１６０から取得した切替処理部１８０は、何もしない。そして、本フローチャートは終了する。なお、ステップＳ１７０の矩形が破線であるのは、切替処理部１８０が、何もしない旨を表している。 When it is determined in step S150 that the amount of change over time in the characteristic portion of the subject is less than the first threshold value (step S150: No), the switching determination unit 150 does not need to switch the display format of the display image. Is determined, and a notification (information) indicating that the display format is maintained is output to the switching restriction unit 160. The switching limiting unit 160 that has acquired the notification (information) indicating that the display format is maintained controls not to switch the display format of the display image, that is, to hold the switching of the display format (step S170). For example, the switching limiting unit 160 outputs a notification (information) to the effect that the display format is maintained to the switching processing unit 180. The switching processing unit 180, which has obtained the notification (information) indicating that the display format is maintained from the switching limiting unit 160, does nothing. Then, this flowchart ends. The fact that the rectangle in step S170 is a broken line indicates that the switching processing unit 180 does nothing.

ステップＳ１１０においてホールド機能がオンでない場合（ステップＳ１１０：Ｎｏ）、傾斜量判定部１２０は、筐体の傾斜量、及び、筐体の傾斜方向とともに、ホールド機能がオフに設定されている旨の通知（情報）を切替判定部１５０に出力する。筐体の傾斜量、及び、筐体の傾斜方向とともに、ホールド機能がオフに設定されている旨の通知（情報）を取得した切替判定部１５０は、表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部１８０に出力する。筐体の傾斜量、及び、筐体の傾斜方向を取得した切替処理部１８０は、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する（ステップＳ１６０）。例えば、切替処理部１８０は、筐体の傾斜量、及び、筐体の傾斜方向に基づいて、表示形式（切替後の表示形式）を決定し、決定した表示形式をタッチスクリーンコントローラ４２に出力する。そして、本フローチャートは終了する。 When the hold function is not turned on in step S110 (step S110: No), the tilt amount determination unit 120 notifies that the hold function is set to off together with the tilt amount of the housing and the tilt direction of the housing. (Information) is output to the switching determination unit 150. The switching determination unit 150, which has acquired the notification (information) that the hold function is set to off along with the tilt amount of the housing and the tilt direction of the housing, determines that the display format needs to be switched. , The amount of inclination of the housing and the direction of inclination of the housing are output to the switching processing unit 180. The switching processing unit 180 that has acquired the tilt amount of the housing and the tilt direction of the housing controls to switch the display format of the display image according to the tilt amount of the housing and the tilt direction of the housing ( Step S160). For example, the switching processing unit 180 determines the display format (display format after switching) based on the tilt amount of the housing and the tilt direction of the housing, and outputs the determined display format to the touch screen controller 42. .. Then, this flowchart ends.

ステップＳ１３０において、筐体の傾斜前後の撮像画像の少なくとも一方から被写体の特徴部分を抽出できなかった場合には（ステップＳ１３０：Ｎｏ）、特徴領域抽出部１３０は、筐体の傾斜量、及び、筐体の傾斜方向とともに、特徴部分を抽出できなかった旨の通知を切替判定部１５０に出力する。筐体の傾斜量、及び、筐体の傾斜方向とともに、特徴部分を抽出できなかった旨の通知（情報）を取得した切替判定部１５０は、表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部１８０に出力する。以下、ステップＳ１１０（Ｎｏ）の場合と同様の処理を行って、本フローチャートは終了する。また、被写体の特徴部分を抽出できなかった旨の通知（情報）を取得した切替判定部１５０は、ホールド機能をオフに設定して、上述の節電モードに切り替える。 In step S130, when the feature portion of the subject cannot be extracted from at least one of the captured images before and after the tilt of the housing (step S130: No), the feature region extraction unit 130 increases the tilt amount of the housing and Along with the tilting direction of the housing, a notification to the effect that the feature portion could not be extracted is output to the switching determination unit 150. The switching determination unit 150, which has acquired the notification (information) that the feature portion could not be extracted along with the inclination amount of the housing and the inclination direction of the housing, determines that the display format needs to be switched, and determines that the display format needs to be switched. The amount of inclination of the body and the inclination direction of the housing are output to the switching processing unit 180. Hereinafter, the same processing as in the case of step S110 (No) is performed, and this flowchart ends. Further, the switching determination unit 150 that has acquired the notification (information) that the characteristic portion of the subject could not be extracted sets the hold function to off and switches to the above-mentioned power saving mode.

ステップＳ１５０において、被写体の特徴部分の時間的な変化量が第１の閾値以上であると判定した場合には（ステップＳ１５０：Ｙｅｓ）、切替判定部１５０は、表示画像の表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部１８０に出力する。以下、ステップＳ１１０（Ｎｏ）の場合と同様の処理を行って、本フローチャートは終了する。 If it is determined in step S150 that the amount of change over time in the characteristic portion of the subject is equal to or greater than the first threshold value (step S150: Yes), the switching determination unit 150 needs to switch the display format of the display image. Is determined, and the tilt amount of the housing and the tilt direction of the housing are output to the switching processing unit 180. Hereinafter, the same processing as in the case of step S110 (No) is performed, and this flowchart ends.

図９乃至図１２は、表示形式の制御処理を説明する一例である。なお、図９乃至図１２において、表示形式の切替機能及びホールド機能は何れもオンに設定されているものとする。 9 to 12 are examples for explaining the control process of the display format. In addition, in FIGS. 9 to 12, it is assumed that both the display format switching function and the hold function are set to ON.

図９（ａ）は、ユーザＵが、縦向き状態のタッチスクリーン４４に表示された表示画像ＨＧ３（縦長画像又は縦向き画像）を見ている様子を表している。図９（ｂ）は、図９（ａ）の状態において、フロントカメラ６２によって撮像されている撮像画像ＳＧ３（スルー画）を表している。図９（ｃ）は、図９（ａ）の状態において、タッチスクリーン４４に表示されている表示画像ＨＧ３（縦長画像）である。 FIG. 9A shows a user U looking at the display image HG 3 (portrait image or portrait image) displayed on the touch screen 44 in the portrait orientation state. 9 (b) shows the captured image SG 3 (through image) captured by the front camera 62 in the state of FIG. 9 (a). FIG. 9C is a display image HG 3 (vertical image) displayed on the touch screen 44 in the state of FIG. 9A.

図１０（ａ）は、図９（ａ）の状態から、ユーザＵが、筐体のみを所定量以上傾斜させた様子を表している。図１０（ｂ）は、図１０（ａ）の場合における、撮像画像ＳＧ３’（スルー画）を表している。図１０（ｃ）は、図１０（ａ）の場合における、タッチスクリーン４４に表示されている表示画像ＨＧ３’（横長画像又は横向き画像）である。 FIG. 10A shows a state in which the user U inclines only the housing by a predetermined amount or more from the state of FIG. 9A. FIG. 10B shows the captured image SG 3 '(through image) in the case of FIG. 10A. FIG. 10 (c) is a display image HG 3 '(horizontally elongated image or landscape image) displayed on the touch screen 44 in the case of FIG. 10 (a).

即ち、図８のフローチャートにおいて、切替判定部１５０は、被写体の特徴部分の時間的な変化量が第１の閾値以上であると判定し（ステップＳ１５０：Ｙｅｓ）、切替処理部１８０は、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する（ステップＳ１６０）。つまり、図１０の如く筐体のみを所定量以上傾斜させた場合には、ユーザＵが見易いように、縦長画像が横長画像に切り替える（又は、図４（ｃ）、（ｄ）に示すように縮小画像に切り替える）。
なお、表示形式の切替機能がオフに設定されている場合には、表示形式は切り替えない。 That is, in the flowchart of FIG. 8, the switching determination unit 150 determines that the amount of change over time in the characteristic portion of the subject is equal to or greater than the first threshold value (step S150: Yes), and the switching processing unit 180 determines that the housing. It is controlled to switch the display format of the display image according to the tilt amount of the above and the tilt direction of the housing (step S160). That is, when only the housing is tilted by a predetermined amount or more as shown in FIG. 10, the vertically long image is switched to the horizontally long image so that the user U can easily see it (or as shown in FIGS. 4C and 4D). Switch to a reduced image).
If the display format switching function is set to off, the display format is not switched.

図１１（ａ）は、図９（ａ）の状態から、ユーザＵが、筐体とともに自身を所定量以上傾斜させた様子を表している。図１１（ｂ）は、図１１（ａ）の場合における、撮像画像ＳＧ３（スルー画）を表している。図１１（ｃ）は、図１１（ａ）の場合における、タッチスクリーン４４に表示されている表示画像ＨＧ３（縦長画像）である。図１１（ｃ）の表示画像ＨＧ３の表示形式は、図９（ｃ）の表示画像ＨＧ３の表示形式と同一である。 FIG. 11A shows a state in which the user U tilts himself / herself together with the housing by a predetermined amount or more from the state of FIG. 9A. FIG. 11 (b), in the case of FIG. 11 (a), represents the captured image SG 3 (through image). FIG. 11C is a display image HG 3 (vertical image) displayed on the touch screen 44 in the case of FIG. 11A. The display format of the display image HG 3 of FIG. 11 (c) is the same as the display format of the display image HG 3 of FIG. 9 (c).

即ち、図８のフローチャートにおいて、切替判定部１５０は、被写体の特徴部分の時間的な変化量が第１の閾値未満であると判定し（ステップＳ１５０：Ｎｏ）、切替制限部１６０は、表示画像の表示形式を切り替えないように、即ち、切り替えをホールドするように制御する（ステップＳ１７０）。つまり、図１１の如く筐体とともに自身を所定量以上傾斜させた場合には、ユーザＵが見易いように、縦長画像を横長画像に切り替えない（又は、図４（ｃ）、（ｄ）に示すように縮小画像に切り替えない）。
なお、表示形式の切替機能はオンに設定され、かつ、ホールド機能はオフに設定されている場合には、表示形式は切り替える。 That is, in the flowchart of FIG. 8, the switching determination unit 150 determines that the amount of time change of the feature portion of the subject is less than the first threshold value (step S150: No), and the switching limiting unit 160 determines the display image. It is controlled so that the display format of is not switched, that is, the switching is held (step S170). That is, when the housing and the housing are tilted by a predetermined amount or more as shown in FIG. 11, the vertically long image is not switched to the horizontally long image so that the user U can easily see it (or shown in FIGS. 4C and 4D). Do not switch to reduced image like).
If the display format switching function is set to on and the hold function is set to off, the display format is switched.

なお、図１２（ａ）は、図９（ａ）の状態から、ユーザＵが、自身のみを所定量以上傾斜させた様子を表している。図１２（ｂ）は、図１２（ａ）の場合における、撮像画像ＳＧ３’’（スルー画）を表している。図１２（ｃ）は、図１２（ａ）の場合における、タッチスクリーン４４に表示されている表示画像ＨＧ３（縦長画像）である。図１２（ｃ）の表示画像ＨＧ３の表示形式は、図９（ｃ）の表示画像ＨＧ３の表示形式と同一である。 Note that FIG. 12A shows a state in which the user U inclines only himself / herself by a predetermined amount or more from the state of FIG. 9A. FIG. 12 (b) shows the captured image SG 3 ″ (through image) in the case of FIG. 12 (a). FIG. 12 (c) is a display image HG 3 (vertical image) displayed on the touch screen 44 in the case of FIG. 12 (a). The display format of the display image HG 3 of FIG. 12 (c) is the same as the display format of the display image HG 3 of FIG. 9 (c).

即ち、図７のフローチャートは、上述の如く、筐体が所定量以上傾斜した場合に開始するものであるため、図１２の如く自身のみを所定量以上傾斜させた場合には、表示形式は切り替わらない。 That is, since the flowchart of FIG. 7 starts when the housing is tilted by a predetermined amount or more as described above, the display format is switched when only itself is tilted by a predetermined amount or more as shown in FIG. Absent.

以上、電子機器３によれば、意図しない画面形式（画面表示型）の切り替えが生じないため、ユーザの利便性を向上させることができる。例えば、ユーザが、図５（ｂ）に示すように筐体とともに自分の顔を所定量以上傾斜させた場合には、図４に例示したような表示形式の切り替えがホールド機能によって生じないため、ユーザの利便性を向上させることができる。 As described above, according to the electronic device 3, since the screen format (screen display type) is not changed unintentionally, the convenience of the user can be improved. For example, when the user tilts his / her face together with the housing by a predetermined amount or more as shown in FIG. 5B, the display format switching as illustrated in FIG. 4 does not occur due to the hold function. The convenience of the user can be improved.

なお、上記では、電子機器３は、タッチスクリーン４４の前方側の被写体を撮像するフロントカメラ６２（第１撮像部）による撮像画像を利用して、表示画像の表示形式を制御する態様を説明したが、電子機器３は、フロントカメラ６２による撮像画像に加え、タッチスクリーン４４の後方側の被写体を撮像するバックカメラ６４（第２撮像部）による撮像画像を利用して、表示画像の表示形式を制御してもよい。つまり、表示制御部１００は、前方側を撮像した被写体の特徴部分の時間的な変化量と、後方側を撮像した被写体の特徴部分の時間的な変化量とに基づいて、表示画像の表示形式を制御するようにしてもよい。 In the above description, the electronic device 3 controls the display format of the display image by using the image captured by the front camera 62 (first imaging unit) that captures the subject on the front side of the touch screen 44. However, the electronic device 3 uses the image captured by the back camera 64 (second imaging unit) that captures the subject on the rear side of the touch screen 44 in addition to the image captured by the front camera 62 to change the display format of the display image. You may control it. That is, the display control unit 100 displays a display image based on the amount of time change of the characteristic portion of the subject whose front side is imaged and the amount of time change of the feature portion of the subject whose rear side is imaged. May be controlled.

例えば、表示制御部１００は、筐体が所定量以上傾斜した場合に、前方側を撮像した被写体の特徴部分の変化率（フロントカメラ６２による撮像画像上の被写体の特徴部分の変化率）である前方側変化率と、後方側を撮像した被写体の特徴部分の変化率（バックカメラ６４による撮像画像上の被写体の特徴部分の変化率）である後方側変化率とを算出し、前方側変化率が後方側変化率以上であるときは、表示画像の表示形式を変えるように制御し、前方側変化率が後方側変化率未満であるときは、表示画像の表示形式を変えないように制御する。 For example, the display control unit 100 is the rate of change of the characteristic portion of the subject whose front side is imaged (the rate of change of the characteristic portion of the subject on the image captured by the front camera 62) when the housing is tilted by a predetermined amount or more. The rate of change on the front side and the rate of change on the rear side, which is the rate of change of the characteristic portion of the subject captured on the rear side (the rate of change of the characteristic portion of the subject on the image captured by the back camera 64), are calculated. Is controlled to change the display format of the display image when is greater than or equal to the rate of change on the rear side, and is controlled so as not to change the display format of the display image when the rate of change on the front side is less than the rate of change on the rear side. ..

より詳細には、表示制御部１００は、筐体が所定量以上傾斜した場合であってホールド機能がオンに設定（表示形式の切替機能もオンに設定）されている場合は、前方側変化率と後方側変化率とを算出し、前方側変化率が後方側変化率以上であるときは、表示画像の表示形式を変えるように制御し、前方側変化率が後方側変化率未満であるときは、表示画像の表示形式を変えないように制御する。
一方、表示制御部１００は、筐体が所定量以上傾斜した場合であってホールド機能がオフに設定（表示形式の切替機能はオンに設定）されている場合は、表示画像の表示形式を変えるように制御する。 More specifically, when the housing is tilted by a predetermined amount or more and the hold function is set to ON (the display format switching function is also set to ON), the display control unit 100 changes the front side change rate. And the rear side change rate are calculated, and when the front side change rate is equal to or greater than the rear side change rate, the display format of the displayed image is controlled to be changed, and when the front side change rate is less than the rear side change rate. Controls not to change the display format of the display image.
On the other hand, the display control unit 100 changes the display format of the display image when the housing is tilted by a predetermined amount or more and the hold function is set to off (the display format switching function is set to on). To control.

図１３は、電子機器３における表示形式の制御処理の他の例を示すフローチャートである。例えば、図１３は、フロントカメラ６２による撮像画像に加え、バックカメラ６４による撮像画像を利用して表示画像の表示形式を制御する態様における、処理の流れを表している。なお、図１３のフローチャートは、図８のフローチャートと同様、表示形式の切替機能がオンに設定されている場合において、筐体が所定量以上傾斜したときに開始する。筐体が所定量以上傾斜したか否かは、傾斜量判定部１２０によって判定される。なお、図８と同一のステップ番号は、図８と同一の処理である。 FIG. 13 is a flowchart showing another example of the display format control process in the electronic device 3. For example, FIG. 13 shows a processing flow in a mode in which the display format of the display image is controlled by using the image captured by the back camera 64 in addition to the image captured by the front camera 62. Note that the flowchart of FIG. 13 starts when the housing is tilted by a predetermined amount or more when the display format switching function is set to ON, as in the flowchart of FIG. Whether or not the housing is tilted by a predetermined amount or more is determined by the tilt amount determination unit 120. The same step number as in FIG. 8 is the same process as in FIG.

図１３において、設定認識部１１０（又は傾斜量判定部１２０）は、ホールド機能がオンである否かを判断する（ステップＳ１１０）。 In FIG. 13, the setting recognition unit 110 (or the inclination amount determination unit 120) determines whether or not the hold function is on (step S110).

ステップＳ１１０においてホールド機能がオンである場合（ステップＳ１１０：Ｙｅｓ）、傾斜量判定部１２０は、筐体の傾斜量、及び、筐体の傾斜方向を特徴領域抽出部１３０に出力する。次いで、特徴領域抽出部１３０は、両撮像画像（フロントカメラ６２による撮像画像及びバックカメラ６４による撮像画像）における傾斜前後の撮像画像の夫々（筐体の傾斜前のフロントカメラ６２による撮像画像、筐体の傾斜前のバックカメラ６４による撮像画像、筐体の傾斜後のフロントカメラ６２による撮像画像、筐体の傾斜後のバックカメラ６４による撮像画像）から被写体の特徴部分の抽出を試みて（ステップＳ１２２）、夫々の撮像画像から、被写体の特徴部分を抽出できたか否かを判断する（ステップＳ１３２）。 When the hold function is turned on in step S110 (step S110: Yes), the tilt amount determination unit 120 outputs the tilt amount of the housing and the tilt direction of the housing to the feature area extraction unit 130. Next, the feature region extraction unit 130 is used to capture images before and after tilting in both captured images (image captured by the front camera 62 and image captured by the back camera 64) (image captured by the front camera 62 before tilting the housing, and a housing. An attempt is made to extract the characteristic portion of the subject from the image captured by the back camera 64 before tilting the body, the image captured by the front camera 62 after tilting the housing, and the image captured by the back camera 64 after tilting the housing (step). S122), it is determined whether or not the characteristic portion of the subject can be extracted from each captured image (step S132).

ステップＳ１３２において、両撮像画像における傾斜前後の撮像画像の夫々から被写体の特徴部分を抽出できた場合には（ステップＳ１３２：Ｙｅｓ）、特徴領域抽出部１３０は、筐体の傾斜量、及び、筐体の傾斜方向とともに、被写体の特徴部分を示す情報を変化量算出部１４０に出力する。次いで、変化量算出部１４０は、両撮像画像における、被写体の特徴部分の時間的な変化率（前方側変化率及び後方側変化率）を算出し（ステップＳ１４２）、算出した、両撮像画像における特徴部分の時間的な変化率を、筐体の傾斜量、及び、筐体の傾斜方向とともに切替判定部１５０に出力する。次いで、切替判定部１５０は、前方側変化率が後方側変化率未満であるか否かを判定する（ステップＳ１５２）。 In step S132, when the feature portion of the subject can be extracted from each of the captured images before and after the tilt in both captured images (step S132: Yes), the feature region extraction unit 130 determines the tilt amount of the housing and the housing. Information indicating the characteristic portion of the subject is output to the change amount calculation unit 140 together with the inclination direction of the body. Next, the change amount calculation unit 140 calculates the temporal change rate (front side change rate and rear side change rate) of the feature portion of the subject in both captured images (step S142), and the calculated changes in both captured images. The temporal change rate of the feature portion is output to the switching determination unit 150 together with the inclination amount of the housing and the inclination direction of the housing. Next, the switching determination unit 150 determines whether or not the front side change rate is less than the rear side change rate (step S152).

ステップＳ１５２において、前方側変化率が後方側変化率未満であると判定した場合（ステップＳ１５２：Ｙｅｓ）、切替判定部１５０は、表示画像の表示形式の切り替えが不要であると判定し、表示形式を維持する旨の通知（情報）を切替制限部１６０に出力する。表示形式を維持する旨の通知（情報）を取得した切替制限部１６０は、表示画像の表示形式を切り替えないように、即ち、表示形式の切り替えをホールドするように制御する（ステップＳ１７０）。そして、本フローチャートは終了する。 When it is determined in step S152 that the rate of change on the front side is less than the rate of change on the rear side (step S152: Yes), the switching determination unit 150 determines that it is not necessary to switch the display format of the display image, and determines that the display format is not necessary. A notification (information) to the effect that the above is maintained is output to the switching restriction unit 160. The switching limiting unit 160 that has acquired the notification (information) indicating that the display format is maintained controls not to switch the display format of the display image, that is, to hold the switching of the display format (step S170). Then, this flowchart ends.

ステップＳ１１０においてホールド機能がオンでない場合（ステップＳ１１０：Ｎｏ）、傾斜量判定部１２０は、筐体の傾斜量、及び、筐体の傾斜方向とともに、ホールド機能がオフに設定されている旨の通知（情報）を切替判定部１５０に出力する。次いで、切替判定部１５０は、表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部１８０に出力する。次いで、切替処理部１８０は、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する（ステップＳ１６０）。そして、本フローチャートは終了する。 When the hold function is not turned on in step S110 (step S110: No), the tilt amount determination unit 120 notifies that the hold function is set to off together with the tilt amount of the housing and the tilt direction of the housing. (Information) is output to the switching determination unit 150. Next, the switching determination unit 150 determines that the display format needs to be switched, and outputs the tilt amount of the housing and the tilting direction of the housing to the switching processing unit 180. Next, the switching processing unit 180 controls to switch the display format of the display image according to the amount of inclination of the housing and the direction of inclination of the housing (step S160). Then, this flowchart ends.

ステップＳ１３２において、両撮像画像における筐体の傾斜前後の撮像画像の何れから被写体の特徴部分を抽出できなかった場合（ステップＳ１３２：Ｎｏ）、特徴領域抽出部１３０は、筐体の傾斜量、及び、筐体の傾斜方向とともに、特徴部分を抽出できなかった旨の通知（情報）を切替判定部１５０に出力する。次いで、切替判定部１５０は、表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部１８０に出力する。以下、ステップＳ１１０（Ｎｏ）の場合と同様の処理を行って、本フローチャートは終了する。 In step S132, when the feature portion of the subject cannot be extracted from any of the captured images before and after the tilt of the housing in both captured images (step S132: No), the feature region extraction unit 130 determines the tilt amount of the housing and , A notification (information) indicating that the feature portion could not be extracted is output to the switching determination unit 150 together with the inclination direction of the housing. Next, the switching determination unit 150 determines that the display format needs to be switched, and outputs the tilt amount of the housing and the tilting direction of the housing to the switching processing unit 180. Hereinafter, the same processing as in the case of step S110 (No) is performed, and this flowchart ends.

ステップＳ１５２において、前方側変化率が後方側変化率以上であると判定した場合（ステップＳ１５２：Ｎｏ）、切替判定部１５０は、表示画像の表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部１８０に出力する。
以下、ステップＳ１１０（Ｎｏ）の場合と同様の処理を行って、本フローチャートは終了する。 When it is determined in step S152 that the rate of change on the front side is equal to or greater than the rate of change on the rear side (step S152: No), the switching determination unit 150 determines that it is necessary to switch the display format of the display image, and the housing. And the tilt direction of the housing are output to the switching processing unit 180.
Hereinafter, the same processing as in the case of step S110 (No) is performed, and this flowchart ends.

図１４乃至図１７は、フロントカメラ６２による撮像画像に加え、バックカメラ６４による撮像画像を利用して表示画像の表示形式を制御する態様における、表示形式の制御処理を説明する一例である。なお、図１４乃至図１７において、表示形式の切替機能はオンに設定され、かつ、ホールド機能はオンに設定されているものとする。 14 to 17 are examples for explaining the display format control process in a mode in which the display format of the display image is controlled by using the image captured by the back camera 64 in addition to the image captured by the front camera 62. In FIGS. 14 to 17, it is assumed that the display format switching function is set to ON and the hold function is set to ON.

図１４（ａ）は、ユーザＵが、縦向き状態のタッチスクリーン４４に表示された表示画像ＨＧ４（縦長画像）を見ている様子を表している。図１４（ｂ）は、図１４（ａ）の状態において、フロントカメラ６２によって撮像されている撮像画像ＳＧ４−１（スルー画）、及び、バックカメラ６４によって撮像されている撮像画像ＳＧ４−２（スルー画）を表している。図１４（ｃ）は、図１４（ａ）の状態において、タッチスクリーン４４に表示されている表示画像ＨＧ４（縦長画像）である。 FIG. 14A shows a user U looking at the display image HG 4 (portrait image) displayed on the touch screen 44 in the portrait orientation state. 14 (b) is in the state of FIG. 14 (a), the captured image being captured by the front camera 62 SG 4-1 (through image), and the imaging is imaged by the back camera 64 images SG 4- 2 (Through image) is represented. FIG. 14C is a display image HG 4 (vertical image) displayed on the touch screen 44 in the state of FIG. 14A.

図１５（ａ）は、図１４（ａ）の状態から、ユーザＵが、筐体のみを所定量以上傾斜させた様子を表している。図１５（ｂ）は、図１５（ａ）の場合において、フロントカメラ６２によって撮像されている撮像画像ＳＧ４−１’（スルー画）、及び、バックカメラ６４によって撮像されている撮像画像ＳＧ４−２’（スルー画）を表している。図１５（ｂ）において、前方側変化率と後方側変化率は同一であるものとする。図１５（ｃ）は、図１５（ａ）の場合における、タッチスクリーン４４に表示されている表示画像ＨＧ４’（横長画像）である。 FIG. 15A shows a state in which the user U inclines only the housing by a predetermined amount or more from the state of FIG. 14A. 15 (b) shows the captured image SG 4-1 '(through image) captured by the front camera 62 and the captured image SG 4 captured by the back camera 64 in the case of FIG. 15 (a). It represents -2 '(through image). In FIG. 15B, it is assumed that the front side change rate and the rear side change rate are the same. FIG. 15 (c) is a display image HG 4 '(horizontally long image) displayed on the touch screen 44 in the case of FIG. 15 (a).

即ち、図１３のフローチャートにおいて、切替判定部１５０は、前方側変化率と後方側変化率は同一であるため、前方側変化率が後方側変化率以上であると判定し（ステップＳ１５２：Ｎｏ）、切替処理部１８０は、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する（ステップＳ１６０）。つまり、図１５の如く筐体のみを所定量以上傾斜させた場合には、ユーザＵが見易いように、縦長画像が横長画像に切り替える（又は、図４（ｃ）、（ｄ）に示すように縮小画像に切り替える）。
なお、表示形式の切替機能がオフに設定されている場合には、表示形式は切り替えない。 That is, in the flowchart of FIG. 13, the switching determination unit 150 determines that the front side change rate is equal to or higher than the rear side change rate because the front side change rate and the rear side change rate are the same (step S152: No). The switching processing unit 180 controls to switch the display format of the display image according to the amount of inclination of the housing and the direction of inclination of the housing (step S160). That is, when only the housing is tilted by a predetermined amount or more as shown in FIG. 15, the vertically long image is switched to the horizontally long image so that the user U can easily see it (or as shown in FIGS. 4C and 4D). Switch to a reduced image).
If the display format switching function is set to off, the display format is not switched.

図１６（ａ）は、図１４（ａ）の状態から、ユーザＵが、筐体とともに自身を所定量以上傾斜させた様子を表している。図１６（ｂ）は、図１６（ａ）の場合において、フロントカメラ６２によって撮像されている撮像画像ＳＧ４−１（スルー画）、及び、バックカメラ６４によって撮像されている撮像画像ＳＧ４−２’（スルー画）を表している。図１６（ｂ）において、前方側変化率は後方側変化率は未満である。図１６（ｃ）は、図１６（ａ）の場合における、タッチスクリーン４４に表示されている表示画像ＨＧ４（縦長画像）である。図１６（ｃ）の表示画像ＨＧ４の表示形式は、図１４（ｃ）の表示画像ＨＧ４の表示形式と同一である。 FIG. 16A shows a state in which the user U tilts himself / herself together with the housing by a predetermined amount or more from the state of FIG. 14A. FIG. 16 (b), in the case of FIG. 16 (a), the captured image being captured by the front camera 62 SG 4-1 (through image), and the imaging is imaged by the back camera 64 images SG 4- It represents 2 '(through image). In FIG. 16B, the rate of change on the front side is less than the rate of change on the rear side. FIG. 16C is a display image HG 4 (vertical image) displayed on the touch screen 44 in the case of FIG. 16A. The display format of the display image HG 4 of FIG. 16 (c) is the same as the display format of the display image HG 4 of FIG. 14 (c).

即ち、図１３のフローチャートにおいて、切替判定部１５０は、前方側変化率は後方側変化率未満であると判定し（ステップＳ１５２：Ｙｅｓ）、切替制限部１６０は、表示画像の表示形式を切り替えないように、即ち、切り替えをホールドするように制御する（ステップＳ１７０）。つまり、図１６の如く筐体とともに自身を所定量以上傾斜させた場合には、ユーザＵが見易いように、縦長画像を横長画像に切り替えない（又は、図４（ｃ）、（ｄ）に示すように縮小画像に切り替える）。
なお、表示形式の切替機能はオンに設定され、かつ、ホールド機能はオフに設定されている場合には、表示形式を切り替える。 That is, in the flowchart of FIG. 13, the switching determination unit 150 determines that the front side change rate is less than the rear side change rate (step S152: Yes), and the switching limiting unit 160 does not switch the display format of the display image. That is, it is controlled to hold the switching (step S170). That is, when the housing and the housing are tilted by a predetermined amount or more as shown in FIG. 16, the vertically long image is not switched to the horizontally long image so that the user U can easily see it (or shown in FIGS. 4C and 4D). Switch to a reduced image).
If the display format switching function is set to on and the hold function is set to off, the display format is switched.

なお、図１７（ａ）は、図１４（ａ）の状態から、ユーザＵが、自身のみを所定量以上傾斜させた様子を表している。図１７（ｂ）は、図１７（ａ）の場合において、フロントカメラ６２によって撮像されている撮像画像ＳＧ４−１’’（スルー画）、及び、バックカメラ６４によって撮像されている撮像画像ＳＧ４−２（スルー画）を表している。図１７（ｂ）において、前方側変化率は後方側変化率よりも大きい。図１７（ｃ）は、図１７（ａ）の場合における、タッチスクリーン４４に表示されている表示画像ＨＧ４（縦長画像）である。図１７（ｃ）の表示画像ＨＧ４の表示形式は、図１４（ｃ）の表示画像ＨＧ４の表示形式と同一である。 Note that FIG. 17A shows a state in which the user U inclines only himself / herself by a predetermined amount or more from the state of FIG. 14A. 17 (b) shows the captured image SG 4-1 '' (through image) captured by the front camera 62 and the captured image SG captured by the back camera 64 in the case of FIG. 17 (a). It represents 4-2 (through image). In FIG. 17B, the rate of change on the front side is larger than the rate of change on the rear side. FIG. 17C is a display image HG 4 (vertical image) displayed on the touch screen 44 in the case of FIG. 17A. The display format of the display image HG 4 of FIG. 17 (c) is the same as the display format of the display image HG 4 of FIG. 14 (c).

即ち、図１３のフローチャートは、上述の如く、筐体が所定量以上傾斜した場合に開始するものであるため、図１７の如く自身のみを所定量以上傾斜させた場合には、表示形式は切り替わらない。 That is, since the flowchart of FIG. 13 starts when the housing is tilted by a predetermined amount or more as described above, the display format is switched when only itself is tilted by a predetermined amount or more as shown in FIG. Absent.

以上、フロントカメラ６２による撮像画像に加え、バックカメラ６４による撮像画像を利用して表示画像の表示形式を制御する場合であっても、意図しない画面形式の切り替えが生じないため、ユーザの利便性を向上させることができる。また、フロントカメラ６２による撮像画像のみを使用する場合に比べ、切替ホールド処理を更に高精度に行える効果がある。また、図５に示したようなユーザが横たわった状態で電子機器４を操作する場合であっても、本実施形態における表示形式の制御によって意図しない画面形式の切り替えが生じないため、ユーザの利便性を向上させることができる。したがって、本実施形態における電子機器４は、ユーザが表示画像を見る際の姿勢の影響を受けることがないため、ユーザにとって視認しやすい方向で表示画像を表示するように表示形式の制御が可能である。 As described above, even when the display format of the display image is controlled by using the image captured by the back camera 64 in addition to the image captured by the front camera 62, the screen format is not unintentionally switched, which is convenient for the user. Can be improved. Further, as compared with the case where only the image captured by the front camera 62 is used, there is an effect that the switching hold process can be performed with higher accuracy. Further, even when the electronic device 4 is operated while the user is lying down as shown in FIG. 5, the control of the display format in the present embodiment does not cause an unintended switching of the screen format, which is convenient for the user. The sex can be improved. Therefore, since the electronic device 4 in the present embodiment is not affected by the posture when the user views the displayed image, the display format can be controlled so as to display the displayed image in a direction that is easy for the user to see. is there.

（第２の実施形態）
次に、図面を参照しながら本発明の第２の実施形態について説明する。図１８は、本発明の第２の実施形態による電子機器４が備える表示制御部１０２内のブロック図の一例である。なお、本発明の第２の実施形態による電子機器４の外観は、本発明の第１の実施形態による電子機器３の外観と同様である。また、電子機器４は、プロセッサ１００内に表示制御部１００ではなく表示制御部１０２を有する点が、電子機器３と異なる。 (Second Embodiment)
Next, a second embodiment of the present invention will be described with reference to the drawings. FIG. 18 is an example of a block diagram in the display control unit 102 included in the electronic device 4 according to the second embodiment of the present invention. The appearance of the electronic device 4 according to the second embodiment of the present invention is the same as the appearance of the electronic device 3 according to the first embodiment of the present invention. Further, the electronic device 4 is different from the electronic device 3 in that the processor 100 has a display control unit 102 instead of the display control unit 100.

表示制御部１０２は、図１８に示すように、設定認識部１１２、傾斜量判定部１２２、特徴領域抽出部１３０、変化量算出部１４０、切替制御部１７０、及び、設定部１９２を備える。表示制御部１０２が備える特徴領域抽出部１３０及び変化量算出部１４０は、電子機器３の表示制御部１００が備える特徴領域抽出部１３０及び変化量算出部１４０と同一であるため、説明の一部又は全部を省略する。 As shown in FIG. 18, the display control unit 102 includes a setting recognition unit 112, an inclination amount determination unit 122, a feature area extraction unit 130, a change amount calculation unit 140, a switching control unit 170, and a setting unit 192. The feature area extraction unit 130 and the change amount calculation unit 140 included in the display control unit 102 are the same as the feature area extraction unit 130 and the change amount calculation unit 140 included in the display control unit 100 of the electronic device 3, and thus are part of the description. Or omit all.

設定部１９２は、種々の情報を設定する。例えば、表示画像の表示形式の切替機能のオン／オフを設定する。また、設定部１９２は、表示画像の表示形式の制御機能の１つであるホールド機能のオン／オフを設定する。また、設定部１９２は、表示画像の表示形式の制御機能の１つである追随機能のオン／オフを設定する。なお、ホールド機能のオン／オフ、及び、追随機能のオン／オフは、表示画像の表示形式の切替機能がオンの場合に参照される。換言すれば、ホールド機能及び追随機能は、表示画像の表示形式の切替機能のサブ機能である。また、設定部１９２による設定内容は、記憶部３０に記憶される。追随機能及び追随機能による追随処理については後述する。 The setting unit 192 sets various information. For example, on / off of the display format switching function of the display image is set. In addition, the setting unit 192 sets on / off of the hold function, which is one of the control functions of the display format of the display image. Further, the setting unit 192 sets on / off of the tracking function, which is one of the control functions of the display format of the display image. The hold function on / off and the follow function on / off are referred to when the display format switching function of the display image is on. In other words, the hold function and the follow function are sub-functions of the display format switching function of the display image. Further, the contents set by the setting unit 192 are stored in the storage unit 30. The follow-up function and the follow-up processing by the follow-up function will be described later.

設定部１９２は、環境に応じて自動的に、又は、ユーザの指示に従って、表示形式の切替機能のオン／オフ、ホールド機能のオン／オフ、及び、追随機能のオン／オフを設定する。なお、設定部１９２による、ホールド機能のオン／オフの自動設定、及び、追随機能のオン／オフの自動設定は、電子機器３の設定部１９０によるホールド機能のオン／オフの自動設定と同様である。 The setting unit 192 sets on / off of the display format switching function, on / off of the hold function, and on / off of the follow-up function automatically according to the environment or according to the instruction of the user. The automatic setting of the hold function on / off and the automatic setting of the follow function on / off by the setting unit 192 are the same as the automatic setting of the hold function on / off by the setting unit 190 of the electronic device 3. is there.

設定認識部１１２は、記憶部３０に記憶されている設定情報（表示画像の表示形式の切替機能のオン／オフの情報、ホールド機能のオン／オフの情報、追随機能のオン／オフの情報）を取得する。例えば、設定認識部１１２は、傾斜量判定部１２２からの要求に応じて、記憶部３０に記憶されている設定情報を取得し、設定情報を傾斜量判定部１２２に出力（応答）する。 The setting recognition unit 112 has setting information stored in the storage unit 30 (information on turning on / off the display format of the display image, information on turning on / off the hold function, information on turning on / off the tracking function). To get. For example, the setting recognition unit 112 acquires the setting information stored in the storage unit 30 in response to the request from the tilt amount determination unit 122, and outputs (responses) the setting information to the tilt amount determination unit 122.

傾斜量判定部１２２は、モーションセンサ５０（仰角センサ５６）から検出値を取得し、筐体（a casing body、 a body、本体（a body, a main body））の傾斜量を算出する。なお、傾斜量判定部１２２は、表示形式の切替機能がオンに設定されている場合に、筐体の傾斜量を算出してもよい。 The tilt amount determination unit 122 acquires a detected value from the motion sensor 50 (elevation angle sensor 56) and calculates the tilt amount of the housing (a casing body, a body, and the main body (a body, a main body)). The tilt amount determination unit 122 may calculate the tilt amount of the housing when the display format switching function is set to ON.

筐体の傾斜量を算出した傾斜量判定部１２２は、筐体が所定量（例えば、４５度や５０度）以上傾斜したか否かを判定する。 The tilt amount determination unit 122 that has calculated the tilt amount of the housing determines whether or not the housing is tilted by a predetermined amount (for example, 45 degrees or 50 degrees) or more.

傾斜量判定部１２２は、表示形式の切替機能がオフに設定されている場合、何もしない。即ち、表示形式の切替機能がオフに設定されている場合には、表示形式の切り替えは行わないため、傾斜量判定部１２２は、既に筐体の傾斜量を算出していた場合であっても、何もしない。 The tilt amount determination unit 122 does nothing when the display format switching function is set to off. That is, when the display format switching function is set to off, the display format is not switched, so that the tilt amount determination unit 122 has already calculated the tilt amount of the housing. ,do nothing.

傾斜量判定部１２２は、表示形式の切替機能がオンに設定され、かつ、筐体が所定量以上傾斜したと判定した場合において、ホールド機能がオフに設定されている場合には、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果（筐体の傾斜量は所定量以上である旨の判定結果）とともに、ホールド機能がオフに設定されている旨の通知（情報）を切替制御部１７０に出力する。 When the display format switching function is set to ON and the housing is determined to be tilted by a predetermined amount or more and the hold function is set to Off, the tilt amount determination unit 122 of the housing The hold function is set to off together with the judgment result relating to the tilt amount, the tilt direction of the housing, and the tilt amount of the housing (the judgment result that the tilt amount of the housing is equal to or more than a predetermined amount). The notification (information) is output to the switching control unit 170.

傾斜量判定部１２２は、表示形式の切替機能がオンに設定され、かつ、筐体が所定量以上傾斜したと判定した場合において、ホールド機能がオンに設定されている場合には、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果（筐体の傾斜量は所定量以上である旨の判定結果）を特徴領域抽出部１３０に出力する。 When the display format switching function is set to ON and it is determined that the housing is tilted by a predetermined amount or more, the tilt amount determination unit 122 determines that the hold function is set to ON. A determination result relating to the inclination amount, the inclination direction of the housing, and the inclination amount of the housing (determination result that the inclination amount of the housing is equal to or more than a predetermined amount) is output to the feature area extraction unit 130.

傾斜量判定部１２２は、表示形式の切替機能がオンに設定され、かつ、筐体が所定量以上傾斜していないと判定した場合において、追随機能がオフに設定されている場合には、筐体の傾斜量に係る判定結果（筐体の傾斜量は所定量未満である旨の判定結果）とともに、追随機能がオフに設定されている旨の通知（情報）を切替制御部１７０に出力する。なお、傾斜量判定部１２２は、当該場合に、何もしなくてもよい。 When the tilt amount determination unit 122 determines that the display format switching function is turned on and the housing is not tilted by a predetermined amount or more, and the follow-up function is set to off, the housing Along with the determination result related to the amount of inclination of the body (the result of determination that the amount of inclination of the housing is less than the predetermined amount), a notification (information) indicating that the follow function is set to off is output to the switching control unit 170. .. In this case, the tilt amount determination unit 122 does not have to do anything.

傾斜量判定部１２２は、表示形式の切替機能がオンに設定され、かつ、筐体が所定量以上傾斜していないと判定した場合において、追随機能がオンに設定されている場合には、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果（筐体の傾斜量は所定量未満である旨の判定結果）を特徴領域抽出部１３０に出力する。 When the display format switching function is set to ON and it is determined that the housing is not tilted by a predetermined amount or more, the tilt amount determination unit 122 determines that the follow-up function is set to ON. A determination result relating to the inclination amount of the body, the inclination direction of the housing, and the inclination amount of the housing (determination result that the inclination amount of the housing is less than a predetermined amount) is output to the feature area extraction unit 130.

特徴領域抽出部１３０は、フロントカメラ６２によって撮像された撮像画像をカメラ部６０から取得する。例えば、特徴領域抽出部１３０は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果（筐体の傾斜量は所定量以上である旨の判定結果、又は、筐体の傾斜量は所定量未満である旨の判定結果）を傾斜量判定部１２２から取得した場合に、筐体の傾斜前後の撮像画像をカメラ部６０から取得する。つまり、特徴領域抽出部１３０は、表示形式の切替機能、及び、ホールド機能がオンに設定され、かつ、筐体が所定量以上傾斜したと判定された場合、又は、表示形式の切替機能、及び、追随機能がオンに設定され、かつ、筐体が所定量以上傾斜していない判定された場合に、筐体の傾斜前後の撮像画像をカメラ部６０から取得する。 The feature area extraction unit 130 acquires the captured image captured by the front camera 62 from the camera unit 60. For example, the feature region extraction unit 130 determines the amount of inclination of the housing, the direction of inclination of the housing, and the amount of inclination of the housing (determination result that the amount of inclination of the housing is equal to or greater than a predetermined amount, or , The determination result that the amount of inclination of the housing is less than a predetermined amount) is acquired from the amount of inclination determination unit 122, and the captured images before and after the amount of inclination of the housing are acquired from the camera unit 60. That is, the feature area extraction unit 130 has a display format switching function and a display format switching function when it is determined that the display format switching function and the hold function are set to ON and the housing is tilted by a predetermined amount or more. When the tracking function is set to ON and it is determined that the housing is not tilted by a predetermined amount or more, captured images before and after the housing is tilted are acquired from the camera unit 60.

特徴領域抽出部１３０は、筐体の傾斜前後の撮像画像をカメラ部６０から取得した場合、筐体の傾斜前後の夫々の撮像画像から、被写体の特徴部分を抽出する。特徴領域抽出部１３０は、筐体の傾斜前後の夫々の撮像画像から被写体の特徴部分を抽出できた場合には、傾斜量判定部１２２から取得した筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果とともに、傾斜前後の夫々の撮像画像から抽出した被写体の特徴部分を示す情報を変化量算出部１４０に出力する。 When the feature area extraction unit 130 acquires the captured images before and after the tilt of the housing from the camera unit 60, the feature region extraction unit 130 extracts the feature portion of the subject from the captured images before and after the tilt of the housing. When the feature area extraction unit 130 can extract the feature portion of the subject from the captured images before and after the tilt of the housing, the tilt amount of the housing, the tilt direction of the housing, and the tilt direction of the housing acquired from the tilt amount determination unit 122. In addition to the determination result relating to the tilt amount of the housing, information indicating the characteristic portion of the subject extracted from each of the captured images before and after the tilt is output to the change amount calculation unit 140.

一方、特徴領域抽出部１３０は、筐体の傾斜前の撮像画像、筐体の傾斜後の撮像画像の少なくとも一方から被写体の特徴部分を抽出できなかった場合には、傾斜量判定部１２２から取得した筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果とともに、特徴部分を抽出できなかった旨の通知（情報）を切替制御部１７０に出力する。 On the other hand, when the feature region extraction unit 130 cannot extract the feature portion of the subject from at least one of the captured image before tilting the housing and the captured image after tilting the housing, the feature region extraction unit 130 acquires it from the tilt amount determination unit 122. A notification (information) indicating that the feature portion could not be extracted is output to the switching control unit 170 together with the determination result relating to the tilted amount of the housing, the tilting direction of the housing, and the tilting amount of the housing.

変化量算出部１４０は、筐体の傾斜量、筐体の傾斜方向、筐体の傾斜量に係る判定結果、及び、夫々の撮像画像から抽出した被写体の特徴部分を特徴領域抽出部１３０から取得した場合には、夫々の撮像画像における当該特徴部分の時間的な変化量を算出する。被写体の特徴部分の時間的な変化量を算出した変化量算出部１４０は、特徴領域抽出部１３０から取得した筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果とともに、特徴部分の時間的な変化量を切替制御部１７０に出力する。 The change amount calculation unit 140 acquires from the feature area extraction unit 130 the amount of inclination of the housing, the direction of inclination of the housing, the determination result relating to the amount of inclination of the housing, and the characteristic portion of the subject extracted from each captured image. If so, the amount of change over time in the feature portion in each captured image is calculated. The change amount calculation unit 140, which calculates the temporal change amount of the feature portion of the subject, determines the tilt amount of the housing, the tilt direction of the housing, and the tilt amount of the housing acquired from the feature area extraction unit 130. Along with the result, the amount of change over time in the feature portion is output to the switching control unit 170.

切替制御部１７０は、表示画像の表示形式の切り替えを制御する。
切替制御部１７０は、筐体の傾斜量、筐体の傾斜方向、筐体の傾斜量に係る判定結果（筐体の傾斜量は所定量以上である旨の判定結果）、及び、ホールド機能がオフに設定されている旨の通知（情報）を傾斜量判定部１２２から取得した場合、表示形式の切り替えが必要であると判定する。 The switching control unit 170 controls switching of the display format of the display image.
The switching control unit 170 has a determination result relating to the inclination amount of the housing, the inclination direction of the housing, the inclination amount of the housing (determination result that the inclination amount of the housing is equal to or more than a predetermined amount), and a hold function. When the notification (information) indicating that it is set to off is obtained from the tilt amount determination unit 122, it is determined that the display format needs to be switched.

切替制御部１７０は、筐体の傾斜量に係る判定結果（筐体の傾斜量は所定量未満である旨の判定結果）、及び、追随機能がオフに設定されている旨の通知（情報）を傾斜量判定部１２２から取得した場合、表示形式の切り替えが不要であると判定する。 The switching control unit 170 includes a determination result relating to the inclination amount of the housing (determination result that the inclination amount of the housing is less than a predetermined amount) and a notification (information) that the tracking function is set to off. Is obtained from the tilt amount determination unit 122, it is determined that the display format does not need to be switched.

切替制御部１７０は、筐体の傾斜量、筐体の傾斜方向、筐体の傾斜量に係る判定結果（筐体の傾斜量は所定量以上である旨の判定結果）、及び、特徴部分を抽出できなかった旨の通知（情報）を特徴領域抽出部１３０から取得した場合、表示形式の切り替えが必要であると判定する。 The switching control unit 170 determines the amount of inclination of the housing, the direction of inclination of the housing, the determination result relating to the amount of inclination of the housing (determination result that the amount of inclination of the housing is equal to or more than a predetermined amount), and the characteristic portion. When the notification (information) indicating that the extraction has not been performed is obtained from the feature area extraction unit 130, it is determined that the display format needs to be switched.

切替制御部１７０は、筐体の傾斜量、筐体の傾斜方向、筐体の傾斜量に係る判定結果（筐体の傾斜量は所定量未満である旨の判定結果）、及び、特徴部分を抽出できなかった旨の通知（情報）を特徴領域抽出部１３０から取得した場合、表示形式の切り替えが不要であると判定する。 The switching control unit 170 determines the amount of inclination of the housing, the direction of inclination of the housing, the determination result relating to the amount of inclination of the housing (determination result that the amount of inclination of the housing is less than a predetermined amount), and the characteristic portion. When the notification (information) indicating that the extraction has not been performed is obtained from the feature area extraction unit 130, it is determined that the display format does not need to be switched.

切替制御部１７０は、筐体の傾斜量、筐体の傾斜方向、筐体の傾斜量に係る判定結果（筐体の傾斜量は所定量以上である旨の判定結果、又は、筐体の傾斜量は所定量未満である旨の判定結果）、及び、特徴部分の時間的な変化量を変化量算出部１４０から取得した場合には、特徴部分の時間的な変化量と第１の閾値又は第２の閾値とを比較し、特徴部分の変化量に係る比較結果と筐体の傾斜量に係る判定結果とに基づいて、表示画像の表示形式の切り替えの要否を判定する。 The switching control unit 170 determines the amount of inclination of the housing, the direction of inclination of the housing, and the amount of inclination of the housing (determination result that the amount of inclination of the housing is equal to or more than a predetermined amount, or the inclination of the housing. Judgment result that the amount is less than a predetermined amount), and when the temporal change amount of the feature portion is obtained from the change amount calculation unit 140, the temporal change amount of the feature portion and the first threshold value or It is compared with the second threshold value, and it is determined whether or not it is necessary to switch the display format of the display image based on the comparison result relating to the amount of change in the feature portion and the determination result relating to the amount of inclination of the housing.

（筐体の傾斜量は所定量以上である旨の判定結果を取得している場合）
切替制御部１７０は、被写体の特徴部分の時間的な変化量が第１の閾値以上である場合、表示形式の切り替えが必要であると判定し、被写体の特徴部分の時間的な変化量が第１の閾値未満である場合には、表示画像の表示形式の切り替えが不要であると判定する。
つまり、筐体が所定量以上傾斜したと判定された場合であって、ホールド機能がオンに設定されている場合において、被写体の特徴部分の時間的な変化量が第１の閾値以上であるときは、切替制御部１７０は、表示形式の切り替えが必要（換言すれば、ホールド処理が不要）であると判定し、被写体の特徴部分の時間的な変化量が第１の閾値未満である場合には、切替制御部１７０は、表示画像の表示形式の切り替えが不要（換言すれば、ホールド処理が必要）であると判定する。 (When the judgment result that the amount of inclination of the housing is equal to or more than the specified amount has been obtained)
The switching control unit 170 determines that it is necessary to switch the display format when the temporal change amount of the characteristic portion of the subject is equal to or greater than the first threshold value, and the temporal change amount of the characteristic portion of the subject is the first. If it is less than the threshold value of 1, it is determined that it is not necessary to switch the display format of the display image.
That is, when it is determined that the housing is tilted by a predetermined amount or more, and when the hold function is set to ON, the amount of time change of the characteristic portion of the subject is equal to or more than the first threshold value. Determines that switching of the display format is necessary (in other words, hold processing is unnecessary), and the switching control unit 170 determines that the amount of change over time in the characteristic portion of the subject is less than the first threshold value. Determines that the switching control unit 170 does not need to switch the display format of the display image (in other words, hold processing is required).

なお、被写体の特徴部分の時間的な変化量と比較する第１の閾値は、第１の実施形態と同様、ユーザが、筐体を回転させるなどして筐体を傾斜させる際に、当該ユーザが筐体の傾斜に伴って（連動して）自身の顔（例えば両目を結ぶ直線）を意図的に傾斜させたか否かを判定するための値である。 As in the first embodiment, the first threshold value to be compared with the amount of time change of the characteristic portion of the subject is the user when the housing is tilted by rotating the housing or the like. Is a value for determining whether or not one's own face (for example, a straight line connecting both eyes) is intentionally tilted as the housing is tilted (in conjunction with it).

（筐体の傾斜量は所定量未満である旨の判定結果を取得している場合）
切替制御部１７０は、特徴部分の時間的な変化量が第２の閾値以上である場合、表示形式の切り替えが必要であると判定し、特徴部分の時間的な変化量が第２の閾値未満である場合には、表示画像の表示形式の切り替えが不要であると判定する。
つまり、筐体が所定量以上傾斜していないと判定された場合であって、追随機能がオンに設定されている場合において、被写体の特徴部分の時間的な変化量が第２の閾値以上であるときは、切替制御部１７０は、表示形式の切り替えが必要（換言すれば、追随処理が必要）であると判定し、被写体の特徴部分の時間的な変化量が第２の閾値未満である場合には、切替制御部１７０は、表示画像の表示形式の切り替えが不要（換言すれば、追随処理が不要）であると判定する。 (When the judgment result that the amount of inclination of the housing is less than the predetermined amount has been obtained)
When the temporal change amount of the feature portion is equal to or greater than the second threshold value, the switching control unit 170 determines that the display format needs to be switched, and the temporal change amount of the feature portion is less than the second threshold value. If is, it is determined that it is not necessary to switch the display format of the display image.
That is, when it is determined that the housing is not tilted by a predetermined amount or more and the tracking function is set to ON, the amount of change over time in the characteristic portion of the subject is equal to or greater than the second threshold value. In some cases, the switching control unit 170 determines that the display format needs to be switched (in other words, follow-up processing is required), and the amount of change over time in the characteristic portion of the subject is less than the second threshold value. In this case, the switching control unit 170 determines that switching the display format of the display image is unnecessary (in other words, follow-up processing is unnecessary).

なお、被写体の特徴部分の時間的な変化量と比較する第２の閾値は、ユーザが、筐体を回転させるなどして筐体を傾斜させていないときに、当該ユーザが自身の顔（例えば両目を結ぶ直線）を意図的に傾斜させたか否かを判定するための値である。
筐体を傾斜させていないときに自身の顔を意図的に傾斜させている例は、例えば、図５（ｃ）に示すような場合である。図５（ｃ）の場合、被写体の特徴部分の変化量は６０度となる。以上から、例えば、第２の閾値は、４５度前後の角度としてもよい。
例えば、第２の閾値を５０度とした場合、ユーザが、筐体を傾斜させないで顔のみを５０度以上傾斜させた場合、変化量は第２の閾値以上となるため、追随処理が働く。 The second threshold value to be compared with the amount of change over time in the characteristic portion of the subject is the user's own face (for example, when the housing is not tilted by rotating the housing or the like. It is a value for determining whether or not the straight line connecting both eyes) is intentionally tilted.
An example in which one's face is intentionally tilted when the housing is not tilted is, for example, the case shown in FIG. 5 (c). In the case of FIG. 5C, the amount of change in the characteristic portion of the subject is 60 degrees. From the above, for example, the second threshold value may be an angle of around 45 degrees.
For example, when the second threshold value is 50 degrees, if the user tilts only the face by 50 degrees or more without tilting the housing, the amount of change becomes equal to or more than the second threshold value, so that the follow-up process works.

切替制御部１７０は、表示形式の切り替えが不要であると判定した場合には、表示形式を維持する旨の通知（情報）を切替処理部１８０に出力する。また、切替制御部１７０は、表示形式の切り替えが必要であると判定した場合には、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部１８０に出力する。 When the switching control unit 170 determines that switching of the display format is unnecessary, the switching control unit 170 outputs a notification (information) to the effect that the display format is maintained to the switching processing unit 180. Further, when the switching control unit 170 determines that the display format needs to be switched, the switching control unit 170 outputs the tilt amount of the housing and the tilting direction of the housing to the switching processing unit 180.

切替処理部１８０は、表示形式を維持する旨の通知（情報）を切替制御部１７０から取得した場合、表示画像の表示形式を切り替えないように制御する（例えば、何もしない）。また、切替処理部１８０は、筐体の傾斜量、及び、筐体の傾斜方向を切替制御部１７０から取得した場合、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する。 When the switching processing unit 180 obtains the notification (information) indicating that the display format is maintained from the switching control unit 170, the switching processing unit 180 controls so that the display format of the display image is not switched (for example, does nothing). Further, when the switching processing unit 180 acquires the tilting amount of the housing and the tilting direction of the housing from the switching control unit 170, the switching processing unit 180 displays the image according to the tilting amount of the housing and the tilting direction of the housing. Control to switch the display format.

以上のように、表示制御部１０２は、筐体が所定量以上傾斜したと判定された場合であって、表示形式の切替機能、及び、ホールド機能がオンに設定されている場合には、被写体の特徴部分の時間的な変化量に応じて、タッチスクリーン４４における表示画像の表示形式を選択的に切り替える。
また、表示制御部１０２は、筐体が所定量以上傾斜していないと判定された場合であって、表示形式の切替機能、及び、追随機能がオンに設定されている場合には、被写体の特徴部分の時間的な変化量に応じて、タッチスクリーン４４における表示画像の表示形式を選択的に切り替える。 As described above, the display control unit 102 is the subject when it is determined that the housing is tilted by a predetermined amount or more and the display format switching function and the hold function are set to ON. The display format of the display image on the touch screen 44 is selectively switched according to the amount of time change of the feature portion of.
Further, the display control unit 102 determines that the housing is not tilted by a predetermined amount or more, and when the display format switching function and the tracking function are set to ON, the display control unit 102 of the subject. The display format of the display image on the touch screen 44 is selectively switched according to the amount of time change of the feature portion.

図１９は、電子機器４における表示形式の制御処理の流れを示すフローチャートの一例である。図１９のフローチャートは、表示形式の切替機能がオンに設定されている場合において、筐体が傾斜（所定量以上でなくてもよい）したときに開始する。 FIG. 19 is an example of a flowchart showing the flow of display format control processing in the electronic device 4. The flowchart of FIG. 19 starts when the housing is tilted (it does not have to be a predetermined amount or more) when the display format switching function is set to ON.

図１９において、傾斜量判定部１２２は、筐体が所定量以上傾斜したか否かを判定する（ステップＳ２００）。ステップＳ２００において筐体が所定量以上傾斜したと判定された場合、下記ステップＳ２１０〜ステップＳ２７０を実行する。ステップＳ２００において筐体が所定量以上傾斜していないと判定された場合、下記ステップＳ３１０〜ステップＳ３７０を実行する。 In FIG. 19, the tilt amount determination unit 122 determines whether or not the housing is tilted by a predetermined amount or more (step S200). If it is determined in step S200 that the housing is tilted by a predetermined amount or more, the following steps S210 to S270 are executed. If it is determined in step S200 that the housing is not tilted by a predetermined amount or more, the following steps S310 to S370 are executed.

（Ｓ２１０〜ステップＳ２７０）
ステップＳ２００において筐体が所定量以上傾斜したと判定された場合（ステップＳ２００：Ｙｅｓ）、設定認識部１１２（又は傾斜量判定部１２２）は、記憶部３０を参照し、ホールド機能がオンである否かを判断する（ステップＳ２１０）。 (S210 to step S270)
When it is determined in step S200 that the housing is tilted by a predetermined amount or more (step S200: Yes), the setting recognition unit 112 (or the tilt amount determination unit 122) refers to the storage unit 30 and the hold function is on. It is determined whether or not (step S210).

ステップＳ２１０においてホールド機能がオンである場合（ステップＳ２１０：Ｙｅｓ）、傾斜量判定部１２２は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果（筐体の傾斜量は所定量以上である旨の判定結果）を特徴領域抽出部１３０に出力する。次いで、特徴領域抽出部１３０は、筐体の傾斜前後の撮像画像の夫々から被写体の特徴部分の抽出を試みて（ステップＳ２２０）、夫々から被写体の特徴部分を抽出できたか否かを判断する（ステップＳ２３０）。 When the hold function is turned on in step S210 (step S210: Yes), the inclination amount determination unit 122 determines the amount of inclination of the housing, the direction of inclination of the housing, and the determination result (housing) relating to the amount of inclination of the housing. The determination result that the amount of inclination is equal to or greater than a predetermined amount) is output to the feature region extraction unit 130. Next, the feature area extraction unit 130 attempts to extract the feature portion of the subject from each of the captured images before and after the tilt of the housing (step S220), and determines whether or not the feature portion of the subject can be extracted from each (step S220). Step S230).

ステップＳ２３０において、夫々から被写体の特徴部分を抽出できた場合には（ステップＳ２３０：Ｙｅｓ）、特徴領域抽出部１３０は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果（筐体の傾斜量は所定量以上である旨の判定結果）とともに、被写体の特徴部分を示す情報を変化量算出部１４０に出力する。次いで、変化量算出部１４０は、被写体の特徴部分の時間的な変化量を算出し（ステップＳ２４０）、算出した変化量を、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果とともに、切替制御部１７０に出力する。次いで、切替制御部１７０は、被写体の特徴部分の時間的な変化量が第１の閾値以上であるか否かを判定する（ステップＳ２５０）。 In step S230, when the feature portion of the subject can be extracted from each (step S230: Yes), the feature region extraction unit 130 determines the tilt amount of the housing, the tilt direction of the housing, and the tilt amount of the housing. Along with the determination result (determination result that the amount of inclination of the housing is equal to or greater than a predetermined amount), information indicating the characteristic portion of the subject is output to the change amount calculation unit 140. Next, the change amount calculation unit 140 calculates the temporal change amount of the characteristic portion of the subject (step S240), and uses the calculated change amount as the tilt amount of the housing, the tilt direction of the housing, and the housing. It is output to the switching control unit 170 together with the determination result related to the tilt amount. Next, the switching control unit 170 determines whether or not the amount of change over time in the characteristic portion of the subject is equal to or greater than the first threshold value (step S250).

ステップＳ２５０において、被写体の特徴部分の時間的な変化量が第１の閾値未満であると判定した場合（ステップＳ２５０：Ｎｏ）、切替制御部１７０は、表示画像の表示形式の切り替えが不要であると判定し、表示形式を維持する旨の通知（情報）を切替処理部１８０に出力する。表示形式を維持する旨の通知（情報）を取得した切替処理部１８０は、現在の表示形式をホールドする（何もしない）（ステップＳ２７０）。そして、本フローチャートは終了する。なお、ステップＳ２７０の矩形が破線であるのは、切替処理部１８０が、何もしなくてもよい旨を表している。 When it is determined in step S250 that the amount of change over time in the characteristic portion of the subject is less than the first threshold value (step S250: No), the switching control unit 170 does not need to switch the display format of the display image. Is determined, and a notification (information) indicating that the display format is maintained is output to the switching processing unit 180. The switching processing unit 180 that has acquired the notification (information) that the display format is to be maintained holds the current display format (does nothing) (step S270). Then, this flowchart ends. The fact that the rectangle in step S270 is a broken line indicates that the switching processing unit 180 does not have to do anything.

ステップＳ２１０においてホールド機能がオンでない場合（ステップＳ２１０：Ｎｏ）、傾斜量判定部１２２は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果（筐体の傾斜量は所定量以上である旨の判定結果）とともに、ホールド機能がオフに設定されている旨の通知（情報）を切替制御部１７０に出力する。筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果とともに、ホールド機能がオフに設定されている旨の通知（情報）を取得した切替制御部１７０は、表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部１８０に出力する。筐体の傾斜量、及び、筐体の傾斜方向を取得した切替処理部１８０は、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する（ステップＳ２６０）。そして、本フローチャートは終了する。 When the hold function is not turned on in step S210 (step S210: No), the inclination amount determination unit 122 determines the amount of inclination of the housing, the direction of inclination of the housing, and the determination result regarding the amount of inclination of the housing (of the housing). A notification (information) indicating that the hold function is set to off is output to the switching control unit 170 together with a determination result that the tilt amount is equal to or more than a predetermined amount). The switching control unit 170, which has acquired the notification (information) that the hold function is set to off, along with the determination results relating to the amount of inclination of the housing, the direction of inclination of the housing, and the amount of inclination of the housing, displays the display. It is determined that the format needs to be switched, and the tilt amount of the housing and the tilt direction of the housing are output to the switching processing unit 180. The switching processing unit 180 that has acquired the tilt amount of the housing and the tilt direction of the housing controls to switch the display format of the display image according to the tilt amount of the housing and the tilt direction of the housing ( Step S260). Then, this flowchart ends.

ステップＳ２３０において、筐体の傾斜前後の撮像画像の少なくとも一方から被写体の特徴部分を抽出できなかった場合には（ステップＳ２３０：Ｎｏ）、特徴領域抽出部１３０は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果（筐体の傾斜量は所定量以上である旨の判定結果）とともに、特徴部分を抽出できなかった旨の通知（情報）を切替制御部１７０に出力する。筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果とともに、特徴部分を抽出できなかった旨の通知（情報）を取得した切替制御部１７０は、表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部１８０に出力する。以下、ステップＳ２１０（Ｎｏ）の場合と同様の処理を行って、本フローチャートは終了する。 In step S230, when the feature portion of the subject cannot be extracted from at least one of the captured images before and after the tilt of the housing (step S230: No), the feature area extraction unit 130 determines the tilt amount of the housing and the housing. Along with the determination result related to the inclination direction of the housing and the inclination amount of the housing (judgment result that the inclination amount of the housing is equal to or more than a predetermined amount), the notification (information) indicating that the feature portion could not be extracted is switched and controlled. Output to unit 170. The switching control unit 170, which has acquired the notification (information) that the feature portion could not be extracted, together with the determination results relating to the inclination amount of the housing, the inclination direction of the housing, and the inclination amount of the housing, is in a display format. It is determined that switching is necessary, and the tilt amount of the housing and the tilting direction of the housing are output to the switching processing unit 180. Hereinafter, the same processing as in the case of step S210 (No) is performed, and this flowchart ends.

ステップＳ２５０において、被写体の特徴部分の時間的な変化量が第１の閾値以上であると判定した場合には（ステップＳ２５０：Ｙｅｓ）、切替制御部１７０は、表示画像の表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部１８０に出力する。以下、ステップＳ２１０（Ｎｏ）の場合と同様の処理を行って、本フローチャートは終了する。 If it is determined in step S250 that the amount of change over time in the characteristic portion of the subject is equal to or greater than the first threshold value (step S250: Yes), the switching control unit 170 needs to switch the display format of the display image. Is determined, and the tilt amount of the housing and the tilt direction of the housing are output to the switching processing unit 180. Hereinafter, the same processing as in the case of step S210 (No) is performed, and this flowchart ends.

（Ｓ３１０〜ステップＳ３７０）
ステップＳ２００において筐体が所定量以上傾斜していないと判定された場合（ステップＳ２００：Ｎｏ）、設定認識部１１２（又は傾斜量判定部１２２）は、記憶部３０を参照し、追随機能がオンである否かを判断する（ステップＳ３１０）。 (S310 to step S370)
When it is determined in step S200 that the housing is not tilted by a predetermined amount or more (step S200: No), the setting recognition unit 112 (or the tilt amount determination unit 122) refers to the storage unit 30 and turns on the tracking function. It is determined whether or not (step S310).

ステップＳ３１０において追随機能がオンである場合（ステップＳ３１０：Ｙｅｓ）、傾斜量判定部１２２は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果（筐体の傾斜量は所定量未満である旨の判定結果）を特徴領域抽出部１３０に出力する。次いで、特徴領域抽出部１３０は、筐体の傾斜前後の撮像画像の夫々から被写体の特徴部分の抽出を試みて（ステップＳ３２０）、夫々から被写体の特徴部分を抽出できたか否かを判断する（ステップＳ３３０）。 When the follow-up function is turned on in step S310 (step S310: Yes), the inclination amount determination unit 122 determines the amount of inclination of the housing, the direction of inclination of the housing, and the determination result (housing) relating to the amount of inclination of the housing. The determination result that the amount of inclination is less than a predetermined amount) is output to the feature region extraction unit 130. Next, the feature area extraction unit 130 attempts to extract the feature portion of the subject from each of the captured images before and after the tilt of the housing (step S320), and determines whether or not the feature portion of the subject can be extracted from each (step S320). Step S330).

ステップＳ３３０において、夫々から被写体の特徴部分を抽出できた場合には（ステップＳ３３０：Ｙｅｓ）、特徴領域抽出部１３０は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果（筐体の傾斜量は所定量未満である旨の判定結果）とともに、被写体の特徴部分を示す情報を変化量算出部１４０に出力する。次いで、変化量算出部１４０は、被写体の特徴部分の時間的な変化量を算出し（ステップＳ３４０）、算出した変化量を、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果とともに、切替制御部１７０に出力する。次いで、切替制御部１７０は、被写体の特徴部分の時間的な変化量が第２の閾値以上であるか否かを判定する（ステップＳ３５０）。 In step S330, when the feature portion of the subject can be extracted from each (step S330: Yes), the feature region extraction unit 130 determines the tilt amount of the housing, the tilt direction of the housing, and the tilt amount of the housing. Along with the determination result (determination result that the amount of inclination of the housing is less than a predetermined amount), information indicating the characteristic portion of the subject is output to the change amount calculation unit 140. Next, the change amount calculation unit 140 calculates the temporal change amount of the characteristic portion of the subject (step S340), and uses the calculated change amount as the inclination amount of the housing, the inclination direction of the housing, and the housing. It is output to the switching control unit 170 together with the determination result related to the tilt amount. Next, the switching control unit 170 determines whether or not the amount of change over time in the characteristic portion of the subject is equal to or greater than the second threshold value (step S350).

ステップＳ３５０において、被写体の特徴部分の時間的な変化量が第２の閾値以上であると判定した場合（ステップＳ３５０：Ｙｅｓ）、切替制御部１７０は、表示画像の表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部１８０に出力する。筐体の傾斜量、及び、筐体の傾斜方向を取得した切替処理部１８０は、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する（ステップＳ３６０）。例えば、切替処理部１８０は、筐体の傾斜量、及び、筐体の傾斜方向に基づいて、表示形式（切替後の表示形式）を決定し、決定した表示形式をタッチスクリーンコントローラ４２に出力する。そして、本フローチャートは終了する。 When it is determined in step S350 that the amount of change over time in the characteristic portion of the subject is equal to or greater than the second threshold value (step S350: Yes), the switching control unit 170 needs to switch the display format of the display image. Is determined, and the tilt amount of the housing and the tilt direction of the housing are output to the switching processing unit 180. The switching processing unit 180 that has acquired the tilt amount of the housing and the tilt direction of the housing controls to switch the display format of the display image according to the tilt amount of the housing and the tilt direction of the housing ( Step S360). For example, the switching processing unit 180 determines the display format (display format after switching) based on the tilt amount of the housing and the tilt direction of the housing, and outputs the determined display format to the touch screen controller 42. .. Then, this flowchart ends.

ステップＳ３１０において追随機能がオンでない場合（ステップＳ３１０：Ｎｏ）、傾斜量判定部１２２は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果（筐体の傾斜量は所定量未満である旨の判定結果）とともに、追随機能がオフに設定されている旨の通知（情報）を切替制御部１７０に出力する。筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果とともに、追随機能がオフに設定されている旨の通知（情報）を取得した切替制御部１７０は、表示形式の切り替えが不要であると判定し、表示形式を維持する旨の通知を切替処理部１８０に出力する。表示形式を維持する旨の通知（情報）を取得した切替処理部１８０は、何もしない（ステップＳ３７０）。そして、本フローチャートは終了する。なお、ステップＳ３７０の矩形が破線であるのは、切替処理部１８０が、何もしなくてもよい旨を表している。 When the follow-up function is not turned on in step S310 (step S310: No), the inclination amount determination unit 122 determines the amount of inclination of the housing, the direction of inclination of the housing, and the determination result regarding the amount of inclination of the housing (of the housing). A notification (information) indicating that the tracking function is set to off is output to the switching control unit 170 together with a determination result (result) that the tilt amount is less than a predetermined amount. The switching control unit 170, which has acquired the notification (information) that the tracking function is set to off, along with the determination results relating to the amount of inclination of the housing, the direction of inclination of the housing, and the amount of inclination of the housing, displays. It is determined that the format switching is unnecessary, and a notification to the effect that the display format is maintained is output to the switching processing unit 180. The switching processing unit 180 that has acquired the notification (information) that the display format is maintained does nothing (step S370). Then, this flowchart ends. The fact that the rectangle in step S370 is a broken line indicates that the switching processing unit 180 does not have to do anything.

ステップＳ３３０において、筐体の傾斜前後の撮像画像の少なくとも一方から被写体の特徴部分を抽出できなかった場合には（ステップＳ３３０：Ｎｏ）、特徴領域抽出部１３０は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果（筐体の傾斜量は所定量未満である旨の判定結果）とともに、特徴部分を抽出できなかった旨の通知（情報）を切替制御部１７０に出力する。筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果とともに、特徴部分を抽出できなかった旨の通知（情報）を取得した切替制御部１７０は、表示形式の切り替えが不要であると判定し、表示形式を維持する旨の通知（情報）を切替処理部１８０に出力する。以下、ステップＳ３１０（Ｎｏ）の場合と同様の処理を行って、本フローチャートは終了する。 In step S330, when the feature portion of the subject cannot be extracted from at least one of the captured images before and after the tilt of the housing (step S330: No), the feature area extraction unit 130 determines the amount of tilt of the housing and the housing. Along with the judgment result related to the tilt direction of the housing and the tilt amount of the housing (judgment result that the tilt amount of the housing is less than a predetermined amount), the notification (information) indicating that the feature portion could not be extracted is switched and controlled. Output to unit 170. The switching control unit 170, which has acquired the notification (information) that the feature portion could not be extracted, together with the determination results relating to the inclination amount of the housing, the inclination direction of the housing, and the inclination amount of the housing, is in a display format. It is determined that switching is unnecessary, and a notification (information) indicating that the display format is maintained is output to the switching processing unit 180. Hereinafter, the same processing as in the case of step S310 (No) is performed, and this flowchart ends.

ステップＳ３５０において、被写体の特徴部分の時間的な変化量が第２の閾値未満であると判定した場合には（ステップＳ３５０：Ｎｏ）、切替制御部１７０は、表示画像の表示形式の切り替えが不要であると判定し、表示形式を維持する旨の通知（情報）を切替処理部１８０に出力する。以下、ステップＳ３１０（Ｎｏ）の場合と同様の処理を行って、本フローチャートは終了する。なお、図１９のステップＳ２７０において、後述の図２０におけるステップＳ２２２〜ステップＳ２７０の処理を入れてもよい。 When it is determined in step S350 that the amount of change over time in the characteristic portion of the subject is less than the second threshold value (step S350: No), the switching control unit 170 does not need to switch the display format of the display image. Is determined, and a notification (information) indicating that the display format is maintained is output to the switching processing unit 180. Hereinafter, the same processing as in the case of step S310 (No) is performed, and this flowchart ends. In addition, in step S270 of FIG. 19, the process of steps S222 to S270 in FIG. 20 described later may be inserted.

なお、電子機器４は、電子機器３と同様、フロントカメラ６２による撮像画像に加え、タッチスクリーン４４の後方側の被写体を撮像するバックカメラ６４（第２撮像部）による撮像画像を利用して、表示画像の表示形式を制御してもよい。 Similar to the electronic device 3, the electronic device 4 uses the image captured by the back camera 64 (second imaging unit) that captures the subject on the rear side of the touch screen 44 in addition to the image captured by the front camera 62. The display format of the display image may be controlled.

以下、ホールド機能に関しては本発明の第１の実施形態による電子機器３と同様であるため、追随機能に関して説明する。表示制御部１０２は、所定量以上傾斜していない場合に、前方側変化率と後方側変化率とを算出し、前方側変化率が後方側変化率以上であるときは、表示画像の表示形式を変えないように制御し、前方側変化率が後方側変化率未満であるときは、表示画像の表示形式を変えるように制御する。 Hereinafter, since the hold function is the same as that of the electronic device 3 according to the first embodiment of the present invention, the follow-up function will be described. The display control unit 102 calculates the front side change rate and the rear side change rate when it is not tilted by a predetermined amount or more, and when the front side change rate is equal to or more than the rear side change rate, the display format of the display image. Is controlled so as not to change, and when the front side change rate is less than the rear side change rate, the display format of the display image is controlled to be changed.

例えば、表示制御部１０２は、筐体が所定量以上傾斜していない場合であって追随機能がオンに設定（表示形式の切替機能もオンに設定）されている場合は、前方側変化率と後方側変化率とを算出し、前方側変化率が後方側変化率以上であるときは、表示画像の表示形式を変えないように制御し、前方側変化率が後方側変化率未満であるときは、表示画像の表示形式を変えるように制御する。
一方、表示制御部１０２は、筐体が所定量以上傾斜していない場合であって追随機能がオフ（表示形式の切替機能はオンに設定）に設定されている場合は、表示画像の表示形式を変えないように制御する。 For example, when the housing is not tilted by a predetermined amount or more and the follow-up function is set to ON (the display format switching function is also set to ON), the display control unit 102 sets the rate of change on the front side. The rate of change on the rear side is calculated, and when the rate of change on the front side is greater than or equal to the rate of change on the rear side, control is performed so as not to change the display format of the displayed image, and when the rate of change on the front side is less than the rate of change on the rear side. Controls to change the display format of the display image.
On the other hand, the display control unit 102 displays a display image when the housing is not tilted by a predetermined amount or more and the follow-up function is set to off (the display format switching function is set to on). Control so as not to change.

図２０は、電子機器４における表示形式の制御処理の他の例を示すフローチャートである。例えば、図２０は、フロントカメラ６２による撮像画像に加え、バックカメラ６４による撮像画像を利用して表示画像の表示形式を制御する態様における、処理の流れを表している。なお、図２０のフローチャートは、図１９のフローチャートと同様、表示形式の切替機能がオンに設定されている場合において、筐体が傾斜（所定量以上でなくてもよい）したときに開始する。なお、図１９と同一のステップ番号は、図１８と同一の処理である。 FIG. 20 is a flowchart showing another example of the display format control process in the electronic device 4. For example, FIG. 20 shows a processing flow in a mode in which the display format of the display image is controlled by using the image captured by the back camera 64 in addition to the image captured by the front camera 62. Note that the flowchart of FIG. 20 starts when the housing is tilted (not necessarily a predetermined amount or more) when the display format switching function is set to ON, as in the flowchart of FIG. The same step number as in FIG. 19 is the same process as in FIG.

図２０において、傾斜量判定部１２２は、筐体が所定量以上傾斜したか否かを判定する（ステップＳ２００）。ステップＳ２００において筐体が所定量以上傾斜したと判定された場合、下記ステップＳ２１０〜ステップＳ２７０を実行する。ステップＳ２００において筐体が所定量以上傾斜していないと判定された場合、下記ステップＳ３１０〜ステップＳ３７０を実行する。 In FIG. 20, the tilt amount determination unit 122 determines whether or not the housing is tilted by a predetermined amount or more (step S200). If it is determined in step S200 that the housing is tilted by a predetermined amount or more, the following steps S210 to S270 are executed. If it is determined in step S200 that the housing is not tilted by a predetermined amount or more, the following steps S310 to S370 are executed.

（Ｓ２１０〜ステップＳ２７０）
ステップＳ２００において筐体が所定量以上傾斜したと判定された場合（ステップＳ２００：Ｙｅｓ）、設定認識部１１２（又は傾斜量判定部１２２）は、ホールド機能がオンである否かを判断する（ステップＳ２１０）。 (S210 to step S270)
When it is determined in step S200 that the housing is tilted by a predetermined amount or more (step S200: Yes), the setting recognition unit 112 (or the tilt amount determination unit 122) determines whether or not the hold function is on (step). S210).

ステップＳ２１０においてホールド機能がオンである場合（ステップＳ２１０：Ｙｅｓ）、傾斜量判定部１２２は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果（筐体の傾斜量は所定量以上である旨の判定結果）を特徴領域抽出部１３０に出力する。次いで、特徴領域抽出部１３０は、両撮像画像（フロントカメラ６２による撮像画像及びバックカメラ６４による撮像画像）における傾斜前後の撮像画像の夫々（筐体の傾斜前のフロントカメラ６２による撮像画像、筐体の傾斜前のバックカメラ６４による撮像画像、筐体の傾斜後のフロントカメラ６２による撮像画像、筐体の傾斜後のバックカメラ６４による撮像画像）から被写体の特徴部分の抽出を試みて（ステップＳ２２２）、夫々の撮像画像から、被写体の特徴部分を抽出できたか否かを判断する（ステップＳ２３２）。 When the hold function is turned on in step S210 (step S210: Yes), the inclination amount determination unit 122 determines the amount of inclination of the housing, the direction of inclination of the housing, and the determination result (housing) relating to the amount of inclination of the housing. The determination result that the amount of inclination is equal to or greater than a predetermined amount) is output to the feature region extraction unit 130. Next, the feature region extraction unit 130 is used to capture images before and after tilting in both captured images (image captured by the front camera 62 and image captured by the back camera 64) (image captured by the front camera 62 before tilting the housing, and a housing. An attempt is made to extract the characteristic portion of the subject from the image captured by the back camera 64 before tilting the body, the image captured by the front camera 62 after tilting the housing, and the image captured by the back camera 64 after tilting the housing (step). S222), it is determined whether or not the characteristic portion of the subject can be extracted from each captured image (step S232).

ステップＳ２３２において、両撮像画像における傾斜前後の撮像画像の夫々から被写体の特徴部分を抽出できた場合には（ステップＳ２３２：Ｙｅｓ）、特徴領域抽出部１３０は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果（筐体の傾斜量は所定量以上である旨の判定結果）とともに、被写体の特徴部分を示す情報を変化量算出部１４０に出力する。次いで、変化量算出部１４０は、両撮像画像における被写体の特徴部分の時間的な変化率（前方側変化率及び後方側変化率）を算出し（ステップＳ２４２）。算出した変化率を、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果（筐体の傾斜量は所定量以上である旨の判定結果）とともに、切替制御部１７０に出力する。次いで、切替制御部１７０は、前方側変化率が後方側変化率未満であるか否かを判定する（ステップＳ２５２）。 In step S232, when the feature portion of the subject can be extracted from each of the captured images before and after the tilt in both captured images (step S232: Yes), the feature region extraction unit 130 determines the tilt amount of the housing and the housing. Information indicating the characteristic portion of the subject is output to the change amount calculation unit 140 together with the determination result relating to the inclination direction and the inclination amount of the housing (determination result that the inclination amount of the housing is equal to or more than a predetermined amount). Next, the change amount calculation unit 140 calculates the temporal change rate (front side change rate and rear side change rate) of the characteristic portion of the subject in both captured images (step S242). Switching control of the calculated rate of change together with the amount of inclination of the housing, the direction of inclination of the housing, and the judgment result relating to the amount of inclination of the housing (judgment result that the amount of inclination of the housing is equal to or more than a predetermined amount). Output to unit 170. Next, the switching control unit 170 determines whether or not the front side change rate is less than the rear side change rate (step S252).

ステップＳ２５２において、前方側変化率が後方側変化率未満である場合（ステップＳ１５２：Ｙｅｓ）、切替制御部１７０は、表示画像の表示形式の切り替えが不要であると判定し、表示形式を維持する旨の通知（情報）を切替処理部１８０に出力する。表示形式を維持する旨の通知（情報）を取得した切替処理部１８０は、現在の表示形式をホールドする（何もしない）（ステップＳ２７０）。そして、本フローチャートは終了する。 In step S252, when the rate of change on the front side is less than the rate of change on the rear side (step S152: Yes), the switching control unit 170 determines that it is not necessary to switch the display format of the display image, and maintains the display format. A notification (information) to that effect is output to the switching processing unit 180. The switching processing unit 180 that has acquired the notification (information) that the display format is to be maintained holds the current display format (does nothing) (step S270). Then, this flowchart ends.

ステップＳ２１０においてホールド機能がオンでない場合（ステップＳ２１０：Ｎｏ）、傾斜量判定部１２２は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果（筐体の傾斜量は所定量以上である旨の判定結果）とともに、ホールド機能がオフに設定されている旨の通知（情報）を切替制御部１７０に出力する。次いで、切替制御部１７０は、表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部１８０に出力する。筐体の傾斜量、及び、筐体の傾斜方向を取得した切替処理部１８０は、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する（ステップＳ２６０）。そして、本フローチャートは終了する。 When the hold function is not turned on in step S210 (step S210: No), the inclination amount determination unit 122 determines the amount of inclination of the housing, the direction of inclination of the housing, and the determination result regarding the amount of inclination of the housing (of the housing). A notification (information) indicating that the hold function is set to off is output to the switching control unit 170 together with a determination result that the tilt amount is equal to or more than a predetermined amount). Next, the switching control unit 170 determines that the display format needs to be switched, and outputs the tilt amount of the housing and the tilting direction of the housing to the switching processing unit 180. The switching processing unit 180 that has acquired the tilt amount of the housing and the tilt direction of the housing controls to switch the display format of the display image according to the tilt amount of the housing and the tilt direction of the housing ( Step S260). Then, this flowchart ends.

ステップＳ２３２において、両撮像画像における筐体の傾斜前後の撮像画像の何れから被写体の特徴部分を抽出できなかった場合には（ステップＳ２３２：Ｎｏ）、特徴領域抽出部１３０は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果（筐体の傾斜量は所定量以上である旨の判定結果）とともに、特徴部分を抽出できなかった旨の通知を切替制御部１７０に出力する。次いで、切替制御部１７０は、表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部１８０に出力する。以下、ステップＳ２１０（Ｎｏ）の場合と同様の処理を行って、本フローチャートは終了する。 In step S232, if the feature portion of the subject cannot be extracted from any of the captured images before and after the tilt of the housing in both captured images (step S232: No), the feature region extraction unit 130 increases the tilt amount of the housing. , The judgment result related to the inclination direction of the housing and the inclination amount of the housing (the judgment result that the inclination amount of the housing is equal to or more than a predetermined amount), and the notification that the feature portion could not be extracted is switched and controlled. Output to unit 170. Next, the switching control unit 170 determines that the display format needs to be switched, and outputs the tilt amount of the housing and the tilting direction of the housing to the switching processing unit 180. Hereinafter, the same processing as in the case of step S210 (No) is performed, and this flowchart ends.

ステップＳ２５２において、前方側変化率が後方側変化率以上である場合（ステップＳ２５２：Ｎｏ）、切替制御部１７０は、表示画像の表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部１８０に出力する。以下、ステップＳ２１０（Ｎｏ）の場合と同様の処理を行って、本フローチャートは終了する。 In step S252, when the front side change rate is equal to or higher than the rear side change rate (step S252: No), the switching control unit 170 determines that it is necessary to switch the display format of the display image, and the amount of inclination of the housing. , And the tilting direction of the housing is output to the switching processing unit 180. Hereinafter, the same processing as in the case of step S210 (No) is performed, and this flowchart ends.

（Ｓ３１０〜ステップＳ３７０）
ステップＳ２００において筐体が所定量以上傾斜していないと判定された場合（ステップＳ２００：Ｎｏ）、設定認識部１１２（又は傾斜量判定部１２２）は、追随機能がオンである否かを判断する（ステップＳ３１０）。 (S310 to step S370)
When it is determined in step S200 that the housing is not tilted by a predetermined amount or more (step S200: No), the setting recognition unit 112 (or the tilt amount determination unit 122) determines whether or not the follow-up function is on. (Step S310).

ステップＳ３１０において追随機能がオンである場合（ステップＳ３１０：Ｙｅｓ）、傾斜量判定部１２２は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果（筐体の傾斜量は所定量未満である旨の判定結果）を特徴領域抽出部１３０に出力する。次いで、特徴領域抽出部１３０は、両撮像画像における傾斜前後の撮像画像の夫々から被写体の特徴部分の抽出を試みて（ステップＳ３２２）、夫々の撮像画像から、被写体の特徴部分を抽出できたか否かを判断する（ステップＳ３３２）。 When the follow-up function is turned on in step S310 (step S310: Yes), the inclination amount determination unit 122 determines the amount of inclination of the housing, the direction of inclination of the housing, and the determination result (housing) relating to the amount of inclination of the housing. The determination result that the amount of inclination is less than a predetermined amount) is output to the feature region extraction unit 130. Next, the feature region extraction unit 130 attempts to extract the feature portion of the subject from each of the captured images before and after the tilt in both captured images (step S322), and whether or not the feature portion of the subject can be extracted from each captured image. (Step S332).

ステップＳ３３２において、両撮像画像における傾斜前後の撮像画像の夫々から被写体の特徴部分を抽出できた場合には（ステップＳ３３２：Ｙｅｓ）、特徴領域抽出部１３０は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果（筐体の傾斜量は所定量未満である旨の判定結果）とともに、被写体の特徴部分を示す情報を変化量算出部１４０に出力する。次いで、変化量算出部１４０は、両撮像画像における被写体の特徴部分の時間的な変化率を算出し（ステップＳ３４２）、算出した変化率を、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果（筐体の傾斜量は所定量未満である旨の判定結果）とともに、切替制御部１７０に出力する。次いで、切替制御部１７０は、前方側変化率が後方側変化率未満であるか否かを判定する（ステップＳ３５２）。 In step S332, when the feature portion of the subject can be extracted from each of the captured images before and after the tilt in both captured images (step S332: Yes), the feature region extraction unit 130 determines the tilt amount of the housing and the housing. Information indicating the characteristic portion of the subject is output to the change amount calculation unit 140 together with the determination result relating to the inclination direction and the inclination amount of the housing (determination result that the inclination amount of the housing is less than a predetermined amount). Next, the change amount calculation unit 140 calculates the temporal change rate of the characteristic portion of the subject in both captured images (step S342), and uses the calculated change rate as the tilt amount of the housing, the tilt direction of the housing, and the tilt direction of the housing. , The determination result relating to the inclination amount of the housing (the determination result that the inclination amount of the housing is less than a predetermined amount) is output to the switching control unit 170. Next, the switching control unit 170 determines whether or not the front side change rate is less than the rear side change rate (step S352).

ステップＳ３５２において、前方側変化率が後方側変化率以上である場合（ステップＳ３５２：Ｎｏ）、切替制御部１７０は、表示画像の表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部１８０に出力する。筐体の傾斜量、及び、筐体の傾斜方向を取得した切替処理部１８０は、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する（ステップＳ３６０）。そして、本フローチャートは終了する。 In step S352, when the front side change rate is equal to or higher than the rear side change rate (step S352: No), the switching control unit 170 determines that it is necessary to switch the display format of the display image, and the amount of inclination of the housing. , And the tilting direction of the housing is output to the switching processing unit 180. The switching processing unit 180 that has acquired the tilt amount of the housing and the tilt direction of the housing controls to switch the display format of the display image according to the tilt amount of the housing and the tilt direction of the housing ( Step S360). Then, this flowchart ends.

ステップＳ３１０において追随機能がオンでない場合（ステップＳ３１０：Ｎｏ）、傾斜量判定部１２２は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果（筐体の傾斜量は所定量未満である旨の判定結果）とともに、追随機能がオフに設定されている旨の通知（情報）を切替制御部１７０に出力する。次いで、切替制御部１７０は、表示形式の切り替えが不要であると判定し、表示形式を維持する旨の通知（情報）を切替処理部１８０に出力する。表示形式を維持する旨の通知を取得した切替処理部１８０は、何もしない（ステップＳ３７０）。そして、本フローチャートは終了する。 When the follow-up function is not turned on in step S310 (step S310: No), the inclination amount determination unit 122 determines the amount of inclination of the housing, the direction of inclination of the housing, and the determination result regarding the amount of inclination of the housing (of the housing). A notification (information) indicating that the tracking function is set to off is output to the switching control unit 170 together with a determination result (result) that the tilt amount is less than a predetermined amount. Next, the switching control unit 170 determines that switching of the display format is unnecessary, and outputs a notification (information) to the effect that the display format is maintained to the switching processing unit 180. The switching processing unit 180 that has obtained the notification that the display format is maintained does nothing (step S370). Then, this flowchart ends.

ステップＳ３３２において、両撮像画像における筐体の傾斜前後の撮像画像の何れから被写体の特徴部分を抽出できなかった場合には（ステップＳ３３２：Ｎｏ）、特徴領域抽出部１３０は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果（筐体の傾斜量は所定量以上である旨の判定結果）とともに、特徴部分を抽出できなかった旨の通知（情報）を切替制御部１７０に出力する。次いで、切替制御部１７０は、表示形式の切り替えが不要であると判定し、表示形式を維持する旨の通知（情報）を切替処理部１８０に出力する。以下、ステップＳ３３１０（Ｎｏ）の場合と同様の処理を行って、本フローチャートは終了する。 In step S332, when the feature portion of the subject cannot be extracted from any of the captured images before and after the tilt of the housing in both captured images (step S332: No), the feature region extraction unit 130 increases the tilt amount of the housing. , Notification (information) that the feature portion could not be extracted together with the judgment result regarding the tilt direction of the housing and the tilt amount of the housing (judgment result that the tilt amount of the housing is equal to or more than a predetermined amount). Is output to the switching control unit 170. Next, the switching control unit 170 determines that switching of the display format is unnecessary, and outputs a notification (information) to the effect that the display format is maintained to the switching processing unit 180. Hereinafter, the same processing as in the case of step S3310 (No) is performed, and this flowchart ends.

ステップＳ３５２において、前方側変化率が後方側変化率未満である場合（ステップＳ３５２：Ｙｅｓ）、切替制御部１７０は、表示画像の表示形式の切り替えが不要であると判定し、表示形式を維持する旨の通知（情報）を切替処理部１８０に出力する。以下、ステップＳ３１０（Ｎｏ）の場合と同様の処理を行って、本フローチャートは終了する。 In step S352, when the front side change rate is less than the rear side change rate (step S352: Yes), the switching control unit 170 determines that it is not necessary to switch the display format of the display image, and maintains the display format. A notification (information) to that effect is output to the switching processing unit 180. Hereinafter, the same processing as in the case of step S310 (No) is performed, and this flowchart ends.

図２１及び図２２は、表示形式の制御処理を説明する一例である。例えば、図２１は、フロントカメラ６２による撮像画像を利用して表示画像の表示形式を制御する態様における追随機能の一例である。図２２は、フロントカメラ６２による撮像画像に加え、バックカメラ６４による撮像画像を利用して表示画像の表示形式を制御する態様追随機能の一例である。図２１及び図２２において、表示形式の切替機能、ホールド機能、追随機能の何れもオンに設定されているものとする。
なお、ホールド機能については、第１の実施形態による電子機器３と同様である。 21 and 22 are examples for explaining the control process of the display format. For example, FIG. 21 is an example of a follow-up function in a mode in which a display format of a display image is controlled by using an image captured by the front camera 62. FIG. 22 is an example of a mode following function that controls the display format of the display image by using the image captured by the back camera 64 in addition to the image captured by the front camera 62. In FIGS. 21 and 22, it is assumed that all of the display format switching function, the hold function, and the follow-up function are set to ON.
The hold function is the same as that of the electronic device 3 according to the first embodiment.

図２１（ａ）は、図１２（ａ）と同様、図９（ａ）の状態から、ユーザＵが、自身のみを所定量以上傾斜させた様子を表している。図２１（ｂ）は、図２１（ａ）の場合における、撮像画像ＳＧ３’’（スルー画）を表している。図２１（ｃ）は、図２１（ａ）の場合における、タッチスクリーン４４に表示されている表示画像ＨＧ３’（横長画像）である。 FIG. 21A shows a state in which the user U inclines only himself / herself by a predetermined amount or more from the state of FIG. 9A, similarly to FIG. 12A. 21 (b) shows the captured image SG 3 ″ (through image) in the case of FIG. 21 (a). 21 (c) is a display image HG 3 '(horizontally long image) displayed on the touch screen 44 in the case of FIG. 21 (a).

即ち、図１９のフローチャートにおいて、切替制御部１７０は、筐体が所定量以上傾斜していない場合において、被写体の特徴部分の時間的な変化量が第２の閾値以上であると判定し（ステップＳ３５０：Ｙｅｓ）、切替処理部１８０は、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する（ステップＳ３６０）。 That is, in the flowchart of FIG. 19, the switching control unit 170 determines that the amount of change over time in the characteristic portion of the subject is equal to or greater than the second threshold value when the housing is not tilted by a predetermined amount or more (step). S350: Yes), the switching processing unit 180 controls to switch the display format of the display image according to the tilt amount of the housing and the tilting direction of the housing (step S360).

図２２（ａ）は、図１７（ａ）と同様、図１４（ａ）の状態から、ユーザＵが、自身のみを所定量以上傾斜させた様子を表している。図２２（ｂ）は、図２２（ａ）の場合において、フロントカメラ６２によって撮像されている撮像画像ＳＧ４−１’’（スルー画）、及び、バックカメラ６４によって撮像されている撮像画像ＳＧ４−２（スルー画）を表している。図２２（ｂ）において、前方側変化率は後方側変化率よりも大きい。図２２（ｃ）は、図２２（ａ）の場合における、タッチスクリーン４４に表示されている表示画像ＨＧ４’（横長画像）である。 FIG. 22A shows a state in which the user U inclines only himself / herself by a predetermined amount or more from the state of FIG. 14A, similarly to FIG. 17A. 22 (b) shows the captured image SG 4-1 '' (through image) captured by the front camera 62 and the captured image SG captured by the back camera 64 in the case of FIG. 22 (a). It represents 4-2 (through image). In FIG. 22B, the rate of change on the front side is larger than the rate of change on the rear side. FIG. 22 (c) is a display image HG 4 '(horizontally long image) displayed on the touch screen 44 in the case of FIG. 22 (a).

即ち、図２０のフローチャートにおいて、切替制御部１７０は、筐体が所定量以上傾斜していない場合において、前方側変化率が後方側変化率以上であると判定し（ステップＳ３５２：Ｎｏ）、切替処理部１８０は、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する（ステップＳ３６０）。 That is, in the flowchart of FIG. 20, when the housing is not tilted by a predetermined amount or more, the switching control unit 170 determines that the front side change rate is equal to or higher than the rear side change rate (step S352: No), and switches. The processing unit 180 controls to switch the display format of the display image according to the amount of inclination of the housing and the direction of inclination of the housing (step S360).

以上、電子機器４によれば、意図しない画面形式（画面表示型）の切り替えが生じないため、ユーザの利便性を向上させることができる。例えば、ユーザが、図５（ｂ）に示すように筐体とともに自分の顔を所定量以上傾斜させた場合には、図４に例示したような表示形式の切り替えがホールド機能によって生じないため、ユーザの利便性を向上させることができる。また例えば、筐体を傾斜させずに、自分の顔を所定量以上傾斜させた場合には、図４に例示したよう表示画面の表示形式の切り替えが追随機能によってなされるため、ユーザの利便性を向上させることができる。 As described above, according to the electronic device 4, since the screen format (screen display type) is not changed unintentionally, the convenience of the user can be improved. For example, when the user tilts his / her face together with the housing by a predetermined amount or more as shown in FIG. 5B, the display format switching as illustrated in FIG. 4 does not occur due to the hold function. The convenience of the user can be improved. Further, for example, when one's face is tilted by a predetermined amount or more without tilting the housing, the display format of the display screen is switched by the follow-up function as illustrated in FIG. 4, which is convenient for the user. Can be improved.

以上、本発明の第１の実施形態による電子機器３、本発明の第２の実施形態による電子機器４によれば、ユーザの使用状況に応じて、見易い表示形式の表示画面が提供され、ユーザの利便性が向上する。 As described above, according to the electronic device 3 according to the first embodiment of the present invention and the electronic device 4 according to the second embodiment of the present invention, a display screen in an easy-to-read display format is provided according to the usage situation of the user. Convenience is improved.

なお、電子機器３の処理の一部を外部の装置（例えば、サーバ）が実行し、電子機器３の表示形式を制御するようにしてもよい。同様に、電子機器４の処理の一部を外部の装置（例えば、サーバ）が実行し、電子機器４の表示形式を制御するようにしてもよい。 An external device (for example, a server) may execute a part of the processing of the electronic device 3 to control the display format of the electronic device 3. Similarly, an external device (for example, a server) may execute a part of the processing of the electronic device 4 to control the display format of the electronic device 4.

図２３は、情報システム１の概略構成図である。図２４Ａ及び図２４Ｂは、電子機器５が備える表示制御部１０４内のブロック図、及び、サーバ９が備える表示制御情報生成部２００内のブロック図等の一例である。情報システム１は、図２３に示すように、電子機器５とサーバ９とを含んで構成される。電子機器５とサーバ９とは、有線又は無線のネットワークにより接続されている。 FIG. 23 is a schematic configuration diagram of the information system 1. 24A and 24B are examples of a block diagram in the display control unit 104 included in the electronic device 5, a block diagram in the display control information generation unit 200 included in the server 9, and the like. As shown in FIG. 23, the information system 1 includes an electronic device 5 and a server 9. The electronic device 5 and the server 9 are connected by a wired or wireless network.

電子機器５は、第１の実施形態による電子機器３と同様、タッチスクリーン４４と、撮像部（第１撮像部及び第２撮像部）と、通信部７０とを有する。より詳細には、電子機器５の構成は、表示制御部１００に代えて表示制御部１０４を具備する点を除き、第１の実施形態による電子機器３の構成と同様である。 The electronic device 5 has a touch screen 44, an imaging unit (first imaging unit and a second imaging unit), and a communication unit 70, as in the electronic device 3 according to the first embodiment. More specifically, the configuration of the electronic device 5 is the same as the configuration of the electronic device 3 according to the first embodiment, except that the display control unit 104 is provided instead of the display control unit 100.

表示制御部１０４は、図２４Ａに示すように、設定部１９４（電子機器３の設定部１９０又は電子機器４の設定部１９２と同様）を備える。 As shown in FIG. 24A, the display control unit 104 includes a setting unit 194 (similar to the setting unit 190 of the electronic device 3 or the setting unit 192 of the electronic device 4).

通信部７０は、撮像部による撮像画像、及び、筐体の傾斜量をサーバ９に送信し、タッチスクリーン４４における表示画像の表示形式を制御する表示制御情報をサーバ９から受信する。 The communication unit 70 transmits the image captured by the image pickup unit and the amount of inclination of the housing to the server 9, and receives the display control information for controlling the display format of the display image on the touch screen 44 from the server 9.

サーバ９は、図２４Ａに示すように、通信部２７０と表示制御情報生成部２００とを有する。表示制御情報生成部２００は、第１の実施形態による電子機器３の表示制御部１００の設定認識部１１０、傾斜量判定部１２０、特徴領域抽出部１３０、変化量算出部１４０、切替判定部１５０、切替制限部１６０及び切替処理部１８０（又は、第２の実施形態による電子機器４の表示制御部１０２の設定認識部１１２、傾斜量判定部１２２、特徴領域抽出部１３０、変化量算出部１４０切替制御部１７０及び切替処理部１８０）と同様の機能を有する。 As shown in FIG. 24A, the server 9 has a communication unit 270 and a display control information generation unit 200. The display control information generation unit 200 includes a setting recognition unit 110, an inclination amount determination unit 120, a feature area extraction unit 130, a change amount calculation unit 140, and a switching determination unit 150 of the display control unit 100 of the electronic device 3 according to the first embodiment. , Switching limiting unit 160 and switching processing unit 180 (or setting recognition unit 112, tilt amount determination unit 122, feature area extraction unit 130, change amount calculation unit 140 of the display control unit 102 of the electronic device 4 according to the second embodiment. It has the same functions as the switching control unit 170 and the switching processing unit 180).

通信部２７０は、電子機器５から撮像画像及び筐体の傾斜量を受信する。また、通信部２７０は、電子機器５に表示制御情報を送信する。 The communication unit 270 receives the captured image and the tilt amount of the housing from the electronic device 5. Further, the communication unit 270 transmits the display control information to the electronic device 5.

表示制御情報生成部２００は、電子機器５から受信した撮像画像に含まれる被写体の特徴部分の時間的な変化量に基づいて、電子機器５に送信する表示制御情報を生成する。表示制御情報とは、表示画像の表示形式を示す情報（電子機器３（電子機器４）の切替処理部１８０がタッチスクリーンコントローラ４２に出力する情報に相当）である。 The display control information generation unit 200 generates display control information to be transmitted to the electronic device 5 based on the amount of time change of the characteristic portion of the subject included in the captured image received from the electronic device 5. The display control information is information indicating the display format of the display image (corresponding to the information output to the touch screen controller 42 by the switching processing unit 180 of the electronic device 3 (electronic device 4)).

なお、電子機器５の設定情報（例えば、ホールド機能のオン／オフ情報）は、サーバ９が記憶してもよいし、電子機器５が記憶部３０に記憶してもよい。サーバ９の表示制御情報生成部２００は、必要に応じて、電子機器５から設定情報を受信し、表示制御情報を生成する際に参照する。 The setting information of the electronic device 5 (for example, the on / off information of the hold function) may be stored in the server 9 or may be stored in the storage unit 30 by the electronic device 5. The display control information generation unit 200 of the server 9 receives the setting information from the electronic device 5 as necessary, and refers to it when generating the display control information.

なお、電子機器５の表示制御部１０４は、図２４Ｂに示すように、設定部１９４に加え、設定認識部１１０（１１２）、傾斜量判定部１２０（１２２）及び特徴領域抽出部１３０を備えていてもよい。なお、上記場合、サーバ９の表示制御情報生成部２００は、図２４Ｂに示すように、設定認識部１１０（１１２）、傾斜量判定部１２０（１２２）及び特徴領域抽出部１３０を有しなくてもよい。 As shown in FIG. 24B, the display control unit 104 of the electronic device 5 includes a setting recognition unit 110 (112), an inclination amount determination unit 120 (122), and a feature area extraction unit 130 in addition to the setting unit 194. You may. In the above case, the display control information generation unit 200 of the server 9 does not have the setting recognition unit 110 (112), the inclination amount determination unit 120 (122), and the feature area extraction unit 130, as shown in FIG. 24B. May be good.

電子機器５が特徴領域抽出部１３０等を備える態様の場合、電子機器５は、撮像画像に代えて、傾斜量判定部１２０（１２２）の処理結果（例えば、ホールド機能がオフに設定されている旨の通知）、又は、特徴領域抽出部１３０の処理結果（被写体の特徴部分を示す情報、又は、特徴部分を抽出できなかった旨の通知）をサーバ９に送信する。また、サーバ９の表示制御情報生成部２００は、撮像画像に代えて、電子機器５から取得する処理結果を用いて表示制御情報を生成する。 In the case where the electronic device 5 includes the feature area extraction unit 130 and the like, the electronic device 5 is set to turn off the processing result (for example, the hold function) of the tilt amount determination unit 120 (122) instead of the captured image. Notification to that effect) or the processing result of the feature area extraction unit 130 (information indicating the feature portion of the subject or notification that the feature portion could not be extracted) is transmitted to the server 9. Further, the display control information generation unit 200 of the server 9 generates display control information by using the processing result acquired from the electronic device 5 instead of the captured image.

なお、電子機器３（電子機器４、５も同様）において、バックカメラ６４による撮像画像を利用して表示画像の表示形式を制御しない場合には、電子機器３は、バックカメラ６４を有しなくてもよい。 If the electronic device 3 (the same applies to the electronic devices 4 and 5) does not control the display format of the display image by using the image captured by the back camera 64, the electronic device 3 does not have the back camera 64. You may.

電子機器３（サーバ９も同様）において、予め記憶した顔のみに対し、ホールド処理を行うようにしてもよい。即ち、表示形式の切替機能、及び、ホールド機能がオンに設定され、筐体が所定量以上傾斜した場合に、フロントカメラ６２によって撮像された撮像画像から特徴領域抽出部１３０が抽出した被写体の特徴部分が、予め記憶した顔の特徴部分と一致すると判断されたときは、ホールド処理を実行するようにし（即ち、表示形式の切替を行わないようにし）、当該特徴部分が、予め記憶した顔の特徴部分と一致しないと判断されたときは、ホールド処理を実行しないようにしてもよい（即ち、表示形式の切替を行うようにしてもよい）、
同様に、電子機器４（サーバ９も同様）において、予め記憶した顔のみに対し、追随処理を行うようにしてもよい。 In the electronic device 3 (the same applies to the server 9), the hold process may be performed only on the face stored in advance. That is, when the display format switching function and the hold function are set to ON and the housing is tilted by a predetermined amount or more, the characteristics of the subject extracted by the feature area extraction unit 130 from the captured image captured by the front camera 62. When it is determined that the part matches the feature part of the face memorized in advance, the hold process is executed (that is, the display format is not switched), and the feature part is the feature part of the face memorized in advance. When it is determined that the feature portion does not match, the hold process may not be executed (that is, the display format may be switched).
Similarly, in the electronic device 4 (the same applies to the server 9), the follow-up process may be performed only on the faces stored in advance.

なお、本発明の実施形態による電子機器３、電子機器４の処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、本発明の実施形態による電子機器３、電子機器４に係る上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フロッピー（登録商標）ディスク、光磁気ディスク、ＳＤカード、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。 A program for executing the processing of the electronic device 3 and the electronic device 4 according to the embodiment of the present invention is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into the computer system. By executing the above-mentioned various processes according to the electronic device 3 and the electronic device 4 according to the embodiment of the present invention may be performed. The "computer system" referred to here may include hardware such as an OS and peripheral devices. In addition, the "computer system" includes a homepage providing environment (or display environment) if a WWW system is used. The "computer-readable recording medium" includes floppy (registered trademark) disks, optical magnetic disks, SD cards, writable non-volatile memories such as flash memory, portable media such as CD-ROM, and computer systems. A storage device such as a built-in hard disk.

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。 Further, the "computer-readable recording medium" is a volatile memory (for example, DRAM (Dynamic)) inside a computer system that serves as a server or client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. It also includes those that hold the program for a certain period of time, such as Random Access Memory)). Further, the program may be transmitted from a computer system in which this program is stored in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the "transmission medium" for transmitting a program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. Further, the above program may be for realizing a part of the above-mentioned functions. Further, a so-called difference file (difference program) may be used, which can realize the above-mentioned functions in combination with a program already recorded in the computer system.

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 Although the embodiments of the present invention have been described in detail with reference to the drawings, the specific configuration is not limited to this embodiment, and includes designs and the like within a range that does not deviate from the gist of the present invention.

１…情報システム ３、４、５…電子機器 ９…サーバ １０…プロセッサ ２０…インターフェイス部 ３０…記憶部 ４０…入出力部 ４２…タッチスクリーンコントローラ ４４…タッチスクリーン ４６…カーソルパッドコントローラ ４８…カーソルパッド ５０…モーションセンサ ５２…ＧＰＳ ５４…方位計 ５６…仰角センサ ６０…カ
メラ部 ６２…フロントカメラ ６４…バックカメラ ７０…通信部 ８０…オーディオ
部 ８２…スピーカ ８４…マイクロフォン ９０…電源ボタン ９２…決定／ホームボ
タン １００、１０２、１０４…表示制御部 １１０、１１２…設定認識部 １２０、１
２２…傾斜量判定部 １３０…特徴領域抽出部 １４０…変化量算出部 １５０…切替判
定部 １６０…切替制限部（ホールド部） １７０…切替制御部 １８０…切替処理部１
９０、１９２…設定部 ２００…表示制御情報生成部 ２７０…通信部 1 ... Information system 3, 4, 5 ... Electronic equipment 9 ... Server 10 ... Processor 20 ... Interface unit 30 ... Storage unit 40 ... Input / output unit 42 ... Touch screen controller 44 ... Touch screen 46 ... Cursor pad controller 48 ... Cursor pad 50 … Motion sensor 52… GPS 54… Orientation meter 56… elevation sensor 60… camera unit 62… front camera 64… back camera 70… communication unit 80… audio unit 82… speaker 84… microphone 90… power button 92… enter / home button 100, 102, 104 ... Display control unit 110, 112 ... Setting recognition unit 120, 1
22 ... Inclined amount determination unit 130 ... Feature area extraction unit 140 ... Change amount calculation unit 150 ... Switching determination unit 160 ... Switching limiting unit (hold unit) 170 ... Switching control unit 180 ... Switching processing unit 1
90, 192 ... Setting unit 200 ... Display control information generation unit 270 ... Communication unit

Claims (17)

筐体と、
表示画像を表示する表示部と、
前記表示部の前方側の被写体を撮像する撮像部と、
撮像した前記被写体の画像から検出される変化量であって、前記表示画像に撮像されている前記被写体の特徴部分が前記表示画像の対向する一組の辺と平行となっている状態である前記筐体の傾斜前の画像の特徴部分と、前記表示画像に撮像されている前記被写体の特徴部分が前記表示画像のいずれの辺とも平行となっていない状態である前記筐体の傾斜後の画像の特徴部分との変化量に基づいて、前記表示画像の表示形式を制御する表示制御部と、を備え、
前記表示制御部は、前記筐体が傾斜後において傾斜前から所定量以上傾斜していない場合に、前記筐体の傾斜前の画像の特徴部分と、前記筐体の傾斜後の画像の特徴部分との変化量に基づいて前記表示画像の表示形式を切り替える、
電子機器。 With the housing
The display unit that displays the display image and
An imaging unit that captures a subject on the front side of the display unit,
The amount of change detected from the captured image of the subject, which is a state in which the characteristic portion of the subject captured in the display image is parallel to a pair of opposite sides of the display image. The image after tilting the housing, in which the feature portion of the image before tilting the housing and the feature portion of the subject captured in the display image are not parallel to any side of the display image. A display control unit that controls the display format of the display image based on the amount of change from the feature portion of the display image is provided.
When the housing is not tilted by a predetermined amount or more from before tilting after tilting, the display control unit includes a feature portion of the image before tilting the housing and a feature portion of the image after tilting the housing. Switching the display format of the display image based on the amount of change with
Electronics. 前記表示制御部は、前記筐体の傾斜前の画像の特徴部分と、前記筐体の傾斜後の画像の特徴部分との変化量が所定の閾値以上である場合に、前記表示画像の表示形式を切り替える追随処理を行う、
請求項１に記載の電子機器。 The display control unit displays a display format of the display image when the amount of change between the feature portion of the image before tilting the housing and the feature portion of the image after tilting the housing is equal to or greater than a predetermined threshold value. Perform follow-up processing to switch
The electronic device according to claim 1. 前記筐体の傾斜量を算出する傾斜量判定部を備え、
前記表示制御部は、前記筐体の傾斜量が所定量未満である場合に、前記筐体の傾斜前の画像の特徴部分と、前記筐体の傾斜後の画像の特徴部分との変化量に基づいて前記表示画像の表示形式を切り替える、
請求項１又は請求項２に記載の電子機器。 A tilt amount determination unit for calculating the tilt amount of the housing is provided.
When the tilt amount of the housing is less than a predetermined amount, the display control unit changes the amount of change between the feature portion of the image before tilting the housing and the feature portion of the image after tilting the housing. Switching the display format of the display image based on
The electronic device according to claim 1 or 2. 前記表示制御部は、前記筐体の傾斜量に基づき前記表示形式を制御する切替機能を有し、
前記切替機能がオンの場合に、前記表示制御部は、前記筐体の傾斜前の画像の特徴部分と、前記筐体の傾斜後の画像の特徴部分との変化量に基づいて前記表示画像の表示形式を切り替える、
請求項３に記載の電子機器。 The display control unit has a switching function for controlling the display format based on the amount of inclination of the housing.
When the switching function is on, the display control unit displays the display image based on the amount of change between the feature portion of the image before tilting the housing and the feature portion of the image after tilting the housing. Switch the display format,
The electronic device according to claim 3. 前記表示制御部は、前記筐体の傾斜量に基づき前記表示形式を制御する切替機能を有し、前記切替機能がオフに設定されている場合、前記変化量が所定の閾値以上である時に前記表示形式を変えるように制御し、前記変化量が所定の閾値未満である時に前記表示形式を変えないように制御する、
請求項３に記載の電子機器。 The display control unit has a switching function for controlling the display format based on the amount of inclination of the housing, and when the switching function is set to off, the change amount is equal to or greater than a predetermined threshold value. Control to change the display format, and control not to change the display format when the amount of change is less than a predetermined threshold value.
The electronic device according to claim 3. 前記表示制御部は、基準方向である第２方向に対する前記特徴部分における第１方向の傾きの前記変化量に基づいて、前記表示形式を切り替える、
請求項１から請求項５のいずれか一項に記載の電子機器。 The display control unit switches the display format based on the amount of change in the inclination of the first direction in the feature portion with respect to the second direction which is the reference direction.
The electronic device according to any one of claims 1 to 5. 前記表示制御部は、前記筐体の傾斜前の画像の特徴部分と、前記筐体の傾斜後の画像の特徴部分との変化量と所定の閾値とを比較し、前記筐体の傾斜前の画像の特徴部分と、前記筐体の傾斜後の画像の特徴部分との変化量が所定の閾値以上である場合、前記表示形式を切り替え、前記筐体の傾斜前画像の特徴部分と、前記筐体の傾斜後の画像の特徴部分との変化量が所定の閾値未満である場合、前記表示形式を切り替えない、
請求項６に記載の電子機器。 The display control unit compares the amount of change between the feature portion of the image before tilting of the housing and the feature portion of the image after tilting of the housing and a predetermined threshold value, and before tilting the housing. When the amount of change between the feature portion of the image and the feature portion of the image after tilting the housing is equal to or greater than a predetermined threshold value, the display format is switched, and the feature portion of the image before tilting of the housing and the housing If the amount of change from the featured part of the image after tilting the body is less than a predetermined threshold value, the display format is not switched.
The electronic device according to claim 6. 前記第２方向は、前記筐体の傾斜に基づいて定められた方向である、
請求項６又は請求項７に記載の電子機器。 The second direction is a direction determined based on the inclination of the housing.
The electronic device according to claim 6 or 7. 前記筐体の傾斜を検出するセンサを備える、請求項１から請求項８のいずれか一項に記載の電子機器。 The electronic device according to any one of claims 1 to 8, further comprising a sensor for detecting the inclination of the housing. 前記特徴部分は、ユーザのパーツ又は輪郭である、請求項１から請求項９のいずれか一項に記載の電子機器。 The electronic device according to any one of claims 1 to 9, wherein the feature portion is a user's part or contour. 表示画像を表示する表示部と、
前記表示部の前方側のユーザを撮像する赤外線カメラと、
前記ユーザの顔を撮像した顔画像から検出される変化量であって、前記表示画像に撮像されている被写体の特徴部分が前記表示画像の対向する一組の辺と平行となっている状態である筐体の傾斜前の画像の特徴部分と、前記表示画像に撮像されている前記被写体の特徴部分が前記表示画像のいずれの辺とも平行となっていない状態である前記筐体の傾斜後の画像の特徴部分との変化量に基づいて、前記表示画像の表示形式を制御する表示制御部と、
を備える電子機器。 The display unit that displays the display image and
An infrared camera that captures the user on the front side of the display unit,
The amount of change detected from the face image obtained by capturing the user's face, in a state where the characteristic portion of the subject captured in the display image is parallel to a pair of opposite sides of the display image. After tilting the housing, the feature portion of the image of the housing before tilting and the feature portion of the subject captured in the display image are not parallel to any side of the display image. A display control unit that controls the display format of the display image based on the amount of change from the feature portion of the image,
Electronic equipment equipped with. 前記表示制御部は、前記変化量が所定の閾値以上である場合に、前記表示画像の表示形式を切り替える、
請求項１１に記載の電子機器。 The display control unit switches the display format of the display image when the amount of change is equal to or greater than a predetermined threshold value.
The electronic device according to claim 11. 前記表示制御部は、基準方向である第２方向に対する前記顔画像の特徴部分における第１方向の傾きの前記変化量に基づいて、前記表示形式を切り替える、
請求項１１又は請求項１２に記載の電子機器。 The display control unit switches the display format based on the amount of change in the inclination of the first direction in the feature portion of the face image with respect to the second direction which is the reference direction.
The electronic device according to claim 11 or 12. 前記表示制御部は、節電モードに設定されていない場合、前記表示画像の表示形式を切り替える、請求項１１から請求項１３のいずれか一項に記載の電子機器。 The electronic device according to any one of claims 11 to 13, wherein the display control unit switches the display format of the display image when the power saving mode is not set. 請求項１から請求項１４のいずれか一項に記載の電子機器と、
前記電子機器と通信可能なサーバと、
を備える情報システム。 The electronic device according to any one of claims 1 to 14.
A server capable of communicating with the electronic device and
Information system with. コンピュータに、
表示画像を表示部に表示する表示ステップと、
前記表示部の前方側の被写体を撮像する撮像ステップと、
撮像した前記被写体の画像から検出される変化量であって、前記表示画像に撮像されている前記被写体の特徴部分が前記表示画像の対向する一組の辺と平行となっている状態である筐体の傾斜前の画像の特徴部分と、前記表示画像に撮像されている前記被写体の特徴部分が前記表示画像のいずれの辺とも平行となっていない状態である前記筐体の傾斜後の画像の特徴部分との変化量に基づいて、前記表示画像の表示形式を制御する表示制御ステップであって、前記筐体が傾斜後において傾斜前から所定量以上傾斜していない場合に、前記筐体の傾斜前の画像の特徴部分と、前記筐体の傾斜後の画像の特徴部分との変化量に基づいて前記表示画像の表示形式を切り替える表示ステップと、
を実行させるためのプログラム。 On the computer
A display step that displays the display image on the display unit,
An imaging step for imaging a subject on the front side of the display unit, and
The amount of change detected from the captured image of the subject, which is a state in which the characteristic portion of the subject captured in the display image is parallel to a pair of opposite sides of the display image. The image after tilting the housing, in which the feature portion of the image before tilting the body and the feature portion of the subject captured in the display image are not parallel to any side of the display image. This is a display control step for controlling the display format of the display image based on the amount of change from the feature portion, and when the housing is not tilted by a predetermined amount or more after tilting, the housing is tilted. A display step of switching the display format of the display image based on the amount of change between the feature portion of the image before tilting and the feature portion of the image after tilting of the housing.
A program to execute. コンピュータに、
表示画像を表示部に表示する表示ステップと、
前記表示部の前方側のユーザを赤外線カメラで撮像する撮像ステップと、
前記ユーザの顔を撮像した顔画像から検出される変化量であって、前記表示画像に撮像されている被写体の特徴部分が前記表示画像の対向する一組の辺と平行となっている状態である筐体の傾斜前と、前記表示画像に撮像されている前記被写体の特徴部分が前記表示画像のいずれの辺とも平行となっていない状態である前記筐体の傾斜後とにおける前記顔画像の二つの特徴部分を通過する直線の傾きの変化量に基づいて、前記表示画像の表示形式を制御する表示制御ステップと、
を実行させるためのプログラム。 On the computer
A display step that displays the display image on the display unit,
An imaging step in which a user on the front side of the display unit is imaged with an infrared camera,
The amount of change detected from the face image obtained by capturing the user's face, in a state where the characteristic portion of the subject captured in the display image is parallel to a pair of opposite sides of the display image. The face image before tilting the housing and after tilting the housing in which the characteristic portion of the subject captured in the display image is not parallel to any side of the display image. A display control step that controls the display format of the display image based on the amount of change in the inclination of the straight line passing through the two feature portions.
A program to execute.
JP2019014291A 2011-11-10 2019-01-30 Electronics, information systems, and programs Active JP6828758B2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011246571 2011-11-10
JP2011246571 2011-11-10

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017099196A Division JP6477782B2 (en) 2011-11-10 2017-05-18 Electronic device, information system, server, and program

Publications (2)

Publication Number Publication Date
JP2019117378A JP2019117378A (en) 2019-07-18
JP6828758B2 true JP6828758B2 (en) 2021-02-10

Family

ID=48290161

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2013543060A Active JP6146307B2 (en) 2011-11-10 2012-11-12 Electronic device, information system, server, and program
JP2017099196A Active JP6477782B2 (en) 2011-11-10 2017-05-18 Electronic device, information system, server, and program
JP2019014291A Active JP6828758B2 (en) 2011-11-10 2019-01-30 Electronics, information systems, and programs

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2013543060A Active JP6146307B2 (en) 2011-11-10 2012-11-12 Electronic device, information system, server, and program
JP2017099196A Active JP6477782B2 (en) 2011-11-10 2017-05-18 Electronic device, information system, server, and program

Country Status (2)

Country Link
JP (3) JP6146307B2 (en)
WO (1) WO2013069796A1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6146307B2 (en) * 2011-11-10 2017-06-14 株式会社ニコン Electronic device, information system, server, and program
JP5936670B2 (en) * 2014-12-03 2016-06-22 株式会社タカラトミー Experience-type video game device
JP2019106007A (en) * 2017-12-12 2019-06-27 コニカミノルタ株式会社 Display device, display control method and program
JP2020052189A (en) * 2018-09-26 2020-04-02 いすゞ自動車株式会社 Display control device and display control method

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3785611B2 (en) * 2001-06-13 2006-06-14 株式会社ケンウッド Electronic device power consumption reduction device
FI117217B (en) * 2003-10-01 2006-07-31 Nokia Corp Enforcement and User Interface Checking System, Corresponding Device, and Software Equipment for Implementing the Process
CN100461212C (en) * 2004-06-04 2009-02-11 松下电器产业株式会社 Display control device, display control method, program, and portable apparatus
JP2008129775A (en) * 2006-11-20 2008-06-05 Ntt Docomo Inc Display control unit, display device and display control method
US8244068B2 (en) * 2007-03-28 2012-08-14 Sony Ericsson Mobile Communications Ab Device and method for adjusting orientation of a data representation displayed on a display
US20080266326A1 (en) * 2007-04-25 2008-10-30 Ati Technologies Ulc Automatic image reorientation
JP5433935B2 (en) * 2007-07-24 2014-03-05 日本電気株式会社 Screen display control method, screen display control method, electronic device, and program
JP2009294728A (en) * 2008-06-02 2009-12-17 Sony Ericsson Mobilecommunications Japan Inc Display processor, display processing method, display processing program, and portable terminal device
WO2010030985A1 (en) * 2008-09-12 2010-03-18 Gesturetek, Inc. Orienting displayed elements relative to a user
JP5312967B2 (en) * 2009-01-30 2013-10-09 国立大学法人 名古屋工業大学 Map display device, map display system, and map display method
JP2011135298A (en) * 2009-12-24 2011-07-07 Nikon Corp Electronic device and electronic device system
JP2011138449A (en) * 2010-01-04 2011-07-14 Nec Corp Display control device, display device, electronic apparatus and display control method
JP2011186097A (en) * 2010-03-08 2011-09-22 Nikon Corp Projector
JP5184570B2 (en) * 2010-03-24 2013-04-17 株式会社エヌ・ティ・ティ・ドコモ Information terminal and display switching method
JP5440334B2 (en) * 2010-04-05 2014-03-12 船井電機株式会社 Mobile information display terminal
JP6146307B2 (en) * 2011-11-10 2017-06-14 株式会社ニコン Electronic device, information system, server, and program

Also Published As

Publication number Publication date
JPWO2013069796A1 (en) 2015-04-02
JP6146307B2 (en) 2017-06-14
WO2013069796A1 (en) 2013-05-16
JP6477782B2 (en) 2019-03-06
JP2017207753A (en) 2017-11-24
JP2019117378A (en) 2019-07-18

Similar Documents

Publication Publication Date Title
JP6828758B2 (en) Electronics, information systems, and programs
KR102289837B1 (en) Method and electronic device for taking a photograph
US9521247B2 (en) Above-lock camera access
US9774780B1 (en) Cues for capturing images
KR102378472B1 (en) Method for capturing image using camera including driving device capable of rotating mirror and electronic device
JP6109413B2 (en) Image display method, image display apparatus, terminal, program, and recording medium
JP5359645B2 (en) Composition determination apparatus, imaging system, composition determination method, and program
JP7327008B2 (en) Imaging device, communication system, communication method and program
TWI581176B (en) Image adjusting system and method
WO2017124899A1 (en) Information processing method, apparatus and electronic device
JPWO2012120799A1 (en) Display device and display direction switching method
US8400532B2 (en) Digital image capturing device providing photographing composition and method thereof
BR112016013424B1 (en) method and terminal for acquiring panoramic image
KR20170085760A (en) Method for controlling camera device and electronic device thereof
WO2011103742A1 (en) Frame control method and electronic device
JP7203955B2 (en) Face recognition method and apparatus
JP6729680B2 (en) Service providing system, service transfer system, service providing method, and program
US20210176409A1 (en) Electronic device and method of controlling electronic device
CN113269877A (en) Method and electronic equipment for acquiring room layout plan
JP2008277904A (en) Image processor, image direction discrimination method and image direction discrimination program, reproducing device, reproducing method and reproducing program, and digital still camera
JP2012243266A (en) Electronic apparatus and display method
CN113592874A (en) Image display method and device and computer equipment
JP5463967B2 (en) Digital camera
CN110660031B (en) Image sharpening method and device and storage medium
JP6841549B2 (en) Information processing device, control method of information processing device, and control program of information processing device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191203

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210104

R150 Certificate of patent or registration of utility model

Ref document number: 6828758

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250