JP6301990B2 - Electronic device, image display system, control program, and operation method of electronic device - Google Patents

Electronic device, image display system, control program, and operation method of electronic device Download PDF

Info

Publication number
JP6301990B2
JP6301990B2 JP2016059833A JP2016059833A JP6301990B2 JP 6301990 B2 JP6301990 B2 JP 6301990B2 JP 2016059833 A JP2016059833 A JP 2016059833A JP 2016059833 A JP2016059833 A JP 2016059833A JP 6301990 B2 JP6301990 B2 JP 6301990B2
Authority
JP
Japan
Prior art keywords
image
electronic device
unit
display
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016059833A
Other languages
Japanese (ja)
Other versions
JP2016208501A (en
Inventor
櫻子 綾部
櫻子 綾部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to US15/130,294 priority Critical patent/US9921796B2/en
Priority to EP16166382.8A priority patent/EP3086221A3/en
Publication of JP2016208501A publication Critical patent/JP2016208501A/en
Application granted granted Critical
Publication of JP6301990B2 publication Critical patent/JP6301990B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephone Function (AREA)

Description

本開示は、電子機器に関する。   The present disclosure relates to an electronic device.

特許文献１に記載されているように、従来から電子機器に関して様々な技術が開示されている。   As described in Patent Document 1, various techniques have been disclosed for electronic devices.

特開２０１０−１９８１０４号公報JP 2010-198104 A

ユーザにとっては、電子機器に対して情報を入力しやすい方が好ましい。   It is preferable for the user to easily input information to the electronic device.

そこで、本発明は上述の点に鑑みて成されたものであり、電子機器に対して情報を入力しやすくすることが可能な技術を提供することを目的とする。   Therefore, the present invention has been made in view of the above-described points, and an object thereof is to provide a technique capable of easily inputting information to an electronic device.

電子機器、画像表示システム及び制御プログラム並びに電子機器の動作方法が開示される。一の実施の形態では、電子機器は、他の装置と通信可能な電子機器である、電子機器は、第１撮像部と、第２撮像部と、第１表示部と、制御部とを備える。他の装置は、第３撮像部、第４撮像部及び第２表示部を備える。電子機器と他の装置とは、互いに画像のやり取りを行う動作モードを有する。電子機器と他の装置が動作モードで動作する場合には、電子機器は、第１撮像部が撮像している一連の画像である第１画像を、他の装置に送信し、他の装置は、第３撮像部が撮像している一連の画像である第２画像を、電子機器に送信する。電子機器と他の装置が動作モードで動作する場合には、電子機器の第１表示部は、他の装置からの第２画像を表示し、他の装置の第２表示部は、電子機器からの第１画像を表示する。制御部は、動作モードにおいて、電子機器の第２撮像部または他の装置の第４撮像部が撮像している一連の画像であって第２表示部と第１表示部との間で共通の第３画像を、第２画像とともに第１表示部が表示する第１表示モードと、第３画像におけるある時点での画像であって第２表示部と第１表示部との間で共通の第４画像を、第２画像とともに第１表示部が表示する第２表示モードとを切り替える。制御部は、動作モードにおいて、第２表示モードの第１表示部に、電子機器あるいは他の装置に入力される第１入力情報を、第４画像に重ねて表示させ、第１表示部の表示モードが第２表示モードから第１表示モードに切り替わった場合、第１表示部に、第２表示モードで第４画像に重ねて表示された第１入力情報を、第３画像での第４画像に対応する画像に重ねて表示させる。 An electronic device, an image display system, a control program, and an operation method of the electronic device are disclosed. In one embodiment, the electronic device is an electronic device that can communicate with another device. The electronic device includes a first imaging unit, a second imaging unit, a first display unit, and a control unit. . Another device includes a third imaging unit, a fourth imaging unit, and a second display unit. The electronic device and another device have an operation mode in which images are exchanged with each other. When the electronic device and another device operate in the operation mode, the electronic device transmits a first image, which is a series of images captured by the first imaging unit, to the other device, and the other device The second image, which is a series of images captured by the third imaging unit, is transmitted to the electronic device. When the electronic device and the other device operate in the operation mode, the first display unit of the electronic device displays the second image from the other device, and the second display unit of the other device is from the electronic device. The first image is displayed. The control unit is a series of images captured by the second imaging unit of the electronic device or the fourth imaging unit of another device in the operation mode, and is common between the second display unit and the first display unit. A first display mode in which the first display unit displays the third image together with the second image, and an image at a certain point in time in the third image, which is common between the second display unit and the first display unit. The four images are switched to the second display mode displayed on the first display unit together with the second image. In the operation mode, the control unit causes the first display unit in the second display mode to display the first input information input to the electronic device or other device on the fourth image so as to be displayed on the first display unit. When the mode is switched from the second display mode to the first display mode, the first input information displayed on the fourth display in the second display mode on the first display unit is displayed as the fourth image in the third image. Overlaid on the image corresponding to.

また、一の実施の形態では、画像表示システムは、第１撮像部と、第２撮像部と、第１表示部とを備える第１電子機器と、第３撮像部と、第４撮像部と、第２表示部とを備える第２電子機器とを備える。第１及び第２電子機器は、互いに画像のやり取りを行う動作モードを有する。第１及第２電子機器が動作モードで動作する場合には、第１電子機器は、第１撮像部が撮像している一連の画像である第１画像を、第２電子機器に送信し、第２電子機器は、第３撮像部が撮像している一連の画像である第２画像を、第１電子機器に送信する。第１及第２電子機器が動作モードで動作する場合には、第１電子機器の第１表示部は、第２電子機器からの第２画像を表示し、第２電子機器の第２表示部は、第１電子機器からの第１画像を表示する。動作モードで動作する第１電子機器においては、第１表示部は、第２撮像部または第４撮像部が撮像している一連の画像であって第２表示部と第１表示部との間で共通の第３画像を、第２画像とともに表示する第１表示モードと、第３画像におけるある時点での画像であって第２表示部と第１表示部との間で共通の第４画像を、第２画像とともに表示する第２表示モードとを有する。動作モードで動作する第１電子機器においては、第２表示モードの第１表示部は、第１電子機器あるいは第２電子機器に入力される入力情報を、第４画像に重ねて表示する。動作モードで動作する第１電子機器においては、第１表示部の表示モードが第２表示モードから第１表示モードに切り替わった場合、第１表示部は、第２表示モードで第４画像に重ねて表示した入力情報を、第３画像での第４画像に対応する画像に重ねて表示する。動作モードで動作する第２電子機器においては、第２表示部は、第３画像を第１画像とともに表示する第３表示モードと、第４画像を第１画像とともに表示する第４表示モードとを有する。動作モードで動作する第２電子機器においては、第４表示モードの第２表示部は、入力情報を第４画像に重ねて表示する。動作モードで動作する第２電子機器においては、第２表示部の表示モードが第４表示モードから第３表示モードに切り替わった場合、第２表示部は、第４表示モードで第４画像に重ねて表示した入力情報を、第３画像での前記第４画像に対応する画像に重ねて表示する。 In one embodiment, an image display system includes a first electronic device including a first imaging unit, a second imaging unit, and a first display unit, a third imaging unit, and a fourth imaging unit. And a second electronic device including a second display unit. The first and second electronic devices have an operation mode in which images are exchanged with each other. When the first and second electronic devices operate in the operation mode, the first electronic device transmits a first image that is a series of images captured by the first imaging unit to the second electronic device, The second electronic device transmits a second image, which is a series of images captured by the third imaging unit, to the first electronic device. When the first and second electronic devices operate in the operation mode, the first display unit of the first electronic device displays the second image from the second electronic device, and the second display unit of the second electronic device. Displays the first image from the first electronic device. In the first electronic device that operates in the operation mode, the first display unit is a series of images captured by the second imaging unit or the fourth imaging unit and between the second display unit and the first display unit. A first display mode for displaying a common third image together with the second image, and a fourth image common to the second display portion and the first display portion at a certain point in the third image. Is displayed together with the second image. In the first electronic device operating in the operation mode, the first display unit in the second display mode displays the input information input to the first electronic device or the second electronic device so as to overlap the fourth image. In the first electronic device that operates in the operation mode, when the display mode of the first display unit is switched from the second display mode to the first display mode, the first display unit overlaps the fourth image in the second display mode. The displayed input information is superimposed on an image corresponding to the fourth image in the third image. In the second electronic device operating in the operation mode, the second display unit has a third display mode for displaying the third image together with the first image, and a fourth display mode for displaying the fourth image together with the first image. Have. In the second electronic device operating in the operation mode, the second display unit in the fourth display mode displays the input information superimposed on the fourth image. In the second electronic device that operates in the operation mode, when the display mode of the second display unit is switched from the fourth display mode to the third display mode, the second display unit overlaps the fourth image in the fourth display mode. The displayed input information is superimposed on an image corresponding to the fourth image in the third image.

また、一の実施の形態では、制御プログラムは、第１及び第２撮像部を有し、第３及び第４撮像部を有する他の装置と通信可能な電子機器を制御するための制御プログラムである。電子機器と他の装置とは、互いに画像のやり取りを行う動作モードを有する。動作モードで動作する他の装置は、電子機器の第１撮像部が撮像している一連の画像である第１画像を表示し、第３撮像部が撮像している一連の画像である第２画像を電子機器に送信する。制御プログラムは、電子機器に、（ａ）動作モードで動作する工程を実行させる。制御プログラム、電子機器に、工程（ａ）において、（ｂ）第１画像を他の装置に送信する工程と、（ｃ）第２撮像部または第４撮像部が撮像している一連の画像であって電子機器及び他の装置の間で共通の第３画像を、第２画像とともに表示する工程と、（ｄ）第３画像におけるある時点での画像であって電子機器及び他の装置の間で共通の第４画像を、第２画像とともに表示する工程とを実行させる。制御プログラムは、電子機器に、工程（ｄ）において、電子機器あるいは他の装置に入力される入力情報を第４画像に重ねて表示させ、工程（ｃ）において、工程（ｄ）で第４画像に重ねて表示した入力情報を、第３画像での第４画像に対応する画像に重ねて表示させる。 In one embodiment, the control program is a control program for controlling an electronic device that includes the first and second imaging units and can communicate with another device having the third and fourth imaging units. is there. The electronic device and another device have an operation mode in which images are exchanged with each other. Another device that operates in the operation mode displays a first image that is a series of images captured by the first imaging unit of the electronic device, and a second series of images that is captured by the third imaging unit. Send the image to the electronic device. The control program causes the electronic device to execute (a) a step of operating in an operation mode. In step (a), (b) transmitting the first image to another device to the control program and the electronic device, and (c) a series of images captured by the second imaging unit or the fourth imaging unit. A step of displaying a third image common between the electronic device and the other device together with the second image, and (d) an image at a certain point in the third image between the electronic device and the other device. And a step of displaying the common fourth image together with the second image. The control program causes the electronic device to display the input information input to the electronic device or other device in the step (d) so as to be superimposed on the fourth image, and in the step (c), the fourth image is displayed in the step (d). The input information displayed in an overlapping manner is displayed on the image corresponding to the fourth image in the third image.

また、一の実施の形態では、電子機器の動作方法は、第１及び第２撮像部を有し、第３及び第４撮像部を有する他の装置と通信可能な電子機器の動作方法である。電子機器と他の装置とは、互いに画像のやり取りを行う動作モードを有する。動作モードで動作する他の装置は、電子機器の第１撮像部が撮像している一連の画像である第１画像を表示し、第３撮像部が撮像している一連の画像である第２画像を電子機器に送信する。電子機器の動作方法は、（ａ）動作モードで動作する工程を備える。工程（ａ）は、（ｂ）第１画像を他の装置に送信する工程と、（ｃ）第２撮像部または第４撮像部が撮像している一連の画像であって電子機器及び他の装置の間で共通の第３画像を、第２画像とともに表示する工程と、（ｄ）第３画像におけるある時点での画像であって電子機器及び他の装置の間で共通の第４画像を、第２画像とともに表示する工程とを有する。工程（ｄ）において、電子機器あるいは他の装置に入力される入力情報が第４画像に重ねて表示される。工程（ｃ）において、工程（ｄ）で第４画像に重ねて表示した入力情報が、第３画像での第４画像に対応する画像に重ねて表示される。 In one embodiment, the operation method of the electronic device is an operation method of the electronic device that includes the first and second imaging units and can communicate with another device having the third and fourth imaging units. . The electronic device and another device have an operation mode in which images are exchanged with each other. Another device that operates in the operation mode displays a first image that is a series of images captured by the first imaging unit of the electronic device, and a second series of images that is captured by the third imaging unit. Send the image to the electronic device. The operation method of the electronic device includes (a) a step of operating in an operation mode. Step (a) includes (b) a step of transmitting the first image to another device, and (c) a series of images taken by the second image pickup unit or the fourth image pickup unit. A step of displaying a third image common to the devices together with the second image; and (d) a fourth image that is an image at a certain point in time in the third image and is common between the electronic device and the other device. And displaying with the second image. In step (d), input information input to the electronic device or other device is displayed superimposed on the fourth image. In step (c), the input information displayed in a superimposed manner on the fourth image in the step (d) is displayed superimposed on an image corresponding to the fourth image in the third image.

ユーザは電子機器に対して情報を入力しやすくなる。   The user can easily input information to the electronic device.

画像表示システムの構成の一例を概略的に示す図である。1 is a diagram schematically illustrating an example of a configuration of an image display system. 電子機器の外観の一例を概略的に示す斜視図である。It is a perspective view which shows an example of the external appearance of an electronic device roughly. 電子機器の外観の一例を概略的に示す裏面図である。It is a back view which shows roughly an example of the external appearance of an electronic device. 電子機器の電気的構成の一例を示す図である。It is a figure which shows an example of the electrical constitution of an electronic device. 制御部に形成される機能ブロックの一例を示す図である。It is a figure which shows an example of the functional block formed in a control part. 電子機器の動作の一例を示すフローチャートである。It is a flowchart which shows an example of operation | movement of an electronic device. ビデオ通話画面の一例を概略的に示す図である。It is a figure which shows an example of a video call screen roughly. 制御部に形成される機能ブロックの一例を示す図である。It is a figure which shows an example of the functional block formed in a control part. 制御部に形成される機能ブロックの一例を示す図である。It is a figure which shows an example of the functional block formed in a control part. 送信端末の動作の一例を示すフローチャートである。It is a flowchart which shows an example of operation | movement of a transmission terminal. 共有画面の一例を概略的に示す図である。It is a figure which shows an example of a share screen schematically. 共有画面の一例を概略的に示す図である。It is a figure which shows an example of a share screen schematically. 電子機器の動作の一例を示すフローチャートである。It is a flowchart which shows an example of operation | movement of an electronic device. 入力情報が入力される様子を示す図である。It is a figure which shows a mode that input information is input. 共有画面の一例を概略的に示す図である。It is a figure which shows an example of a share screen schematically. 入力情報の表示が変化する様子を示す図である。It is a figure which shows a mode that the display of input information changes. 制御部に形成される機能ブロックの一例を示す図である。It is a figure which shows an example of the functional block formed in a control part. 再生画面の一例を概略的に示す図である。It is a figure which shows an example of a reproduction | regeneration screen schematically. 再生画面の一例を概略的に示す図である。It is a figure which shows an example of a reproduction | regeneration screen schematically.

＜画像表示システムの構成＞
図１は、画像表示システム２００の構成の一例を概略的に示す図である。図１に示されるように、画像表示システム２００は、電子機器１ａ〜１ｃを備えている。この画像表示システム２００では、電子機器１ａは、電子機器１ａが撮像するプレビュー画像（スルー画像又はライブビュー画像、あるいは単にプレビューとも呼ばれる）を表示するとともに、当該プレビュー画像を電子機器１ｂ及び１ｃに送信することが可能である。電子機器１ｂ及び１ｃは、電子機器１ａから送信される、電子機器１ａが撮像するプレビュー画像を受信して表示することができる。これにより、電子機器１ａ〜１ｃは、電子機器１ａが撮像するプレビュー画像を共有して表示することが可能である。 <Configuration of image display system>
FIG. 1 is a diagram schematically showing an example of the configuration of the image display system 200. As illustrated in FIG. 1, the image display system 200 includes electronic devices 1 a to 1 c. In this image display system 200, the electronic device 1a displays a preview image (through image, live view image, or simply called preview) captured by the electronic device 1a, and transmits the preview image to the electronic devices 1b and 1c. Is possible. The electronic devices 1b and 1c can receive and display a preview image transmitted from the electronic device 1a and captured by the electronic device 1a. Thereby, the electronic devices 1a to 1c can share and display the preview image captured by the electronic device 1a.

電子機器１ａ〜１ｃは、電子機器１ａが有する撮像部が取得した画像をプレビュー画像としてそのまま電子機器１ａ〜１ｃがそれぞれ有する表示部に表示する。このため、電子機器１ａ〜１ｃがそれぞれ有する表示部に表示されるプレビュー画像は、ユーザからの撮影指示等がない限り、電子機器１ａが有する撮像部が取得した画像に基づき常に更新されている。   The electronic devices 1a to 1c display the images acquired by the imaging unit included in the electronic device 1a as they are as preview images on the display units included in the electronic devices 1a to 1c, respectively. Therefore, the preview images displayed on the display units included in the electronic devices 1a to 1c are constantly updated based on the images acquired by the imaging unit included in the electronic device 1a unless there is a shooting instruction from the user.

電子機器１ａ〜１ｃのそれぞれは、例えば、スマートフォン等の携帯電話機である。図１の例示では、電子機器１ａは、撮像するプレビュー画像を電子機器１ｂ及び１ｃに送信する送信端末として機能する。電子機器１ｂ及び１ｃは、電子機器１ａが送信するプレビュー画像を受信して表示する受信端末として機能する。以後、電子機器１ａ〜１ｃを特に区別する必要がないときには、それぞれを電子機器１と呼ぶことがある。   Each of the electronic devices 1a to 1c is, for example, a mobile phone such as a smartphone. In the illustration of FIG. 1, the electronic device 1a functions as a transmission terminal that transmits a preview image to be captured to the electronic devices 1b and 1c. The electronic devices 1b and 1c function as receiving terminals that receive and display preview images transmitted from the electronic device 1a. Hereinafter, when there is no need to particularly distinguish the electronic devices 1a to 1c, each may be referred to as the electronic device 1.

電子機器１ａ〜１ｃのそれぞれは、通信ネットワーク２０１を通じて互いに通信することが可能である。通信ネットワーク２０１は、例えば、インターネットあるいは電話通信網などである。なお、図１の例示では、画像表示システム２００は、一つの送信端末（電子機器１ａ）と、二つの受信端末（電子機器１ｂ及び１ｃ）とを備えているが、受信端末は一つであってもよいし、三つ以上であってもよい。   Each of the electronic devices 1 a to 1 c can communicate with each other through the communication network 201. The communication network 201 is, for example, the Internet or a telephone communication network. In the illustration of FIG. 1, the image display system 200 includes one transmission terminal (electronic device 1a) and two reception terminals (electronic devices 1b and 1c), but there is only one reception terminal. It may be three or more.

＜電子機器の外観＞
図２は、電子機器１の外観の一例を概略的に示す斜視図である。図３は、電子機器１の外観の一例を概略的に示す裏面図である。図２及び図３に示されるように、電子機器１は、当該電子機器１の前面に位置するカバーパネル２と、当該カバーパネル２が貼り付けられるケース３とを備えている。カバーパネル２及びケース３は、電子機器１の外装を成している。電子機器１の形状は、例えば、平面視において略長方形の板状となっている。 <Appearance of electronic equipment>
FIG. 2 is a perspective view schematically showing an example of the appearance of the electronic device 1. FIG. 3 is a rear view schematically showing an example of the appearance of the electronic apparatus 1. As illustrated in FIGS. 2 and 3, the electronic device 1 includes a cover panel 2 positioned on the front surface of the electronic device 1 and a case 3 to which the cover panel 2 is attached. The cover panel 2 and the case 3 form an exterior of the electronic device 1. The shape of the electronic device 1 is, for example, a substantially rectangular plate shape in plan view.

カバーパネル２には、後述する表示部１２の表示が透過する透明の表示領域（表示窓とも呼ばれる）２ａが設けられている。表示領域２ａは例えば平面視で長方形を成している。表示部１２から出力される可視光は、表示領域２ａを通って電子機器１の外部に取り出される。電子機器１のユーザは、当該電子機器１の外部から、表示領域２ａを通じて表示部１２に表示される情報を視認可能となっている。カバーパネル２における、表示領域２ａを取り囲む周縁部２ｂの大部分は、例えばフィルム等が貼られることによって黒色となっている。これにより、周縁部２ｂの大部分は、表示部１２の表示が透過しない非表示部分となっている。   The cover panel 2 is provided with a transparent display area (also referred to as a display window) 2a through which the display of the display unit 12 described later is transmitted. The display area 2a has a rectangular shape in plan view, for example. Visible light output from the display unit 12 is extracted outside the electronic device 1 through the display area 2a. A user of the electronic device 1 can visually recognize information displayed on the display unit 12 through the display area 2a from the outside of the electronic device 1. Most of the peripheral edge portion 2b surrounding the display area 2a in the cover panel 2 is black, for example, by applying a film or the like. Thereby, most of the peripheral part 2b is a non-display part through which the display of the display part 12 is not transmitted.

カバーパネル２の裏面には、後述するタッチパネル１３が貼り付けられている。そして、表示部１２は、タッチパネル１３におけるカバーパネル２側の主面とは反対側の主面に貼り付けられている。つまり、表示部１２は、タッチパネル１３を介してカバーパネル２の裏面に取り付けられている。電子機器１のユーザは、カバーパネル２の表示領域２ａを指等で操作することによって、電子機器１に対して各種指示を与えることができる。   A touch panel 13 described later is attached to the back surface of the cover panel 2. And the display part 12 is affixed on the main surface on the opposite side to the main surface by the side of the cover panel 2 in the touch panel 13. FIG. That is, the display unit 12 is attached to the back surface of the cover panel 2 via the touch panel 13. The user of the electronic device 1 can give various instructions to the electronic device 1 by operating the display area 2a of the cover panel 2 with a finger or the like.

図２の例示では、カバーパネル２の上側端部には、後述する前面側撮像部１７ａが有する撮像レンズが電子機器１の外部から視認できるための前面レンズ用透明部７ａが設けられている。また、カバーパネル２の上側端部には、レシーバ穴５があけられている。そして、カバーパネル２の下側端部にはマイク穴４があけられている。   In the illustration of FIG. 2, a front lens transparent portion 7 a is provided at the upper end of the cover panel 2 so that an imaging lens of a front side imaging unit 17 a described later can be seen from the outside of the electronic device 1. A receiver hole 5 is formed in the upper end of the cover panel 2. A microphone hole 4 is formed at the lower end of the cover panel 2.

図３の例示では、ケース３の裏面３ａの上側端部には、後述する裏面側撮像部１７ｂが有する撮像レンズが電子機器１の外部から視認できるための裏面レンズ用透明部７ｂが設けられている。また、電子機器１の裏面３ａの下側端部には、スピーカ穴８があけられている。   In the example of FIG. 3, a rear lens transparent portion 7 b is provided at the upper end portion of the back surface 3 a of the case 3 so that an imaging lens of a back surface side imaging unit 17 b described later can be seen from the outside of the electronic device 1. Yes. In addition, a speaker hole 8 is formed in the lower end portion of the back surface 3 a of the electronic device 1.

＜電子機器の電気的構成＞
図４は、電子機器１の電気的構成の一例を示すブロック図である。図４に示されるように、電子機器１には、制御部１０、無線通信部１１、表示部１２、タッチパネル１３、マイク１４、レシーバ１５、近距離無線通信部１６、前面側撮像部１７ａ、裏面側撮像部１７ｂ、スピーカ１８及び計時部１９が設けられている。電子機器１に設けられたこれらの構成要素のそれぞれは、ケース３内に収められている。 <Electrical configuration of electronic equipment>
FIG. 4 is a block diagram illustrating an example of an electrical configuration of the electronic device 1. As shown in FIG. 4, the electronic device 1 includes a control unit 10, a wireless communication unit 11, a display unit 12, a touch panel 13, a microphone 14, a receiver 15, a short-range wireless communication unit 16, a front side imaging unit 17 a, and a back surface. A side imaging unit 17b, a speaker 18, and a timer unit 19 are provided. Each of these components provided in the electronic device 1 is housed in the case 3.

制御部１０は、一種のコンピュータであって、例えばＣＰＵ（Central Processing Unit）１０１、ＤＳＰ（Digital Signal Processor）１０２及び記憶部１０３等を備えている。制御部１０は、電子機器１の他の構成要素を制御することによって、電子機器１の動作を統括的に管理することが可能である。   The control unit 10 is a kind of computer and includes, for example, a central processing unit (CPU) 101, a digital signal processor (DSP) 102, a storage unit 103, and the like. The control unit 10 can comprehensively manage the operation of the electronic device 1 by controlling other components of the electronic device 1.

記憶部１０３は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等の、ＣＰＵ１０１及びＤＳＰ１０２が読み取り可能な非一時的な記録媒体で構成されている。記憶部１０３には、電子機器１を制御するためのメインプログラム及び複数のアプリケーションプログラム（以降、単にアプリケーションあるいはアプリと呼ぶことがある）等が記憶されている。制御部１０の各種機能は、ＣＰＵ１０１及びＤＳＰ１０２が記憶部１０３内の各種プログラムを実行することによって実現される。   The storage unit 103 includes a non-transitory recording medium that can be read by the CPU 101 and the DSP 102, such as a ROM (Read Only Memory) and a RAM (Random Access Memory). The storage unit 103 stores a main program for controlling the electronic device 1, a plurality of application programs (hereinafter may be simply referred to as applications or applications), and the like. Various functions of the control unit 10 are realized by the CPU 101 and the DSP 102 executing various programs in the storage unit 103.

なお、記憶部１０３は、ＲＯＭ及びＲＡＭ以外の、コンピュータが読み取り可能な非一時的な記録媒体を備えていてもよい。記憶部１０３は、例えば、小型のハードディスクドライブ及びＳＳＤ（Solid State Drive）等を備えていてもよい。また、制御部１０の機能の一部または全部は、その機能の実現にソフトウェアが不要なハードウェアによって実現されても構わない。   Note that the storage unit 103 may include a computer-readable non-transitory recording medium other than the ROM and RAM. The storage unit 103 may include, for example, a small hard disk drive and an SSD (Solid State Drive). Also, some or all of the functions of the control unit 10 may be realized by hardware that does not require software for realizing the functions.

無線通信部１１は、アンテナ１１ａを有している。無線通信部１１は、例えば、電子機器１とは別の携帯電話機からの信号、あるいはインターネットに接続されたウェブサーバ等の通信装置からの信号を、基地局を介してアンテナ１１ａで受信することが可能である。無線通信部１１は、アンテナ１１ａでの受信信号に対して増幅処理及びダウンコンバートを行って制御部１０に出力することが可能である。制御部１０は、入力される受信信号に対して復調処理等を行って、当該受信信号に含まれる情報を取得することが可能である。   The wireless communication unit 11 has an antenna 11a. The wireless communication unit 11 can receive, for example, a signal from a mobile phone different from the electronic device 1 or a signal from a communication device such as a web server connected to the Internet via the base station with the antenna 11a. Is possible. The wireless communication unit 11 can perform amplification processing and down-conversion on the signal received by the antenna 11 a and output the signal to the control unit 10. The control unit 10 can perform demodulation processing or the like on the input received signal and acquire information included in the received signal.

また無線通信部１１は、制御部１０で生成された送信信号に対して、アップコンバート及び増幅処理を行って、当該処理後の送信信号をアンテナ１１ａから無線送信することが可能である。アンテナ１１ａからの送信信号は、例えば、基地局を通じて、電子機器１以外の携帯電話機あるいはインターネットに接続されたウェブサーバ等の通信装置で受信される。   In addition, the wireless communication unit 11 can perform up-conversion and amplification processing on the transmission signal generated by the control unit 10, and wirelessly transmit the processed transmission signal from the antenna 11a. A transmission signal from the antenna 11a is received through a base station by a communication device such as a mobile phone other than the electronic device 1 or a web server connected to the Internet.

表示部１２は、例えば、液晶ディプレイあるいは有機ＥＬディスプレイによって構成される。表示部１２は、制御部１０に制御されることによって、文字、記号、図形あるいは画像などの各種情報を表示することが可能である。表示部１２が表示する情報は、カバーパネル２の表示領域２ａを通じて、電子機器１のユーザに視認可能となる。   The display unit 12 is configured by, for example, a liquid crystal display or an organic EL display. The display unit 12 can display various types of information such as characters, symbols, graphics, and images under the control of the control unit 10. Information displayed on the display unit 12 is visible to the user of the electronic device 1 through the display area 2 a of the cover panel 2.

タッチパネル１３は、カバーパネル２の表示領域２ａに対する指等の操作子による操作を検出することが可能である。タッチパネル１３は、例えば、投影型静電容量方式のタッチパネルである。ユーザが指等の操作子によってカバーパネル２の表示領域２ａに対して操作を行うと、それに応じた操作信号がタッチパネル１３から制御部１０に入力される。制御部１０は、タッチパネル１３からの操作信号に基づいて、表示領域２ａに対して行われた操作の内容を特定して、その内容に応じた処理を行うことが可能である。なお、ユーザは、指以外の操作子、例えば、スタイラスペンなどの静電式タッチパネル用ペンで表示領域２ａを操作することによっても、電子機器１に対して各種指示を与えることができる。   The touch panel 13 can detect an operation by an operator such as a finger on the display area 2 a of the cover panel 2. The touch panel 13 is, for example, a projected capacitive touch panel. When the user operates the display area 2 a of the cover panel 2 with an operator such as a finger, an operation signal corresponding to the operation is input from the touch panel 13 to the control unit 10. Based on an operation signal from the touch panel 13, the control unit 10 can specify the content of the operation performed on the display area 2 a and perform processing according to the content. Note that the user can also give various instructions to the electronic device 1 by operating the display area 2a with an operator other than a finger, for example, an electrostatic touch panel pen such as a stylus pen.

近距離無線通信部１６は、アンテナ１６ａを有している。近距離無線通信部１６は、アンテナ１６ａを使用して無線通信を行うことが可能である。近距離無線通信部１６の通信エリアは、無線通信部１１の通信エリアよりも狭くなっている。近距離無線通信部１６は、例えば、ＢＬＵＥＴＯＯＴＨ（登録商標）に準拠して通信を行うことが可能である。   The near field communication unit 16 has an antenna 16a. The short-range wireless communication unit 16 can perform wireless communication using the antenna 16a. The communication area of the short-range wireless communication unit 16 is narrower than the communication area of the wireless communication unit 11. The short-range wireless communication unit 16 can perform communication based on, for example, BLUETOOTH (registered trademark).

前面側撮像部１７ａは、撮像レンズ及び撮像素子などで構成されている。前面側撮像部１７ａは、制御部１０による制御に基づいて、プレビュー画像、静止画像及び動画像を撮像することが可能である。前面側撮像部１７ａが有する撮像レンズは、電子機器１の前面に設けられた前面レンズ用透明部７ａから視認可能となっている。したがって、前面側撮像部１７ａは、電子機器１の前面側、つまりカバーパネル２側に存在する物体を撮像することが可能である。   The front side imaging unit 17a includes an imaging lens, an imaging element, and the like. The front side imaging unit 17a can capture a preview image, a still image, and a moving image based on control by the control unit 10. The imaging lens of the front side imaging unit 17a is visible from the front lens transparent unit 7a provided on the front surface of the electronic device 1. Therefore, the front-side imaging unit 17a can image an object present on the front side of the electronic device 1, that is, the cover panel 2 side.

裏面側撮像部１７ｂは、撮像レンズ及び撮像素子などで構成されている。裏面側撮像部１７ｂは、制御部１０による制御に基づいて、プレビュー画像、静止画像及び動画像を撮像することが可能である。裏面側撮像部１７ｂが有する撮像レンズは、ケース３の裏面３ａに設けられた裏面レンズ用透明部７ｂから視認可能となっている。したがって、裏面側撮像部１７ｂは、ケース３の裏面３ａ側に存在する物体を撮像することが可能である。以降、前面側撮像部１７ａ及び裏面側撮像部１７ｂを特に区別する必要がない場合には、それぞれを撮像部１７と呼ぶことがある。   The back side imaging unit 17b includes an imaging lens and an imaging element. The back side imaging unit 17b can capture a preview image, a still image, and a moving image based on control by the control unit 10. The imaging lens of the back side imaging unit 17b is visible from the back lens transparent portion 7b provided on the back side 3a of the case 3. Therefore, the back surface side imaging unit 17b can capture an image of an object present on the back surface 3a side of the case 3. Hereinafter, when there is no need to particularly distinguish the front side imaging unit 17a and the back side imaging unit 17b, each may be referred to as the imaging unit 17.

マイク１４は、電子機器１の外部から入力される音を電気的な音信号に変換して制御部１０に出力することが可能である。電子機器１の外部からの音は、例えば、カバーパネル２の前面に設けられたマイク穴４から電子機器１の内部に取り込まれてマイク１４に入力される。   The microphone 14 can convert sound input from the outside of the electronic device 1 into an electrical sound signal and output the electrical sound signal to the control unit 10. Sound from the outside of the electronic device 1 is taken into the inside of the electronic device 1 from the microphone hole 4 provided on the front surface of the cover panel 2 and input to the microphone 14, for example.

スピーカ１８は、例えばタイミックスピーカである。スピーカ１８は、制御部１０からの電気的な音信号を音に変換して出力することが可能である。スピーカ１８から出力される音は、例えば、ケース３の裏面３ａに設けられたスピーカ穴８から電子機器１の外部に出力される。スピーカ穴８から出力される音については、電子機器１から離れた場所でも聞こえるような音量となっている。   The speaker 18 is a tymic speaker, for example. The speaker 18 can convert an electrical sound signal from the control unit 10 into sound and output the sound. The sound output from the speaker 18 is output to the outside of the electronic device 1 from the speaker hole 8 provided on the back surface 3 a of the case 3, for example. The sound output from the speaker hole 8 has a volume that can be heard at a place away from the electronic device 1.

レシーバ１５は、受話音を出力するものであって、例えばダイナミックスピーカで構成されている。レシーバ１５は、制御部１０からの電気的な音信号を音に変換して出力することが可能である。レシーバ１５から出力される音は、例えば、電子機器１の前面に設けられたレシーバ穴５から外部に出力される。レシーバ穴５から出力される音の音量は、例えば、スピーカ１８からスピーカ穴８を介して出力される音の音量よりも小さくなっている。   The receiver 15 outputs a received sound, and is composed of, for example, a dynamic speaker. The receiver 15 can convert an electrical sound signal from the control unit 10 into sound and output the sound. The sound output from the receiver 15 is output to the outside from the receiver hole 5 provided in the front surface of the electronic device 1, for example. The volume of the sound output from the receiver hole 5 is lower than the volume of the sound output from the speaker 18 through the speaker hole 8, for example.

なおレシーバ１５に替えて、圧電振動素子が設けられてもよい。圧電振動素子は、制御部１０によって制御され、音声信号に基づいて振動することが可能である。圧電振動素子は、例えばカバーパネル２の裏面に設けられており、音声信号に基づく自身の振動によってカバーパネル２を振動させることが可能である。そして、ユーザが自身の耳をカバーパネル２に近づけることにより、カバーパネル２の振動が音声としてユーザに伝達される。レシーバ１５に替えて圧電振動素子が設けられる場合には、レシーバ穴５は不要である。   Instead of the receiver 15, a piezoelectric vibration element may be provided. The piezoelectric vibration element is controlled by the control unit 10 and can vibrate based on an audio signal. The piezoelectric vibration element is provided on the back surface of the cover panel 2, for example, and can vibrate the cover panel 2 by its own vibration based on an audio signal. Then, when the user brings his / her ear close to the cover panel 2, the vibration of the cover panel 2 is transmitted to the user as sound. When a piezoelectric vibration element is provided instead of the receiver 15, the receiver hole 5 is not necessary.

計時部１９は、現在時刻を計時するとともに現在の日付を計時することが可能である。計時部１９は、例えばリアルタイムクロック（ＲＴＣ）等を備えている。計時部１９は、計時した時刻を示す時刻情報と、計時した日付を示す日付情報とを制御部１０に出力することが可能である。   The timer 19 can measure the current time and the current date. The timer unit 19 includes, for example, a real time clock (RTC). The timer 19 can output time information indicating the time measured and date information indicating the date measured to the controller 10.

＜電子機器の動作＞
以下では、電子機器１の動作について詳細に説明する。以下の説明では、画像表示システム２００が、送信端末として動作する電子機器１ａと、受信端末として動作する電子機器１ｂとを備えている場合について説明する。 <Operation of electronic equipment>
Below, operation | movement of the electronic device 1 is demonstrated in detail. In the following description, a case where the image display system 200 includes an electronic device 1a that operates as a transmission terminal and an electronic device 1b that operates as a reception terminal will be described.

図５は、電子機器１ａ及び１ｂの制御部１０に形成される機能ブロックの一例を示す図である。記憶部１０３には、画像共有アプリが記憶されている。電子機器１ａ及び１ｂのそれぞれが画像共有アプリを実行することによって、電子機器１ａ及び１ｂがそれぞれ有する表示部１２は、電子機器１ａの裏面側撮像部１７ｂが撮像するプレビュー画像を共有して表示することが可能である。   FIG. 5 is a diagram illustrating an example of functional blocks formed in the control unit 10 of the electronic devices 1a and 1b. The storage unit 103 stores an image sharing application. When each of the electronic devices 1a and 1b executes the image sharing application, the display unit 12 included in each of the electronic devices 1a and 1b shares and displays a preview image captured by the back side imaging unit 17b of the electronic device 1a. It is possible.

また本実施の形態では、画像共有アプリはビデオ通話機能を有している。このビデオ通話機能によって、電子機器１ａは、電子機器１ｂの前面側撮像部１７ａが撮像するビデオ通話用の画像を表示部１２に表示しながら電子機器１ｂと通話をすることが可能である。また、ビデオ通話機能によって、電子機器１ｂは、電子機器１ａの前面側撮像部１７ａが撮像するビデオ通話用の画像を表示部１２に表示しながら電子機器１ａと通話することが可能である。つまり、電子機器１ａ及び１ｂのそれぞれは、画像共有アプリを実行することによって、電子機器１ａの裏面側撮像部１７ｂが撮像するプレビュー画像を共有して各々の表示部１２に表示しながら、ビデオ通話の相手側の前面側撮像部１７ａが撮像するビデオ通話用の画像を互いに表示してビデオ通話することが可能となっている。この画像共有アプリが、メインプログラムを実行する制御部１０で実行されることによって、図５に示されるように、制御部１０には、画像共有部１００が形成される。画像共有部１００は、ビデオ通話制御部１１０、共有画像処理部１２０及び操作信号処理部１３０を備える。   In the present embodiment, the image sharing application has a video call function. With this video call function, the electronic device 1a can make a call with the electronic device 1b while displaying on the display unit 12 a video call image captured by the front side imaging unit 17a of the electronic device 1b. Further, the video call function allows the electronic device 1b to make a call with the electronic device 1a while displaying on the display unit 12 a video call image captured by the front side imaging unit 17a of the electronic device 1a. That is, each of the electronic devices 1a and 1b executes an image sharing application, thereby sharing a preview image captured by the back side imaging unit 17b of the electronic device 1a and displaying the image on each display unit 12, while making a video call. It is possible to display a video call image picked up by the front-side image pickup unit 17a of the other party and perform a video call. When the image sharing application is executed by the control unit 10 that executes the main program, an image sharing unit 100 is formed in the control unit 10 as shown in FIG. The image sharing unit 100 includes a video call control unit 110, a shared image processing unit 120, and an operation signal processing unit 130.

画像共有アプリの実行中では、電子機器１ａ及び１ｂは、ビデオ通話制御部１１０による制御によってビデオ通話するビデオ通話モードで動作することができる。ビデオ通話モードで動作する電子機器１ａは、電子機器１ａの裏面側撮像部１７ｂが撮像するプレビュー画像を電子機器１ｂに送信する送信モードで動作することが可能である。送信モードで動作する電子機器１ａは、画像表示システム２００における送信端末として動作する。一方、ビデオ通話モードで動作する電子機器１ｂは、電子機器１ａが送信するプレビュー画像を受信する受信モードで動作することが可能である。受信モードで動作する電子機器１ｂは、画像表示システム２００における受信端末として動作する。以降、送信モードで動作する電子機器１ａと、受信モードで動作する電子機器１ｂとを、それぞれ、送信端末１ａ及び受信端末１ｂと呼ぶことがある。   While the image sharing application is being executed, the electronic devices 1 a and 1 b can operate in a video call mode in which a video call is performed under the control of the video call control unit 110. The electronic device 1a operating in the video call mode can operate in a transmission mode in which a preview image captured by the back side imaging unit 17b of the electronic device 1a is transmitted to the electronic device 1b. The electronic device 1a operating in the transmission mode operates as a transmission terminal in the image display system 200. On the other hand, the electronic device 1b operating in the video call mode can operate in a reception mode in which a preview image transmitted from the electronic device 1a is received. The electronic device 1b that operates in the reception mode operates as a reception terminal in the image display system 200. Hereinafter, the electronic device 1a that operates in the transmission mode and the electronic device 1b that operates in the reception mode may be referred to as a transmission terminal 1a and a reception terminal 1b, respectively.

送信端末１ａ及び受信端末１ｂがそれぞれ有する表示部１２は、制御部１０による制御によって、送信端末１ａが撮像している一連のプレビュー画像（以降、第１プレビュー画像と呼ぶことがある）を共有して表示する第１表示モード（以降、プレビューモードと呼ぶことがある）で動作することが可能である。また、送信端末１ａ及び受信端末１ｂがそれぞれ有する表示部１２は、電子機器１ａが撮像している一連のプレビュー画像のうち、プレビューを停止したときのプレビュー画像（以降、第２プレビュー画像と呼ぶことがある）を共有して表示する第２表示モード（以降、プレビュー停止モードと呼ぶことがある）で動作することが可能である。   The display unit 12 included in each of the transmission terminal 1a and the reception terminal 1b shares a series of preview images (hereinafter sometimes referred to as first preview images) captured by the transmission terminal 1a under the control of the control unit 10. It is possible to operate in a first display mode (hereinafter sometimes referred to as a preview mode). In addition, the display unit 12 included in each of the transmission terminal 1a and the reception terminal 1b is a preview image (hereinafter referred to as a second preview image) when the preview is stopped, among a series of preview images captured by the electronic device 1a. Can be operated in the second display mode (hereinafter sometimes referred to as a preview stop mode).

第１プレビュー画像は送信端末１ａが有する裏面側撮像部１７ｂが取得した画像がそのまま表示部１２に表示されるため、第１プレビュー画像は常に更新されている。第１プレビュー画像は、一種の動画であると言える。一方で第２プレビュー画像は、更新され続ける第１プレビュー画像のうちある時点の画像であるため、静止画となる。第２プレビュー画像は静止画となるため、第１プレビュー画像と異なり送信端末１ａの裏面側撮像部１７ｂが取得した画像によって更新されない。第２プレビュー画像は、動画である第１プレビュー画像に含まれる一枚のフレーム画像であると言える。   The first preview image is always updated because the image acquired by the back-side imaging unit 17b of the transmission terminal 1a is displayed on the display unit 12 as it is. It can be said that the first preview image is a kind of moving image. On the other hand, since the second preview image is an image at a certain point in time among the first preview images that are continuously updated, the second preview image is a still image. Since the second preview image is a still image, unlike the first preview image, the second preview image is not updated by the image acquired by the back side imaging unit 17b of the transmission terminal 1a. The second preview image can be said to be one frame image included in the first preview image that is a moving image.

電子機器１は、制御部１０の制御によって、送信モードで動作する送信端末として、あるいは受信モードで動作する受信端末として動作することが可能である。以下では、電子機器１ａが送信モードで動作し、電子機器１ｂが受信モードで動作する場合について説明する。   The electronic device 1 can operate as a transmission terminal that operates in the transmission mode or as a reception terminal that operates in the reception mode under the control of the control unit 10. Hereinafter, a case where the electronic device 1a operates in the transmission mode and the electronic device 1b operates in the reception mode will be described.

図６は、送信端末として動作する電子機器１ａの動作の一例を示すフローチャートである。まず、ステップＳ１において、電子機器１ａの制御部１０は、記憶部１０３内の画像共有アプリを実行（起動）する。表示部１２は、例えば、電子機器１が各種アプリを実行する前の初期状態において、初期画面（以降、ホーム画面と呼ぶことがある）を表示している。また、表示部１２は、ホーム画面において、アプリを実行するための図形（以降、アプリ実行用図形と呼ぶことがある）を表示している。アプリ実行用図形は、アイコンと呼ばれる図形を含んでいてもよい。制御部１０は、表示部１２に表示される、画像共有アプリを実行するためのアプリ実行用図形に対するユーザの選択操作をタッチパネル１３が検出すると、記憶部１０３内の画像共有アプリを実行する。   FIG. 6 is a flowchart showing an example of the operation of the electronic device 1a operating as a transmission terminal. First, in step S <b> 1, the control unit 10 of the electronic device 1 a executes (activates) the image sharing application in the storage unit 103. For example, the display unit 12 displays an initial screen (hereinafter sometimes referred to as a home screen) in an initial state before the electronic device 1 executes various applications. In addition, the display unit 12 displays a graphic for executing an application (hereinafter sometimes referred to as an application execution graphic) on the home screen. The application execution graphic may include a graphic called an icon. The control unit 10 executes the image sharing application in the storage unit 103 when the touch panel 13 detects the user's selection operation for the application execution graphic displayed on the display unit 12 for executing the image sharing application.

表示部１２が表示するアプリ実行用図形に対する選択操作として、例えば、カバーパネル２の表示領域２ａに表示されるアプリ実行用図形に対して、ユーザが指等の操作子を近づけた後、当該操作子を遠ざける操作が考えられる。また、アプリ実行用図形に対する選択操作として、例えば、カバーパネル２の表示領域２ａに表示されるアプリ実行用図形に対して、ユーザが指等の操作子を接触させた後、当該操作子を遠ざける操作が考えられる。これらの操作は、いわゆるタップ操作と呼ばれる。なお、このタップ操作による選択操作は、アプリ実行用図形に対する選択操作以外にも、表示部１２が表示する画像に対する選択操作として使用される。以下ではタップ操作による選択操作についての繰り返しの説明を省略する。   As the selection operation for the application execution graphic displayed on the display unit 12, for example, after the user brings an operator such as a finger close to the application execution graphic displayed in the display area 2a of the cover panel 2, the operation is performed. An operation to move the child away can be considered. In addition, as a selection operation for the application execution graphic, for example, after the user touches an operation element such as a finger with respect to the application execution graphic displayed in the display area 2a of the cover panel 2, the operation element is moved away. Operation is possible. These operations are called so-called tap operations. The selection operation by the tap operation is used as a selection operation for the image displayed on the display unit 12 in addition to the selection operation for the application execution graphic. Hereinafter, repeated description of the selection operation by the tap operation is omitted.

ステップＳ１において電子機器１ａで画像共有アプリが実行されると、次にステップＳ２が実行される。ステップＳ２において、電子機器１ａは、ビデオ通話制御部１１０による制御によって、ビデオ通話するためのビデオ通話モードで動作する。一方、電子機器１ｂにおいても、電子機器１ａにおける所定の操作に基づいて画像共有アプリが実行される。例えば、電子機器１ｂは、電子機器１ａから発信されるビデオ通話を着信することによって、画像共有アプリを実行する。そして、電子機器１ｂが電子機器１ａからのビデオ通話の着信に応答することによって、電子機器１ａと電子機器１ｂとの間でビデオ通話が開始される。   When the image sharing application is executed in the electronic device 1a in step S1, step S2 is executed next. In step S2, the electronic device 1a operates in a video call mode for making a video call under the control of the video call control unit 110. On the other hand, also in the electronic device 1b, an image sharing application is executed based on a predetermined operation in the electronic device 1a. For example, the electronic device 1b executes an image sharing application by receiving a video call transmitted from the electronic device 1a. Then, when the electronic device 1b responds to an incoming video call from the electronic device 1a, a video call is started between the electronic device 1a and the electronic device 1b.

図７は、ビデオ通話モードで動作する電子機器１ａ及び１ｂの表示部１２が表示するビデオ通話画面２０の一例を概略的に示す図である。図７に示されるように、ビデオ通話画面２０には、ビデオ通話の相手側が撮像するビデオ通話用の画像２１が表示される。電子機器１ａが表示する画像２１は、例えば、電子機器１ｂが有する前面側撮像部１７ａによって撮像される。また画像２１は、例えば、ビデオ通話の相手の顔２１ａを含む。これにより、電子機器１ａのユーザは、電子機器１ｂのユーザの顔２１ａを見ながら通話することができる。一方、電子機器１ｂが表示する画像２１は、例えば、電子機器１ａが有する前面側撮像部１７ａによって撮像される。画像２１は、順次更新されることから、一種の動画であると言える。また、電子機器１ａ及び１ｂが表示するビデオ通話画面２０には、後述する共有画像を表示するための共有ボタン２２と、画像共有アプリを終了するための終了ボタン２３とが表示されている。   FIG. 7 is a diagram schematically illustrating an example of the video call screen 20 displayed on the display unit 12 of the electronic devices 1a and 1b operating in the video call mode. As shown in FIG. 7, the video call screen 20 displays an image 21 for video call captured by the other party of the video call. The image 21 displayed by the electronic device 1a is captured by, for example, the front side imaging unit 17a included in the electronic device 1b. The image 21 includes, for example, the face 21a of the other party of the video call. Thereby, the user of the electronic device 1a can talk while looking at the face 21a of the user of the electronic device 1b. On the other hand, the image 21 displayed by the electronic device 1b is captured by, for example, the front side imaging unit 17a included in the electronic device 1a. Since the image 21 is sequentially updated, it can be said that it is a kind of moving image. Further, on the video call screen 20 displayed by the electronic devices 1a and 1b, a sharing button 22 for displaying a shared image, which will be described later, and an end button 23 for ending the image sharing application are displayed.

画像共有アプリの実行中に、タッチパネル１３が終了ボタン２３への操作を検出すると、制御部１０は、画像共有アプリの実行を終了する。画像共有アプリの実行が終了すると、表示部１２は、例えばホーム画面を再度表示する。   When the touch panel 13 detects an operation on the end button 23 during the execution of the image sharing application, the control unit 10 ends the execution of the image sharing application. When the execution of the image sharing application ends, the display unit 12 displays the home screen again, for example.

なお、電子機器１のボタンに対する操作は、表示部１２が表示するボタンに対するタップ操作に限られず、例えば、ケース３に設けられたハードボタンに対する押下等であってもよい。この内容は、後述する他の操作についても適用されるので、以下では繰り返しの説明を省略する。   The operation on the button of the electronic device 1 is not limited to the tap operation on the button displayed on the display unit 12, and may be, for example, pressing on a hard button provided on the case 3. Since this content is applied also to other operations described later, repeated description will be omitted below.

次に、ステップＳ３〜Ｓ５において、電子機器１ａが送信モードで動作し、電子機器１ｂが受信モードで動作するための一連の処理が実行される。   Next, in steps S3 to S5, a series of processes for operating the electronic device 1a in the transmission mode and operating the electronic device 1b in the reception mode are executed.

まず、ステップＳ３において、電子機器１ａの画像共有部１００は、電子機器１ａの表示部１２が表示する共有ボタン２２への操作を検出する。具体的には、画像共有部１００は、タッチパネル１３からの操作信号に基づいて、共有ボタン２２への操作を検出する。次に、ステップＳ４において、電子機器１ａの操作信号処理部１３０は、無線通信部１１に、電子機器１ａの表示部１２が表示する共有ボタン２２が操作されたことを示す操作信号を電子機器１ｂに送信させる。そしてステップＳ５において、電子機器１ａは、送信モードでの動作を開始する。一方、電子機器１ｂは、電子機器１ａから送信される、電子機器１ａが表示する共有ボタン２２が操作されたことを示す操作信号を無線通信部１１で受信する。そして、電子機器１ｂは、受信モードで動作する。   First, in step S3, the image sharing unit 100 of the electronic device 1a detects an operation on the sharing button 22 displayed on the display unit 12 of the electronic device 1a. Specifically, the image sharing unit 100 detects an operation on the sharing button 22 based on an operation signal from the touch panel 13. Next, in step S4, the operation signal processing unit 130 of the electronic device 1a sends an operation signal indicating that the share button 22 displayed on the display unit 12 of the electronic device 1a is operated to the wireless communication unit 11 to the electronic device 1b. To send to. In step S5, the electronic device 1a starts operating in the transmission mode. On the other hand, in the electronic device 1b, the wireless communication unit 11 receives an operation signal transmitted from the electronic device 1a and indicating that the share button 22 displayed on the electronic device 1a has been operated. The electronic device 1b operates in the reception mode.

なお、上記の例では、電子機器１ａが送信モードで動作し、電子機器１ｂが受信モードで動作する場合について説明したが、電子機器１ａが表示する共有ボタン２２への操作が検出されず、電子機器１ｂが表示する共有ボタン２２への操作が検出された場合には、電子機器１ｂが送信モードで動作し、電子機器１ａが受信モードで動作する。   In the above example, the case where the electronic device 1a operates in the transmission mode and the electronic device 1b operates in the reception mode has been described. However, an operation to the sharing button 22 displayed by the electronic device 1a is not detected, and When an operation on the sharing button 22 displayed by the device 1b is detected, the electronic device 1b operates in the transmission mode, and the electronic device 1a operates in the reception mode.

＜プレビュー画像の共有＞
以下では、送信端末１ａ（送信モードで動作する電子機器１）が撮像するプレビュー画像を、当該送信端末１ａと受信端末１ｂ（受信モードで動作する電子機器１）とが共有して表示するための動作について詳細に説明する。 <Sharing preview images>
In the following, a preview image captured by the transmission terminal 1a (electronic device 1 operating in the transmission mode) is shared and displayed by the transmission terminal 1a and the reception terminal 1b (electronic device 1 operating in the reception mode). The operation will be described in detail.

図８は、送信端末１ａの制御部１０に形成される機能ブロックの一例を示す図である。図９は、受信端末１ｂの制御部１０に形成される機能ブロックの一例を示す図である。図８及び図９では、図５で示した共有画像処理部１２０に形成される機能ブロックの詳細を示している。図８では、送信端末１ａに形成される共有画像処理部１２０を共有画像処理部１２０ａとして示している。また、図９では、受信端末１ｂに形成される共有画像処理部１２０を共有画像処理部１２０ｂとして示している。図８に示されるように、送信端末１ａの共有画像処理部１２０ａには、共有画像送信制御部１２１、入力情報配置部１２２、表示制御部１２３及び画像記憶制御部１２４が形成される。一方、図９に示されるように、受信端末１ｂの共有画像処理部１２０ｂには、共有画像取得部１２５、入力情報配置部１２２、表示制御部１２３及び画像記憶制御部１２４が形成される。   FIG. 8 is a diagram illustrating an example of functional blocks formed in the control unit 10 of the transmission terminal 1a. FIG. 9 is a diagram illustrating an example of functional blocks formed in the control unit 10 of the receiving terminal 1b. 8 and 9 show details of functional blocks formed in the shared image processing unit 120 shown in FIG. In FIG. 8, the shared image processing unit 120 formed in the transmission terminal 1a is shown as a shared image processing unit 120a. In FIG. 9, the shared image processing unit 120 formed in the receiving terminal 1b is shown as a shared image processing unit 120b. As shown in FIG. 8, a shared image transmission control unit 121, an input information arrangement unit 122, a display control unit 123, and an image storage control unit 124 are formed in the shared image processing unit 120a of the transmission terminal 1a. On the other hand, as shown in FIG. 9, a shared image acquisition unit 125, an input information arrangement unit 122, a display control unit 123, and an image storage control unit 124 are formed in the shared image processing unit 120b of the receiving terminal 1b.

図１０は、送信端末１ａの動作の一例を示すフローチャートである。以下では、図１０のフローチャートに沿って、送信端末１ａ及び受信端末１ｂが、送信端末１ａが撮像するプレビュー画像を共有して表示する動作について説明する。まず、ステップＳ２１において、送信端末１ａは第１プレビュー画像を撮像する。送信端末１ａは、例えば、裏面側撮像部１７ｂによって第１プレビュー画像を撮像する。送信端末１ａは、例えば、前面側撮像部１７ａによってビデオ通話用の画像２１を撮像しながら、裏面側撮像部１７ｂによってビデオ通話用の画像２１とは別に第１プレビュー画像を撮像することができる。   FIG. 10 is a flowchart illustrating an example of the operation of the transmission terminal 1a. Hereinafter, an operation in which the transmission terminal 1a and the reception terminal 1b share and display a preview image captured by the transmission terminal 1a will be described with reference to the flowchart of FIG. First, in step S21, the transmission terminal 1a captures a first preview image. For example, the transmission terminal 1a captures the first preview image by the back side imaging unit 17b. For example, the transmission terminal 1a can capture the first preview image separately from the video call image 21 by the back side imaging unit 17b while capturing the video call image 21 by the front side imaging unit 17a.

次に、ステップＳ２２において、送信端末１ａの表示部１２は、表示制御部１２３の制御によって、第１プレビュー画像を表示する。次にステップＳ２３において、共有画像送信制御部１２１は、無線通信部１１に、裏面側撮像部１７ｂが撮像している第１プレビュー画像を共有画像として受信端末１ｂに送信させる。一方、受信端末１ｂの共有画像取得部１２５は、受信端末１ｂの無線通信部１１が受信する第１プレビュー画像を取得する。すなわち、受信端末１ｂの共有画像取得部１２５は、送信端末１ａが送信する第１プレビュー画像を取得する。そして、受信端末１ｂの表示部１２は、表示制御部１２３の制御によって、共有画像取得部１２５が取得した第１プレビュー画像を表示する。ステップＳ２１〜Ｓ２３の一連の処理によって、送信端末１ａ及び受信端末１ｂがそれぞれ有する表示部１２は、送信端末１ａが撮像する第１プレビュー画像を共有して表示するプレビューモードで動作する。   Next, in step S <b> 22, the display unit 12 of the transmission terminal 1 a displays the first preview image under the control of the display control unit 123. Next, in step S23, the shared image transmission control unit 121 causes the wireless communication unit 11 to transmit the first preview image captured by the back side imaging unit 17b to the receiving terminal 1b as a shared image. On the other hand, the shared image acquisition unit 125 of the receiving terminal 1b acquires the first preview image received by the wireless communication unit 11 of the receiving terminal 1b. That is, the shared image acquisition unit 125 of the receiving terminal 1b acquires the first preview image transmitted by the transmitting terminal 1a. The display unit 12 of the receiving terminal 1b displays the first preview image acquired by the shared image acquisition unit 125 under the control of the display control unit 123. Through a series of processes in steps S21 to S23, the display unit 12 included in each of the transmission terminal 1a and the reception terminal 1b operates in a preview mode in which the first preview image captured by the transmission terminal 1a is shared and displayed.

図１１は、送信端末１ａ及び受信端末１ｂのそれぞれの表示部１２がプレビューモードで表示する共有画面３０ａの一例を概略的に示す図である。図１１に示されるように、共有画面３０ａには、送信端末１ａが撮像する第１プレビュー画像３１ａと、ビデオ通話の相手側が撮像しているビデオ通話用の画像２１が表示されている。画像２１は、第１プレビュー画像３１ａに重ねて表示されている。また、共有画面３０ａには、終了ボタン３２、モード変更ボタン３３、書き込みボタン３４及び静止画保存ボタン３５が第１プレビュー画像３１ａに重ねて表示されている。これらのボタンについては、後で詳細に説明する。   FIG. 11 is a diagram schematically illustrating an example of a shared screen 30a displayed in the preview mode by each display unit 12 of the transmission terminal 1a and the reception terminal 1b. As shown in FIG. 11, a first preview image 31a captured by the transmission terminal 1a and a video call image 21 captured by the other party of the video call are displayed on the shared screen 30a. The image 21 is displayed so as to overlap the first preview image 31a. In addition, on the shared screen 30a, an end button 32, a mode change button 33, a write button 34, and a still image save button 35 are displayed over the first preview image 31a. These buttons will be described in detail later.

第１プレビュー画像３１ａは、送信端末１ａ及び受信端末１ｂがそれぞれ有する表示部１２で共有して表示される共有画像である。図１１の例示では、第１プレビュー画像３１ａは、文字列３６ａを含む対象物体３６を含んでいる。対象物体３６は例えば旅行パンフレットであって、送信端末１ａ及び受信端末１ｂのそれぞれのユーザは、共通に表示される旅行パンフレットを見ながら、ビデオ通話によって旅行の内容を相談することができる。   The first preview image 31a is a shared image that is shared and displayed on the display unit 12 included in each of the transmission terminal 1a and the reception terminal 1b. In the illustration of FIG. 11, the first preview image 31a includes a target object 36 including a character string 36a. The target object 36 is, for example, a travel pamphlet, and each user of the transmission terminal 1a and the reception terminal 1b can consult the contents of the travel by video call while viewing the travel pamphlet displayed in common.

次に、ステップＳ２４において、送信端末１ａの共有画像処理部１２０ａは、モード変更ボタン３３が操作されたか否かを判定する。具体的には、送信端末１ａ及び受信端末１ｂがそれぞれ表示するモード変更ボタン３３のいずれかが操作されたか否かを判定する。送信端末１ａは、タッチパネル１３からの操作信号に基づいて送信端末１ａのモード変更ボタン３３が操作されたか否かを判定することができる。また、受信端末１ｂのモード変更ボタン３３が操作された場合には、受信端末１ｂの操作信号処理部１３０は、無線通信部１１に、当該モード変更ボタン３３が操作されたことを示す操作信号を送信端末１ａに送信させる。送信端末１ａの共有画像処理部１２０ａは、無線通信部１１が受信する当該操作信号を取得することによって、受信端末１ｂが表示するモード変更ボタン３３が操作されたと判定することができる。   Next, in step S24, the shared image processing unit 120a of the transmission terminal 1a determines whether or not the mode change button 33 has been operated. Specifically, it is determined whether any one of the mode change buttons 33 displayed on the transmission terminal 1a and the reception terminal 1b has been operated. The transmission terminal 1a can determine whether or not the mode change button 33 of the transmission terminal 1a is operated based on the operation signal from the touch panel 13. When the mode change button 33 of the receiving terminal 1b is operated, the operation signal processing unit 130 of the receiving terminal 1b sends an operation signal indicating that the mode changing button 33 is operated to the wireless communication unit 11. It is transmitted to the transmission terminal 1a. The shared image processing unit 120a of the transmission terminal 1a can determine that the mode change button 33 displayed on the reception terminal 1b has been operated by acquiring the operation signal received by the wireless communication unit 11.

ステップＳ２４において否定的な判定がなされると、ステップＳ２１が再度実行される。ステップＳ２４において肯定的な判定がなされるまでの間、送信端末１ａ及び受信端末１ｂがそれぞれ有する表示部１２は、送信端末１ａが撮像する第１プレビュー画像３１ａを表示するプレビューモードで動作する。   If a negative determination is made in step S24, step S21 is executed again. Until a positive determination is made in step S24, the display unit 12 included in each of the transmission terminal 1a and the reception terminal 1b operates in a preview mode in which the first preview image 31a captured by the transmission terminal 1a is displayed.

一方、ステップＳ２４において肯定的な判定がなされると、ステップＳ２５が実行される。ステップＳ２５において、送信端末１ａ及び受信端末１ｂの表示部１２は、プレビューモードでの動作を停止する。   On the other hand, if a positive determination is made in step S24, step S25 is executed. In step S25, the display unit 12 of the transmission terminal 1a and the reception terminal 1b stops the operation in the preview mode.

次に、ステップＳ２６において、送信端末１ａ及び受信端末１ｂの表示部１２は、表示制御部１２３の制御によって、プレビューモードを停止したときに表示していた第１プレビュー画像３１ａ、つまり第２プレビュー画像を表示する。ステップＳ２５及びＳ２６の処理によって、送信端末１ａ及び受信端末１ｂがそれぞれ有する表示部１２は、送信端末１ａが撮像した第２プレビュー画像を表示するプレビュー停止モードで動作する。   Next, in step S <b> 26, the display unit 12 of the transmission terminal 1 a and the reception terminal 1 b controls the first preview image 31 a displayed when the preview mode is stopped under the control of the display control unit 123, that is, the second preview image. Is displayed. By the processing in steps S25 and S26, the display unit 12 included in each of the transmission terminal 1a and the reception terminal 1b operates in a preview stop mode in which the second preview image captured by the transmission terminal 1a is displayed.

図１２は、送信端末１ａ及び受信端末１ｂがそれぞれ有する表示部１２がプレビュー停止モードで表示する共有画面３０ｂの一例を概略的に示す図である。図１２に示されるように、共有画面３０ｂには、共通の第２プレビュー画像３１ｂと、ビデオ通話の相手側が撮像するビデオ通話用の画像２１が表示されている。画像２１は、第２プレビュー画像３１ｂ上に重ねて表示される。また、共有画面３０ｂには、終了ボタン３２、モード変更ボタン３３、書き込みボタン３４及び静止画保存ボタン３５が第２プレビュー画像３１ｂ上に重ねて表示されている。   FIG. 12 is a diagram schematically illustrating an example of the shared screen 30b displayed in the preview stop mode by the display unit 12 included in each of the transmission terminal 1a and the reception terminal 1b. As shown in FIG. 12, the shared screen 30b displays a common second preview image 31b and a video call image 21 captured by the other party of the video call. The image 21 is displayed so as to be superimposed on the second preview image 31b. In addition, on the shared screen 30b, an end button 32, a mode change button 33, a write button 34, and a still image save button 35 are displayed over the second preview image 31b.

図１２の例示では、第２プレビュー画像３１ｂは、対象物体３６において文字列３６ａを含む右上部分を拡大して示している。図１２で示される第２プレビュー画像３１ｂは、例えば、プレビューモードの表示部１２が対象物体３６の右上部分を拡大して表示しているときに、モード変更ボタン３３が操作された場合の画像を示している。このように、プレビュー停止モードの表示部１２は、プレビューモードの表示部１２が表示していた第１プレビュー画像３１ａのうちプレビューモードが停止された時点の第１プレビュー画像３１ａを第２プレビュー画像３１ｂとして表示することから、ユーザは、プレビューモードの表示部１２が表示していた第１プレビュー画像３１ａが更新されるのを止めたときの画像を第２プレビュー画像３１ｂとしてじっくりと見ることができる。   In the illustration of FIG. 12, the second preview image 31 b shows an enlarged upper right portion including the character string 36 a in the target object 36. The second preview image 31b shown in FIG. 12 is an image when the mode change button 33 is operated, for example, when the display unit 12 in the preview mode enlarges and displays the upper right part of the target object 36. Show. As described above, the display unit 12 in the preview stop mode displays the first preview image 31a at the time when the preview mode is stopped among the first preview images 31a displayed by the display unit 12 in the preview mode as the second preview image 31b. Therefore, the user can view the image when the first preview image 31a displayed by the display unit 12 in the preview mode is not updated as the second preview image 31b.

次に、ステップＳ２７において、共有画像処理部１２０ａは、モード変更ボタン３３が操作されたか否かを判定する。具体的には、送信端末１ａ及び受信端末１ｂがそれぞれ表示するモード変更ボタン３３のいずれか一つが操作されたか否かを判定する。この処理は、ステップＳ２４での処理と同様であるため説明を省略する。   Next, in step S27, the shared image processing unit 120a determines whether or not the mode change button 33 has been operated. Specifically, it is determined whether any one of the mode change buttons 33 displayed on the transmission terminal 1a and the reception terminal 1b is operated. Since this process is the same as the process in step S24, description thereof is omitted.

ステップＳ２７において、否定的な判定がなされると、ステップＳ２６が再度実行される。ステップＳ２７において肯定的な判定がなされるまでの間、送信端末１ａ及び受信端末１ｂがそれぞれ有する表示部１２は、共通の第２プレビュー画像３１ｂを表示するプレビュー停止モードで動作する。   If a negative determination is made in step S27, step S26 is executed again. Until a positive determination is made in step S27, the display unit 12 included in each of the transmission terminal 1a and the reception terminal 1b operates in a preview stop mode in which the common second preview image 31b is displayed.

一方、ステップＳ２７において肯定的な判定がなされると、ステップＳ２１が再度実行される。そして、送信端末１ａ及び受信端末１ｂがそれぞれ有する表示部１２は、送信端末１ａが撮像する第１プレビュー画像３１ａを表示するプレビューモードで動作する。   On the other hand, if a positive determination is made in step S27, step S21 is executed again. The display units 12 included in the transmission terminal 1a and the reception terminal 1b operate in a preview mode in which the first preview image 31a captured by the transmission terminal 1a is displayed.

表示部１２がプレビューモードあるいはプレビュー停止モードで動作しているとき、タッチパネル１３が終了ボタン３２への操作を検出すると、表示部１２は、プレビューモードあるいはプレビュー停止モードでの動作を終了する。そして、表示部１２は、例えば、ビデオ通話画面２０を再度表示する。   When the display unit 12 is operating in the preview mode or the preview stop mode, when the touch panel 13 detects an operation on the end button 32, the display unit 12 ends the operation in the preview mode or the preview stop mode. Then, the display unit 12 displays the video call screen 20 again, for example.

＜入力情報の表示＞
電子機器１は、表示部１２がプレビューモードあるいはプレビュー停止モードで動作しているときに、当該表示部１２が表示する書き込みボタン３４への操作を検出することによって、ユーザが当該電子機器１に入力情報を入力することができる書き込みモードで動作する。表示部１２は、書き込みモードで動作する電子機器１に入力された入力情報を、プレビュー画像に重ねて表示する。 <Display input information>
When the display unit 12 operates in the preview mode or the preview stop mode, the electronic device 1 detects an operation on the write button 34 displayed on the display unit 12, thereby allowing the user to input to the electronic device 1. Operates in write mode where information can be entered. The display unit 12 displays the input information input to the electronic device 1 operating in the writing mode so as to overlap the preview image.

＜プレビュー停止モードでの入力情報の表示＞
図１３は、受信端末１ｂに入力情報が入力され、送信端末１ａ及び受信端末１ｂが当該入力情報を表示する動作の一例を示すフローチャートである。以下では、図１３のフローチャートに沿って、送信端末１ａ及び受信端末１ｂの表示部１２がプレビュー停止モードで動作しているときに、受信端末１ｂに入力情報が入力される場合を例に説明する。 <Display input information in preview stop mode>
FIG. 13 is a flowchart illustrating an example of an operation in which input information is input to the receiving terminal 1b and the transmitting terminal 1a and the receiving terminal 1b display the input information. Hereinafter, a case where input information is input to the receiving terminal 1b when the display units 12 of the transmitting terminal 1a and the receiving terminal 1b are operating in the preview stop mode will be described with reference to the flowchart of FIG. .

まず、ステップＳ３１において、受信端末１ｂのタッチパネル１３は、受信端末１ｂの表示部１２が表示する書き込みボタン３４への操作を検出する。   First, in step S31, the touch panel 13 of the receiving terminal 1b detects an operation on the writing button 34 displayed on the display unit 12 of the receiving terminal 1b.

次に、ステップＳ３２において、受信端末１ｂは、書き込みモードで動作する。受信端末１ｂが書き込みモードで動作している場合、ユーザは、当該受信端末１ｂに情報を入力することができる。ユーザは、例えば、指等の操作子で表示領域２ａに図形などを描くことによって、受信端末１ｂに当該図形などの情報を入力することができる。このような情報の入力操作は、タッチパネル１３によって検出される。   Next, in step S32, the receiving terminal 1b operates in the write mode. When the receiving terminal 1b is operating in the writing mode, the user can input information to the receiving terminal 1b. The user can input information such as the figure to the receiving terminal 1b by drawing a figure or the like in the display area 2a with an operator such as a finger. Such information input operation is detected by the touch panel 13.

図１４は、書き込みモードで動作する受信端末１ｂに入力情報が入力される様子を示している。図１４では、送信端末１ａ及び受信端末１ｂの表示部１２がプレビュー停止モードで動作しているときに、受信端末１ｂが表示する書き込みボタン３４が操作された場合について示している。図１４に示されるように、書き込みモードで動作する受信端末１ｂの表示部１２が表示する書き込み画面４０には、第２プレビュー画像３１ｂ、終了ボタン４１、基準図形４２及び入力情報４３が表示されている。基準図形４２は、後述するように、入力情報４３の表示位置及び表示サイズの基準となる図形であって、例えば、書き込み画面４０の中央部に表示される。図１４の例示では、入力情報４３は、操作子４４が、書き込み画面４０での文字列３６ａの一部を囲むようになぞることによって入力された図形である。入力情報４３は、書き込み画面４０において、第２プレビュー画像３１ｂの上に重ねて表示される。ユーザは、例えば、第２プレビュー画像３１ｂにおいて、気になる箇所に印をつけることができる。あるいは、ユーザは、第２プレビュー画像３１ｂにおいて、メモやコメント等を追記することができる。   FIG. 14 shows a state in which input information is input to the receiving terminal 1b operating in the writing mode. FIG. 14 shows a case where the writing button 34 displayed on the receiving terminal 1b is operated when the display units 12 of the transmitting terminal 1a and the receiving terminal 1b are operating in the preview stop mode. As shown in FIG. 14, a second preview image 31b, an end button 41, a reference graphic 42, and input information 43 are displayed on the writing screen 40 displayed on the display unit 12 of the receiving terminal 1b operating in the writing mode. Yes. As will be described later, the reference graphic 42 is a graphic that serves as a reference for the display position and display size of the input information 43 and is displayed, for example, in the center of the writing screen 40. In the example of FIG. 14, the input information 43 is a graphic input by tracing the operator 44 so as to surround a part of the character string 36 a on the writing screen 40. The input information 43 is displayed on the writing screen 40 so as to be superimposed on the second preview image 31b. For example, the user can mark a portion of interest in the second preview image 31b. Alternatively, the user can add notes, comments, and the like in the second preview image 31b.

書き込み画面４０における入力情報４３の表示位置は、例えば、第２プレビュー画像３１ｂの一部を基準画像として、当該基準画像の表示位置に対する相対的な表示位置として記憶部１０３に記憶される。また、書き込み画面４０における入力情報４３の表示サイズは、例えば、基準画像の表示サイズに対する相対的な表示サイズとして記憶部１０３に記憶される。基準画像としては、例えば、第２プレビュー画像３１ｂにおいて、図１４に示される基準図形４２の中心から所定範囲内に位置する部分画像が採用される。なお、基準図形４２を書き込み画面４０に表示せずに、第２プレビュー画像３１ｂにおいて、書き込み画面４０での所定位置から所定範囲内に位置する部分画像を基準画像としてもよい。   The display position of the input information 43 on the writing screen 40 is stored in the storage unit 103 as a display position relative to the display position of the reference image, for example, with a part of the second preview image 31b as a reference image. Further, the display size of the input information 43 on the writing screen 40 is stored in the storage unit 103 as a display size relative to the display size of the reference image, for example. As the reference image, for example, a partial image located within a predetermined range from the center of the reference graphic 42 shown in FIG. 14 in the second preview image 31b is employed. Instead of displaying the reference graphic 42 on the writing screen 40, a partial image located within a predetermined range from a predetermined position on the writing screen 40 in the second preview image 31b may be used as the reference image.

タッチパネル１３が終了ボタン４１への操作を検出すると、受信端末１ｂは、書き込みモードでの動作を終了する。そして、ステップＳ３３において、受信端末１ｂの表示部１２は、書き込み画面４０で表示した入力情報４３を共有画面３０ｂに表示する。図１５は、入力情報４３が入力された受信端末１ｂの表示部１２が表示する共有画面３０ｂの一例を概略的に示す図である。図１５に示されるように、共有画面３０ｂには、入力情報４３が、第２プレビュー画像３１ｂに重ねて表示されている。上記のように、表示部１２がプレビュー停止モードで動作しているときに入力情報４３が入力された場合には、共有画面３０ｂにおける入力情報４３の表示位置及び表示サイズは、それぞれ、当該入力情報４３が入力された書き込み画面４０における表示位置及び表示サイズと一致している。   When the touch panel 13 detects an operation on the end button 41, the receiving terminal 1b ends the operation in the writing mode. In step S33, the display unit 12 of the receiving terminal 1b displays the input information 43 displayed on the writing screen 40 on the shared screen 30b. FIG. 15 is a diagram schematically illustrating an example of the shared screen 30b displayed on the display unit 12 of the receiving terminal 1b to which the input information 43 is input. As shown in FIG. 15, the input information 43 is displayed on the shared screen 30b so as to overlap the second preview image 31b. As described above, when the input information 43 is input while the display unit 12 is operating in the preview stop mode, the display position and the display size of the input information 43 on the shared screen 30b are respectively the input information. 43 coincides with the display position and display size in the input writing screen 40.

次に、ステップＳ３４において、入力情報４３が入力された受信端末１ｂの入力情報配置部１２２は、送信端末１ａが当該入力情報４３を表示するための配置情報を生成する。そして、入力情報配置部１２２は、無線通信部１１に、生成した配置情報を送信端末１ａに送信させる。当該配置情報には、入力情報４３と、共有画面３０ｂにおける当該入力情報４３の表示位置及び表示サイズの情報とが含まれる。配置情報を受信した送信端末１ａは、当該配置情報に基づいて、送信端末１ａの表示部１２が表示する共有画面３０ｂに入力情報４３を表示する。送信端末１ａの表示部１２が表示する共有画面３０ｂは、図１５に示した受信端末１ｂの共有画面３０ｂと同様になる。   Next, in step S34, the input information arrangement unit 122 of the receiving terminal 1b to which the input information 43 has been input generates arrangement information for the transmission terminal 1a to display the input information 43. Then, the input information arrangement unit 122 causes the wireless communication unit 11 to transmit the generated arrangement information to the transmission terminal 1a. The arrangement information includes input information 43 and information on the display position and display size of the input information 43 on the shared screen 30b. The transmission terminal 1a that has received the arrangement information displays the input information 43 on the shared screen 30b displayed on the display unit 12 of the transmission terminal 1a based on the arrangement information. The shared screen 30b displayed on the display unit 12 of the transmitting terminal 1a is the same as the shared screen 30b of the receiving terminal 1b shown in FIG.

以上のように、送信端末１ａ及び受信端末１ｂがそれぞれ有する表示部１２は、受信端末１ｂに入力された入力情報４３を、第２プレビュー画像に重ねて表示する。これにより、送信端末１ａ及び受信端末１ｂのそれぞれのユーザは、受信端末１ｂのユーザによって入力された入力情報４３を第２プレビュー画像とともに見ることができる。   As described above, the display unit 12 included in each of the transmission terminal 1a and the reception terminal 1b displays the input information 43 input to the reception terminal 1b so as to overlap the second preview image. Thereby, each user of the transmission terminal 1a and the reception terminal 1b can see the input information 43 input by the user of the reception terminal 1b together with the second preview image.

なお、上記の例では、書き込みモードで動作する受信端末１ｂに入力情報４３が入力される場合を例に説明したが、送信端末１ａの書き込みボタン３４が操作されて、書き込みモードで動作する送信端末１ａに入力情報４３が入力されてもよい。送信端末１ａに入力情報４３が入力される場合には、送信端末１ａの入力情報配置部１２２は、無線通信部１１を通じて、受信端末１ｂに、受信端末１ｂが当該入力情報４３を表示するための配置情報を送信する。これにより、送信端末１ａ及び受信端末１ｂがそれぞれ有する表示部１２は、送信端末１ａに入力された入力情報４３を、共有画像に重ねて表示することができる。   In the above example, the case where the input information 43 is input to the receiving terminal 1b that operates in the writing mode has been described as an example, but the transmitting terminal that operates in the writing mode by operating the writing button 34 of the transmitting terminal 1a. Input information 43 may be input to 1a. When the input information 43 is input to the transmission terminal 1a, the input information arrangement unit 122 of the transmission terminal 1a allows the reception terminal 1b to display the input information 43 on the reception terminal 1b through the wireless communication unit 11. Send placement information. Thereby, the display unit 12 included in each of the transmission terminal 1a and the reception terminal 1b can display the input information 43 input to the transmission terminal 1a so as to overlap the shared image.

＜プレビューモードでの入力情報の表示＞
以下では、表示部１２の動作モードがプレビュー停止モードからプレビューモードに切り替わった場合に、プレビュー停止モードで第２プレビュー画像３１ｂに重ねて表示した入力情報４３を、プレビューモードで動作する表示部１２が表示する場合について説明する。以下の説明では、送信端末１ａと受信端末１ｂとを区別せずに、電子機器１として説明する。 <Display input information in preview mode>
In the following description, when the operation mode of the display unit 12 is switched from the preview stop mode to the preview mode, the display unit 12 operating in the preview mode displays the input information 43 displayed on the second preview image 31b in the preview stop mode. The case of displaying will be described. In the following description, the transmission terminal 1a and the reception terminal 1b are not distinguished from each other and described as the electronic device 1.

上述のように、表示部１２がプレビュー停止モードで動作していたときに、電子機器１に入力された入力情報４３の表示位置は、第２プレビュー画像３１ｂの一部である基準画像の表示位置に対する相対的な位置として記憶部１０３に記憶される。また、入力情報４３の表示サイズは、基準画像の表示サイズに対する相対的な大きさとして記憶部１０３に記憶される。   As described above, when the display unit 12 is operating in the preview stop mode, the display position of the input information 43 input to the electronic device 1 is the display position of the reference image that is a part of the second preview image 31b. Is stored in the storage unit 103 as a relative position. The display size of the input information 43 is stored in the storage unit 103 as a relative size with respect to the display size of the reference image.

表示部１２の動作モードがプレビュー停止モードからプレビューモードに切り替わるときに、プレビュー停止モードで表示した入力情報４３がある場合には、入力情報配置部１２２は、プレビューモードの表示部１２が表示する第１プレビュー画像３１ａにおいて、プレビュー停止モードで表示した基準画像に対応する画像を特定する処理を行う。この処理は、例えば、周知の画像認識技術などによって実現される。基準画像とは表示される位置あるいはサイズが異なる画像を基準画像に対応する画像と特定するために、例えば、特徴点抽出などによる画像認識技術が用いられる。第１プレビュー画像３１ａにおいて、プレビュー停止モードで表示した基準画像に対応する画像は、第１プレビュー画像３１ａにおいて、当該基準画像に写る被写体と同じ被写体が写る画像であると言える。   When the operation mode of the display unit 12 is switched from the preview stop mode to the preview mode, if there is the input information 43 displayed in the preview stop mode, the input information arrangement unit 122 displays the first information displayed on the display unit 12 in the preview mode. In one preview image 31a, processing for specifying an image corresponding to the reference image displayed in the preview stop mode is performed. This process is realized by, for example, a known image recognition technique. For example, an image recognition technique using feature point extraction or the like is used to identify an image that is displayed at a different position or size from the reference image as an image corresponding to the reference image. In the first preview image 31a, the image corresponding to the reference image displayed in the preview stop mode can be said to be an image in which the same subject as the subject appearing in the reference image is shown in the first preview image 31a.

第１プレビュー画像３１ａにおいて、第２プレビュー画像３１ｂにおける基準画像と対応する画像が特定された場合には、入力情報配置部１２２は、当該画像の表示位置及び表示サイズと、記憶部１０３に記憶された、基準画像に対する入力情報４３の相対的な表示位置及び表示サイズとに基づいて、第１プレビュー画像３１ａにおける入力情報４３の表示位置及び表示サイズを決定する。そして、入力情報４３は、第１プレビュー画像３１ａに重ねて表示される。一方、第１プレビュー画像３１ａにおいて、基準画像に対応する画像が特定されない場合には、入力情報配置部１２２は、例えば、基準画像に対応する画像が特定されるまで、所定時間毎に当該画像を特定する処理を繰り返す。   When the image corresponding to the reference image in the second preview image 31b is specified in the first preview image 31a, the input information arrangement unit 122 is stored in the storage unit 103 and the display position and display size of the image. The display position and display size of the input information 43 in the first preview image 31a are determined based on the relative display position and display size of the input information 43 with respect to the reference image. The input information 43 is displayed so as to overlap the first preview image 31a. On the other hand, when the image corresponding to the reference image is not specified in the first preview image 31a, the input information arrangement unit 122, for example, displays the image every predetermined time until the image corresponding to the reference image is specified. Repeat the specified process.

プレビューモードの表示部１２が表示する共有画面３０ａにおいて、第１プレビュー画像３１ａにおける基準画像と対応する画像の表示位置及び表示サイズは、当該第１プレビュー画像３１ａを撮像する送信端末１ａの移動などによって変化する。この場合、第１プレビュー画像３１ａにおける基準画像と対応する画像の表示位置及び表示サイズの変化に伴って、入力情報４３の表示位置及び表示サイズがそれぞれ変化する。   In the shared screen 30a displayed by the display unit 12 in the preview mode, the display position and the display size of the image corresponding to the reference image in the first preview image 31a are determined by the movement of the transmission terminal 1a that captures the first preview image 31a. Change. In this case, the display position and display size of the input information 43 change with changes in the display position and display size of the image corresponding to the reference image in the first preview image 31a.

図１６（ａ）〜（ｃ）は、共有画面３０ａにおいて、入力情報４３の表示が変化する様子を説明するための図である。図１６（ａ）〜（ｃ）では、第１プレビュー画像３１ａを撮像している送信端末１ａの移動などによって、第１プレビュー画像３１ａにおける基準画像と対応する画像の表示位置及び表示サイズが変化する場合に、入力情報４３が表示されなくなったり、再度表示されたりする様子を示している。図１６（ａ）〜（ｃ）のそれぞれは、その順で、プレビューモードの表示部１２が時系列に表示する一連の共有画面３０ａを示している。   FIGS. 16A to 16C are diagrams for explaining how the display of the input information 43 changes on the shared screen 30a. In FIGS. 16A to 16C, the display position and the display size of the image corresponding to the reference image in the first preview image 31a change due to the movement of the transmission terminal 1a capturing the first preview image 31a. In this case, the input information 43 is not displayed or is displayed again. Each of FIGS. 16A to 16C shows a series of shared screens 30a displayed in time series by the display unit 12 in the preview mode.

まず、プレビューモードの表示部１２は、図１６（ａ）に示される共有画面３０ａを表示する。図１６（ａ）の例示では、共有画面３０ａにおいて対象物体３６の全体が表示されている。また、入力情報４３は、基準画像と対応する画像との相対的な表示位置及び表示サイズに基づいて、対象物体３６の右上部分に重ねて表示されている。   First, the preview mode display unit 12 displays the shared screen 30a shown in FIG. In the example of FIG. 16A, the entire target object 36 is displayed on the shared screen 30a. The input information 43 is displayed so as to be superimposed on the upper right portion of the target object 36 based on the relative display position and display size of the reference image and the corresponding image.

次に、表示部１２は、図１６（ｂ）に示される共有画面３０ａを表示する。図１６（ｂ）の例示では、例えば、第１プレビュー画像３１ａを撮像している送信端末１ａが図１６（ａ）での状態から左側に移動したことによって、対象物体３６の略左半分が表示されている。この場合、基準画像と対応する画像の表示位置の移動に伴って、入力情報４３の表示位置も移動する。また、第１プレビュー画像３１ａにおける基準画像と対応する画像の表示位置に基づく、入力情報４３の表示位置が共有画面３０ａの表示範囲外となる場合には、図１６（ｂ）に示されるように当該入力情報４３は表示されない。   Next, the display unit 12 displays the shared screen 30a shown in FIG. In the illustration of FIG. 16B, for example, when the transmission terminal 1a capturing the first preview image 31a moves to the left from the state in FIG. 16A, the substantially left half of the target object 36 is displayed. Has been. In this case, the display position of the input information 43 also moves with the movement of the display position of the image corresponding to the reference image. Also, when the display position of the input information 43 based on the display position of the image corresponding to the reference image in the first preview image 31a is outside the display range of the shared screen 30a, as shown in FIG. The input information 43 is not displayed.

次に、表示部１２は、図１６（ｃ）に示される共有画面３０ａを表示する。図１６（ｃ）の例示では、例えば、第１プレビュー画像３１ａを撮像する送信端末１ａが図１６（ｂ）での状態から右側かつ対象物体３６に近づくように移動したことによって、対象物体３６の略右半分が拡大されて表示されている。このように、第１プレビュー画像３１ａにおける基準画像と対応する画像の表示位置に基づく入力情報４３の表示位置が、再び共有画面３０ａの表示範囲内になった場合には、入力情報４３が再度表示される。また、第１プレビュー画像３１ａにおける基準画像と対応する画像の表示サイズの拡大に伴って、入力情報４３も拡大して表示される。   Next, the display unit 12 displays the shared screen 30a shown in FIG. In the example of FIG. 16C, for example, the transmission terminal 1 a that captures the first preview image 31 a moves to the right side and approaches the target object 36 from the state in FIG. The approximate right half is enlarged. As described above, when the display position of the input information 43 based on the display position of the image corresponding to the reference image in the first preview image 31a falls within the display range of the shared screen 30a again, the input information 43 is displayed again. Is done. Further, the input information 43 is enlarged and displayed as the display size of the image corresponding to the reference image in the first preview image 31a is enlarged.

第１プレビュー画像３１ａにおける基準画像と対応する画像の表示位置及び表示サイズの変化に伴って、入力情報４３の表示位置及び表示サイズをそれぞれ変更するために、当該基準画像と対応する画像を特定する処理が所定時間毎に実行される。あるいは、第１プレビュー画像３１ａにおける基準画像と対応する画像が一旦特定されたあとは、当該画像の表示位置及び表示サイズの変化を検出することによって入力情報４３の表示位置及び表示サイズをそれぞれ変更してもよい。これには、例えば、周知のオブジェクトトラッキングなどの画像処理技術が用いられる。このオブジェクトトラッキングは、例えば、第１プレビュー画像３１ａにおいて動きベクトルを算出することによって実現される。   The image corresponding to the reference image is specified in order to change the display position and display size of the input information 43 in accordance with the change in the display position and display size of the image corresponding to the reference image in the first preview image 31a. The process is executed every predetermined time. Alternatively, after the image corresponding to the reference image in the first preview image 31a is once specified, the display position and the display size of the input information 43 are respectively changed by detecting changes in the display position and the display size of the image. May be. For this, for example, a known image processing technique such as object tracking is used. This object tracking is realized, for example, by calculating a motion vector in the first preview image 31a.

上記のように、プレビュー停止モードの表示部１２は、電子機器１に入力される入力情報４３を、第２プレビュー画像３１ｂに重ねて表示する。また、表示部１２の表示モードがプレビュー停止モードからプレビューモードに切り替わった場合、当該表示部１２は、プレビュー停止モードで第２プレビュー画像３１ｂに重ねて表示した入力情報４３を、第１プレビュー画像３１ａに重ねて表示する。第１プレビュー画像３１ａに重ねて表示される入力情報４３は、プレビューモードでの第１プレビュー画像３１ａにおける、プレビュー停止モードでの基準画像と対応する画像の表示位置及び表示サイズに基づいて表示される。これにより、電子機器１のユーザは、第１プレビュー画像３１ａに重ねて表示させたい入力情報４３を、当該第１プレビュー画像３１ａにおける入力情報４３を重ねたい部分の画像と対応する第２プレビュー画像３１ｂを見ながら入力することができる。よって、ユーザは、第１プレビュー画像３１ａに重ねて表示させたい入力情報４３を入力しやすくなる。   As described above, the display unit 12 in the preview stop mode displays the input information 43 input to the electronic device 1 so as to overlap the second preview image 31b. In addition, when the display mode of the display unit 12 is switched from the preview stop mode to the preview mode, the display unit 12 displays the input information 43 displayed on the second preview image 31b in the preview stop mode, in the first preview image 31a. Overlaid on the display. The input information 43 displayed so as to overlap the first preview image 31a is displayed based on the display position and display size of the image corresponding to the reference image in the preview stop mode in the first preview image 31a in the preview mode. . As a result, the user of the electronic device 1 can input the input information 43 to be displayed over the first preview image 31a to the second preview image 31b corresponding to the image of the portion of the first preview image 31a where the input information 43 is to be overlapped. You can input while watching. Therefore, the user can easily input the input information 43 that is desired to be displayed on the first preview image 31a.

＜プレビューモードでの情報の入力＞
以下では、送信端末１ａ及び受信端末１ｂの表示部１２がプレビューモードで動作しているときに、受信端末１ｂに入力情報４３が入力される場合について説明する。 <Input information in preview mode>
Hereinafter, a case where the input information 43 is input to the receiving terminal 1b when the display unit 12 of the transmitting terminal 1a and the receiving terminal 1b is operating in the preview mode will be described.

送信端末１ａ及び受信端末１ｂがそれぞれ有する表示部１２がプレビューモードで動作しているときに、受信端末１ｂの表示部１２が表示する書き込みボタン３４が操作された場合、受信端末１ｂは書き込みモードで動作する。受信端末１ｂがプレビューモードから書き込みモードに切り替わった場合には、図１４で示した書き込み画面４０とは異なり、書き込み画面４０には、第２プレビュー画像３１ｂに替わり第１プレビュー画像３１ａが表示される。入力情報４３の入力操作は、プレビュー停止モードでの入力操作と同様であるので詳細な説明は省略する。   When the writing button 34 displayed on the display unit 12 of the receiving terminal 1b is operated while the display unit 12 included in each of the transmitting terminal 1a and the receiving terminal 1b is operating in the preview mode, the receiving terminal 1b is in the writing mode. Operate. When the receiving terminal 1b is switched from the preview mode to the writing mode, unlike the writing screen 40 shown in FIG. 14, the first preview image 31a is displayed on the writing screen 40 instead of the second preview image 31b. . Since the input operation of the input information 43 is the same as the input operation in the preview stop mode, detailed description is omitted.

第１プレビュー画像３１ａにおける入力情報４３の表示位置は、例えば、第１プレビュー画像３１ａの一部を基準画像として、当該基準画像の表示位置に対する相対的な位置として記憶部１０３に記憶される。また、第１プレビュー画像３１ａにおける入力情報４３の表示サイズは、例えば、基準画像の表示サイズに対する相対的な大きさとして記憶部１０３に記憶される。基準画像としては、例えば、第１プレビュー画像３１ａにおいて、基準図形４２の中心から所定範囲内に位置する部分画像が採用される。   The display position of the input information 43 in the first preview image 31a is stored in the storage unit 103 as, for example, a part of the first preview image 31a as a reference image and a relative position with respect to the display position of the reference image. The display size of the input information 43 in the first preview image 31a is stored in the storage unit 103 as a relative size with respect to the display size of the reference image, for example. As the reference image, for example, a partial image located within a predetermined range from the center of the reference graphic 42 in the first preview image 31a is employed.

第２プレビュー画像３１ｂの一部を基準画像とした場合と異なり、第１プレビュー画像３１ａにおいて、基準図形４２の中心から所定範囲内に位置する部分画像は、例えば、当該第１プレビュー画像３１ａを撮像している送信端末１ａの移動などによって、入力情報４３の入力操作中に変化する場合がある。このため、例えば、受信端末１ｂがプレビューモードから書き込みモードに切り替わったときに表示される第１プレビュー画像３１ａにおいて、基準図形４２の中心から所定範囲内に位置する部分画像を基準画像とする。   Unlike the case where a part of the second preview image 31b is used as a reference image, a partial image located within a predetermined range from the center of the reference graphic 42 in the first preview image 31a, for example, captures the first preview image 31a. It may change during the input operation of the input information 43 due to the movement of the transmitting terminal 1a. Therefore, for example, in the first preview image 31a displayed when the receiving terminal 1b is switched from the preview mode to the writing mode, a partial image located within a predetermined range from the center of the reference graphic 42 is set as a reference image.

タッチパネル１３が終了ボタン４１への操作を検出すると、受信端末１ｂは書き込みモードでの動作を終了する。そして、受信端末１ｂの表示部１２は、書き込み画面４０で表示した入力情報４３を、プレビューモードで表示する共有画面３０ａに表示する。   When the touch panel 13 detects an operation on the end button 41, the receiving terminal 1b ends the operation in the writing mode. Then, the display unit 12 of the receiving terminal 1b displays the input information 43 displayed on the writing screen 40 on the shared screen 30a displayed in the preview mode.

共有画面３０ａに表示される、プレビューモードで動作しているときに入力された入力情報４３の表示位置及び表示サイズはそれぞれ、第１プレビュー画像３１ａにおける基準画像に対応する画像の表示位置及び表示サイズに基づいて決定される。この入力情報４３の表示位置及び表示サイズの決定は、プレビュー停止モードで入力された入力情報４３をプレビューモードで表示する場合と同様の処理によって行われる。   The display position and the display size of the input information 43 displayed when operating in the preview mode displayed on the shared screen 30a are the display position and the display size of the image corresponding to the reference image in the first preview image 31a, respectively. To be determined. The display position and display size of the input information 43 are determined by the same process as when the input information 43 input in the preview stop mode is displayed in the preview mode.

そして、入力情報４３が入力された受信端末１ｂの入力情報配置部１２２は、送信端末１ａに、送信端末１ａが当該入力情報４３を表示するための配置情報を無線通信部１１を通じて送信する。配置情報には、入力情報４３と、共有画面３０ａにおける当該入力情報４３の表示位置及び表示サイズの情報とが含まれる。配置情報を受信した送信端末１ａは、当該配置情報に基づいて、送信端末１ａの表示部１２が表示する共有画面３０ａに入力情報４３を表示する。   Then, the input information arrangement unit 122 of the receiving terminal 1b to which the input information 43 is input transmits, to the transmission terminal 1a, arrangement information for the transmission terminal 1a to display the input information 43 through the wireless communication unit 11. The arrangement information includes input information 43 and information on the display position and display size of the input information 43 on the shared screen 30a. The transmission terminal 1a that has received the arrangement information displays the input information 43 on the shared screen 30a displayed on the display unit 12 of the transmission terminal 1a based on the arrangement information.

なお、上記の例では、書き込みモードで動作する受信端末１ｂに入力情報４３が入力される場合を例に説明したが、送信端末１ａの書き込みボタン３４が操作されて、書き込みモードで動作する送信端末１ａに入力情報４３が入力されてもよい。送信端末１ａに入力情報４３が入力される場合には、送信端末１ａの入力情報配置部１２２は、受信端末１ｂに、受信端末１ｂが当該入力情報４３を表示するための配置情報を無線通信部１１を通じて送信する。これにより、送信端末１ａ及び受信端末１ｂがそれぞれ有する表示部１２は、送信端末１ａに入力された入力情報４３を、共有画像に重ねて表示することができる。   In the above example, the case where the input information 43 is input to the receiving terminal 1b that operates in the writing mode has been described as an example, but the transmitting terminal that operates in the writing mode by operating the writing button 34 of the transmitting terminal 1a. Input information 43 may be input to 1a. When the input information 43 is input to the transmission terminal 1a, the input information arrangement unit 122 of the transmission terminal 1a sends the arrangement information for the reception terminal 1b to display the input information 43 to the reception terminal 1b. 11 to transmit. Thereby, the display unit 12 included in each of the transmission terminal 1a and the reception terminal 1b can display the input information 43 input to the transmission terminal 1a so as to overlap the shared image.

表示部１２がプレビューモードからプレビュー停止モードに切り替わるときに、プレビューモードで表示した入力情報４３がある場合には、当該入力情報４３を、プレビュー停止モードで表示する第２プレビュー画像３１ｂに重ねて表示する。この処理は、表示部１２の動作モードがプレビュー停止モードからプレビューモードに切り替わるときに、プレビュー停止モードで表示した入力情報４３をプレビューモードで表示する第１プレビュー画像３１ａに重ねて表示する場合と同様の処理が行われる。具体的には、表示部１２の表示モードがプレビュー停止モードからプレビューモードに切り替わった場合、当該表示部１２は、プレビューモードで第１プレビュー画像３１ａに重ねて表示した入力情報４３を、プレビュー停止モードでの第２プレビュー画像３１ｂにおける、プレビューモードでの基準画像と対応する画像の表示位置及び表示サイズに基づいて、第２プレビュー画像３１ｂに重ねて表示する。   When the display unit 12 switches from the preview mode to the preview stop mode, if there is input information 43 displayed in the preview mode, the input information 43 is displayed so as to overlap the second preview image 31b displayed in the preview stop mode. To do. This process is the same as when the input information 43 displayed in the preview stop mode is displayed on the first preview image 31a displayed in the preview mode when the operation mode of the display unit 12 is switched from the preview stop mode to the preview mode. Is performed. Specifically, when the display mode of the display unit 12 is switched from the preview stop mode to the preview mode, the display unit 12 displays the input information 43 superimposed on the first preview image 31a in the preview mode in the preview stop mode. Based on the display position and display size of the image corresponding to the reference image in the preview mode in the second preview image 31b, the second preview image 31b is overlaid on the second preview image 31b.

＜共有画面の保存＞
本実施の形態では、送信端末１ａ及び受信端末１ｂのそれぞれは、各々の表示部１２が表示する共有画面を静止画像として記憶部１０３に保存することができる。また、送信端末１ａ及び受信端末１ｂのそれぞれは、各々の表示部１２が表示する共有画面を動画像として記憶部１０３に保存することができる。以下の説明では、送信端末１ａ及び受信端末１ｂを特に区別せずに、電子機器１として説明する。 <Save shared screen>
In the present embodiment, each of the transmission terminal 1a and the reception terminal 1b can store the shared screen displayed by each display unit 12 in the storage unit 103 as a still image. Further, each of the transmission terminal 1a and the reception terminal 1b can save the shared screen displayed on each display unit 12 in the storage unit 103 as a moving image. In the following description, the transmission terminal 1a and the reception terminal 1b will be described as the electronic device 1 without particularly distinguishing them.

図１７は、制御部１０に形成される機能ブロックの一例を示す図である。図１７では、図８及び図９で示した画像記憶制御部１２４に形成される機能ブロックの詳細を示している。図１７に示されるように、画像記憶制御部１２４は、プレビューモードあるいはプレビュー停止モードで動作する表示部１２が表示する共有画面を静止画像として記憶部１０３に保存するための静止画像記憶制御部１２４ａを備える。また、画像記憶制御部１２４は、プレビューモードあるいはプレビュー停止モードで動作する表示部１２が表示する共有画面を動画像として記憶部１０３に保存するための動画像記憶制御部１２４ｂを備える。静止画像記憶制御部１２４ａは、入力情報量検出部１２４ａａ、通話量検出部１２４ａｂ及び通話音量検出部１２４ａｃを備える。動画像記憶制御部１２４ｂは、タイミング特定部１２４ｂａを備える。   FIG. 17 is a diagram illustrating an example of functional blocks formed in the control unit 10. FIG. 17 illustrates details of functional blocks formed in the image storage control unit 124 illustrated in FIGS. 8 and 9. As shown in FIG. 17, the image storage control unit 124 is a still image storage control unit 124a for saving the shared screen displayed by the display unit 12 operating in the preview mode or the preview stop mode as a still image in the storage unit 103. Is provided. Further, the image storage control unit 124 includes a moving image storage control unit 124b for saving the shared screen displayed by the display unit 12 operating in the preview mode or the preview stop mode as a moving image in the storage unit 103. The still image storage control unit 124a includes an input information amount detection unit 124aa, a call volume detection unit 124ab, and a call volume detection unit 124ac. The moving image storage control unit 124b includes a timing specifying unit 124ba.

静止画像記憶制御部１２４ａは、タッチパネル１３が、プレビュー停止モードで動作する表示部１２が表示する共有画面３０ｂでの静止画保存ボタン３５への操作を検出したときに、当該共有画面３０ｂを静止画像として記憶部１０３に保存することができる。また、静止画像記憶制御部１２４ａは、タッチパネル１３が、プレビューモードで動作する表示部１２が表示する共有画面３０ａでの静止画保存ボタン３５への操作を検出したときに、当該共有画面３０ａを静止画像として記憶部１０３に保存することができる。本例では、静止画像記憶制御部１２４ａが、記憶部１０３が備える、フラッシュＲＯＭ等の不揮発性メモリに静止画像を記憶することによって、当該静止画像が記憶部１０３に保存される。共有画面３０ａあるいは共有画面３０ｂが、電子機器１に入力される入力情報４３を含んでいる場合には、静止画像記憶制御部１２４ａが記憶部１０３に保存する静止画像は、入力情報４３を含んでいる。   When the touch panel 13 detects an operation to the still image saving button 35 on the shared screen 30b displayed on the display unit 12 operating in the preview stop mode, the still image storage control unit 124a displays the shared screen 30b as a still image. Can be stored in the storage unit 103. Further, when the touch panel 13 detects an operation on the still image saving button 35 on the shared screen 30a displayed on the display unit 12 operating in the preview mode, the still image storage control unit 124a stops the shared screen 30a. The image can be saved in the storage unit 103 as an image. In this example, the still image storage control unit 124 a stores a still image in a non-volatile memory such as a flash ROM included in the storage unit 103, so that the still image is stored in the storage unit 103. When the shared screen 30 a or the shared screen 30 b includes the input information 43 input to the electronic device 1, the still image stored in the storage unit 103 by the still image storage control unit 124 a includes the input information 43. Yes.

静止画像記憶制御部１２４ａは、タッチパネル１３が、表示部１２が表示する静止画保存ボタン３５への操作を検出したときに、当該表示部１２が表示する共有画面を静止画像として記憶部１０３に保存することから、ユーザは、表示部１２が表示する共有画面を所望のタイミングで電子機器１に静止画像として記憶部１０３に保存させることができる。そして、ユーザは、記憶部１０３に保存された静止画像を、後から確認することができる。   When the touch panel 13 detects an operation on the still image storage button 35 displayed on the display unit 12, the still image storage control unit 124 a stores the shared screen displayed on the display unit 12 as a still image in the storage unit 103. Therefore, the user can save the shared screen displayed on the display unit 12 in the storage unit 103 as a still image in the electronic device 1 at a desired timing. Then, the user can check the still image stored in the storage unit 103 later.

入力情報量検出部１２４ａａは、プレビュー停止モードで動作する表示部１２が表示する共有画面３０ｂに表示される入力情報４３の情報量を検出することができる。この入力情報４３の情報量としては、例えば、当該入力情報４３の表示画像データサイズが採用される。静止画像記憶制御部１２４ａは、プレビュー停止モードで動作する表示部１２が表示する共有画面３０ｂにおける入力情報４３の情報量が所定量以上になったときに、当該共有画面３０ｂを静止画像として記憶部１０３に保存することができる。また、入力情報量検出部１２４ａａは、プレビューモードで動作する表示部１２が表示する共有画面３０ａに表示される入力情報４３の情報量を検出する。静止画像記憶制御部１２４ａは、プレビューモードで動作する表示部１２が表示する共有画面３０ａにおける入力情報４３の情報量が所定量以上になったときに、当該共有画面３０ａを静止画像として記憶部１０３に保存することができる。   The input information amount detection unit 124aa can detect the information amount of the input information 43 displayed on the shared screen 30b displayed by the display unit 12 operating in the preview stop mode. As the information amount of the input information 43, for example, the display image data size of the input information 43 is employed. The still image storage control unit 124a stores the shared screen 30b as a still image when the information amount of the input information 43 on the shared screen 30b displayed by the display unit 12 operating in the preview stop mode becomes a predetermined amount or more. 103 can be stored. The input information amount detection unit 124aa detects the information amount of the input information 43 displayed on the shared screen 30a displayed by the display unit 12 operating in the preview mode. The still image storage control unit 124a stores the shared screen 30a as a still image when the information amount of the input information 43 on the shared screen 30a displayed by the display unit 12 operating in the preview mode becomes a predetermined amount or more. Can be saved.

静止画像記憶制御部１２４ａは、共有画面に表示される入力情報４３の情報量が所定量以上になったときに、当該共有画面を静止画像として記憶部１０３に保存することから、ユーザは、入力情報４３を所定量以上含む共有画面を後から確認することができる。   The still image storage control unit 124a stores the shared screen as a still image in the storage unit 103 when the information amount of the input information 43 displayed on the shared screen exceeds a predetermined amount. A shared screen including a predetermined amount or more of the information 43 can be confirmed later.

通話量検出部１２４ａｂは、電子機器１がビデオ通話モードで動作する場合に、所定時間あたりの通話量を検出することができる。通話量検出部１２４ａｂは、例えば、無線通信部１１が送信あるいは受信する音信号のデータ量に基づいて、所定時間あたりの通話量を検出する。例えば、通話量検出部１２４ａｂは、所定時間あたりに、無線通信部１１が送信あるいは受信する音信号のデータ量を、所定時間あたりの通話量として採用してよい。あるいは、通話量検出部１２４ａｂは、例えば、周知の音声認識技術によってユーザの音声を認識する音声認識部を備えており、当該音声認識部によって認識された音声の量に基づいて、所定時間あたりの通話量を検出してよい。通話量検出部１２４ａｂがユーザ毎の音声を認識する音声認識部を備える場合には、通話量検出部１２４ａｂは、例えば、ユーザ毎の音声を認識することによって、ユーザ毎の所定時間あたりの通話量を検出してもよい。   The call volume detection unit 124ab can detect the call volume per predetermined time when the electronic device 1 operates in the video call mode. For example, the call volume detection unit 124ab detects the call volume per predetermined time based on the data amount of the sound signal transmitted or received by the wireless communication unit 11. For example, the call volume detection unit 124ab may employ the data amount of a sound signal transmitted or received by the wireless communication unit 11 per predetermined time as the call volume per predetermined time. Alternatively, the call volume detection unit 124ab includes, for example, a voice recognition unit that recognizes the user's voice using a known voice recognition technique, and based on the amount of voice recognized by the voice recognition unit, The call volume may be detected. When the call volume detection unit 124ab includes a voice recognition unit that recognizes the voice for each user, the call volume detection unit 124ab recognizes the voice for each user, for example, so that the call volume per predetermined time for each user. May be detected.

静止画像記憶制御部１２４ａは、通話量検出部１２４ａｂが検出する所定時間あたりの通話量が所定量以上になったときに、表示部１２が表示する画面を静止画像として記憶部１０３に保存することができる。よって、ユーザは、所定時間あたりの通話量が所定量以上になったとき、例えば、ユーザ間の会話が盛り上がった場合などに、表示部１２が表示していた画面を後から確認することができる。   The still image storage control unit 124a saves the screen displayed on the display unit 12 as a still image in the storage unit 103 when the call volume per predetermined time detected by the call volume detection unit 124ab exceeds a predetermined amount. Can do. Therefore, the user can confirm the screen displayed on the display unit 12 later when the call volume per predetermined time becomes equal to or greater than the predetermined amount, for example, when the conversation between the users rises. .

通話音量検出部１２４ａｃは、電子機器１がビデオ通話モードで動作する場合に、通話音量を検出することができる。通話音量検出部１２４ａｃは、例えば、電子機器１が有するスピーカ１８からの出力音量あるいは、マイク１４への入力音量を検出することによって、通話音量を検出する。   The call volume detection unit 124ac can detect the call volume when the electronic device 1 operates in the video call mode. The call volume detection unit 124ac detects the call volume by detecting the output volume from the speaker 18 of the electronic device 1 or the input volume to the microphone 14, for example.

静止画像記憶制御部１２４ａは、当該出力音量あるいは当該入力音量が所定値以上になったときに、表示部１２が表示する共有画面を静止画像として記憶部１０３に保存することができる。よって、ユーザは、通話音量が大きいとき、例えば、ユーザ間の会話が盛り上がった場合などに、表示部１２が表示していた共有画面を後から確認することができる。   The still image storage control unit 124a can save the shared screen displayed on the display unit 12 as a still image in the storage unit 103 when the output volume or the input volume becomes equal to or higher than a predetermined value. Therefore, the user can check the shared screen displayed on the display unit 12 later when the call volume is high, for example, when the conversation between the users is excited.

上記の例では、電子機器１はビデオ通話機能を有しているが、ビデオ通話ではなく、音声のみの通話機能を有していてもよい。そして、電子機器１は、画像共有アプリが実行されると、ビデオ通話モードではなく、音声通話のみを行う音声通話モードで動作してもよい。この場合、通話量検出部１２４ａｂは、電子機器１が音声のみの通話を行っているときに通話量を検出してもよい。また、通話音量検出部１２４ａｃは、電子機器１が音声のみの通話を行っているときに通話音量を検出してもよい。   In the above example, the electronic device 1 has a video call function, but it may have a voice call function instead of a video call. Then, when the image sharing application is executed, the electronic device 1 may operate in a voice call mode in which only a voice call is performed instead of the video call mode. In this case, the call volume detection unit 124ab may detect the call volume when the electronic device 1 is making a voice-only call. The call volume detection unit 124ac may detect the call volume when the electronic device 1 is making a voice-only call.

動画像記憶制御部１２４ｂは、画像共有アプリが実行されてから終了されるまでの間、表示部１２が表示する一連の画面を動画像として記憶部１０３に保存してよい。言い換えれば、動画像記憶制御部１２４ｂは、電子機器１がビデオ通話モードで動作する間に表示部１２が表示する一連の画面を動画像として記憶部１０３に保存してよい。例えば、動画像記憶制御部１２４ｂが、記憶部１０３が備える不揮発性メモリに動画像を記憶することによって、当該動画像が記憶部１０３に保存される。動画像記憶制御部１２４ｂは、画像共有アプリが実行されてから終了されるまでの間（電子機器１がビデオ通話モードで動作している間）のすべての期間に表示部１２に表示される一連の画像を記憶部１０３に保存してよい。また、動画像記憶制御部１２４ｂは、画像共有アプリが実行されてから終了されるまでの間の一部の期間に表示部１２に表示される一連の画像を記憶部１０３に記憶してよい。例えば、動画像記憶制御部１２４ｂは、電子機器１がビデオ通話モードで動作している期間のうち、表示部１２がプレビュー停止モード及びプレビューモードで動作している期間に表示部１２で表示される一連の画像を記憶部１０３に保存してよい。また、動画像記憶制御部１２４ｂは、ユーザが指定した期間に表示部１２が表示する一連の画像を動画像として記憶部１０３に保存してもよい。   The moving image storage control unit 124b may save a series of screens displayed on the display unit 12 as moving images in the storage unit 103 from the execution of the image sharing application to the termination thereof. In other words, the moving image storage control unit 124b may save a series of screens displayed on the display unit 12 as moving images in the storage unit 103 while the electronic device 1 operates in the video call mode. For example, the moving image storage control unit 124 b stores the moving image in a nonvolatile memory included in the storage unit 103, and thus the moving image is stored in the storage unit 103. The moving image storage control unit 124b is a series displayed on the display unit 12 in all periods from when the image sharing application is executed to when it is terminated (while the electronic device 1 is operating in the video call mode). May be stored in the storage unit 103. Further, the moving image storage control unit 124b may store a series of images displayed on the display unit 12 in the storage unit 103 during a part of the period from when the image sharing application is executed to when it is terminated. For example, the moving image storage control unit 124b is displayed on the display unit 12 during a period in which the display unit 12 is operating in the preview stop mode and the preview mode during the period in which the electronic device 1 is operating in the video call mode. A series of images may be stored in the storage unit 103. Further, the moving image storage control unit 124b may store a series of images displayed on the display unit 12 in the storage unit 103 as moving images during a period designated by the user.

動画像記憶制御部１２４ｂは、画像共有アプリの実行中に、表示部１２が表示していた画面を動画像として記憶部１０３に保存することから、ユーザは、動画像記憶制御部１２４ｂが記憶部１０３に保存する動画像に含まれる一連の画像を後から確認することができる。   Since the moving image storage control unit 124b saves the screen displayed on the display unit 12 as a moving image in the storage unit 103 during execution of the image sharing application, the moving image storage control unit 124b can store the storage unit. A series of images included in the moving image stored in 103 can be confirmed later.

タイミング特定部１２４ｂａは、動画像記憶制御部１２４ｂが保存する動画像を構成する一連の画像が画像共有アプリの実行中に表示される期間において、静止画像記憶制御部１２４ａが静止画像を記憶部１０３に保存するタイミングを特定する。言い換えれば、タイミング特定部１２４ｂａは、動画像記憶制御部１２４ｂが保存する動画像を構成する一連の画像についてのビデオ通話モードでの表示期間において、静止画像記憶制御部１２４ａが静止画像を記憶部１０３に保存するタイミングを特定する。そして、タイミング特定部１２４ｂａは、特定したタイミングを記憶部１０３に保存する。具体的には、タイミング特定部１２４ｂａは、例えば、計時部１９が取得する時刻情報に基づいて、静止画像記憶制御部１２４ａが静止画像を記憶部１０３に保存したタイミングを取得する。そして、タイミング特定部１２４ｂａは、取得したタイミングと、当該タイミングで保存された静止画像とを関連付けた情報を記憶部１０３に記憶する。あるいは、タイミング特定部１２４ｂａは、取得したタイミングに基づいて動画像記憶制御部１２４ｂが記憶部１０３に保存する動画像にチャプター情報などのタイミング情報を付加する。   The timing specifying unit 124ba is configured such that the still image storage control unit 124a stores the still image during the period in which a series of images constituting the moving image stored by the moving image storage control unit 124b is displayed during execution of the image sharing application. Specify when to save. In other words, the timing specifying unit 124ba is configured such that the still image storage control unit 124a stores the still image in the display period in the video call mode for a series of images constituting the moving image stored by the moving image storage control unit 124b. Specify when to save. Then, the timing specifying unit 124ba stores the specified timing in the storage unit 103. Specifically, the timing specifying unit 124ba acquires the timing at which the still image storage control unit 124a stores the still image in the storage unit 103 based on, for example, time information acquired by the timer unit 19. Then, the timing specifying unit 124ba stores, in the storage unit 103, information that associates the acquired timing with the still image stored at the timing. Alternatively, the timing specifying unit 124ba adds timing information such as chapter information to the moving image stored in the storage unit 103 by the moving image storage control unit 124b based on the acquired timing.

図１８は、表示部１２が、動画像記憶制御部１２４ｂが記憶部１０３に保存した動画像を表示（再生）するときの再生画面５０の一例を概略的に示す図である。図１８に示されるように、再生画面５０には、動画像記憶制御部１２４ｂが記憶部１０３に保存した動画像５１と、当該動画像５１の再生を制御するためのボタン５２と、動画像５１での再生している箇所を示すシークバー５３とが表示されている。シークバー５３の長さは、動画像５１を構成する一連の画像が画像共有アプリの実行中に表示部１２に表示されていた期間を示す。図１８の例示では、ボタン５２は、動画像５１の再生開始あるいは一時停止を制御するためのボタン５２ａと、動画像５１の再生を停止するための停止ボタン５２ｂとを備える。また、シークバー５３には、動画像５１の再生箇所を変更するためのスライダ５３ａと、静止画像記憶制御部１２４ａが静止画像を記憶部１０３に保存したタイミングを示す図形５４ａ〜５４ｃとが表示されている。例えば、タッチパネル１３が図形５４ａ〜５４ｃのそれぞれへの操作を検出したときに、動画像５１における再生箇所が、当該図形５４ａ〜５４ｃがそれぞれ示すタイミングに変更される。   FIG. 18 is a diagram schematically illustrating an example of a playback screen 50 when the display unit 12 displays (plays back) a moving image stored in the storage unit 103 by the moving image storage control unit 124b. As shown in FIG. 18, the playback screen 50 includes a moving image 51 stored in the storage unit 103 by the moving image storage control unit 124 b, a button 52 for controlling playback of the moving image 51, and a moving image 51. And a seek bar 53 indicating the portion being reproduced at. The length of the seek bar 53 indicates a period during which a series of images constituting the moving image 51 is displayed on the display unit 12 during execution of the image sharing application. In the example of FIG. 18, the button 52 includes a button 52 a for controlling the start or pause of the playback of the moving image 51 and a stop button 52 b for stopping the playback of the moving image 51. Also, the seek bar 53 displays a slider 53 a for changing the playback position of the moving image 51 and graphics 54 a to 54 c indicating the timing at which the still image storage control unit 124 a stores the still image in the storage unit 103. Yes. For example, when the touch panel 13 detects an operation on each of the graphics 54a to 54c, the playback location in the moving image 51 is changed to the timing indicated by the graphics 54a to 54c.

なお、タッチパネル１３が図形５４ａ〜５４ｃのそれぞれへの操作を検出したときに、当該図形５４ａ〜５４ｃがそれぞれ示すタイミングで記憶部１０３に保存された静止画像が再生画面５０に表示されてもよい。図１９は、図形５４ｂが示すタイミングで保存された静止画像が表示される再生画面５０の一例を概略的に示す図である。図１９の例示では、タッチパネル１３が図形５４ｂへの操作を検出したときに、当該図形５４ｂが示すタイミングで静止画像記憶制御部１２４ａが記憶部１０３に保存した静止画像５５が当該図形５４ｂの下に表示される。この場合、タッチパネル１３が静止画像５５への選択操作を検出したときには、表示部１２は、当該静止画像５５を拡大して表示してもよい。   Note that when the touch panel 13 detects an operation on each of the figures 54a to 54c, still images stored in the storage unit 103 may be displayed on the playback screen 50 at timings indicated by the figures 54a to 54c. FIG. 19 is a diagram schematically illustrating an example of a playback screen 50 on which a still image stored at the timing indicated by the graphic 54b is displayed. In the illustration of FIG. 19, when the touch panel 13 detects an operation on the graphic 54b, the still image 55 stored in the storage unit 103 by the still image storage control unit 124a at the timing indicated by the graphic 54b is below the graphic 54b. Is displayed. In this case, when the touch panel 13 detects a selection operation for the still image 55, the display unit 12 may display the still image 55 in an enlarged manner.

このように、タイミング特定部１２４ｂａは、動画像記憶制御部１２４ｂが記憶部１０３に保存する動画像を構成する一連の画像が画像共有アプリの実行中に表示部１２に表示される期間における、静止画像記憶制御部１２４ａが静止画像を記憶部１０３に保存するタイミングを保存する。つまり、タイミング特定部１２４ｂａは、動画像記憶制御部１２４ｂが記憶部１０３に保存する動画像を構成する一連の画像についてのビデオ通話モードでの表示期間における、静止画像記憶制御部１２４ａが静止画像を記憶部１０３に保存するタイミングを保存する。そのため、ユーザは静止画像記憶制御部１２４ａが記憶部１０３に保存した静止画像が、当該動画像を構成する一連の画像が画像共有アプリの実行中に表示部１２に表示される期間においてどのタイミングで保存されたのかを確認することができる。   As described above, the timing specifying unit 124ba performs the stationary operation in a period in which a series of images constituting the moving image stored in the storage unit 103 by the moving image storage control unit 124b is displayed on the display unit 12 during execution of the image sharing application. The image storage control unit 124 a stores the timing at which the still image is stored in the storage unit 103. That is, the timing specifying unit 124ba allows the still image storage control unit 124a to display the still image during the display period in the video call mode for a series of images constituting the moving image stored in the storage unit 103 by the moving image storage control unit 124b. The timing which preserve | saves to the memory | storage part 103 is preserve | saved. Therefore, the user can select a still image stored in the storage unit 103 by the still image storage control unit 124a at a timing during which a series of images constituting the moving image is displayed on the display unit 12 during execution of the image sharing application. You can check if it was saved.

上記の例では、本開示の技術を携帯電話機に適用する場合を例にあげて説明したが、本開示の技術は、表示部を備える他の電子機器にも適用することができる。例えば、本開示の技術は、パーソナルコンピュータ、タブレット端末あるいは腕などに装着するウェアラブルタイプの電子機器等にも適用することができる。   In the above example, the case where the technology of the present disclosure is applied to a mobile phone has been described as an example. However, the technology of the present disclosure can also be applied to other electronic devices including a display unit. For example, the technology of the present disclosure can be applied to a wearable electronic device that is worn on a personal computer, a tablet terminal, an arm, or the like.

以上のように、電子機器は詳細に説明されたが、上記した説明は、全ての局面において例示であって、この開示がそれに限定されるものではない。また、上述した各種変形例は、相互に矛盾しない限り組み合わせて適用可能である。そして、例示されていない無数の変形例が、この開示の範囲から外れることなく想定され得るものと解される。   As described above, the electronic device has been described in detail. However, the above description is illustrative in all aspects, and the disclosure is not limited thereto. The various modifications described above can be applied in combination as long as they do not contradict each other. And it is understood that the countless modification which is not illustrated can be assumed without deviating from the scope of this disclosure.

１ 電子機器
１２ 表示部
１７ 撮像部
２１ 画像
３０ａ 共有画面
３０ｂ 共有画面
３１ａ 第１プレビュー画像
３１ｂ 第２プレビュー画像
３２ 終了ボタン
３３ モード変更ボタン
３４ 書き込みボタン
３５ 静止画保存ボタン
３６ 対象物体
４３ 入力情報 DESCRIPTION OF SYMBOLS 1 Electronic device 12 Display part 17 Image pick-up part 21 Image 30a Shared screen 30b Shared screen 31a 1st preview image 31b 2nd preview image 32 End button 33 Mode change button 34 Write button 35 Still image save button 36 Target object 43 Input information

Claims (15)

他の装置と通信可能な電子機器であって、
第１撮像部と、
第２撮像部と、
第１表示部と、
制御部と
を備え、
前記他の装置は、第３撮像部、第４撮像部及び第２表示部を備え、
前記電子機器と前記他の装置とは、互いに画像のやり取りを行う動作モードを有し、
前記電子機器と前記他の装置が前記動作モードで動作する場合には、
前記電子機器は、前記第１撮像部が撮像している一連の画像である第１画像を、前記他の装置に送信し、前記他の装置は、前記第３撮像部が撮像している一連の画像である第２画像を、前記電子機器に送信し、
前記電子機器の前記第１表示部は、前記他の装置からの前記第２画像を表示し、前記他の装置の前記第２表示部は、前記電子機器からの前記第１画像を表示し、
前記制御部は、前記動作モードにおいて、
前記電子機器の前記第２撮像部または前記他の装置の前記第４撮像部が撮像している一連の画像であって前記第２表示部と前記第１表示部との間で共通の第３画像を、前記第２画像とともに前記第１表示部が表示する第１表示モードと、前記第３画像におけるある時点での画像であって前記第２表示部と前記第１表示部との間で共通の第４画像を、前記第２画像とともに前記第１表示部が表示する第２表示モードとを切り替え、
前記第２表示モードの前記第１表示部に、前記電子機器あるいは前記他の装置に入力される第１入力情報を、前記第４画像に重ねて表示させ、前記第１表示部の表示モードが前記第２表示モードから前記第１表示モードに切り替わった場合、前記第１表示部に、前記第２表示モードで前記第４画像に重ねて表示された前記第１入力情報を、前記第３画像での前記第４画像に対応する画像に重ねて表示させる、電子機器。 An electronic device capable of communicating with other devices ,
A first imaging unit;
A second imaging unit;
A first display unit;
A control unit,
The other device includes a third imaging unit, a fourth imaging unit, and a second display unit,
The electronic device and the other device have an operation mode for exchanging images with each other,
When the electronic device and the other device operate in the operation mode,
The electronic device transmits a first image, which is a series of images captured by the first imaging unit, to the other device, and the other device is a series captured by the third imaging unit. A second image that is an image of
The first display unit of the electronic device displays the second image from the other device, the second display unit of the other device displays the first image from the electronic device,
The controller is in the operation mode,
Common first between the second image pickup unit or the other of said fourth the first display unit and second display unit before Symbol imaging unit a series of images captured in the device of the electronic device A first display mode in which the first display unit displays three images together with the second image, and an image at a certain point in the third image between the second display unit and the first display unit. The common fourth image is switched between the second display mode displayed by the first display unit together with the second image ,
The first display information in the second display mode is displayed on the fourth image so that the first input information input to the electronic device or the other device is superimposed on the first image. When the second display mode is switched to the first display mode, the first input information displayed on the first display unit so as to overlap the fourth image in the second display mode is displayed on the third image. An electronic device that displays the image corresponding to the fourth image on the screen. 請求項１に記載の電子機器であって、
前記制御部は、
前記第１表示モードの前記第１表示部に、前記電子機器あるいは前記装置に入力される第２入力情報を、前記第３画像に重ねて表示させる、電子機器。 The electronic device according to claim 1,
The controller is
An electronic device that causes the first display unit in the first display mode to display the second input information input to the electronic device or the device so as to overlap the third image. 請求項１及び請求項２のいずれか一つに記載の電子機器であって、
記憶部をさらに備え、
前記制御部は、
前記第３画像の一部を静止画像として前記記憶部に保存する、電子機器。 The electronic device according to any one of claims 1 and 2,
A storage unit;
The controller is
An electronic device that saves a part of the third image as a still image in the storage unit. 請求項１及び請求項２のいずれか一つに記載の電子機器であって、
記憶部をさらに備え、
前記制御部は、
前記第４画像を静止画像として前記記憶部に保存する、電子機器。 The electronic device according to any one of claims 1 and 2,
A storage unit;
The controller is
An electronic apparatus that stores the fourth image as a still image in the storage unit. 請求項４に記載の電子機器であって、
前記制御部は、
前記第１入力情報の情報量を検出し、前記情報量が所定量以上になったとき、前記第１入力情報が重ねられた前記第４画像を前記静止画像として前記記憶部に保存する、電子機器。 The electronic device according to claim 4,
The controller is
An electronic device that detects an information amount of the first input information, and stores the fourth image on which the first input information is superimposed in the storage unit as the still image when the information amount exceeds a predetermined amount. machine. 請求項２に記載の電子機器であって、
記憶部をさらに備え、
前記制御部は、
前記第２入力情報の情報量を検出し、前記情報量が所定量以上になったとき、前記第２入力情報が重ねられた前記第３画像の一部を静止画像として前記記憶部に保存する、電子機器。 The electronic device according to claim 2,
A storage unit;
The controller is
When the information amount of the second input information is detected and the information amount exceeds a predetermined amount, a part of the third image on which the second input information is superimposed is stored in the storage unit as a still image. ,Electronics. 請求項３乃至請求項６のいずれか一つに記載の電子機器であって、
前記電子機器への操作を検出する操作検出部をさらに備え、
前記制御部は、
前記操作検出部が前記電子機器への所定の操作を検出したとき、前記静止画像を前記記憶部に保存する、電子機器。 An electronic device according to any one of claims 3 to 6,
An operation detection unit for detecting an operation on the electronic device;
The controller is
An electronic device that stores the still image in the storage unit when the operation detection unit detects a predetermined operation on the electronic device. 請求項３乃至請求項７のいずれか一つに記載の電子機器であって、
前記制御部は、
前記第１及び第２表示モードの両方において通話モードを設定可能であって、
前記通話モードにおける通話量を検出し、所定時間あたりの前記通話量が所定量以上になったとき、前記静止画像を前記記憶部に保存する、電子機器。 An electronic device according to any one of claims 3 to 7,
The controller is
The call mode can be set in both the first and second display modes,
An electronic device that detects a call volume in the call mode and stores the still image in the storage unit when the call volume per predetermined time is equal to or greater than a predetermined volume. 請求項３乃至請求項７のいずれか一つに記載の電子機器であって、
前記制御部は、
前記第１及び第２表示モードの両方において通話モードを設定可能であって、
前記通話モードにおける前記電子機器の出力音量あるいは入力音量を検出し、前記出力音量あるいは前記入力音量が所定値以上になったとき、前記静止画像を前記記憶部に保存する、電子機器。 An electronic device according to any one of claims 3 to 7,
The controller is
The call mode can be set in both the first and second display modes,
An electronic device that detects an output volume or an input volume of the electronic device in the call mode, and stores the still image in the storage unit when the output volume or the input volume exceeds a predetermined value. 請求項１及び請求項２のいずれか一つに記載の電子機器であって、
記憶部をさらに備え、
前記制御部は、
前記第１及び第２表示モードの両方において通話モードを設定可能であって、
前記通話モードにおいて前記第１表示部が表示する一連の画像を動画像として前記記憶部に保存する、電子機器。 The electronic device according to any one of claims 1 and 2,
A storage unit;
The controller is
The call mode can be set in both the first and second display modes,
An electronic apparatus that stores a series of images displayed on the first display unit in the call mode as a moving image in the storage unit. 請求項３乃至請求項７のいずれか一つに記載の電子機器であって、
前記制御部は、
前記第１及び第２表示モードの両方において通話モードを設定可能であって、
前記通話モードにおいて前記第１表示部が表示する一連の画像を動画像として前記記憶部に保存する、電子機器。 An electronic device according to any one of claims 3 to 7,
The controller is
The call mode can be set in both the first and second display modes,
An electronic apparatus that stores a series of images displayed on the first display unit in the call mode as a moving image in the storage unit. 請求項１１に記載の電子機器であって、
前記制御部は、
前記動画像を構成する前記一連の画像についての前記通話モードでの表示期間において、前記制御部が前記静止画像を前記記憶部に保存するタイミングを前記記憶部に保存する、電子機器。 The electronic device according to claim 11,
The controller is
An electronic apparatus that stores, in the storage unit, a timing at which the control unit stores the still image in the storage unit during a display period of the series of images constituting the moving image in the call mode. 第１撮像部と、第２撮像部と、第１表示部とを備える第１電子機器と、
第３撮像部と、第４撮像部と、第２表示部とを備える第２電子機器と
を備え、
前記第１及び第２電子機器は、互いに画像のやり取りを行う動作モードを有し、
前記第１及第２電子機器が前記動作モードで動作する場合には、
前記第１電子機器は、前記第１撮像部が撮像している一連の画像である第１画像を、前記第２電子機器に送信し、前記第２電子機器は、前記第３撮像部が撮像している一連の画像である第２画像を、前記第１電子機器に送信し、
前記第１電子機器の前記第１表示部は、前記第２電子機器からの前記第２画像を表示し、前記第２電子機器の前記第２表示部は、前記第１電子機器からの前記第１画像を表示し、
前記動作モードで動作する前記第１電子機器においては、
前記第１表示部は、前記第２撮像部または前記第４撮像部が撮像している一連の画像であって前記第２表示部と前記第１表示部との間で共通の第３画像を、前記第２画像とともに表示する第１表示モードと、前記第３画像におけるある時点での画像であって前記第２表示部と前記第１表示部との間で共通の第４画像を、前記第２画像とともに表示する第２表示モードとを有し、
前記第２表示モードの前記第１表示部は、前記第１電子機器あるいは前記第２電子機器に入力される入力情報を、前記第４画像に重ねて表示し、
前記第１表示部の表示モードが前記第２表示モードから前記第１表示モードに切り替わった場合、前記第１表示部は、前記第２表示モードで前記第４画像に重ねて表示した前記入力情報を、前記第３画像での前記第４画像に対応する画像に重ねて表示し、
前記動作モードで動作する前記第２電子機器においては、
前記第２表示部は、前記第３画像を前記第１画像とともに表示する第３表示モードと、前記第４画像を前記第１画像とともに表示する第４表示モードとを有し、
前記第４表示モードの前記第２表示部は、前記入力情報を前記第４画像に重ねて表示し、
前記第２表示部の表示モードが前記第４表示モードから前記第３表示モードに切り替わった場合、前記第２表示部は、前記第４表示モードで前記第４画像に重ねて表示した前記入力情報を、前記第３画像での前記第４画像に対応する画像に重ねて表示する、画像表示システム。 A first electronic device comprising a first imaging unit, a second imaging unit, and a first display unit;
A second electronic device comprising a third imaging unit, a fourth imaging unit, and a second display unit;
With
The first and second electronic devices have an operation mode for exchanging images with each other,
When the first and second electronic devices operate in the operation mode,
The first electronic device transmits a first image that is a series of images captured by the first imaging unit to the second electronic device, and the second electronic device is captured by the third imaging unit. Transmitting a second image, which is a series of images, to the first electronic device,
The first display unit of the first electronic device displays the second image from the second electronic device, and the second display unit of the second electronic device displays the second image from the first electronic device. Display one image,
In the first electronic device operating in the operation mode,
The first display unit is a series of images captured by the second imaging unit or the fourth imaging unit, and displays a third image that is common between the second display unit and the first display unit. A first display mode to be displayed together with the second image, and a fourth image that is an image at a certain point in time in the third image and is common between the second display unit and the first display unit, A second display mode for displaying with the second image;
The first display unit in the second display mode displays input information input to the first electronic device or the second electronic device so as to overlap the fourth image,
When the display mode of the first display unit is switched from the second display mode to the first display mode, the first display unit displays the input information superimposed on the fourth image in the second display mode. Is overlaid on the image corresponding to the fourth image in the third image,
In the second electronic device operating in the operation mode,
The second display unit has a third display mode for displaying the third image together with the first image, and a fourth display mode for displaying the fourth image together with the first image,
The second display unit in the fourth display mode displays the input information superimposed on the fourth image,
When the display mode of the second display unit is switched from the fourth display mode to the third display mode, the second display unit displays the input information superimposed on the fourth image in the fourth display mode. An image display system that displays the image superimposed on the image corresponding to the fourth image in the third image . 第１及び第２撮像部を有し、第３及び第４撮像部を有する他の装置と通信可能な電子機器を制御するための制御プログラムであって、
前記電子機器と前記他の装置とは、互いに画像のやり取りを行う動作モードを有し、
前記動作モードで動作する前記他の装置は、前記電子機器の前記第１撮像部が撮像している一連の画像である第１画像を表示し、前記第３撮像部が撮像している一連の画像である第２画像を前記電子機器に送信し、
前記電子機器に、
（ａ）前記動作モードで動作する工程を実行させ、
前記工程（ａ）において、
（ｂ）前記第１画像を前記他の装置に送信する工程と、
（ｃ）前記第２撮像部または前記第４撮像部が撮像している一連の画像であって前記電子機器及び前記他の装置の間で共通の第３画像を、前記第２画像とともに表示する工程と、
（ｄ）前記第３画像におけるある時点での画像であって前記電子機器及び前記他の装置の間で共通の第４画像を、前記第２画像とともに表示する工程と
を実行させ、
前記工程（ｄ）において、前記電子機器あるいは前記他の装置に入力される入力情報を前記第４画像に重ねて表示させ、
前記工程（ｃ）において、前記工程（ｄ）で前記第４画像に重ねて表示した前記入力情報を、前記第３画像での前記第４画像に対応する画像に重ねて表示させるための制御プログラム。 A control program for controlling an electronic device having first and second imaging units and capable of communicating with another device having third and fourth imaging units ,
The electronic device and the other device have an operation mode for exchanging images with each other,
The other device operating in the operation mode displays a first image that is a series of images captured by the first imaging unit of the electronic device, and a series of images captured by the third imaging unit. Transmitting a second image, which is an image, to the electronic device;
In the electronic device,
(A) executing a step of operating in the operation mode;
In the step (a),
(B) transmitting the first image to the other device;
(C) a common third image between the second image pickup unit or the fourth image pickup unit is a series of images captured electronic device and the other device, and displays together with the second image Process,
( D ) executing a step of displaying, together with the second image, a fourth image that is an image at a certain point in time in the third image and is common between the electronic device and the other device ;
In the step ( d ), input information input to the electronic device or the other device is displayed superimposed on the fourth image,
In the step ( c ), a control program for displaying the input information superimposed and displayed on the fourth image in the step ( d ) on an image corresponding to the fourth image in the third image . 第１及び第２撮像部を有し、第３及び第４撮像部を有する他の装置と通信可能な電子機器の動作方法であって、
前記電子機器と前記他の装置とは、互いに画像のやり取りを行う動作モードを有し、
前記動作モードで動作する前記他の装置は、前記電子機器の前記第１撮像部が撮像している一連の画像である第１画像を表示し、前記第３撮像部が撮像している一連の画像である第２画像を前記電子機器に送信し、
（ａ）前記動作モードで動作する工程を備え、
前記工程（ａ）は、
（ｂ）前記第１画像を前記他の装置に送信する工程と、
（ｃ）前記第２撮像部または前記第４撮像部が撮像している一連の画像であって前記電子機器及び前記他の装置の間で共通の第３画像を、前記第２画像とともに表示する工程と、
（ｄ）前記第３画像におけるある時点での画像であって前記電子機器及び前記他の装置の間で共通の第４画像を、前記第２画像とともに表示する工程と
を有し、
前記工程（ｄ）において、前記電子機器あるいは前記他の装置に入力される入力情報が前記第４画像に重ねて表示され、
前記工程（ｃ）において、前記工程（ｄ）で前記第４画像に重ねて表示した前記入力情報が、前記第３画像での前記第４画像に対応する画像に重ねて表示される、電子機器の動作方法。 An operation method of an electronic device having first and second imaging units and capable of communicating with another device having third and fourth imaging units ,
The electronic device and the other device have an operation mode for exchanging images with each other,
The other device operating in the operation mode displays a first image that is a series of images captured by the first imaging unit of the electronic device, and a series of images captured by the third imaging unit. Transmitting a second image, which is an image, to the electronic device;
(A) comprising a step of operating in the operation mode;
The step (a)
(B) transmitting the first image to the other device;
(C) a common third image between the second image pickup unit or the fourth image pickup unit is a series of images captured electronic device and the other device, and displays together with the second image Process,
(D) a common fourth image between said third said an image at a certain point in the image the electronic device and the other device, and a step of displaying together with the second image,
In the step ( d ), input information input to the electronic device or the other device is displayed superimposed on the fourth image,
In the step ( c ), the input information displayed in an overlapping manner with the fourth image in the step ( d ) is displayed in an overlapping manner with an image corresponding to the fourth image in the third image. How it works.
JP2016059833A 2015-04-24 2016-03-24 Electronic device, image display system, control program, and operation method of electronic device Active JP6301990B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/130,294 US9921796B2 (en) 2015-04-24 2016-04-15 Sharing of input information superimposed on images
EP16166382.8A EP3086221A3 (en) 2015-04-24 2016-04-21 Electronic apparatus, image display system, control program, and method for operating electronic apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015089015 2015-04-24
JP2015089015 2015-04-24

Publications (2)

Publication Number Publication Date
JP2016208501A JP2016208501A (en) 2016-12-08
JP6301990B2 true JP6301990B2 (en) 2018-03-28

Family

ID=57487353

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016059833A Active JP6301990B2 (en) 2015-04-24 2016-03-24 Electronic device, image display system, control program, and operation method of electronic device

Country Status (1)

Country Link
JP (1) JP6301990B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018097239A (en) * 2016-12-15 2018-06-21 カシオ計算機株式会社 Voice reproduction device and program

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008294789A (en) * 2007-05-25 2008-12-04 Fuji Xerox Co Ltd Remote instruction system and server device
JP2009141388A (en) * 2007-12-03 2009-06-25 Sony Corp Information processor, and information processing method
JP5343676B2 (en) * 2009-04-08 2013-11-13 ソニー株式会社 Image processing apparatus, image processing method, and computer program
US8984406B2 (en) * 2009-04-30 2015-03-17 Yahoo! Inc! Method and system for annotating video content
CN103797783B (en) * 2012-07-17 2017-09-29 松下知识产权经营株式会社 Comment information generating means and comment information generation method
KR101901919B1 (en) * 2012-08-27 2018-09-27 삼성전자주식회사 Terminal and operation method for messenger video call service

Also Published As

Publication number Publication date
JP2016208501A (en) 2016-12-08

Similar Documents

Publication Publication Date Title
JP6205067B2 (en) Pan / tilt operating device, camera system, pan / tilt operating program, and pan / tilt operating method
CN107977144B (en) Screen capture processing method and mobile terminal
US11604535B2 (en) Device and method for processing user input
KR20170006559A (en) Mobile terminal and method for controlling the same
KR20150133056A (en) Mobile terminal and control method for the mobile terminal
US9921796B2 (en) Sharing of input information superimposed on images
JP2015041052A (en) Wristband type information processing apparatus and storage medium
CN110913139B (en) Photographing method and electronic equipment
CN105100610A (en) Self-photographing prompting method and device, selfie stick and self-photographing prompting system
CN104244045B (en) The method that control video pictures presents and device
CN105204808A (en) Picture projection method and device and terminal equipment
US9215003B2 (en) Communication apparatus, communication method, and computer readable recording medium
KR20160127606A (en) Mobile terminal and the control method thereof
KR20160143029A (en) Mobile terminal
CN104936039A (en) Image processing method and device
CN104461283A (en) Network view screen shooting method and device and electronic device
CN104216525A (en) Method and device for mode control of camera application
KR20150019766A (en) Compressing Method of image data for camera and Electronic Device supporting the same
CN105335061A (en) Information display method and apparatus and terminal
JP6587918B2 (en) Electronic device, electronic device control method, electronic device control apparatus, control program, and electronic device system
EP3823314A1 (en) User equipment and method for outputting audio
US10013949B2 (en) Terminal device
JP6301990B2 (en) Electronic device, image display system, control program, and operation method of electronic device
CN108966026B (en) Method and device for making video file
CN111314621B (en) Photographing method and electronic equipment

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180301

R150 Certificate of patent or registration of utility model

Ref document number: 6301990

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150