JP2019004520A - Electronic apparatus and electronic apparatus system - Google Patents

Electronic apparatus and electronic apparatus system Download PDF

Info

Publication number
JP2019004520A
JP2019004520A JP2018181813A JP2018181813A JP2019004520A JP 2019004520 A JP2019004520 A JP 2019004520A JP 2018181813 A JP2018181813 A JP 2018181813A JP 2018181813 A JP2018181813 A JP 2018181813A JP 2019004520 A JP2019004520 A JP 2019004520A
Authority
JP
Japan
Prior art keywords
imaging
control unit
user
electronic device
telephone device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018181813A
Other languages
Japanese (ja)
Inventor
朗 木下
Akira Kinoshita
朗 木下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2018181813A priority Critical patent/JP2019004520A/en
Publication of JP2019004520A publication Critical patent/JP2019004520A/en
Pending legal-status Critical Current

Links

Images

Abstract

To provide a user-friendly electronic apparatus.SOLUTION: An electronic apparatus includes: an imaging part having a first imaging region and a second imaging region; an acquisition part for acquiring operation information from an external device; and a control part for setting at least one of an imaging condition of the first imaging region and an imaging condition of the second imaging region on the basis of the operation information acquired by the acquisition part.SELECTED DRAWING: Figure 1

Description

本発明は、電子機器及び電子機器システムに関する。   The present invention relates to an electronic device and an electronic device system.

従来、撮像チップと信号処理チップが、マイクロバンプを介して接続された積層型撮像素子が知られている(例えば、特許文献1参照)。   Conventionally, a multilayer imaging device in which an imaging chip and a signal processing chip are connected via micro bumps is known (see, for example, Patent Document 1).

特開2006−49361号公報JP 2006-49361 A

しかしながら、従来の積層型撮像素子を備えた電子機器において、複数のブロック単位毎に撮像して画像を取得する提案は多くなく、積層型撮像素子を備えた電子機器の使い勝手が十分ではなかった。   However, there are not many proposals for acquiring an image by capturing an image for each of a plurality of block units in an electronic apparatus including a conventional multilayer image sensor, and the usability of the electronic apparatus including the multilayer image sensor is not sufficient.

本発明は上記の課題に鑑みてなされたものであり、使い勝手のよい電子機器及び電子機器システムを提供することを目的とする。   The present invention has been made in view of the above problems, and an object thereof is to provide an electronic device and an electronic device system that are easy to use.

本発明の電子機器(110)は、第1撮像領域(113a)及び第2撮像領域(113b)を有する撮像部(113)と、外部機器(10)から操作情報を取得する取得部(124、130)と、前記取得部により取得した前記操作情報に基づいて、前記第1撮像領域の撮像条件と前記第2撮像領域の撮像条件との少なくとも一方を設定する制御部(130)と、を備えている。   The electronic device (110) of the present invention includes an imaging unit (113) having a first imaging region (113a) and a second imaging region (113b), and an acquisition unit (124,) that acquires operation information from the external device (10). 130) and a control unit (130) that sets at least one of the imaging condition of the first imaging region and the imaging condition of the second imaging region based on the operation information acquired by the acquisition unit. ing.

この場合において、ユーザからの入力に基づいて、前記制御部による前記操作情報に基づく撮像条件の設定を制限する制限部(130)を備えていてもよい。また、前記撮像部により撮像された画像を前記外部機器に送信する送信部(124、130)を備えていてもよい。この場合、前記撮像部を複数備え、前記送信部は、複数の前記撮像部(112,114)で撮像された画像を合成して、前記外部機器に送信することとしてもよい。また、前記取得部は、前記送信部が前記外部機器に送信し、該外部機器において表示された画像に対して入力された操作情報を受け付けることとしてもよい。   In this case, a restriction unit (130) that restricts setting of imaging conditions based on the operation information by the control unit based on an input from a user may be provided. Moreover, you may provide the transmission part (124,130) which transmits the image imaged by the said imaging part to the said external apparatus. In this case, a plurality of the imaging units may be provided, and the transmission unit may synthesize images captured by the plurality of imaging units (112, 114) and transmit the synthesized images to the external device. In addition, the acquisition unit may receive operation information that is transmitted from the transmission unit to the external device and is input to an image displayed on the external device.

また、本発明においては、前記第1撮像領域は、被写体を撮像する領域であり、前記第2撮像領域は前記第1撮像領域の周辺の領域であってもよい。この場合、前記制御部は、前記第1撮像領域の大きさに応じて前記第1撮像領域の撮像条件を変更することとしてもよい。また、前記制御部は、前記第1撮像領域の画像を前記外部機器において表示する大きさに応じて、前記第1撮像領域の撮像条件を変更することとしてもよい。更に、前記第1撮像領域を複数有し、前記制御部は、複数の前記第1撮像領域それぞれに設定された優先順位に応じて、前記撮像条件を変更することとしてもよい。この場合、前記制御部は、複数の前記第1撮像領域それぞれに含まれる被写体の状態に応じて前記優先順位を設定することとしてもよい。   In the present invention, the first imaging area may be an area for imaging a subject, and the second imaging area may be an area around the first imaging area. In this case, the control unit may change the imaging condition of the first imaging area according to the size of the first imaging area. Further, the control unit may change the imaging condition of the first imaging area according to the size of displaying the image of the first imaging area on the external device. Furthermore, it is good also as having a plurality of said 1st imaging areas, and the said control part changing the said imaging conditions according to the priority set to each of the said some 1st imaging area. In this case, the control unit may set the priority order according to the state of the subject included in each of the plurality of first imaging regions.

また、本発明においては、前記制御部は、前記第1撮像領域のフレームレートと、前記第2撮像領域のフレームレートとを異ならせることとしてもよい。また、前記制御部は、前記第1撮像領域のゲインと、前記第2撮像領域のゲインとを異ならせることとしてもよい。また、前記制御部は、前記第1撮像領域の蓄積時間と、前記第2撮像領域の蓄積時間とを異ならせることとしてもよい。   In the present invention, the control unit may make the frame rate of the first imaging area different from the frame rate of the second imaging area. The control unit may make the gain of the first imaging area different from the gain of the second imaging area. Further, the control unit may make the accumulation time of the first imaging area different from the accumulation time of the second imaging area.

本発明の電子機器システムは、本発明の電子機器(110)と、前記電子機器と通信可能な外部機器(10)と、を備えている。   The electronic device system of the present invention includes the electronic device (110) of the present invention and an external device (10) capable of communicating with the electronic device.

この場合において、前記外部機器は、本発明の電子機器であることとしてもよい。また、前記電子機器において前記第1撮像領域を複数有する場合に、前記外部機器は、複数の前記第1撮像領域に設定された優先順位に応じた表示を行うこととしてもよい。この場合、前記外部機器は、複数の前記第1撮像領域に設定された優先順位に応じて、表示する画像の大きさ、表示位置、画像に付記する文字、の少なくとも1つを制御することとしてもよい。また、本発明では、前記外部機器は、前記電子機器で撮像された画像を表示するとともに、前記操作情報の入力を受け付けるタッチパネル(22)を有することとしてもよい。   In this case, the external device may be the electronic device of the present invention. In addition, when the electronic device has a plurality of the first imaging regions, the external device may perform display according to the priority order set for the plurality of first imaging regions. In this case, the external device controls at least one of the size of the image to be displayed, the display position, and the character added to the image according to the priority order set in the plurality of first imaging regions. Also good. In the present invention, the external device may include a touch panel (22) that displays an image captured by the electronic device and receives an input of the operation information.

なお、本発明をわかりやすく説明するために、上記においては一実施形態を表す図面の符号に対応つけて説明したが、本発明は、これに限定されるものではなく、後述の実施形態の構成を適宜改良しても良く、また、少なくとも一部を他の構成物に代替させても良い。更に、その配置について特に限定のない構成要件は、実施形態で開示した配置に限らず、その機能を達成できる位置に配置することができる。   In addition, in order to explain the present invention in an easy-to-understand manner, the above description has been made in association with the reference numerals of the drawings representing one embodiment. However, the present invention is not limited to this, and the configuration of an embodiment described later is provided. May be modified as appropriate, or at least a part thereof may be replaced with another component. Further, the configuration requirements that are not particularly limited with respect to the arrangement are not limited to the arrangement disclosed in the embodiment, and can be arranged at positions where the functions can be achieved.

本発明の電子機器及び電子機器システムは、使い勝手を向上することができるという効果を奏する。   The electronic device and the electronic device system of the present invention have an effect that usability can be improved.

第1の実施形態に係る電子機器システムの構成を示すブロック図である。It is a block diagram which shows the structure of the electronic device system which concerns on 1st Embodiment. 図2(a)は、電話機器を前面側から見た状態を示す図であり、図2(b)は、電話機器を背面側から見た状態を示す図である。FIG. 2A is a diagram illustrating a state in which the telephone device is viewed from the front side, and FIG. 2B is a diagram illustrating a state in which the telephone device is viewed from the back side. 裏面照射型のMOS型撮像素子の断面図である。It is sectional drawing of a backside illumination type MOS type image pick-up element. 撮像チップの画素配列と単位グループを説明する図である。It is a figure explaining the pixel arrangement | sequence and unit group of an imaging chip. 画素の等価回路図を示す図である。It is a figure which shows the equivalent circuit schematic of a pixel. 単位グループにおける画素の接続関係を示す回路図である。It is a circuit diagram which shows the connection relation of the pixel in a unit group. 電話機器間における通話時の処理を示すフローチャートであるIt is a flowchart which shows the process at the time of the telephone call between telephone apparatuses. 図8(a)は、受信画面の一例を示す図であり、図8(b)は、設定画面の一例を示す図である。FIG. 8A is a diagram illustrating an example of a reception screen, and FIG. 8B is a diagram illustrating an example of a setting screen. ステップS130(S28)の詳細な処理を示すフローチャートである。It is a flowchart which shows the detailed process of step S130 (S28). 第1の実施形態に関し、撮像素子における撮像条件の設定について説明するための図である。It is a figure for demonstrating the setting of the imaging condition in an image sensor regarding 1st Embodiment. 図11(a)、図11(b)は、第1の実施形態において電話機器に表示される画面の一例を示す図(その1)である。FIG. 11A and FIG. 11B are diagrams (part 1) illustrating an example of a screen displayed on the telephone device in the first embodiment. 図12(a)、図12(b)は、第1の実施形態において電話機器に表示される画面の一例を示す図(その2)である。FIGS. 12A and 12B are diagrams (part 2) illustrating an example of a screen displayed on the telephone device in the first embodiment. 第1の実施形態において電話機器に表示される画面の一例を示す図(その3)である。It is FIG. (3) which shows an example of the screen displayed on a telephone apparatus in 1st Embodiment. 第2の実施形態における電子機器システムの使用態様の一例を示す図である。It is a figure which shows an example of the usage condition of the electronic device system in 2nd Embodiment. 図15(a)は、ユーザAが利用する電話機器における設定画面に対する入力例を示す図であり、図15(b)は、ユーザB〜Dが利用する電話機器における設定画面に対する入力例を示す図である。FIG. 15A is a diagram illustrating an input example on the setting screen in the telephone device used by the user A, and FIG. 15B illustrates an input example on the setting screen in the telephone device used by the users B to D. FIG. 第2の実施形態に関し、撮像素子における撮像条件の設定について説明するための図である。It is a figure for demonstrating the setting of the imaging condition in an image sensor regarding 2nd Embodiment. 図17(a)、図17(b)は、第2の実施形態において電話機器に表示される画面の一例を示す図(その1)である。FIGS. 17A and 17B are diagrams (part 1) illustrating an example of a screen displayed on the telephone device in the second embodiment. 図18(a)、図18(b)は、第2の実施形態において電話機器に表示される画面の一例を示す図(その2)である。FIGS. 18A and 18B are views (part 2) illustrating an example of a screen displayed on the telephone device in the second embodiment. 第2の実施形態において電話機器に表示される画面の一例を示す図(その3)である。It is FIG. (3) which shows an example of the screen displayed on a telephone apparatus in 2nd Embodiment. 第3の実施形態における電子機器システムの使用態様の一例を示す図である。It is a figure which shows an example of the usage condition of the electronic device system in 3rd Embodiment. 第3の実施形態における電子機器システムの構成を示すブロック図である。It is a block diagram which shows the structure of the electronic device system in 3rd Embodiment. 設定処理のフローチャートである。It is a flowchart of a setting process. 図23(a)、図23(b)は、設定処理を説明するための図である。FIG. 23A and FIG. 23B are diagrams for explaining the setting process. 会議処理のフローチャートである。It is a flowchart of a meeting process. 図25(a)、図25(b)は、第3の実施形態において電話機器に表示される画面の一例を示す図(その1)である。FIG. 25A and FIG. 25B are diagrams (part 1) illustrating an example of a screen displayed on the telephone device in the third embodiment. 第3の実施形態において電話機器に表示される画面の一例を示す図(その2)である。It is FIG. (2) which shows an example of the screen displayed on a telephone apparatus in 3rd Embodiment.

《第1の実施形態》
以下、第1の実施形態に係る電子機器システムについて、図1〜図13に基づいて、詳細に説明する。図1には、電子機器システム100の構成がブロック図にて示されている。図1に示すように、電子機器システム100は、複数の電話機器(図1では、2つの電話機器10,110を図示)を備える(利用する)。
<< First Embodiment >>
Hereinafter, the electronic device system according to the first embodiment will be described in detail with reference to FIGS. FIG. 1 is a block diagram showing the configuration of the electronic device system 100. As shown in FIG. 1, the electronic device system 100 includes (uses) a plurality of telephone devices (in FIG. 1, two telephone devices 10 and 110 are illustrated).

(電話機器10)
電話機器10は、携帯電話やスマートフォンなどであり、通話機能のほか、電子メールの作成・送受信機能やインターネット接続機能、スケジュール管理機能などを有する。電話機器10は、図1に示すように、前面撮像部12、背面撮像部14、ディスプレイ16、スピーカ18、マイク20、タッチパネル22、記憶部23、通信部24、制御部30等を備える。なお、図2(a)には、電話機器10を前面側(ディスプレイ16が存在する側)から見た状態が示され、図2(b)には、電話機器10を背面側から見た状態が示されている。
(Telephone device 10)
The telephone device 10 is a mobile phone, a smartphone, or the like, and has a call function, an e-mail creation / transmission function, an Internet connection function, a schedule management function, and the like. As shown in FIG. 1, the telephone device 10 includes a front imaging unit 12, a rear imaging unit 14, a display 16, a speaker 18, a microphone 20, a touch panel 22, a storage unit 23, a communication unit 24, a control unit 30, and the like. 2A shows a state where the telephone device 10 is viewed from the front side (the side where the display 16 is present), and FIG. 2B shows a state where the telephone device 10 is viewed from the back side. It is shown.

前面撮像部12は、いわゆるインカメラであり、図2(a)に示すように、電話機器10の前面側に設けられている。前面撮像部12は、撮影レンズと、国際公開第2013/145753号に開示されているような各画素(画素群)の撮像条件を制御可能な撮像素子13(図3参照)と、を有しており、動画や静止画などの撮像を行う。なお、撮像素子13の各画素(画素群)において制御可能な撮像条件には、フレームレート、ゲイン、蓄積時間等の撮像条件が含まれる。   The front imaging unit 12 is a so-called in-camera, and is provided on the front side of the telephone device 10 as shown in FIG. The front imaging unit 12 includes a photographic lens and an imaging element 13 (see FIG. 3) that can control imaging conditions of each pixel (pixel group) as disclosed in International Publication No. 2013/145553. It captures moving images and still images. The imaging conditions that can be controlled in each pixel (pixel group) of the imaging device 13 include imaging conditions such as a frame rate, a gain, and an accumulation time.

以下、撮像素子13について、図3〜図6に基づいて、詳細に説明する。   Hereinafter, the image sensor 13 will be described in detail with reference to FIGS.

図3は、本実施形態に係る裏面照射型の撮像素子13の断面図である。撮像素子13は、入射光に対応した画素信号を出力する撮像チップ513と、画素信号を処理する信号処理チップ511と、画素信号を記憶するメモリチップ512とを備える。これら撮像チップ513、信号処理チップ511およびメモリチップ512は積層されており、Cu等の導電性を有するバンプ509により互いに電気的に接続される。   FIG. 3 is a cross-sectional view of the backside illumination type imaging device 13 according to the present embodiment. The imaging element 13 includes an imaging chip 513 that outputs a pixel signal corresponding to incident light, a signal processing chip 511 that processes the pixel signal, and a memory chip 512 that stores the pixel signal. The imaging chip 513, the signal processing chip 511, and the memory chip 512 are stacked and are electrically connected to each other by a conductive bump 509 such as Cu.

なお、図示するように、入射光は主に白抜き矢印で示すZ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ513において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Z軸に直交する紙面右方向をX軸プラス方向、Z軸およびX軸に直交する紙面手前方向をY軸プラス方向とする。以降のいくつかの図においては、図3の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。   As shown in the figure, incident light is incident mainly in the positive direction of the Z-axis indicated by a white arrow. In the present embodiment, in the imaging chip 513, a surface on the side where incident light is incident is referred to as a back surface. Further, as indicated by the coordinate axes, the right direction on the paper orthogonal to the Z axis is the X axis plus direction, and the front side of the paper orthogonal to the Z axis and the X axis is the Y axis plus direction. In the following several figures, the coordinate axes are displayed so that the orientation of each figure can be understood with reference to the coordinate axes in FIG.

撮像チップ513の一例は、裏面照射型のMOSイメージセンサである。PD層は、配線層508の裏面側に配されている。PD層506は、二次元的に配された複数のPD(フォトダイオード)504、および、PD504に対応して設けられたトランジスタ505を有する。   An example of the imaging chip 513 is a backside illumination type MOS image sensor. The PD layer is disposed on the back side of the wiring layer 508. The PD layer 506 includes a plurality of PDs (photodiodes) 504 arranged two-dimensionally and a transistor 505 provided corresponding to the PD 504.

PD層506における入射光の入射側にはパッシベーション膜503を介してカラーフィルタ502が設けられる。カラーフィルタ502は、互いに異なる波長領域を透過する複数の種類を有しており、PD504のそれぞれに対応して特定の配列を有している。カラーフィルタ502の配列については後述する。カラーフィルタ502、PD504およびトランジスタ505の組が一つの画素を形成する。   A color filter 502 is provided on the incident side of incident light in the PD layer 506 via a passivation film 503. The color filter 502 has a plurality of types that transmit different wavelength regions, and has a specific arrangement corresponding to each of the PDs 504. The arrangement of the color filter 502 will be described later. A set of the color filter 502, the PD 504, and the transistor 505 forms one pixel.

カラーフィルタ502における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ501が設けられる。マイクロレンズ501は、対応するPD504へ向けて入射光を集光する。   A microlens 501 is provided on the incident light incident side of the color filter 502 corresponding to each pixel. The micro lens 501 condenses incident light toward the corresponding PD 504.

配線層508は、PD層506からの画素信号を信号処理チップ511に伝送する配線507を有する。配線507は多層であってもよく、また、受動素子および能動素子が設けられてもよい。   The wiring layer 508 includes a wiring 507 that transmits the pixel signal from the PD layer 506 to the signal processing chip 511. The wiring 507 may be multilayer, and a passive element and an active element may be provided.

配線層508の表面には複数のバンプ509が配される。当該複数のバンプ509が信号処理チップ511の対向する面に設けられた複数のバンプ509と位置合わせされて、撮像チップ513と信号処理チップ511とが加圧等されることにより、位置合わせされたバンプ509同士が接合されて、電気的に接続される。   A plurality of bumps 509 are disposed on the surface of the wiring layer 508. The plurality of bumps 509 are aligned with the plurality of bumps 509 provided on the opposing surfaces of the signal processing chip 511, and the imaging chip 513 and the signal processing chip 511 are aligned by being pressed or the like. The bumps 509 are joined and electrically connected.

同様に、信号処理チップ511およびメモリチップ512の互いに対向する面には、複数のバンプ509が配される。これらのバンプ509が互いに位置合わせされて、信号処理チップ511とメモリチップ512とが加圧等されることにより、位置合わせされたバンプ509同士が接合されて、電気的に接続される。   Similarly, a plurality of bumps 509 are disposed on the mutually opposing surfaces of the signal processing chip 511 and the memory chip 512. The bumps 509 are aligned with each other, and the signal processing chip 511 and the memory chip 512 are pressurized, so that the aligned bumps 509 are joined and electrically connected.

なお、バンプ509間の接合には、固相拡散によるCuバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用しても良い。また、バンプ509は、例えば後述する一つの出力配線に対して一つ程度設ければ良い。したがって、バンプ509の大きさは、PD504のピッチよりも大きくても良い。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ509よりも大きなバンプを併せて設けても良い。   The bonding between the bumps 509 is not limited to Cu bump bonding by solid phase diffusion, and microbump bonding by solder melting may be employed. Further, for example, about one bump 509 may be provided for one output wiring described later. Therefore, the size of the bump 509 may be larger than the pitch of the PD 504. Further, a bump larger than the bump 509 corresponding to the pixel region may be provided in a peripheral region other than the pixel region where the pixels are arranged.

信号処理チップ511は、表裏面にそれぞれ設けられた回路を互いに接続するTSV(シリコン貫通電極)510を有する。TSV510は、周辺領域に設けられることが好ましい。また、TSV510は、撮像チップ513の周辺領域、メモリチップ512にも設けられて良い。   The signal processing chip 511 has a TSV (silicon through electrode) 510 that connects circuits provided on the front and back surfaces to each other. The TSV 510 is preferably provided in the peripheral area. The TSV 510 may also be provided in the peripheral area of the imaging chip 513 and the memory chip 512.

図4は、撮像チップ513の画素配列と単位グループ131を説明する図である。特に、撮像チップ513を裏面側から観察した様子を示す。画素領域には2000万個以上もの画素がマトリックス状に配列されている。本実施形態においては、隣接する4画素×4画素の16画素が一つのグループを形成する。図の格子線は、隣接する画素がグループ化されて単位グループ131を形成する概念を示す。   FIG. 4 is a diagram for explaining the pixel array and the unit group 131 of the imaging chip 513. In particular, a state where the imaging chip 513 is observed from the back side is shown. In the pixel area, 20 million or more pixels are arranged in a matrix. In the present embodiment, 16 pixels of adjacent 4 pixels × 4 pixels form one group. The grid lines in the figure indicate the concept that adjacent pixels are grouped to form a unit group 131.

画素領域の部分拡大図に示すように、単位グループ131は、緑色画素Gb、Gr、青色画素Bおよび赤色画素Rの4画素から成るいわゆるベイヤー配列を、上下左右に4つ内包する。緑色画素Gb、Grは、カラーフィルタ502として緑色フィルタを有し、入射光のうち緑色波長帯の光を受光する。同様に、青色画素Bは、カラーフィルタ502として青色フィルタを有し、青色波長帯の光を受光し、赤色画素Rは、カラーフィルタ502として赤色フィルタを有し、赤色波長帯の光を受光する。   As shown in the partially enlarged view of the pixel region, the unit group 131 includes four so-called Bayer arrays composed of four pixels, ie, green pixels Gb, Gr, blue pixels B, and red pixels R, vertically and horizontally. The green pixels Gb and Gr have a green filter as the color filter 502 and receive light in the green wavelength band of incident light. Similarly, the blue pixel B has a blue filter as the color filter 502 and receives light in the blue wavelength band, and the red pixel R has a red filter as the color filter 502 and receives light in the red wavelength band. .

図5は、画素150の等価回路図を示す。上記複数の画素150の各々は、上記PD504、転送トランジスタ152、リセットトランジスタ154、増幅トランジスタ156および選択トランジスタ158を有する。これらのトランジスタの少なくとも一部は図3のトランジスタ505に対応する。さらに、画素150には、リセットトランジスタ154のオン信号が供給されるリセット配線300、転送トランジスタ152のオン信号が供給される転送配線302、電源Vddから電力の供給を受ける電源配線304、選択トランジスタ158のオン信号が供給される選択配線306、および、画素信号を出力する出力配線308が配される。以下、各トランジスタをnチャンネル型FETを例として説明するが、トランジスタの種類はこれに限られない。   FIG. 5 shows an equivalent circuit diagram of the pixel 150. Each of the plurality of pixels 150 includes the PD 504, the transfer transistor 152, the reset transistor 154, the amplification transistor 156, and the selection transistor 158. At least some of these transistors correspond to the transistor 505 in FIG. Further, the pixel 150 includes a reset wiring 300 to which an ON signal of the reset transistor 154 is supplied, a transfer wiring 302 to which an ON signal of the transfer transistor 152 is supplied, a power supply wiring 304 that receives power supply from the power supply Vdd, and a selection transistor 158. A selection wiring 306 to which the ON signal is supplied and an output wiring 308 for outputting a pixel signal are arranged. Hereinafter, each transistor will be described by taking an n-channel FET as an example, but the type of transistor is not limited thereto.

転送トランジスタ152のソース、ゲート、ドレインはそれぞれ、PD504の一端、転送配線302、増幅トランジスタ156のゲートに接続される。また、リセットトランジスタ154のドレインは電源配線304に接続され、ソースは増幅トランジスタ156のゲートに接続される。増幅トランジスタ156のドレインは電源配線304に接続され、ソースは選択トランジスタ158のドレインに接続される。選択トランジスタ158のゲートは選択配線306に接続され、ソースは出力配線308に接続されている。負荷電流源309は、出力配線308に電流を供給する。すなわち、選択トランジスタ158に対する出力配線308は、ソースフォロアにより形成される。なお、負荷電流源309は、撮像チップ513側に設けても良いし、信号処理チップ511側に設けても良い。   The source, gate, and drain of the transfer transistor 152 are connected to one end of the PD 504, the transfer wiring 302, and the gate of the amplification transistor 156, respectively. The drain of the reset transistor 154 is connected to the power supply wiring 304, and the source is connected to the gate of the amplification transistor 156. The drain of the amplification transistor 156 is connected to the power supply wiring 304, and the source is connected to the drain of the selection transistor 158. The gate of the selection transistor 158 is connected to the selection wiring 306, and the source is connected to the output wiring 308. The load current source 309 supplies current to the output wiring 308. That is, the output wiring 308 for the selection transistor 158 is formed by a source follower. Note that the load current source 309 may be provided on the imaging chip 513 side or on the signal processing chip 511 side.

図6は、単位グループ131における上記画素150の接続関係を示す回路図である。なお、図面を見やすくする目的で各トランジスタの参照番号を省略したが、図6の各画素の各トランジスタは、図5の画素150における対応する位置に配された各トランジスタと同じ構成および機能を有する。   FIG. 6 is a circuit diagram showing the connection relationship of the pixels 150 in the unit group 131. Note that reference numbers of the respective transistors are omitted for the sake of easy understanding of the drawings, but each transistor of each pixel in FIG. 6 has the same configuration and function as each transistor arranged at a corresponding position in the pixel 150 in FIG. .

図6に示す単位グループ131内で、同じ色のカラーフィルタ502を有する画素150が画素群を形成する。カラーフィルタ502が図4に示すようにRGBの三種類であることに対応して、画素Gb1、Gb2、Gb3、Gb4、Gr1、Gr2、Gr3、Gr4の8画素がG画素群を形成する。同様に、画素R1、R2、R3、R4の4画素がR画素群を形成し、画素B1、B2、B3、B4の4画素がB画素群を形成する。すなわち、カラーフィルタ502を透過する波長領域毎に画素群が形成される。   In the unit group 131 shown in FIG. 6, the pixels 150 having the same color filter 502 form a pixel group. Corresponding to the three types of RGB color filters 502 as shown in FIG. 4, eight pixels Gb1, Gb2, Gb3, Gb4, Gr1, Gr2, Gr3, and Gr4 form a G pixel group. Similarly, four pixels R1, R2, R3, and R4 form an R pixel group, and four pixels B1, B2, B3, and B4 form a B pixel group. That is, a pixel group is formed for each wavelength region that passes through the color filter 502.

ここで、各画素群に含まれる複数の画素間で転送トランジスタのゲートが共通に接続されている。これにより、転送トランジスタのゲートが画素群に属する画素で一斉に、かつ、画素群間で独立して制御される。   Here, the gates of the transfer transistors are commonly connected between a plurality of pixels included in each pixel group. Thereby, the gates of the transfer transistors are controlled all at once in the pixels belonging to the pixel group and independently between the pixel groups.

図6に示す例において、G画素群に含まれる画素Gb1、Gb2、Gb3、Gb4、Gr1、Gr2、Gr3、Gr4の転送トランジスタのゲートは共通のG転送配線310に接続されている。同様に、R画素群の画素R1、R2、R3、R4の転送トランジスタのゲートは共通のR転送配線312に接続され、B画素群の画素B1、B2、B3、B4の転送トランジスタのゲートは共通のB転送配線314に接続されている。   In the example shown in FIG. 6, the gates of the transfer transistors of the pixels Gb 1, Gb 2, Gb 3, Gb 4, Gr 1, Gr 2, Gr 3, Gr 4 included in the G pixel group are connected to a common G transfer wiring 310. Similarly, the gates of the transfer transistors of the pixels R1, R2, R3, and R4 of the R pixel group are connected to a common R transfer wiring 312 and the gates of the transfer transistors of the pixels B1, B2, B3, and B4 of the B pixel group are common. Are connected to the B transfer wiring 314.

また、各画素群に含まれる複数の画素間で選択トランジスタのソースが共通に接続されている。G画素群の画素Gb1、Gb2、Gb3、Gb4、Gr1、Gr2、Gr3、Gr4の選択トランジスタのソースは共通のG出力配線320に接続されている。同様に、R画素群の画素R1、R2、R3、R4の選択トランジスタのソースは共通のR出力配線322に接続され、B画素群の画素B1、B2、B3、B4の選択トランジスタのソースは共通のB出力配線324に接続されている。   Further, the source of the selection transistor is connected in common between a plurality of pixels included in each pixel group. The sources of the selection transistors of the pixels Gb 1, Gb 2, Gb 3, Gb 4, Gr 1, Gr 2, Gr 3, Gr 4 of the G pixel group are connected to a common G output wiring 320. Similarly, the sources of the selection transistors of the pixels R1, R2, R3, and R4 of the R pixel group are connected to the common R output wiring 322, and the sources of the selection transistors of the pixels B1, B2, B3, and B4 of the B pixel group are common. Are connected to the B output wiring 324.

G出力配線320には負荷電流源311が接続される。同様に、R出力配線322には負荷電流源313が接続されるとともに、B出力配線324には負荷電流源315が接続される。なお、リセット配線326および電源配線316は単位グループ131で共通である。また、選択配線318は、各画素に一対一に16本配され、対応する選択トランジスタのゲートに接続されている。   A load current source 311 is connected to the G output wiring 320. Similarly, a load current source 313 is connected to the R output wiring 322, and a load current source 315 is connected to the B output wiring 324. The reset wiring 326 and the power supply wiring 316 are common in the unit group 131. Further, 16 selection wirings 318 are arranged on a one-to-one basis for each pixel, and are connected to the gates of the corresponding selection transistors.

このように、一の単位グループ131に対して複数の出力配線が設けられることになる。しかし、撮像チップ513は裏面照射型なので、PD504に入射する光量を減らすことなく、撮像チップ513の配線507の層数を増やして、面方向の大きさを大きくすることなく配線を引き回すことができる。   In this way, a plurality of output wirings are provided for one unit group 131. However, since the imaging chip 513 is a back-illuminated type, the number of layers of the wiring 507 of the imaging chip 513 can be increased without reducing the amount of light incident on the PD 504, and the wiring can be routed without increasing the size in the surface direction. .

本実施形態では、撮像素子13が上記構成を有することで、各画素群において、フレームレート、ゲイン、蓄積時間等の撮像条件を変更することができる。   In the present embodiment, since the image sensor 13 has the above-described configuration, imaging conditions such as a frame rate, a gain, and an accumulation time can be changed in each pixel group.

図1に戻り、背面撮像部14は、いわゆるアウトカメラであり、図2(b)に示すように、電話機器10の背面側に設けられている。背面撮像部14は、前面撮像部12と同様、撮影レンズと、国際公開第2013/145753号に開示されているような各画素(画素群)の撮像条件を制御可能な撮像素子113(図10参照)と、を有する。   Returning to FIG. 1, the back imaging unit 14 is a so-called out-camera, and is provided on the back side of the telephone device 10 as shown in FIG. Similar to the front imaging unit 12, the rear imaging unit 14 is an imaging element 113 (FIG. 10) that can control imaging conditions of the imaging lens and each pixel (pixel group) as disclosed in International Publication No. 2013/145553. Reference).

ディスプレイ16は、例えば液晶ディスプレイであり、例えば、ユーザが電話機器10を操作するための操作画面、ユーザに情報を提供するための情報提供画面、ユーザがテレビ電話機能を利用する際のテレビ電話画面等を表示する。   The display 16 is, for example, a liquid crystal display. For example, an operation screen for the user to operate the telephone device 10, an information provision screen for providing information to the user, and a videophone screen when the user uses the videophone function Etc. are displayed.

スピーカ18は、例えば、図2(a)のディスプレイ16の上側に配置され、制御部30の指示の下、音声を出力する。マイク20は、例えば、図2(a)のディスプレイ16の下側に配置され、周囲の音声を集音する。   The speaker 18 is disposed, for example, on the upper side of the display 16 in FIG. 2A and outputs sound under the instruction of the control unit 30. The microphone 20 is disposed, for example, on the lower side of the display 16 in FIG. 2A and collects surrounding sounds.

タッチパネル22は、ディスプレイ16上に組みつけられており、ユーザから各種入力を受け付ける。   The touch panel 22 is assembled on the display 16 and receives various inputs from the user.

記憶部23は、例えば不揮発性のフラッシュメモリを有し、各種プログラムのほか、アドレス帳のテーブルや、ユーザのスケジュールデータなどの各種情報を記憶する。   The storage unit 23 includes, for example, a non-volatile flash memory, and stores various information such as an address book table and user schedule data in addition to various programs.

通信部24は、電話回線等を介して、他の機器(例えば、電話機器110)と通信を行うものであり、例えば、他の電話機器110との通話、テレビ電話、インターネットへの接続、インターネットを介したその他の情報処理装置との通信を可能にする。   The communication unit 24 communicates with other devices (for example, the telephone device 110) via a telephone line or the like. For example, a communication with the other telephone device 110, a videophone call, connection to the Internet, Internet Communication with other information processing apparatuses via the network is enabled.

制御部30は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を備え、電話機器10全体を制御する。本実施形態において、制御部30は、例えば、ユーザがテレビ電話を利用するときに、他の機器(例えば、電話機器110)から設定情報を受け付けると、該設定情報に基づいて前面撮像部12及び/又は背面撮像部14の撮像条件の設定を行う。また、制御部30は、例えば、ユーザから他の機器(例えば、電話機器110)の設定情報の入力を受け付けると、通信部24を介して該設定情報を他の機器に送信する。   The control unit 30 includes a central processing unit (CPU), a random access memory (RAM), a read only memory (ROM), and the like, and controls the entire telephone device 10. In the present embodiment, for example, when the user uses a videophone and receives setting information from another device (for example, the telephone device 110), the control unit 30 and the front imaging unit 12 and // The imaging condition of the rear imaging unit 14 is set. For example, when the control unit 30 receives an input of setting information of another device (for example, the telephone device 110) from the user, the control unit 30 transmits the setting information to the other device via the communication unit 24.

(電話機器110)
電話機器110は、図1に示すように、上述した電話機器10と同様の構成を有する。なお、図1等では、電話機器110の構成各部の符号として、電話機器10の構成各部の符号の百の位に1を付加した符号を採用している。
(Telephone device 110)
As shown in FIG. 1, the telephone device 110 has the same configuration as the telephone device 10 described above. In FIG. 1 and the like, a code obtained by adding 1 to the hundreds of codes of each component of the telephone device 10 is adopted as a symbol of each component of the telephone device 110.

(電話機器10、110の通話に関する処理について)
次に、電話機器10、110間における通話(テレビ電話、音声通話)時の処理について、図7〜図13に基づいて説明する。
(Regarding the processing related to the telephone devices 10 and 110)
Next, processing at the time of a telephone call (videophone or voice call) between the telephone devices 10 and 110 will be described with reference to FIGS.

図7は、電話機器10、110間における通話時の処理を示すフローチャートである。本説明においては、電話機器10から電話機器110に対して発信する場合について説明する。   FIG. 7 is a flowchart showing processing during a call between the telephone devices 10 and 110. In this description, a case will be described in which a call is transmitted from the telephone device 10 to the telephone device 110.

図7の処理では、まず、ステップS10において、制御部30は、電話機器10のユーザ(ユーザAとする)が、電話機器10において通話相手の情報を入力するまで待機する。この場合、ユーザAは、タッチパネル22を用いて通話相手の電話番号を入力したり、アドレス帳のテーブルから通話相手を選択するなどして通話相手の情報を入力する。ユーザAから通話相手の情報が入力されると、ステップS12に移行する。   In the process of FIG. 7, first, in step S <b> 10, the control unit 30 waits until the user of the telephone device 10 (user A) inputs information on the other party on the telephone device 10. In this case, the user A uses the touch panel 22 to input the other party's telephone number or to select the other party's information from the address book table. When the information of the other party is input from the user A, the process proceeds to step S12.

ステップS12に移行すると、制御部30は、通話方式がテレビ電話であるか否かを判断する。すなわち、ユーザAが通話相手の情報を入力した後にテレビ電話による通話を選択したか否かを判断する。このステップS12の判断が否定された場合、すなわち音声通話が選択された場合には、制御部30は、ステップS13に移行する。ステップS13に移行すると、制御部30は、通話要求を通話相手の電話機器に発信する。ここでは、制御部30は、ユーザBが利用する電話機器110に対して通話要求を発信したものとする。   If transfering it to step S12, the control part 30 will judge whether a telephone call system is a videophone. That is, it is determined whether or not the user A has selected the videophone call after inputting the information of the other party. If the determination in step S12 is negative, that is, if a voice call is selected, the control unit 30 proceeds to step S13. If transfering it to step S13, the control part 30 will transmit a telephone call request | requirement to the telephone apparatus of a telephone call partner. Here, it is assumed that the control unit 30 transmits a call request to the telephone device 110 used by the user B.

一方、電話機器110では、制御部130は、ステップS110において通話要求を受信するまで待機している。したがって、電話機器10側においてステップS13が行われると、制御部130は、ステップS112に移行する。ステップS112に移行すると、制御部130は、受信画面を表示する。なお、受信画面には、図8(a)に示すように、通話要求を発信した電話機器の電話番号、ユーザ名、通話開始ボタンが含まれている。   On the other hand, in telephone device 110, control unit 130 stands by until a call request is received in step S110. Therefore, when step S13 is performed on the telephone device 10 side, the control unit 130 proceeds to step S112. In step S112, the control unit 130 displays a reception screen. As shown in FIG. 8A, the reception screen includes a telephone number, a user name, and a call start button of the telephone device that has transmitted the call request.

次いで、ステップS114では、制御部130は、ユーザBによって通話開始ボタンが押されるまで待機する。ユーザBによって通話開始ボタンが押されると、ステップS116に移行し、制御部130は、通話方式がテレビ電話か否かを判断する。このステップS116における判断が否定された場合には、ステップS118に移行し、通話処理を実行する。なお、電話機器10側においても、電話機器110側においてステップS118が実行されるのと同一のタイミングで、ステップS14の通話処理が実行される。なお、ステップS118、S14の通話処理は、一般的な電話機器間の音声通話処理と同一であるので、その説明は省略する。   Next, in step S114, the control unit 130 stands by until the call start button is pressed by the user B. When the call start button is pressed by the user B, the process proceeds to step S116, and the control unit 130 determines whether the call method is a videophone. If the determination in step S116 is negative, the process proceeds to step S118 to execute a call process. Note that on the telephone device 10 side, the telephone call processing in step S14 is executed at the same timing as that in step S118 on the telephone device 110 side. Note that the call processing in steps S118 and S14 is the same as the voice call processing between general telephone devices, and thus the description thereof is omitted.

その後は、制御部30、130は、電話機器10、110においてユーザが通話を終了するまで(例えばディスプレイ16,116上の通話終了ボタンを押すまで)通話処理を実行する。そして、通話が終了された段階(S16、S120:肯定)で、制御部30、130は、通信を切断し(S18,S122)、図7の全処理を終了する。   Thereafter, the control units 30 and 130 execute call processing until the user ends the call in the telephone devices 10 and 110 (for example, until the call end button on the display 16 or 116 is pressed). Then, at the stage where the call is terminated (S16, S120: affirmative), the control units 30 and 130 disconnect the communication (S18, S122), and terminate all the processes in FIG.

これに対し、ステップS12の判断が肯定された場合、すなわち、ユーザAが通話方式としてテレビ電話を選択した場合には、制御部30は、ステップS20に移行する。ステップS20では、制御部30は、ディスプレイ16上に設定画面を表示する。設定画面は、具体的には、図8(b)に示すような、設定内容と通話開始ボタンとを含む画面であるものとする。図8(b)の設定画面では、例えば、相手による設定を許可(する/しない)において、通話相手からの撮像に関する設定情報を受信した場合に、その設定を許可するか否かを選択することができる。また、顔の解像度(高/中/低)においては、ユーザBの電話機器110において撮像される範囲に顔が含まれていた場合に、その顔が含まれる領域の解像度を指定することができる。また、顔以外の表示(する/しない)においては、撮像された顔以外の領域を表示するか否かを選択することができ、顔拡大(する/しない)においては、顔以外の表示をしない場合に、顔を拡大して表示するか否かを選択することができる。また、文字情報の表示(する/しない)においては、電話機器110のユーザBの音声認識を実行して、ユーザBが話した内容を文字情報として表示するか否かを選択することができる。更に、撮像部(前面/背面/両方)においては、電話機器110において、前面撮像部112と背面撮像部114のいずれの撮像画像を見たいか、あるいは両撮像部112、114の撮像画像を合成した画像を見たいか、を選択することができる。   On the other hand, if the determination in step S12 is affirmative, that is, if user A has selected videophone as the call mode, control unit 30 proceeds to step S20. In step S <b> 20, the control unit 30 displays a setting screen on the display 16. Specifically, the setting screen is a screen including setting contents and a call start button as shown in FIG. In the setting screen of FIG. 8B, for example, when setting information regarding imaging from a call partner is received in the case where setting by the other party is permitted (permitted / not performed), whether to permit the setting is selected. Can do. Further, in the face resolution (high / medium / low), when a face is included in the range captured by the telephone device 110 of the user B, the resolution of the area including the face can be designated. . In addition, whether or not to display an area other than the captured face can be selected for display other than the face (on / off), and display other than the face is not performed for face enlargement (on / off). In this case, it is possible to select whether or not to enlarge the face. Further, in the display (or not) of the character information, it is possible to select whether or not to display the content spoken by the user B as the character information by executing the voice recognition of the user B of the telephone device 110. Further, in the imaging unit (front / rear / both), in the telephone device 110, it is desired to see which captured image of the front imaging unit 112 and the rear imaging unit 114, or the captured images of both the imaging units 112 and 114 are combined. You can select whether you want to see the image.

図8(b)のような設定画面を表示した後は、制御部30は、ステップS22において、通話開始ボタンが押されるまで待機する。そして、ユーザAが設定画面において選択を行い、通話開始ボタンを押すと、制御部30は、ステップS24に移行する。   After displaying the setting screen as shown in FIG. 8B, the control unit 30 waits until the call start button is pressed in step S22. Then, when the user A makes a selection on the setting screen and presses the call start button, the control unit 30 proceeds to step S24.

ステップS24では、制御部30は、通話相手の電話機器(ユーザBの電話機器110)に対して通話要求を発信する。その後は、制御部30は、ステップS26において、電話機器110からの応答があるまで待機する。   In step S <b> 24, the control unit 30 transmits a call request to the other party's telephone device (user B's telephone device 110). Thereafter, the control unit 30 stands by until a response is received from the telephone device 110 in step S26.

一方、電話機器110側においては、制御部130が通話要求を受信すると(ステップS110:肯定)、ステップS112、S114を前述と同様に実行し、ステップS116において、通話方式がテレビ電話か否かを判断する。このステップS116の判断が肯定されると、ステップS124に移行し、制御部130は、設定画面を表示する。この場合の設定画面は、図8(b)と同様の設定画面であるものとするが、通話開始ボタンに代えて、設定終了ボタンが設けられているものとする。   On the other hand, on the telephone device 110 side, when the control unit 130 receives a call request (Step S110: Yes), Steps S112 and S114 are executed in the same manner as described above. In Step S116, it is determined whether or not the call method is a videophone. to decide. If the determination in step S116 is affirmed, the process proceeds to step S124, and the control unit 130 displays a setting screen. The setting screen in this case is the same as the setting screen shown in FIG. 8B, but a setting end button is provided instead of the call start button.

この設定画面において、ユーザBが設定内容を決定し、設定終了ボタンを押すと(ステップS126:肯定)、制御部130は、ステップS128において、電話機器10に対する応答処理を実行する。この応答処理を実行した後は、制御部130は、ステップS130のテレビ電話通話処理のサブルーチンを実行する。一方、電話機器10では、電話機器110側から応答があった場合(S26:肯定)、ステップS28のテレビ電話通話処理のサブルーチンを実行する。   In this setting screen, when the user B determines the setting contents and presses the setting end button (step S126: Yes), the control unit 130 executes a response process for the telephone device 10 in step S128. After executing this response process, the control unit 130 executes the subroutine of the videophone call process in step S130. On the other hand, when there is a response from the telephone device 110 side (S26: Yes), the telephone device 10 executes a subroutine of the videophone call processing in step S28.

以下、ステップS28、S130の詳細について、図9のフローチャートに沿って説明する。なお、ステップS28、S130の各処理は、同一の処理であるため、ここでは、電話機器110の制御部130による処理(ステップS130)を例にとり説明する。   Details of steps S28 and S130 will be described below with reference to the flowchart of FIG. In addition, since each process of step S28 and S130 is the same process, it demonstrates here taking the process (step S130) by the control part 130 of the telephone apparatus 110 as an example.

図9の処理では、まず、ステップS150において、制御部130は、撮像に関する設定情報(ステップS124で説明した設定画面上で入力された情報)を通信部124を介して電話機器10の制御部30に送信する。   In the process of FIG. 9, first, in step S150, the control unit 130 receives setting information related to imaging (information input on the setting screen described in step S124) via the communication unit 124. Send to.

次いで、ステップS152では、制御部130は、撮像に関する設定情報を電話機器10側から受信するまで待機し、受信した段階で、ステップS154に移行する。ステップS154に移行すると、制御部130は、相手による設定を許可しているか否かを判断する。すなわち、図8(b)の設定画面において、相手(ユーザA)による設定を許可(する/しない)のうち、「する」にチェックが入れられたか否かを判断する。ここでの判断が否定された場合には、ステップS162に移行するが、肯定された場合には、ステップS156に移行する。   Next, in step S152, the control unit 130 waits until setting information related to imaging is received from the telephone device 10, and proceeds to step S154 when it is received. In step S154, the control unit 130 determines whether the setting by the other party is permitted. That is, in the setting screen of FIG. 8B, it is determined whether or not “Yes” is checked in the setting (permitted / not allowed) of the partner (user A). If the determination is negative, the process proceeds to step S162. If the determination is positive, the process proceeds to step S156.

ステップS156に移行した場合、制御部130は、撮像条件を設定する。例えば、電話機器10において、図8(b)に示すような設定情報が入力された場合には、当該設定に従った撮像を行うように撮像条件を設定する。図8(b)の場合、撮像部として「前面撮像部112」を利用し、顔の解像度が「高」に設定されているので、図10に示すように、前面撮像部112の撮像素子113の各画素において、顔を撮像している領域(第1撮像領域)113aの解像度が他の領域(第2撮像領域)113bよりも高くなるように撮像条件を設定する。この場合、制御部130は、第1撮像領域113aの間引き率を第2撮像領域113bの間引き率よりも小さくする。また、第1撮像領域113aのフレームレートを第2撮像領域113bのフレームレートよりも小さくすることもできる。   When the process proceeds to step S156, the control unit 130 sets an imaging condition. For example, in the telephone device 10, when setting information as shown in FIG. 8B is input, the imaging condition is set so as to perform imaging according to the setting. In the case of FIG. 8B, since the “front imaging unit 112” is used as the imaging unit and the face resolution is set to “high”, the image sensor 113 of the front imaging unit 112 as shown in FIG. In each of the pixels, the imaging condition is set so that the resolution of the area (first imaging area) 113a capturing the face is higher than that of the other area (second imaging area) 113b. In this case, the control unit 130 makes the thinning rate of the first imaging region 113a smaller than the thinning rate of the second imaging region 113b. In addition, the frame rate of the first imaging area 113a can be made smaller than the frame rate of the second imaging area 113b.

次いで、ステップS158では、制御部130は、撮像及び顔認識を実行する。この場合、制御部130は、撮像結果から顔認識を行い、顔を含む範囲を特定する。   Next, in step S158, the control unit 130 executes imaging and face recognition. In this case, the control unit 130 performs face recognition from the imaging result and specifies a range including the face.

次いで、ステップS160では、制御部130は、顔認識結果に基づいて第1撮像領域113aをどの範囲に設定するかを特定し、特定した第1撮像領域113aの間引き率やフレームレートを設定する。なお、第1撮像領域113aの位置や大きさは、顔の動きに追従して変化する。   Next, in step S160, the control unit 130 specifies a range in which the first imaging region 113a is set based on the face recognition result, and sets a thinning rate and a frame rate of the specified first imaging region 113a. Note that the position and size of the first imaging region 113a change following the movement of the face.

次いで、ステップS162では、制御部130は、設定情報に基づいて、撮像された画像から電話機器10に送信する画面を作成し、作成した画面と音声の送受信を開始する。すなわち、テレビ電話による通話を開始する。ここで、図8(b)に示すように、顔以外の表示を「しない」、顔拡大を「する」、文字情報の表示を「する」に設定していた場合には、制御部130は、画面として、図11(a)に符号Gで示す画面を作成して電話機器10(制御部30)に送信する。なお、文字情報「元気?」は、制御部130がユーザBの音声を認識した結果を表示したものである。なお、文字情報としては、通話時間や通話料金等の情報を表示することとしてもよい。   Next, in step S162, the control unit 130 creates a screen to be transmitted to the telephone device 10 from the captured image based on the setting information, and starts transmission / reception of sound with the created screen. That is, a videophone call is started. Here, as shown in FIG. 8B, when the display other than the face is set to “OFF”, the face enlargement is set to “YES”, and the character information display is set to “YES”, the control unit 130 As a screen, a screen indicated by a symbol G in FIG. 11A is created and transmitted to the telephone device 10 (control unit 30). The character information “How are you?” Is a display of the result of the control unit 130 recognizing the voice of the user B. As the character information, information such as a call time and a call charge may be displayed.

画面Gを受信した制御部30は、ディスプレイ16に図11(a)に示すようなテレビ電話画面を表示する。なお、図11(a)のテレビ電話画面には、画面Gの他、電話機器10の前面撮像部12において撮像され、制御部30により作成された画面H(S162)や、設定ボタン、通話終了ボタンが含まれている。ここで、図11(a)のように顔を拡大表示する場合であっても、顔の解像度が「高」に設定されていれば、ディスプレイ16上において、ユーザBの顔を鮮明に表示することができる。   The control unit 30 that has received the screen G displays a videophone screen as shown in FIG. 11A. In addition to the screen G, the video phone screen of FIG. 11A is captured by the front imaging unit 12 of the telephone device 10 and is created by the control unit 30 (S162), the setting button, and the call end. Includes a button. Here, even when the face is enlarged and displayed as shown in FIG. 11A, if the face resolution is set to “high”, the face of the user B is clearly displayed on the display 16. be able to.

なお、図8(b)の設定画面において、顔以外の表示を「しない」、顔拡大を「しない」、文字情報の表示を「する」に設定していた場合には、テレビ電話画面として、図11(b)に示す画面が表示される。ここで、図11(a)、図11(b)の画面がディスプレイ16上に表示される場合、制御部130は、電話機器110の前面撮像部112では、顔以外の領域(第2撮像領域113b)の撮像を行わないように設定してもよい。ただし、顔の動きに第1撮像領域113aを追従させるため、第1撮像領域113aの周囲の所定範囲については、撮像を行うようにしてもよい。この場合、当該所定範囲内においては、解像度を第1撮像領域113aよりも低く設定して撮像するようにしてもよい。このように、必要に応じて撮像する範囲を減らしたり、解像度を低くしたりすることで、制御部130の処理量を低減させることができるため、通信負荷、消費電力、電池消耗等の低減を図ることが可能となる。   In the setting screen of FIG. 8B, when the display other than the face is set to “No”, the face enlargement is set to “No”, and the character information display is set to “Yes”, The screen shown in FIG. 11B is displayed. Here, when the screens of FIG. 11A and FIG. 11B are displayed on the display 16, the control unit 130 uses the area other than the face (second imaging area) in the front imaging unit 112 of the telephone device 110. It may be set not to perform the imaging of 113b). However, in order to cause the first imaging region 113a to follow the movement of the face, imaging may be performed for a predetermined range around the first imaging region 113a. In this case, imaging may be performed with the resolution set lower than that of the first imaging region 113a within the predetermined range. As described above, the processing amount of the control unit 130 can be reduced by reducing the imaging range or reducing the resolution as necessary, so that the communication load, power consumption, battery consumption, and the like can be reduced. It becomes possible to plan.

また、図8(c)の設定画面において、顔以外の表示を「する」、顔拡大を「しない」、文字情報の表示を「する」に設定していた場合には、テレビ電話画面として、図12(a)に示す画面が表示される。さらに、図8(b)の設定画面において、顔以外の表示を「する」、顔拡大を「しない」、文字情報の表示を「しない」に設定していた場合には、テレビ電話画面として、図12(b)に示す画面がディスプレイ16に表示される。この場合においても、相手の顔をはっきり表示したいときに顔の範囲の解像度を上げることができるため、ユーザの視認性、使い勝手を向上することができる。また、顔以外の領域(第2撮像領域113b)の解像度を下げることで、制御部130の処理量を低減させることができる。なお、第1撮像領域113aと第2撮像領域113bにおけるフレームレートが異なる場合には、一方の撮像領域で撮像が行われたタイミングにおいて他方の撮像領域で撮像が行われていない場合がある。このような場合には、一方の撮像領域の撮像画像と他方の撮像領域の直近の撮像画像とを合成するようにすればよい。   Further, in the setting screen of FIG. 8C, when the display other than the face is set to “Yes”, the face enlargement is set to “No”, and the character information display is set to “Yes”, The screen shown in FIG. 12A is displayed. Further, in the setting screen of FIG. 8B, when the display other than the face is set to “Yes”, the face enlargement is set to “No”, and the character information display is set to “No”, A screen shown in FIG. 12B is displayed on the display 16. Even in this case, the resolution of the face range can be increased when it is desired to clearly display the other party's face, so that the visibility and usability of the user can be improved. In addition, the processing amount of the control unit 130 can be reduced by reducing the resolution of the area other than the face (second imaging area 113b). When the frame rates of the first imaging area 113a and the second imaging area 113b are different, there is a case where imaging is not performed in the other imaging area at the timing when imaging is performed in one imaging area. In such a case, the captured image of one imaging region and the most recent captured image of the other imaging region may be synthesized.

また、図8(b)の設定画面において、顔以外の表示を「しない」、顔拡大を「する」、文字情報の表示を「しない」、撮像部の「両方」を使用する、に設定していた場合には、テレビ電話画面として、図13に示す画面が作成され、ディスプレイ16に表示される。この図13の画面では、背面撮像部114で撮像された画像I(ユーザBの周辺の風景の画像)と、前面撮像部112で撮像された画像J(ユーザBの画像)とが合成された状態で表示される。   Also, in the setting screen of FIG. 8B, the display other than the face is set to “No”, the face enlargement is “Yes”, the character information display is “No”, and “Both” of the imaging unit is used. If so, the screen shown in FIG. 13 is created as a videophone screen and displayed on the display 16. In the screen of FIG. 13, an image I (landscape image around user B) captured by the rear imaging unit 114 and an image J (user B image) captured by the front imaging unit 112 are combined. Displayed with status.

図9に戻り、制御部130は、ステップS162の後、ステップS164において、設定ボタンが押されたか否かを判断する。ユーザBは、設定を変更したい場合には、設定ボタンを押す。このように設定ボタンが押されると、ステップS164の判断が肯定され、制御部130は、ステップS166において、設定画面を表示する。なお、この場合の設定画面は、図8(b)と同様であるが、通話開始ボタンに代えて設定変更ボタンが設けられているものとする。   Returning to FIG. 9, after step S <b> 162, the control unit 130 determines whether or not the setting button has been pressed in step S <b> 164. User B pushes the setting button when he / she wants to change the setting. When the setting button is pressed in this way, the determination in step S164 is affirmed, and the control unit 130 displays a setting screen in step S166. The setting screen in this case is the same as in FIG. 8B, but it is assumed that a setting change button is provided instead of the call start button.

この設定画面においてユーザBが設定を変更し設定変更ボタンを押すと(S168:肯定)、制御部130は、ステップS170において、変更された設定を通信部124を介して電話機器10に送信する。次いで、ステップS172では、制御部130は、通話終了ボタンが押されたか否かを判断し、このステップS172の判断が否定されると、ステップS164に戻る。   When the user B changes the setting on this setting screen and presses the setting change button (S168: Yes), the control unit 130 transmits the changed setting to the telephone device 10 via the communication unit 124 in step S170. Next, in step S172, the control unit 130 determines whether or not the call end button has been pressed. If the determination in step S172 is negative, the control unit 130 returns to step S164.

一方、ステップS164の判断が否定された場合、すなわち、設定ボタンが押されていない場合には、ステップS174に移行し、制御部130は、電話機器10側から設定情報(ユーザAが設定を変更したという情報)を受信したか否かを判断する。このステップS174の判断が否定された場合には、ステップS172に移行するが、肯定された場合には、ステップS176に移行する。   On the other hand, if the determination in step S164 is negative, that is, if the setting button is not pressed, the process proceeds to step S174, and the control unit 130 changes the setting information (user A changes the setting from the telephone device 10 side). It is determined whether or not the information is received. If the determination in step S174 is negative, the process proceeds to step S172. If the determination is positive, the process proceeds to step S176.

ステップS176に移行すると、制御部130は、設定において、相手による設定を許可しているか否かを判断する。このステップS176の判断が否定された場合には、ステップS172に移行するが、肯定された場合には、ステップS178に移行する。ステップS178に移行した場合、制御部130は、電話機器10においてユーザAによって変更された設定を反映させる(記憶部123に格納されている設定情報を更新する)。その後は、ステップS172に移行する。   When the process proceeds to step S176, the control unit 130 determines whether the setting by the partner is permitted in the setting. If the determination in step S176 is negative, the process proceeds to step S172. If the determination is positive, the process proceeds to step S178. When the process proceeds to step S178, the control unit 130 reflects the setting changed by the user A in the telephone device 10 (updates the setting information stored in the storage unit 123). Thereafter, the process proceeds to step S172.

その後、ステップS164〜S178の処理・判断を繰り返し、ステップS172の判断が肯定されると、制御部130は、ステップS180に移行する。ステップS180では、制御部130は、電話機器10との通信(通話)を切断し、図9及び図7の全処理を終了する。なお、前述したように、電話機器10においても図9の処理が同時並行的に実行される(S28)。   Thereafter, the processing / determination of steps S164 to S178 is repeated, and when the determination of step S172 is affirmed, the control unit 130 proceeds to step S180. In step S180, the control unit 130 disconnects communication (call) with the telephone device 10 and ends all the processes in FIGS. As described above, the processing of FIG. 9 is also executed in parallel in the telephone device 10 (S28).

なお、制御部130(30)は、ステップS164〜S172の処理を行っている間に、ユーザからのテレビ電話画面への入力をタッチパネル122(22)を介して受け付けるようにしてもよい。すなわち、例えば、図12(b)の画面上でタッチパネル122がユーザBによる入力(ここでは、一例としてピンチアウト動作とする)を受け付けた場合には、ピンチアウトされた部分を拡大して表示するようにしてもよい。この場合、ピンチアウト動作が行われたという情報は、設定が変更された場合(S166〜S170)と同様、制御部30が相手側の電話機器110の制御部130に対して送信するようにすればよく、相手側の制御部130は、当該ピンチアウト動作の情報に基づいて、画面を作成するようにすればよい。また、例えば、ユーザが明るさを変えた箇所を指定した場合には、当該箇所が明るく表示されるようにしてもよい。この場合、制御部30は箇所の指定情報を相手側の制御部130に対して送信し、相手側の制御部130が、指定された箇所を撮像する画素(画素群)のゲインを他の素子よりも上げたり、指定された箇所を撮像する画素(画素群)の電荷蓄積時間を他の素子よりも長くしたりすればよい。また、ユーザが画面全体を明るくする旨の指示を入力した場合には、その旨を制御部30が制御部130に送信し、制御部130が、不図示の閃光装置(フラッシュ)を制御して発光させるようにしてもよい。   Note that the control unit 130 (30) may receive input from the user to the videophone screen via the touch panel 122 (22) while performing the processing of steps S164 to S172. That is, for example, when the touch panel 122 accepts an input by the user B (here, a pinch-out operation is taken as an example) on the screen of FIG. 12B, the pinched-out portion is enlarged and displayed. You may do it. In this case, the information that the pinch-out operation has been performed is transmitted to the control unit 130 of the telephone device 110 on the other side by the control unit 30 as in the case where the setting is changed (S166 to S170). What is necessary is just to make it the control part 130 of the other party produce a screen based on the information of the said pinch out operation | movement. For example, when the user designates a place where the brightness is changed, the place may be displayed brightly. In this case, the control unit 30 transmits location designation information to the counterpart control unit 130, and the counterpart control unit 130 sets the gain of the pixel (pixel group) that captures the designated location to other elements. Or the charge accumulation time of a pixel (pixel group) that captures an image of a designated location may be made longer than that of other elements. When the user inputs an instruction to brighten the entire screen, the control unit 30 transmits the instruction to the control unit 130, and the control unit 130 controls a flash device (flash) (not shown). You may make it light-emit.

なお、本実施形態では、例えば、ユーザAが相手による設定を許可しない設定としている場合には、ユーザAがユーザBに送信する自身の画像の設定を図8(b)と同様の設定画面上にて行うこととしてもよい。これにより、ユーザAは、ユーザBの電話機器110に表示される画面を自分でカスタマイズすることができる。例えば、ユーザAが自己の周辺を見せたくない場合には、図11(b)のような画面表示になるように設定を行えばよい。   In the present embodiment, for example, when the user A is set not to permit the setting by the other party, the setting of the image of the user A transmitted to the user B is set on the same setting screen as in FIG. It is good also to do in. Thereby, the user A can customize the screen displayed on the telephone device 110 of the user B by himself / herself. For example, if the user A does not want to show his / her surroundings, the setting may be made so that the screen display as shown in FIG.

以上、詳細に説明したように、本第1の実施形態によると、電話機器110は、第1撮像領域113a及び第2撮像領域113bを有する撮像部112又は114と、相手方の電話機器10から設定情報を取得する通信部124と、通信部124が取得した設定情報に基づいて、第1撮像領域113aの撮像条件と第2撮像領域113bの撮像条件との少なくとも一方を設定する制御部130と、を備えているので、相手方の電話機器10を利用するユーザAが入力した設定情報に基づいて、電話機器110における撮像条件を変更することができる。これにより、電話機器110が撮像した画像に対して、該画像を表示する電話機器10のユーザAの好みを反映させることができるので、ユーザの使い勝手を向上することができる。   As described above in detail, according to the first embodiment, the telephone device 110 is set from the imaging unit 112 or 114 having the first imaging region 113 a and the second imaging region 113 b and the counterpart telephone device 10. A communication unit 124 that acquires information, and a control unit 130 that sets at least one of the imaging condition of the first imaging region 113a and the imaging condition of the second imaging region 113b based on the setting information acquired by the communication unit 124; Therefore, the imaging condition in the telephone device 110 can be changed based on the setting information input by the user A who uses the other party's telephone device 10. As a result, the preference of the user A of the telephone device 10 that displays the image can be reflected in the image captured by the telephone device 110, so that the user-friendliness can be improved.

また、本第1の実施形態では、制御部130は、ユーザBが設定画面(図8(b))において設定した情報に基づいて、設定情報に基づく撮像条件の設定を制限する(S154:否定の場合)。これにより、相手方(ユーザA)がユーザBの利用する電話機器110の撮像条件を一方的に変更できないようにすることができる。   In the first embodiment, the control unit 130 restricts the setting of the imaging condition based on the setting information based on the information set by the user B on the setting screen (FIG. 8B) (S154: No) in the case of). Thereby, the other party (user A) can be prevented from unilaterally changing the imaging condition of the telephone device 110 used by the user B.

また、本第1の実施形態では、通信部124は、撮像部112又は114により撮像された画像を電話機器10に送信するので、ユーザAは自身の好みが反映された画像を見ることができる。   In the first embodiment, the communication unit 124 transmits the image captured by the imaging unit 112 or 114 to the telephone device 10, so that the user A can see an image reflecting his / her preference. .

また、本第1の実施形態では、電話機器110が前面撮像部112と背面撮像部114とを備えており、制御部130は、通信部124を介して、両撮像部112,114で撮像された画像を合成して、電話機器10に送信することができる(図13参照)。これにより、ユーザAは、電話機器110の前面側と背面側の画像を同時に見ることができる。   In the first embodiment, the telephone device 110 includes the front imaging unit 112 and the rear imaging unit 114, and the control unit 130 is imaged by both the imaging units 112 and 114 via the communication unit 124. The images can be combined and transmitted to the telephone device 10 (see FIG. 13). As a result, the user A can simultaneously view the images on the front side and the back side of the telephone device 110.

また、本第1の実施形態では、制御部130は、電話機器10に送信し、電話機器10において表示された画像に対して入力された操作情報(ピンチアウト動作など)を受け付けるので、ユーザAにより画像に対して入力された操作情報を反映させた画像を電話機器10に送信することができる。   In the first embodiment, the control unit 130 receives operation information (such as a pinch-out operation) that is transmitted to the telephone device 10 and input to an image displayed on the telephone device 10. Thus, the image reflecting the operation information input to the image can be transmitted to the telephone device 10.

また、本第1の実施形態では、電子機器システム100は、同一の機能を有する電話機器10,110間でテレビ電話を行うシステムであるので、発信側のユーザ及び受信側のユーザのそれぞれが、相手方の撮像部の設定を行うことができる。ただし、これに限らず、いずれか一方の電話機器において相手方の撮像部の設定を行うことができなくてもよい。   In the first embodiment, since the electronic device system 100 is a system that performs a videophone call between the telephone devices 10 and 110 having the same function, each of the user on the transmission side and the user on the reception side The other party's imaging unit can be set. However, the present invention is not limited to this, and the other party's imaging unit may not be able to be set in either one of the telephone devices.

なお、上記第1の実施形態では、テレビ電話の設定情報の入力を通話開始直前に行う場合について説明したが、これに限らず、設定情報の入力は、事前に行っておいてもよい。また、制御部30,130は、テレビ電話を終了したときの設定情報を記憶部23,123に記憶しておき、次回テレビ電話を行う際に記憶しておいた設定情報を読み出すこととしてもよい。   In the first embodiment, the case where the setting information of the videophone is input immediately before the start of the call has been described. However, the present invention is not limited to this, and the setting information may be input in advance. The control units 30 and 130 may store the setting information when the videophone is terminated in the storage units 23 and 123, and read the setting information stored when the next videophone call is performed. .

なお、上記第1の実施形態では、ユーザBの音声認識及び文字情報の表示を、ユーザBの利用する電話機器110の制御部130が行う場合について説明したが、これに限らず、相手方の電話機器10の制御部30がユーザBの音声認識及び文字情報の表示を行うこととしてもよい。   In the first embodiment, the case where the control unit 130 of the telephone device 110 used by the user B performs voice recognition and character information display of the user B has been described. However, the present invention is not limited to this. The control unit 30 of the device 10 may perform voice recognition of the user B and display of character information.

なお、上記第1の実施形態では、一方の電話機器がインターホンの室内設置機器で、他方の電話機器がインターホンの室外設置機器であってもよい。この場合、室内設置機器上でユーザが設定した設定情報を室外設置機器に送信し、該設定情報に基づいて、室外設置機器の制御部が撮像素子の第1撮像領域と第2撮像領域の少なくとも一方の撮像条件を変更するようにしてもよい。これにより、上記第1の実施形態と同様の効果を得ることができる。   In the first embodiment, one telephone device may be an interphone indoor installation device, and the other telephone device may be an interphone outdoor installation device. In this case, setting information set by the user on the indoor installation device is transmitted to the outdoor installation device, and based on the setting information, the control unit of the outdoor installation device at least of the first imaging region and the second imaging region of the image sensor. One imaging condition may be changed. Thereby, the same effect as the first embodiment can be obtained.

なお、上記第1の実施形態では、2つの電話機器間におけるテレビ電話について説明したが、これに限らず、PC(Personal Computer)及びWEBカメラを用いたテレビ電話においても、適用することができる。   In the first embodiment, the videophone between the two telephone devices has been described. However, the present invention is not limited to this, and the present invention can also be applied to a videophone using a PC (Personal Computer) and a WEB camera.

《第2の実施形態》
以下、第2の実施形態について、図14〜図19に基づいて、説明する。
<< Second Embodiment >>
Hereinafter, the second embodiment will be described with reference to FIGS.

図14には、本第2の実施形態における電子機器システムの使用態様の一例が示されている。図14に示すように、本第2の実施形態では、ユーザAが利用する電話機器10と、ユーザBが保持し、ユーザB〜ユーザEが利用する電話機器110との間でテレビ電話による通話を行うものとする。すなわち、本第2の実施形態では、1人対多数人(図14では1人対4人)によるテレビ電話が行われるものとする。   FIG. 14 shows an example of how the electronic device system is used in the second embodiment. As shown in FIG. 14, in the second embodiment, a videophone call is made between the telephone device 10 used by the user A and the telephone device 110 held by the user B and used by the user B to the user E. Shall be performed. That is, in the second embodiment, it is assumed that a videophone call is performed by one person vs. many people (one person versus four people in FIG. 14).

なお、本第2の実施形態では、基本的には、第1の実施形態の処理(図7、図9)と同様の処理が行われるが、各電話機器10,110における設定情報の内容が異なっている。   In the second embodiment, basically the same processing as the processing in the first embodiment (FIGS. 7 and 9) is performed, but the contents of the setting information in each telephone device 10 and 110 are the same. Is different.

図15(a)には、ユーザAが利用する電話機器10に表示される設定画面(図7のステップS20)の一例が示されている。図15(a)の設定画面では、例えば、相手による設定を許可(する/しない)において、通話相手からの撮像に関する設定情報を受信した場合に、その設定を許可するか否かを選択することができる。また、顔の解像度(高/中/低/距離に応じて)においては、電話機器110において撮像される範囲に顔が含まれていた場合に、その顔が含まれる領域の解像度を選択することができる。また、撮像部(前面/背面/両方)においては、電話機器110において、前面撮像部112と背面撮像部114のいずれの撮像画像を見たいか、あるいは両撮像部112、114の撮像画像を合成した画像を見たいか、を選択することができる。また、相手が複数人の場合(優先者表示する/優先者表示しない)においては、相手の電話機器110が複数人を撮像している場合に、そのうちの優先者を明示的に表示するか否かを設定することができる。また、優先者は(前面側の人/しゃべっている人/選択した人)においては、優先者をどのように定めるかを選択することができる。なお、図15(a)には図示されていないが、設定画面において、その他の情報、例えば優先者の表示方法や、文字情報を表示するか否かなどを設定することができてもよい。   FIG. 15A shows an example of a setting screen (step S20 in FIG. 7) displayed on the telephone device 10 used by the user A. In the setting screen of FIG. 15A, for example, when setting information related to imaging from a call partner is received when setting by the other party is permitted (permitted / not), whether to permit the setting is selected. Can do. In addition, regarding the face resolution (according to high / medium / low / distance), when a face is included in the range captured by the telephone device 110, the resolution of the area including the face is selected. Can do. Further, in the imaging unit (front / back / both), in the telephone device 110, which one of the captured images of the front imaging unit 112 and the rear imaging unit 114 is desired to be viewed, or the captured images of both imaging units 112 and 114 are synthesized You can select whether you want to see the image. In addition, when there are a plurality of partners (priority display / priority display), whether or not the priority is explicitly displayed when the partner telephone device 110 captures a plurality of people. Can be set. In addition, the priority person can select how to define the priority person (person on the front side / speaking person / selected person). Although not shown in FIG. 15A, other information such as a priority display method and whether or not to display character information may be set on the setting screen.

なお、電話機器10では、ユーザAが、図15(a)に示すような設定情報の入力を行ったものとする。   In the telephone device 10, it is assumed that the user A has input setting information as shown in FIG.

図15(b)には、ユーザB〜Eが利用する電話機器110に表示される設定画面(図7のステップS124)の一例が示されている。本実施形態では、電話機器110のユーザBが、図15(b)に示すような設定情報の入力を行ったものとする。   FIG. 15B shows an example of a setting screen (step S124 in FIG. 7) displayed on the telephone device 110 used by the users B to E. In the present embodiment, it is assumed that the user B of the telephone device 110 inputs setting information as shown in FIG.

なお、本第2の実施形態では、電話機器10と電話機器110との間でテレビ電話が開始されると、電話機器10には、図17(a)に示すような画面が表示される。図17(a)の画面には、電話機器10を利用するユーザAの画像が表示されるとともに、電話機器110を利用するユーザB〜Eの顔画像が同一の大きさの枠内に表示されるようになっている。また、図17(a)の画面には、第1の実施形態(図11(a))と同様、設定ボタン及び通話終了ボタンが表示される。   In the second embodiment, when a videophone call is started between the telephone device 10 and the telephone device 110, a screen as shown in FIG. In the screen of FIG. 17A, an image of the user A who uses the telephone device 10 is displayed, and face images of the users B to E who use the telephone device 110 are displayed in a frame of the same size. It has become so. In addition, as in the first embodiment (FIG. 11A), a setting button and a call end button are displayed on the screen of FIG.

ここで、図15(a)に示すように、設定画面において、顔の解像度として「距離に応じて」が選択された場合の、制御部130による撮像素子113の制御方法について説明する。例えば、図14において破線で示すように、電話機器110の背面撮像部114がユーザC〜Eを撮像している場合、背面撮像部114が有する撮像素子113には、ユーザの顔を含む矩形領域(第1撮像領域)113ac,113ad,113aeを設定することができる。この場合、領域の大きさが大きいほど、電話機器110からの距離が近く、小さいほど電話機器110からの距離が遠いと推定される。したがって、本実施形態では、制御部130は、領域の大きさが大きいほど(距離が近いほど)その領域の解像度を低くし、領域の大きさが小さいほど(距離が遠いほど)その領域の解像度を高く設定する。このようにすることで、図17(a)に示すように各領域(ユーザC〜Eの顔)を同一の大きさの表示枠内に表示するような場合でも、各ユーザC〜Eの顔の鮮明度合いを均一(ほぼ均一)にすることができる。なお、前面撮像部112においても、ユーザBの顔を含む第1撮像領域の解像度を、距離に応じて設定すれば、ユーザBの顔の鮮明度合いと、ユーザC〜Eの顔の鮮明度合いとを同一(ほぼ同一)にすることができる。なお、制御部130は、第1の実施形態と同様、顔以外の領域(第2撮像領域113b)の解像度を低く設定したり、撮像を行わないようにすることができる。これにより、消費電力を低減することができる。   Here, as shown in FIG. 15A, a method of controlling the image sensor 113 by the control unit 130 when “according to distance” is selected as the face resolution on the setting screen will be described. For example, as indicated by a broken line in FIG. 14, when the rear imaging unit 114 of the telephone device 110 is imaging the users C to E, the imaging element 113 included in the rear imaging unit 114 includes a rectangular area including the user's face. (First imaging region) 113ac, 113ad, 113ae can be set. In this case, it is estimated that the larger the area is, the closer the distance from the telephone device 110 is, and the smaller the area is, the farther the distance from the telephone device 110 is. Therefore, in this embodiment, the control unit 130 lowers the resolution of the region as the size of the region is larger (the distance is closer), and the resolution of the region as the size of the region is smaller (the distance is longer). Set high. By doing in this way, even if each area (users C to E's faces) is displayed in the display frame of the same size as shown in FIG. Can be made uniform (almost uniform). In the front imaging unit 112, if the resolution of the first imaging area including the face of the user B is set according to the distance, the degree of sharpness of the face of the user B and the degree of sharpness of the faces of the users C to E Can be the same (substantially the same). Note that, similarly to the first embodiment, the control unit 130 can set the resolution of the area other than the face (second imaging area 113b) to be low or not perform imaging. Thereby, power consumption can be reduced.

本第2の実施形態では、テレビ電話が開始されると、電話機器110の制御部130は、図17(a)に示すような画面G’を作成し、電話機器10の制御部30に送信する(図9のステップS162)。これにより、電話機器10のディスプレイ16には図17(a)に示すような画面が表示されるので、ユーザAは、相手側のユーザB〜Eの顔を見ながら通話をすることができる。この場合、電話機器110からの距離に応じた解像度で各ユーザの顔が撮像されるため、ユーザAは、ユーザB〜Eの顔を均一の鮮明度で見ることができる。   In the second embodiment, when a videophone call is started, the control unit 130 of the telephone device 110 creates a screen G ′ as shown in FIG. 17A and transmits it to the control unit 30 of the telephone device 10. (Step S162 in FIG. 9). Thereby, since a screen as shown in FIG. 17A is displayed on the display 16 of the telephone device 10, the user A can make a call while looking at the faces of the other users B to E. In this case, since each user's face is imaged with the resolution according to the distance from the telephone device 110, the user A can see the faces of the users B to E with uniform clarity.

ところで、図15(a)の設定画面において、ユーザAにより、相手が複数人の場合に「優先者表示する」が選択され、優先者は「前面側の人」が選択されたものとする。この場合、制御部130は、図17(b)に示すような画面G”を作成し、制御部30に送信するので、ディスプレイ116には、前面側の人(ユーザB)が他のユーザよりも大きく表示されるようになっている。この場合、制御部130は、顔を表示する表示枠の大きさと、顔と電話機器110との間の距離と、を考慮して、各第1撮像領域の解像度を設定することができる。例えば、制御部130は、顔を表示する表示枠内のデータ量が全て一致するように、各第1撮像領域の解像度を設定することができる。これにより、各表示枠内に表示される顔の鮮明度を均一にすることができる。   By the way, in the setting screen of FIG. 15A, it is assumed that “display priority” is selected by the user A when there are a plurality of opponents, and “front person” is selected as the priority. In this case, since the control unit 130 creates a screen G ″ as shown in FIG. 17B and transmits it to the control unit 30, the person on the front side (user B) is displayed on the display 116 from other users. In this case, the control unit 130 considers the size of the display frame for displaying the face and the distance between the face and the telephone device 110, so that each first imaging is performed. For example, the control unit 130 can set the resolution of each first imaging region so that the data amounts in the display frame for displaying the face all match. The sharpness of the face displayed in each display frame can be made uniform.

なお、ユーザの設定にもよるが、優先者表示においては、図18(a)に示すように、優先者の表示枠を他の表示枠よりも太線にて表示してもよい。また、図15(a)の設定画面において、ユーザAにより、優先者は「しゃべっている人」が選択された場合には、制御部130は、各ユーザの口の動きに基づいて、しゃべっている人を特定し、特定された人の表示枠を図18(b)に示すように太線で表示したり、図17(b)に示すように、大きく表示したりしてもよい。   Although depending on user settings, in the priority display, as shown in FIG. 18A, the priority display frame may be displayed with a thicker line than the other display frames. Further, in the setting screen of FIG. 15A, when the user A selects “speaking person” as the priority, the control unit 130 speaks based on the movement of each user's mouth. The person who is present may be specified, and the display frame of the specified person may be displayed with a bold line as shown in FIG. 18B, or may be displayed larger as shown in FIG.

また、例えば、図15(a)の設定画面において、ユーザAにより、優先者は「選択した人」が選択された場合には、制御部30は、図17(a)の画面において、ユーザAがタッチした表示枠の情報を取得し、制御部130に送信する。この場合、制御部130は、受信した情報に基づいて、タッチした表示枠を優先表示した画面を作成し、制御部30に送信すればよい。   Further, for example, in the setting screen of FIG. 15A, when the user A selects “selected person” as the priority, the control unit 30 displays the user A on the screen of FIG. The information of the display frame touched by is acquired and transmitted to the control unit 130. In this case, the control unit 130 may create a screen preferentially displaying the touched display frame based on the received information and transmit the screen to the control unit 30.

また、制御部130は、例えば、図19に示すように、どのユーザが電話機器110の前面側に位置し、どのユーザが電話機器110の背面側に位置しているかを表示する文字を付記した画面を制御部30に送信するようにしてもよい。   Further, for example, as shown in FIG. 19, the control unit 130 adds characters indicating which user is located on the front side of the telephone device 110 and which user is located on the back side of the telephone device 110. The screen may be transmitted to the control unit 30.

なお、制御部130は、優先者については、他のユーザよりも高い解像度で(又は鮮明度が高くなるように)撮像するように撮像条件を設定してもよい。これにより、優先度の高いユーザの表情を他のユーザよりも鮮明に表示することができる。   Note that the control unit 130 may set the imaging condition so that the priority is imaged at a higher resolution (or higher definition) than the other users. Thereby, a user's facial expression with a high priority can be displayed more clearly than other users.

以上、説明したように、本第2の実施形態によると、第1の実施形態と同様の効果が得られるほか、制御部130が、第1撮像領域113ac〜113aeの大きさに応じて各第1撮像領域の撮像条件を変更するので、電話機器10において適切な表示を行うことが可能である。また、制御部130は、第1撮像領域の画像を電話機器10において表示する表示枠の大きさに応じて、第1撮像領域の撮像条件を変更するので、表示枠の大きさを考慮した適切な撮像を行うことができる。   As described above, according to the second embodiment, the same effect as that of the first embodiment can be obtained, and the control unit 130 can control each of the first imaging regions 113ac to 113ae according to the size of the first imaging regions 113ac to 113ae. Since the imaging condition of one imaging area is changed, appropriate display can be performed on the telephone device 10. In addition, since the control unit 130 changes the imaging condition of the first imaging area according to the size of the display frame for displaying the image of the first imaging area on the telephone device 10, it is appropriate to consider the size of the display frame. Imaging can be performed.

また、制御部130は、優先者をユーザの状態(例えば、しゃべっているなど)に基づいて決定することができる。これにより、所定の状態のユーザ(例えば、しゃべっているユーザ)を目立つように表示することができる。   In addition, the control unit 130 can determine the priority based on the state of the user (for example, speaking). Thereby, the user (for example, the user who is talking) of a predetermined state can be displayed conspicuously.

なお、上記第2の実施形態では、優先者を1人定める場合について説明したが、これに限らず、優先者を複数人定めてもよい。また、各ユーザに優先順位を定め、優先順位に応じた表示を行うようにしてもよい。優先順位は、ユーザの位置や状態(しゃべっている、声が大きいなど)、ユーザの入力等に基づいて定めることができる。優先順位に応じた表示には、表示枠の大きさ、表示枠の表示位置、付記する文字(優先順位を示す数字)の少なくとも1つが含まれていてもよい。   In the second embodiment, the case where one priority is determined has been described. However, the present invention is not limited to this, and a plurality of priority may be determined. Further, priority order may be set for each user, and display according to the priority order may be performed. The priority can be determined based on the position and state of the user (speaking, loud voice, etc.), user input, and the like. The display in accordance with the priority order may include at least one of the size of the display frame, the display position of the display frame, and additional characters (numbers indicating the priority order).

また、上記第2の実施形態においても、第1の実施形態と同様、電話機器10のタッチパネル22における操作情報に基づいて、制御部130が作成する画面を変更することとしてもよい。また、電話機器10のタッチパネル22における操作情報に基づいて、制御部130が不図示のフラッシュの動作を制御してもよい。   Also in the second embodiment, the screen created by the control unit 130 may be changed based on operation information on the touch panel 22 of the telephone device 10 as in the first embodiment. Further, based on operation information on the touch panel 22 of the telephone device 10, the control unit 130 may control the operation of a flash (not shown).

なお、上記第2の実施形態では、ユーザの顔やユーザの情報を予め記憶部23,123に登録しておき、ユーザの顔認証結果に基づいて、ユーザの情報を画面上に表示するようにしてもよい。この場合、ユーザの情報(例えば役職等)に基づいて、優先順位を決定してもよい。   In the second embodiment, the user's face and user information are registered in the storage units 23 and 123 in advance, and the user information is displayed on the screen based on the user face authentication result. May be. In this case, the priority order may be determined based on user information (for example, job title).

なお、上記第2の実施形態では、テレビ電話を1人対多数人で行う場合について説明したが、これに限らず、多数人対多数人でテレビ電話を行う場合にも適用することができる。   In the second embodiment, the case where a videophone call is made by one to many people has been described. However, the present invention is not limited to this, and the present invention can also be applied to a case where a videophone call is made by many to many people.

《第3の実施形態》
以下、第3の実施形態の電子機器システムについて、図20〜図26に基づいて説明する。
<< Third Embodiment >>
Hereinafter, an electronic device system according to a third embodiment will be described with reference to FIGS.

図20には、第3の実施形態に係る電子機器システムの使用態様の一例が示されている。本実施形態では、図20に示すように、電話機器10を保持するユーザAが電話機器10及びカメラ装置210を利用して、遠隔地で開催されている会議に参加するためのシステムである。   FIG. 20 shows an example of how the electronic device system according to the third embodiment is used. In the present embodiment, as shown in FIG. 20, the user A holding the telephone device 10 uses the telephone device 10 and the camera device 210 to participate in a conference held at a remote place.

図21には、本実施形態の電子機器システム1000の構成がブロック図にて示されている。図21に示すように、電子機器システム1000は、電話機器10と、カメラ装置210と、を備える。電話機器10は、第1、第2の実施形態と同様の構成を有する。カメラ装置210は、撮像部212と、マイク213と、スピーカ214と、記憶部216と、通信部218と、制御部230とを有する。   FIG. 21 is a block diagram showing the configuration of the electronic device system 1000 of this embodiment. As shown in FIG. 21, the electronic device system 1000 includes a telephone device 10 and a camera device 210. The telephone device 10 has the same configuration as in the first and second embodiments. The camera device 210 includes an imaging unit 212, a microphone 213, a speaker 214, a storage unit 216, a communication unit 218, and a control unit 230.

撮像部212は、会議室の壁や天井等に固定され、会議室内を撮像する。撮像部212は、電話機器10の前面撮像部12及び背面撮像部14と同様の構成を有する。すなわち、撮像部212は、国際公開第2013/145753号に開示されているような各画素(画素群)の撮像条件を制御可能な撮像素子を有している。   The imaging unit 212 is fixed on the wall or ceiling of the conference room and images the conference room. The imaging unit 212 has the same configuration as the front imaging unit 12 and the rear imaging unit 14 of the telephone device 10. That is, the imaging unit 212 includes an imaging element that can control the imaging conditions of each pixel (pixel group) as disclosed in International Publication No. 2013/145553.

マイク213は、会議室内の音声を集音する。スピーカ214は、電話機器10のマイク20が集音したユーザAの音声を出力する。記憶部216は、電話機器10から入力される設定情報等を格納する。通信部218は、電話機器10の通信部24と通信し、音声や画像のやり取りを行う。   The microphone 213 collects sound in the conference room. The speaker 214 outputs the voice of the user A collected by the microphone 20 of the telephone device 10. The storage unit 216 stores setting information input from the telephone device 10. The communication unit 218 communicates with the communication unit 24 of the telephone device 10 to exchange voice and images.

制御部230は、CPU等を有し、カメラ装置210を統括的に制御する。   The control unit 230 includes a CPU and the like, and controls the camera device 210 in an integrated manner.

次に、本第3の実施形態における電子機器システム1000の処理について説明する。本実施形態の電子機器システム1000では、図22に示す設定処理と、図24に示す会議処理とが実行される。   Next, processing of the electronic device system 1000 according to the third embodiment will be described. In the electronic device system 1000 of the present embodiment, the setting process shown in FIG. 22 and the conference process shown in FIG. 24 are executed.

(設定処理)
図22の設定処理は、会議室内を撮像した画像(図23(a)参照)において、どの範囲がホワイトボードであり、どの範囲にユーザが座るかを、電話機器10を用いてユーザAが事前に設定する処理である。
(Setting process)
In the setting process of FIG. 22, in the image captured in the conference room (see FIG. 23A), the user A uses the telephone device 10 in advance to determine which range is the whiteboard and in which range the user sits. It is a process to set.

図22の処理では、まず、ステップS200において、制御部30が、設定開始要求があるまで待機する。この場合、ユーザAから設定開始要求が入力された段階で、ステップS202に移行する。   In the process of FIG. 22, first, in step S <b> 200, the control unit 30 waits until there is a setting start request. In this case, when the setting start request is input from the user A, the process proceeds to step S202.

ステップS202に移行すると、制御部30は、カメラ装置210の撮像画像を受信してディスプレイ16上に表示する。例えば、ディスプレイ16上には、図23(a)に示すような会議室内を撮像した画像が表示される。   In step S <b> 202, the control unit 30 receives a captured image of the camera device 210 and displays it on the display 16. For example, an image obtained by capturing the inside of the conference room as shown in FIG.

次いで、ステップS204では、制御部30は、ホワイトボード範囲指定要求をディスプレイ16上に表示する。この表示を見たユーザAは、ディスプレイ16に表示されている画像内で、ホワイトボードの範囲(図23(b)の範囲WB)を指定する。この場合、ユーザAは、タッチパネル22において、ホワイトボードの外縁部を指でなぞることで、範囲を指定することができる。   Next, in step S <b> 204, the control unit 30 displays a whiteboard range designation request on the display 16. User A who sees this display designates a whiteboard range (range WB in FIG. 23B) in the image displayed on display 16. In this case, the user A can specify the range by tracing the outer edge of the whiteboard with the finger on the touch panel 22.

次いで、ステップS206では、制御部30は、ホワイトボードの範囲が指定されるまで待機し、ユーザAによって範囲が指定された段階で、ステップS208に移行する。   Next, in step S206, the control unit 30 waits until the whiteboard range is designated, and when the range is designated by the user A, the control unit 30 proceeds to step S208.

ステップS208では、制御部30は、ユーザ存在範囲の指定要求をディスプレイ16上に表示する。この表示を見たユーザAは、ディスプレイ16に表示されている画像内で、会議中にユーザが存在するであろう範囲(図23(b)の範囲U1〜U4)を指定する。この場合、ユーザAは、例えばタッチパネル22において指定したい矩形範囲の対角の位置に触れることで、範囲指定することができる。   In step S <b> 208, the control unit 30 displays a user presence range designation request on the display 16. The user A who sees this display designates a range where the user will exist during the conference (ranges U1 to U4 in FIG. 23B) in the image displayed on the display 16. In this case, the user A can specify the range by touching the diagonal position of the rectangular range to be specified on the touch panel 22, for example.

次いで、ステップS210では、制御部30は、ユーザ存在範囲が指定されるまで待機し、ユーザAによって指定された段階で、ステップS212に移行する。   Next, in step S210, the control unit 30 waits until the user presence range is specified, and proceeds to step S212 at the stage specified by the user A.

ステップS212に移行すると、制御部30は、通信部24を介して、ユーザAによって指定された範囲(WB、U1〜U4)をカメラ装置210(制御部230)に送信する。なお、制御部230は、指定された範囲(WB、U1〜U4)を受信すると、その座標情報を記憶部216に記憶する。   If transfering it to step S212, the control part 30 will transmit the range (WB, U1-U4) designated by the user A to the camera apparatus 210 (control part 230) via the communication part 24. FIG. In addition, if the control part 230 receives the designated range (WB, U1-U4), it will memorize | store the coordinate information in the memory | storage part 216. FIG.

以上により、図22の設定処理が終了する。   Thus, the setting process in FIG. 22 ends.

(会議処理)
次に、会議処理について、図24のフローチャートに沿って説明する。図24の処理では、まず、ステップS300において、電話機器10の制御部30が、テレビ会議開始の要求がユーザAから入力されるまで待機し、ユーザAから入力された段階で、ステップS302に移行する。
(Conference processing)
Next, the conference process will be described along the flowchart of FIG. In the process of FIG. 24, first, in step S300, the control unit 30 of the telephone device 10 stands by until a request for starting a video conference is input from the user A. To do.

ステップS302に移行すると、制御部30は、通信部24を介して、会議の開始要求をカメラ装置210の制御部230に送信する。その後は、制御部30は、ステップS304において通信開始処理を実行する。   In step S <b> 302, the control unit 30 transmits a conference start request to the control unit 230 of the camera device 210 via the communication unit 24. Thereafter, the control unit 30 executes communication start processing in step S304.

一方、カメラ装置210の制御部230は、ステップS400において、会議の開始要求を受信するまで待機している。したがって、電話機器10側においてステップS302が実行されると、制御部230は、ステップS402に移行し、通信開始処理を実行する。   On the other hand, the control unit 230 of the camera apparatus 210 stands by until a meeting start request is received in step S400. Therefore, when step S302 is executed on the telephone device 10 side, the control unit 230 proceeds to step S402 and executes a communication start process.

上記のようにして、電話機器10とカメラ装置210との間の通信が成立すると、制御部30、230は、音声の送受信を開始する(ステップS305、S403)。この場合、電話機器10の制御部30は、マイク213で集音された会議室側の音声をスピーカ18から出力し、カメラ装置210の制御部230は、マイク20で集音されたユーザAの音声をスピーカ214から出力する。また、カメラ装置210側では、ステップS404において、制御部230が、画像の撮像を開始する。ここで、画像の撮像においては、制御部230は、ユーザにより指定された範囲WB,U1〜U4を第1撮像領域とするとともに、範囲WB,U1〜U4とは無関係に動く物体(プレゼンターPと推定される)を含む範囲を第1撮像領域とし、その他の範囲を第2撮像領域として、第1撮像領域の解像度を第2撮像領域の解像度よりも高く設定する。これにより、ホワイトボード、ユーザB〜D、及びプレゼンターPを高解像度で撮像することができる。   As described above, when communication between the telephone device 10 and the camera device 210 is established, the control units 30 and 230 start audio transmission / reception (steps S305 and S403). In this case, the control unit 30 of the telephone device 10 outputs the conference room side sound collected by the microphone 213 from the speaker 18, and the control unit 230 of the camera device 210 receives the user A's sound collected by the microphone 20. Audio is output from the speaker 214. On the camera device 210 side, in step S404, the control unit 230 starts capturing an image. Here, in image capturing, the control unit 230 sets the range WB, U1 to U4 designated by the user as the first imaging region, and an object that moves independently of the range WB, U1 to U4 (presenter P and The range including (estimated) is set as the first imaging area, the other range is set as the second imaging area, and the resolution of the first imaging area is set higher than the resolution of the second imaging area. As a result, the whiteboard, the users B to D, and the presenter P can be imaged with high resolution.

その後、カメラ装置210では、ステップS405において、制御部230が、ホワイトボード範囲WBを歪曲補正する。具体的には、ホワイトボード範囲WBは、通常、台形形状で撮像されることが多いため、当該台形形状が矩形形状となるように画像を補正し、歪みを低減する。   Thereafter, in the camera device 210, in step S405, the control unit 230 corrects the distortion of the whiteboard range WB. Specifically, since the whiteboard range WB is usually often captured in a trapezoidal shape, the image is corrected so that the trapezoidal shape becomes a rectangular shape, and distortion is reduced.

次いで、ステップS406では、制御部230は、各範囲(補正後の範囲WB、及び範囲U1〜U4)の画像及びプレゼンターPの画像を合成して画面を作成し、通信部218を介して電話機器10の制御部30に送信する。制御部230は、その後は、ステップS408の判断が肯定されるまで、すなわち、通信が切断されるまで、ステップS405、S406の処理を所定時間間隔で(例えば、1フレームごとに)繰り返す。   Next, in step S406, the control unit 230 generates a screen by combining the images of the respective ranges (the corrected range WB and the ranges U1 to U4) and the image of the presenter P, and the telephone device via the communication unit 218. To 10 control units 30. Thereafter, the control unit 230 repeats the processes of steps S405 and S406 at predetermined time intervals (for example, every frame) until the determination of step S408 is affirmed, that is, until communication is disconnected.

一方、電話機器10の制御部30は、ステップS304の後、ステップS306において、カメラ装置210から画面を受信するまで待機している。したがって、制御部230においてステップS406が実行されたタイミングで、制御部30は、ステップS308に移行し、受信した画面を表示する。ここで表示される画面は、例えば、図25(a)に示すようなプレゼンターP、ユーザB〜E、補正後のホワイトボードの画像を含む画面であるものとする。なお、図25(a)のような表示を行う場合、第1撮像領域以外の領域(又は第1撮像領域及びその周辺以外の領域)を撮像しなくてもよい。これにより、処理負荷や消費電力を低減することができる。   On the other hand, after step S304, the control unit 30 of the telephone device 10 stands by until a screen is received from the camera device 210 in step S306. Therefore, at the timing when step S406 is executed by the control unit 230, the control unit 30 proceeds to step S308 and displays the received screen. The screen displayed here is, for example, a screen including a presenter P, users B to E, and a corrected whiteboard image as shown in FIG. Note that when displaying as shown in FIG. 25A, it is not necessary to image an area other than the first imaging area (or the area other than the first imaging area and its surroundings). Thereby, processing load and power consumption can be reduced.

ただし、図25(a)の画面に限られるものではなく、ユーザAによる設定に基づいて、例えば、図25(b)や図26に示すような画面を表示することもできる。図25(b)の画面は、プレゼンターPとホワイトボードの画像を拡大して示す画面である。このような画面を表示する場合、撮像部212が有する撮像素子のうち、プレゼンターPを撮像する範囲と、ホワイトボードを撮像する範囲の解像度を、他の範囲の解像度よりも高く設定することが好ましい。   However, the screen is not limited to the screen of FIG. 25A, and based on the setting by the user A, for example, a screen as shown in FIG. 25B or FIG. 26 can be displayed. The screen shown in FIG. 25B is an enlarged screen showing images of the presenter P and the whiteboard. When displaying such a screen, it is preferable to set the resolution of the range where the presenter P is imaged and the range where the whiteboard is imaged among the imaging elements of the imaging unit 212 to be higher than the resolution of other ranges. .

一方、図26の画面は、図25(b)の画面のうち、ホワイトボードの画像において制御部230が文字認識した結果を、テキストデータとして表示した画面である。ホワイトボードに書かれている文字を認識してテキストデータとして表示することで、ホワイトボードに書かれている内容を読みやすく表示することができる。なお、図26では、設定処理において、図23(b)の範囲U1を指定されなかったため、ユーザBが表示されていない状態を示している。   On the other hand, the screen of FIG. 26 is a screen that displays, as text data, the result of the character recognition performed by the control unit 230 in the whiteboard image in the screen of FIG. By recognizing the characters written on the whiteboard and displaying them as text data, the content written on the whiteboard can be displayed in an easy-to-read manner. FIG. 26 shows a state in which user B is not displayed because the range U1 in FIG. 23B is not designated in the setting process.

次いで、ステップS310では、制御部30は、ユーザAから終了要求があったか否かを判断し、ここでの判断が否定されると、ステップS306に戻る。そして、制御部30は、ユーザAからの終了要求があるまで、ステップS306〜S310の処理・判断を繰り返す。   Next, in step S310, the control unit 30 determines whether or not there is a termination request from the user A. If the determination here is negative, the control unit 30 returns to step S306. And the control part 30 repeats the process and judgment of step S306-S310 until the completion | finish request | requirement from the user A exists.

その後、ユーザAからの終了要求があると、ステップS310の判断が肯定されるため、制御部30は、通信を切断して、図24の全処理を終了する。   Thereafter, when there is a termination request from the user A, the determination in step S310 is affirmed, so the control unit 30 disconnects communication and terminates all the processes in FIG.

以上、詳細に説明したように、本第3の実施形態によると、ユーザAが設定したユーザB〜Dが存在するであろう範囲やホワイトボードが撮像される範囲(第1撮像領域)の解像度をその他(第2撮像領域)の解像度よりも高く設定するので、ユーザが見たい領域を鮮明に表示することができる。   As described above in detail, according to the third embodiment, the resolution of the range where the users B to D set by the user A will exist and the range where the whiteboard is imaged (first imaging region) Is set to be higher than the resolution of the other (second imaging region), so that the region desired by the user can be clearly displayed.

また、会議室のように広い範囲を撮像する場合には、撮像部212が広角レンズを有する場合がある。特に光軸外の領域ではレンズの湾曲により画像が歪んでしまうが、本第3の実施形態のように画像を補正することで歪みを低減することができる。この場合、補正した範囲に文字が含まれる場合には、当該文字を読みやすく表示することができる。   Further, when imaging a wide range as in a conference room, the imaging unit 212 may have a wide-angle lens. In particular, in the region outside the optical axis, the image is distorted due to the curvature of the lens, but the distortion can be reduced by correcting the image as in the third embodiment. In this case, when a character is included in the corrected range, the character can be displayed in an easy-to-read manner.

なお、上記第3の実施形態では、範囲WB、U1〜U4について、個別に撮像条件を設定してもよい。また、設定処理において、セキュリティ上、撮像したくない範囲を設定できるようにしてもよい。なお、会議において、プレゼンターPが存在しないような場合には、しゃべっている人の顔を大きく表示するようにしてもよい。   In the third embodiment, the imaging conditions may be individually set for the ranges WB and U1 to U4. In the setting process, a range that is not desired to be captured may be set for security reasons. If the presenter P does not exist in the conference, the face of the person who is speaking may be displayed larger.

なお、上記第3の実施形態では、会議室にモニタを設け、該モニタとカメラ装置210とを接続してもよい。この場合、制御部230は、制御部30から電話機器10の前面撮像部12及び/又は背面撮像部14で撮像された画像を受信し、モニタに表示するようにしてもよい。   In the third embodiment, a monitor may be provided in the conference room, and the monitor and the camera device 210 may be connected. In this case, the control unit 230 may receive an image captured by the front imaging unit 12 and / or the rear imaging unit 14 of the telephone device 10 from the control unit 30 and display the image on the monitor.

なお、上記第3の実施形態では、カメラ装置210は、撮像部を備えるその他の装置(例えば、PCやスマートフォンなど)であってもよい。   In the third embodiment, the camera device 210 may be another device (for example, a PC or a smartphone) that includes an imaging unit.

なお、上記第3の実施形態においても、第1の実施形態と同様、プレゼンターの喋っている内容をテキスト表示するようにしてもよい。また、プレゼンターや会議参加者の画像から顔認識処理を行い、氏名や役職等を画像と併せて表示するようにしてもよい。   In the third embodiment as well, as in the first embodiment, the contents spoken by the presenter may be displayed as text. Further, face recognition processing may be performed from images of presenters and conference participants, and the name, title, and the like may be displayed together with the images.

上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。   The above-described embodiment is an example of a preferred embodiment of the present invention. However, the present invention is not limited to this, and various modifications can be made without departing from the scope of the present invention.

10 電話機器
110 電話機器
112 前面撮像部
113a 第1撮像領域
113b 第2撮像領域
114 背面撮像部
124 通信部
130 制御部
DESCRIPTION OF SYMBOLS 10 Telephone apparatus 110 Telephone apparatus 112 Front imaging part 113a 1st imaging area 113b 2nd imaging area 114 Back imaging part 124 Communication part 130 Control part

Claims (14)

第1撮像領域及び第2撮像領域を有する撮像部と、
外部機器から操作情報を取得する取得部と、
前記取得部により取得した前記操作情報に基づいて、前記第1撮像領域の撮像条件と前記第2撮像領域の撮像条件との少なくとも一方を設定する制御部と、
を備える電子機器。
An imaging unit having a first imaging region and a second imaging region;
An acquisition unit for acquiring operation information from an external device;
A control unit configured to set at least one of an imaging condition of the first imaging region and an imaging condition of the second imaging region based on the operation information acquired by the acquisition unit;
Electronic equipment comprising.
ユーザからの入力に基づいて、前記制御部による前記操作情報に基づく撮像条件の設定を制限する制限部を備える請求項1に記載の電子機器。   The electronic device according to claim 1, further comprising a limiting unit that limits setting of an imaging condition based on the operation information by the control unit based on an input from a user. 前記撮像部により撮像された画像を前記外部機器に送信する送信部を備える請求項1又は2に記載の電子機器。   The electronic device of Claim 1 or 2 provided with the transmission part which transmits the image imaged by the said imaging part to the said external device. 前記撮像部を複数備え、
前記送信部は、複数の前記撮像部で撮像された画像を合成して、前記外部機器に送信することを特徴とする請求項3に記載の電子機器。
A plurality of the imaging unit;
The electronic device according to claim 3, wherein the transmission unit synthesizes images captured by the plurality of imaging units and transmits the synthesized image to the external device.
前記取得部は、前記送信部が前記外部機器に送信し、該外部機器において表示された画像に対して入力された操作情報を受け付けることを特徴とする請求項3又は4に記載の電子機器。   5. The electronic device according to claim 3, wherein the acquisition unit receives operation information that the transmission unit transmits to the external device and is input to an image displayed on the external device. 6. 前記第1撮像領域は、被写体を撮像する領域であり、前記第2撮像領域は前記第1撮像領域の周辺の領域であることを特徴とする請求項1〜5のいずれか一項に記載の電子機器。   The first imaging area is an area for imaging a subject, and the second imaging area is an area around the first imaging area. Electronics. 前記制御部は、前記第1撮像領域の大きさに応じて前記第1撮像領域の撮像条件を変更することを特徴とする請求項6に記載の電子機器。   The electronic device according to claim 6, wherein the control unit changes an imaging condition of the first imaging area according to a size of the first imaging area. 前記制御部は、前記第1撮像領域の画像を前記外部機器において表示する大きさに応じて、前記第1撮像領域の撮像条件を変更することを特徴とする請求項6又は7に記載の電子機器。   8. The electronic device according to claim 6, wherein the control unit changes an imaging condition of the first imaging area according to a size at which the image of the first imaging area is displayed on the external device. machine. 前記第1撮像領域を複数有し、
前記制御部は、複数の前記第1撮像領域それぞれに設定された優先順位に応じて、前記撮像条件を変更することを特徴とする請求項6〜8のいずれか一項に記載の電子機器。
A plurality of the first imaging areas;
The electronic device according to claim 6, wherein the control unit changes the imaging condition according to a priority set for each of the plurality of first imaging regions.
前記制御部は、複数の前記第1撮像領域それぞれに含まれる被写体の状態に応じて前記優先順位を設定することを特徴とする請求項9に記載の電子機器。   The electronic apparatus according to claim 9, wherein the control unit sets the priority order according to a state of a subject included in each of the plurality of first imaging regions. 前記制御部は、前記第1撮像領域のフレームレートと、前記第2撮像領域のフレームレートとを異ならせることを特徴とする請求項1〜10のいずれか一項に記載の電子機器。   The electronic device according to claim 1, wherein the control unit makes the frame rate of the first imaging area different from the frame rate of the second imaging area. 前記制御部は、前記第1撮像領域のゲインと、前記第2撮像領域のゲインとを異ならせることを特徴とする請求項1〜11のいずれか一項に記載の電子機器。   The electronic device according to claim 1, wherein the control unit makes the gain of the first imaging region different from the gain of the second imaging region. 前記制御部は、前記第1撮像領域の蓄積時間と、前記第2撮像領域の蓄積時間とを異ならせることを特徴とする請求項1〜12のいずれか一項に記載の電子機器。   The electronic device according to claim 1, wherein the control unit makes the accumulation time of the first imaging area different from the accumulation time of the second imaging area. 請求項1〜13のいずれか一項に記載の電子機器と、
前記電子機器と通信可能な外部機器と、を備える電子機器システム。
An electronic device according to any one of claims 1 to 13,
An electronic device system comprising: an external device capable of communicating with the electronic device.
JP2018181813A 2018-09-27 2018-09-27 Electronic apparatus and electronic apparatus system Pending JP2019004520A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018181813A JP2019004520A (en) 2018-09-27 2018-09-27 Electronic apparatus and electronic apparatus system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018181813A JP2019004520A (en) 2018-09-27 2018-09-27 Electronic apparatus and electronic apparatus system

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014071623A Division JP6409301B2 (en) 2014-03-31 2014-03-31 Electronics

Publications (1)

Publication Number Publication Date
JP2019004520A true JP2019004520A (en) 2019-01-10

Family

ID=65005009

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018181813A Pending JP2019004520A (en) 2018-09-27 2018-09-27 Electronic apparatus and electronic apparatus system

Country Status (1)

Country Link
JP (1) JP2019004520A (en)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06217276A (en) * 1992-08-27 1994-08-05 Toshiba Corp Moving picture encoding device
JP2002034010A (en) * 2000-07-18 2002-01-31 Nagano Japan Radio Co Video telephone system
JP2005031317A (en) * 2003-07-11 2005-02-03 Nikon Corp Camera
JP2007228019A (en) * 2006-02-21 2007-09-06 Olympus Corp Imaging apparatus
JP2008252461A (en) * 2007-03-30 2008-10-16 Olympus Corp Imaging apparatus
JP2009253553A (en) * 2008-04-03 2009-10-29 Sharp Corp Image data output device and image data output method
JP2010161655A (en) * 2009-01-08 2010-07-22 Sony Ericsson Mobile Communications Ab Imaging apparatus, and imaging method
JP2010171690A (en) * 2009-01-22 2010-08-05 Nippon Telegr & Teleph Corp <Ntt> Television conference system and video communication method
JP2011176603A (en) * 2010-02-24 2011-09-08 Canon Inc Imaging apparatus and method for controlling the same
WO2013164915A1 (en) * 2012-05-02 2013-11-07 株式会社ニコン Imaging device

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06217276A (en) * 1992-08-27 1994-08-05 Toshiba Corp Moving picture encoding device
JP2002034010A (en) * 2000-07-18 2002-01-31 Nagano Japan Radio Co Video telephone system
JP2005031317A (en) * 2003-07-11 2005-02-03 Nikon Corp Camera
JP2007228019A (en) * 2006-02-21 2007-09-06 Olympus Corp Imaging apparatus
JP2008252461A (en) * 2007-03-30 2008-10-16 Olympus Corp Imaging apparatus
JP2009253553A (en) * 2008-04-03 2009-10-29 Sharp Corp Image data output device and image data output method
JP2010161655A (en) * 2009-01-08 2010-07-22 Sony Ericsson Mobile Communications Ab Imaging apparatus, and imaging method
JP2010171690A (en) * 2009-01-22 2010-08-05 Nippon Telegr & Teleph Corp <Ntt> Television conference system and video communication method
JP2011176603A (en) * 2010-02-24 2011-09-08 Canon Inc Imaging apparatus and method for controlling the same
WO2013164915A1 (en) * 2012-05-02 2013-11-07 株式会社ニコン Imaging device

Similar Documents

Publication Publication Date Title
US11477413B2 (en) System and method for providing wide-area imaging and communications capability to a handheld device
JP5434513B2 (en) Mobile terminal and brightness adjustment program
KR101433157B1 (en) Mobile terminal and method for transmitting image thereof
KR101356269B1 (en) Mobile terminal with dual camera and method for image processing using the same
WO2021051995A1 (en) Photographing method and terminal
WO2020015560A1 (en) Image sensor and mobile terminal
JP5294889B2 (en) Imaging apparatus and imaging method
JP6409301B2 (en) Electronics
WO2016031548A1 (en) Operation system, communication terminal, communication system, operation method, and program
JP2007150452A (en) Video intercom device
KR101782334B1 (en) Image sensor, image capturing apparatus, and cellular phone
JP2019004520A (en) Electronic apparatus and electronic apparatus system
US10218912B2 (en) Information processing apparatus, method of controlling image display, and storage medium
JP2017168977A (en) Information processing apparatus, conference system, and method for controlling information processing apparatus
US20050280731A1 (en) Apparatus and method for displaying images in a portable terminal comprising a camera and two display units
JP6494263B2 (en) Image sensor and electronic device
JP2005151073A (en) Portable terminal equipment having videophone function
KR100747581B1 (en) Mobile terminal having cameras and method for transmitting and receiving data using the same
JP2005175977A (en) Portable terminal device
TWI752465B (en) Image processing system, image processing method, and program
JP2005012291A (en) Mobile moving video communication terminal for tv conference
JP2007251778A (en) Image input-output apparatus
JP2006332968A (en) Video television device
JP2016123011A (en) Management system, communication terminal, management system, management method, and program
JPH1198484A (en) Remote conference system and terminal for remote conference

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180928

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190604

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190805

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191126

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200127

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200526