JP2019004520A - Electronic apparatus and electronic apparatus system - Google Patents
Electronic apparatus and electronic apparatus system Download PDFInfo
- Publication number
- JP2019004520A JP2019004520A JP2018181813A JP2018181813A JP2019004520A JP 2019004520 A JP2019004520 A JP 2019004520A JP 2018181813 A JP2018181813 A JP 2018181813A JP 2018181813 A JP2018181813 A JP 2018181813A JP 2019004520 A JP2019004520 A JP 2019004520A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- control unit
- user
- electronic device
- telephone device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、電子機器及び電子機器システムに関する。 The present invention relates to an electronic device and an electronic device system.
従来、撮像チップと信号処理チップが、マイクロバンプを介して接続された積層型撮像素子が知られている(例えば、特許文献1参照)。 Conventionally, a multilayer imaging device in which an imaging chip and a signal processing chip are connected via micro bumps is known (see, for example, Patent Document 1).
しかしながら、従来の積層型撮像素子を備えた電子機器において、複数のブロック単位毎に撮像して画像を取得する提案は多くなく、積層型撮像素子を備えた電子機器の使い勝手が十分ではなかった。 However, there are not many proposals for acquiring an image by capturing an image for each of a plurality of block units in an electronic apparatus including a conventional multilayer image sensor, and the usability of the electronic apparatus including the multilayer image sensor is not sufficient.
本発明は上記の課題に鑑みてなされたものであり、使い勝手のよい電子機器及び電子機器システムを提供することを目的とする。 The present invention has been made in view of the above problems, and an object thereof is to provide an electronic device and an electronic device system that are easy to use.
本発明の電子機器(110)は、第1撮像領域(113a)及び第2撮像領域(113b)を有する撮像部(113)と、外部機器(10)から操作情報を取得する取得部(124、130)と、前記取得部により取得した前記操作情報に基づいて、前記第1撮像領域の撮像条件と前記第2撮像領域の撮像条件との少なくとも一方を設定する制御部(130)と、を備えている。 The electronic device (110) of the present invention includes an imaging unit (113) having a first imaging region (113a) and a second imaging region (113b), and an acquisition unit (124,) that acquires operation information from the external device (10). 130) and a control unit (130) that sets at least one of the imaging condition of the first imaging region and the imaging condition of the second imaging region based on the operation information acquired by the acquisition unit. ing.
この場合において、ユーザからの入力に基づいて、前記制御部による前記操作情報に基づく撮像条件の設定を制限する制限部(130)を備えていてもよい。また、前記撮像部により撮像された画像を前記外部機器に送信する送信部(124、130)を備えていてもよい。この場合、前記撮像部を複数備え、前記送信部は、複数の前記撮像部(112,114)で撮像された画像を合成して、前記外部機器に送信することとしてもよい。また、前記取得部は、前記送信部が前記外部機器に送信し、該外部機器において表示された画像に対して入力された操作情報を受け付けることとしてもよい。 In this case, a restriction unit (130) that restricts setting of imaging conditions based on the operation information by the control unit based on an input from a user may be provided. Moreover, you may provide the transmission part (124,130) which transmits the image imaged by the said imaging part to the said external apparatus. In this case, a plurality of the imaging units may be provided, and the transmission unit may synthesize images captured by the plurality of imaging units (112, 114) and transmit the synthesized images to the external device. In addition, the acquisition unit may receive operation information that is transmitted from the transmission unit to the external device and is input to an image displayed on the external device.
また、本発明においては、前記第1撮像領域は、被写体を撮像する領域であり、前記第2撮像領域は前記第1撮像領域の周辺の領域であってもよい。この場合、前記制御部は、前記第1撮像領域の大きさに応じて前記第1撮像領域の撮像条件を変更することとしてもよい。また、前記制御部は、前記第1撮像領域の画像を前記外部機器において表示する大きさに応じて、前記第1撮像領域の撮像条件を変更することとしてもよい。更に、前記第1撮像領域を複数有し、前記制御部は、複数の前記第1撮像領域それぞれに設定された優先順位に応じて、前記撮像条件を変更することとしてもよい。この場合、前記制御部は、複数の前記第1撮像領域それぞれに含まれる被写体の状態に応じて前記優先順位を設定することとしてもよい。 In the present invention, the first imaging area may be an area for imaging a subject, and the second imaging area may be an area around the first imaging area. In this case, the control unit may change the imaging condition of the first imaging area according to the size of the first imaging area. Further, the control unit may change the imaging condition of the first imaging area according to the size of displaying the image of the first imaging area on the external device. Furthermore, it is good also as having a plurality of said 1st imaging areas, and the said control part changing the said imaging conditions according to the priority set to each of the said some 1st imaging area. In this case, the control unit may set the priority order according to the state of the subject included in each of the plurality of first imaging regions.
また、本発明においては、前記制御部は、前記第1撮像領域のフレームレートと、前記第2撮像領域のフレームレートとを異ならせることとしてもよい。また、前記制御部は、前記第1撮像領域のゲインと、前記第2撮像領域のゲインとを異ならせることとしてもよい。また、前記制御部は、前記第1撮像領域の蓄積時間と、前記第2撮像領域の蓄積時間とを異ならせることとしてもよい。 In the present invention, the control unit may make the frame rate of the first imaging area different from the frame rate of the second imaging area. The control unit may make the gain of the first imaging area different from the gain of the second imaging area. Further, the control unit may make the accumulation time of the first imaging area different from the accumulation time of the second imaging area.
本発明の電子機器システムは、本発明の電子機器(110)と、前記電子機器と通信可能な外部機器(10)と、を備えている。 The electronic device system of the present invention includes the electronic device (110) of the present invention and an external device (10) capable of communicating with the electronic device.
この場合において、前記外部機器は、本発明の電子機器であることとしてもよい。また、前記電子機器において前記第1撮像領域を複数有する場合に、前記外部機器は、複数の前記第1撮像領域に設定された優先順位に応じた表示を行うこととしてもよい。この場合、前記外部機器は、複数の前記第1撮像領域に設定された優先順位に応じて、表示する画像の大きさ、表示位置、画像に付記する文字、の少なくとも1つを制御することとしてもよい。また、本発明では、前記外部機器は、前記電子機器で撮像された画像を表示するとともに、前記操作情報の入力を受け付けるタッチパネル(22)を有することとしてもよい。 In this case, the external device may be the electronic device of the present invention. In addition, when the electronic device has a plurality of the first imaging regions, the external device may perform display according to the priority order set for the plurality of first imaging regions. In this case, the external device controls at least one of the size of the image to be displayed, the display position, and the character added to the image according to the priority order set in the plurality of first imaging regions. Also good. In the present invention, the external device may include a touch panel (22) that displays an image captured by the electronic device and receives an input of the operation information.
なお、本発明をわかりやすく説明するために、上記においては一実施形態を表す図面の符号に対応つけて説明したが、本発明は、これに限定されるものではなく、後述の実施形態の構成を適宜改良しても良く、また、少なくとも一部を他の構成物に代替させても良い。更に、その配置について特に限定のない構成要件は、実施形態で開示した配置に限らず、その機能を達成できる位置に配置することができる。 In addition, in order to explain the present invention in an easy-to-understand manner, the above description has been made in association with the reference numerals of the drawings representing one embodiment. However, the present invention is not limited to this, and the configuration of an embodiment described later is provided. May be modified as appropriate, or at least a part thereof may be replaced with another component. Further, the configuration requirements that are not particularly limited with respect to the arrangement are not limited to the arrangement disclosed in the embodiment, and can be arranged at positions where the functions can be achieved.
本発明の電子機器及び電子機器システムは、使い勝手を向上することができるという効果を奏する。 The electronic device and the electronic device system of the present invention have an effect that usability can be improved.
《第1の実施形態》
以下、第1の実施形態に係る電子機器システムについて、図1〜図13に基づいて、詳細に説明する。図1には、電子機器システム100の構成がブロック図にて示されている。図1に示すように、電子機器システム100は、複数の電話機器(図1では、2つの電話機器10,110を図示)を備える(利用する)。
<< First Embodiment >>
Hereinafter, the electronic device system according to the first embodiment will be described in detail with reference to FIGS. FIG. 1 is a block diagram showing the configuration of the
(電話機器10)
電話機器10は、携帯電話やスマートフォンなどであり、通話機能のほか、電子メールの作成・送受信機能やインターネット接続機能、スケジュール管理機能などを有する。電話機器10は、図1に示すように、前面撮像部12、背面撮像部14、ディスプレイ16、スピーカ18、マイク20、タッチパネル22、記憶部23、通信部24、制御部30等を備える。なお、図2(a)には、電話機器10を前面側(ディスプレイ16が存在する側)から見た状態が示され、図2(b)には、電話機器10を背面側から見た状態が示されている。
(Telephone device 10)
The
前面撮像部12は、いわゆるインカメラであり、図2(a)に示すように、電話機器10の前面側に設けられている。前面撮像部12は、撮影レンズと、国際公開第2013/145753号に開示されているような各画素(画素群)の撮像条件を制御可能な撮像素子13(図3参照)と、を有しており、動画や静止画などの撮像を行う。なお、撮像素子13の各画素(画素群)において制御可能な撮像条件には、フレームレート、ゲイン、蓄積時間等の撮像条件が含まれる。
The
以下、撮像素子13について、図3〜図6に基づいて、詳細に説明する。
Hereinafter, the
図3は、本実施形態に係る裏面照射型の撮像素子13の断面図である。撮像素子13は、入射光に対応した画素信号を出力する撮像チップ513と、画素信号を処理する信号処理チップ511と、画素信号を記憶するメモリチップ512とを備える。これら撮像チップ513、信号処理チップ511およびメモリチップ512は積層されており、Cu等の導電性を有するバンプ509により互いに電気的に接続される。
FIG. 3 is a cross-sectional view of the backside illumination
なお、図示するように、入射光は主に白抜き矢印で示すZ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ513において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Z軸に直交する紙面右方向をX軸プラス方向、Z軸およびX軸に直交する紙面手前方向をY軸プラス方向とする。以降のいくつかの図においては、図3の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
As shown in the figure, incident light is incident mainly in the positive direction of the Z-axis indicated by a white arrow. In the present embodiment, in the
撮像チップ513の一例は、裏面照射型のMOSイメージセンサである。PD層は、配線層508の裏面側に配されている。PD層506は、二次元的に配された複数のPD(フォトダイオード)504、および、PD504に対応して設けられたトランジスタ505を有する。
An example of the
PD層506における入射光の入射側にはパッシベーション膜503を介してカラーフィルタ502が設けられる。カラーフィルタ502は、互いに異なる波長領域を透過する複数の種類を有しており、PD504のそれぞれに対応して特定の配列を有している。カラーフィルタ502の配列については後述する。カラーフィルタ502、PD504およびトランジスタ505の組が一つの画素を形成する。
A
カラーフィルタ502における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ501が設けられる。マイクロレンズ501は、対応するPD504へ向けて入射光を集光する。
A
配線層508は、PD層506からの画素信号を信号処理チップ511に伝送する配線507を有する。配線507は多層であってもよく、また、受動素子および能動素子が設けられてもよい。
The
配線層508の表面には複数のバンプ509が配される。当該複数のバンプ509が信号処理チップ511の対向する面に設けられた複数のバンプ509と位置合わせされて、撮像チップ513と信号処理チップ511とが加圧等されることにより、位置合わせされたバンプ509同士が接合されて、電気的に接続される。
A plurality of
同様に、信号処理チップ511およびメモリチップ512の互いに対向する面には、複数のバンプ509が配される。これらのバンプ509が互いに位置合わせされて、信号処理チップ511とメモリチップ512とが加圧等されることにより、位置合わせされたバンプ509同士が接合されて、電気的に接続される。
Similarly, a plurality of
なお、バンプ509間の接合には、固相拡散によるCuバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用しても良い。また、バンプ509は、例えば後述する一つの出力配線に対して一つ程度設ければ良い。したがって、バンプ509の大きさは、PD504のピッチよりも大きくても良い。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ509よりも大きなバンプを併せて設けても良い。
The bonding between the
信号処理チップ511は、表裏面にそれぞれ設けられた回路を互いに接続するTSV(シリコン貫通電極)510を有する。TSV510は、周辺領域に設けられることが好ましい。また、TSV510は、撮像チップ513の周辺領域、メモリチップ512にも設けられて良い。
The
図4は、撮像チップ513の画素配列と単位グループ131を説明する図である。特に、撮像チップ513を裏面側から観察した様子を示す。画素領域には2000万個以上もの画素がマトリックス状に配列されている。本実施形態においては、隣接する4画素×4画素の16画素が一つのグループを形成する。図の格子線は、隣接する画素がグループ化されて単位グループ131を形成する概念を示す。
FIG. 4 is a diagram for explaining the pixel array and the
画素領域の部分拡大図に示すように、単位グループ131は、緑色画素Gb、Gr、青色画素Bおよび赤色画素Rの4画素から成るいわゆるベイヤー配列を、上下左右に4つ内包する。緑色画素Gb、Grは、カラーフィルタ502として緑色フィルタを有し、入射光のうち緑色波長帯の光を受光する。同様に、青色画素Bは、カラーフィルタ502として青色フィルタを有し、青色波長帯の光を受光し、赤色画素Rは、カラーフィルタ502として赤色フィルタを有し、赤色波長帯の光を受光する。
As shown in the partially enlarged view of the pixel region, the
図5は、画素150の等価回路図を示す。上記複数の画素150の各々は、上記PD504、転送トランジスタ152、リセットトランジスタ154、増幅トランジスタ156および選択トランジスタ158を有する。これらのトランジスタの少なくとも一部は図3のトランジスタ505に対応する。さらに、画素150には、リセットトランジスタ154のオン信号が供給されるリセット配線300、転送トランジスタ152のオン信号が供給される転送配線302、電源Vddから電力の供給を受ける電源配線304、選択トランジスタ158のオン信号が供給される選択配線306、および、画素信号を出力する出力配線308が配される。以下、各トランジスタをnチャンネル型FETを例として説明するが、トランジスタの種類はこれに限られない。
FIG. 5 shows an equivalent circuit diagram of the
転送トランジスタ152のソース、ゲート、ドレインはそれぞれ、PD504の一端、転送配線302、増幅トランジスタ156のゲートに接続される。また、リセットトランジスタ154のドレインは電源配線304に接続され、ソースは増幅トランジスタ156のゲートに接続される。増幅トランジスタ156のドレインは電源配線304に接続され、ソースは選択トランジスタ158のドレインに接続される。選択トランジスタ158のゲートは選択配線306に接続され、ソースは出力配線308に接続されている。負荷電流源309は、出力配線308に電流を供給する。すなわち、選択トランジスタ158に対する出力配線308は、ソースフォロアにより形成される。なお、負荷電流源309は、撮像チップ513側に設けても良いし、信号処理チップ511側に設けても良い。
The source, gate, and drain of the
図6は、単位グループ131における上記画素150の接続関係を示す回路図である。なお、図面を見やすくする目的で各トランジスタの参照番号を省略したが、図6の各画素の各トランジスタは、図5の画素150における対応する位置に配された各トランジスタと同じ構成および機能を有する。
FIG. 6 is a circuit diagram showing the connection relationship of the
図6に示す単位グループ131内で、同じ色のカラーフィルタ502を有する画素150が画素群を形成する。カラーフィルタ502が図4に示すようにRGBの三種類であることに対応して、画素Gb1、Gb2、Gb3、Gb4、Gr1、Gr2、Gr3、Gr4の8画素がG画素群を形成する。同様に、画素R1、R2、R3、R4の4画素がR画素群を形成し、画素B1、B2、B3、B4の4画素がB画素群を形成する。すなわち、カラーフィルタ502を透過する波長領域毎に画素群が形成される。
In the
ここで、各画素群に含まれる複数の画素間で転送トランジスタのゲートが共通に接続されている。これにより、転送トランジスタのゲートが画素群に属する画素で一斉に、かつ、画素群間で独立して制御される。 Here, the gates of the transfer transistors are commonly connected between a plurality of pixels included in each pixel group. Thereby, the gates of the transfer transistors are controlled all at once in the pixels belonging to the pixel group and independently between the pixel groups.
図6に示す例において、G画素群に含まれる画素Gb1、Gb2、Gb3、Gb4、Gr1、Gr2、Gr3、Gr4の転送トランジスタのゲートは共通のG転送配線310に接続されている。同様に、R画素群の画素R1、R2、R3、R4の転送トランジスタのゲートは共通のR転送配線312に接続され、B画素群の画素B1、B2、B3、B4の転送トランジスタのゲートは共通のB転送配線314に接続されている。
In the example shown in FIG. 6, the gates of the transfer transistors of the pixels Gb 1, Gb 2, Gb 3, Gb 4, Gr 1, Gr 2, Gr 3, Gr 4 included in the G pixel group are connected to a common
また、各画素群に含まれる複数の画素間で選択トランジスタのソースが共通に接続されている。G画素群の画素Gb1、Gb2、Gb3、Gb4、Gr1、Gr2、Gr3、Gr4の選択トランジスタのソースは共通のG出力配線320に接続されている。同様に、R画素群の画素R1、R2、R3、R4の選択トランジスタのソースは共通のR出力配線322に接続され、B画素群の画素B1、B2、B3、B4の選択トランジスタのソースは共通のB出力配線324に接続されている。
Further, the source of the selection transistor is connected in common between a plurality of pixels included in each pixel group. The sources of the selection transistors of the pixels Gb 1, Gb 2, Gb 3, Gb 4, Gr 1, Gr 2, Gr 3, Gr 4 of the G pixel group are connected to a common
G出力配線320には負荷電流源311が接続される。同様に、R出力配線322には負荷電流源313が接続されるとともに、B出力配線324には負荷電流源315が接続される。なお、リセット配線326および電源配線316は単位グループ131で共通である。また、選択配線318は、各画素に一対一に16本配され、対応する選択トランジスタのゲートに接続されている。
A load
このように、一の単位グループ131に対して複数の出力配線が設けられることになる。しかし、撮像チップ513は裏面照射型なので、PD504に入射する光量を減らすことなく、撮像チップ513の配線507の層数を増やして、面方向の大きさを大きくすることなく配線を引き回すことができる。
In this way, a plurality of output wirings are provided for one
本実施形態では、撮像素子13が上記構成を有することで、各画素群において、フレームレート、ゲイン、蓄積時間等の撮像条件を変更することができる。
In the present embodiment, since the
図1に戻り、背面撮像部14は、いわゆるアウトカメラであり、図2(b)に示すように、電話機器10の背面側に設けられている。背面撮像部14は、前面撮像部12と同様、撮影レンズと、国際公開第2013/145753号に開示されているような各画素(画素群)の撮像条件を制御可能な撮像素子113(図10参照)と、を有する。
Returning to FIG. 1, the
ディスプレイ16は、例えば液晶ディスプレイであり、例えば、ユーザが電話機器10を操作するための操作画面、ユーザに情報を提供するための情報提供画面、ユーザがテレビ電話機能を利用する際のテレビ電話画面等を表示する。
The
スピーカ18は、例えば、図2(a)のディスプレイ16の上側に配置され、制御部30の指示の下、音声を出力する。マイク20は、例えば、図2(a)のディスプレイ16の下側に配置され、周囲の音声を集音する。
The
タッチパネル22は、ディスプレイ16上に組みつけられており、ユーザから各種入力を受け付ける。
The
記憶部23は、例えば不揮発性のフラッシュメモリを有し、各種プログラムのほか、アドレス帳のテーブルや、ユーザのスケジュールデータなどの各種情報を記憶する。
The
通信部24は、電話回線等を介して、他の機器(例えば、電話機器110)と通信を行うものであり、例えば、他の電話機器110との通話、テレビ電話、インターネットへの接続、インターネットを介したその他の情報処理装置との通信を可能にする。
The
制御部30は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を備え、電話機器10全体を制御する。本実施形態において、制御部30は、例えば、ユーザがテレビ電話を利用するときに、他の機器(例えば、電話機器110)から設定情報を受け付けると、該設定情報に基づいて前面撮像部12及び/又は背面撮像部14の撮像条件の設定を行う。また、制御部30は、例えば、ユーザから他の機器(例えば、電話機器110)の設定情報の入力を受け付けると、通信部24を介して該設定情報を他の機器に送信する。
The
(電話機器110)
電話機器110は、図1に示すように、上述した電話機器10と同様の構成を有する。なお、図1等では、電話機器110の構成各部の符号として、電話機器10の構成各部の符号の百の位に1を付加した符号を採用している。
(Telephone device 110)
As shown in FIG. 1, the
(電話機器10、110の通話に関する処理について)
次に、電話機器10、110間における通話(テレビ電話、音声通話)時の処理について、図7〜図13に基づいて説明する。
(Regarding the processing related to the
Next, processing at the time of a telephone call (videophone or voice call) between the
図7は、電話機器10、110間における通話時の処理を示すフローチャートである。本説明においては、電話機器10から電話機器110に対して発信する場合について説明する。
FIG. 7 is a flowchart showing processing during a call between the
図7の処理では、まず、ステップS10において、制御部30は、電話機器10のユーザ(ユーザAとする)が、電話機器10において通話相手の情報を入力するまで待機する。この場合、ユーザAは、タッチパネル22を用いて通話相手の電話番号を入力したり、アドレス帳のテーブルから通話相手を選択するなどして通話相手の情報を入力する。ユーザAから通話相手の情報が入力されると、ステップS12に移行する。
In the process of FIG. 7, first, in step S <b> 10, the
ステップS12に移行すると、制御部30は、通話方式がテレビ電話であるか否かを判断する。すなわち、ユーザAが通話相手の情報を入力した後にテレビ電話による通話を選択したか否かを判断する。このステップS12の判断が否定された場合、すなわち音声通話が選択された場合には、制御部30は、ステップS13に移行する。ステップS13に移行すると、制御部30は、通話要求を通話相手の電話機器に発信する。ここでは、制御部30は、ユーザBが利用する電話機器110に対して通話要求を発信したものとする。
If transfering it to step S12, the
一方、電話機器110では、制御部130は、ステップS110において通話要求を受信するまで待機している。したがって、電話機器10側においてステップS13が行われると、制御部130は、ステップS112に移行する。ステップS112に移行すると、制御部130は、受信画面を表示する。なお、受信画面には、図8(a)に示すように、通話要求を発信した電話機器の電話番号、ユーザ名、通話開始ボタンが含まれている。
On the other hand, in
次いで、ステップS114では、制御部130は、ユーザBによって通話開始ボタンが押されるまで待機する。ユーザBによって通話開始ボタンが押されると、ステップS116に移行し、制御部130は、通話方式がテレビ電話か否かを判断する。このステップS116における判断が否定された場合には、ステップS118に移行し、通話処理を実行する。なお、電話機器10側においても、電話機器110側においてステップS118が実行されるのと同一のタイミングで、ステップS14の通話処理が実行される。なお、ステップS118、S14の通話処理は、一般的な電話機器間の音声通話処理と同一であるので、その説明は省略する。
Next, in step S114, the
その後は、制御部30、130は、電話機器10、110においてユーザが通話を終了するまで(例えばディスプレイ16,116上の通話終了ボタンを押すまで)通話処理を実行する。そして、通話が終了された段階(S16、S120:肯定)で、制御部30、130は、通信を切断し(S18,S122)、図7の全処理を終了する。
Thereafter, the
これに対し、ステップS12の判断が肯定された場合、すなわち、ユーザAが通話方式としてテレビ電話を選択した場合には、制御部30は、ステップS20に移行する。ステップS20では、制御部30は、ディスプレイ16上に設定画面を表示する。設定画面は、具体的には、図8(b)に示すような、設定内容と通話開始ボタンとを含む画面であるものとする。図8(b)の設定画面では、例えば、相手による設定を許可(する/しない)において、通話相手からの撮像に関する設定情報を受信した場合に、その設定を許可するか否かを選択することができる。また、顔の解像度(高/中/低)においては、ユーザBの電話機器110において撮像される範囲に顔が含まれていた場合に、その顔が含まれる領域の解像度を指定することができる。また、顔以外の表示(する/しない)においては、撮像された顔以外の領域を表示するか否かを選択することができ、顔拡大(する/しない)においては、顔以外の表示をしない場合に、顔を拡大して表示するか否かを選択することができる。また、文字情報の表示(する/しない)においては、電話機器110のユーザBの音声認識を実行して、ユーザBが話した内容を文字情報として表示するか否かを選択することができる。更に、撮像部(前面/背面/両方)においては、電話機器110において、前面撮像部112と背面撮像部114のいずれの撮像画像を見たいか、あるいは両撮像部112、114の撮像画像を合成した画像を見たいか、を選択することができる。
On the other hand, if the determination in step S12 is affirmative, that is, if user A has selected videophone as the call mode,
図8(b)のような設定画面を表示した後は、制御部30は、ステップS22において、通話開始ボタンが押されるまで待機する。そして、ユーザAが設定画面において選択を行い、通話開始ボタンを押すと、制御部30は、ステップS24に移行する。
After displaying the setting screen as shown in FIG. 8B, the
ステップS24では、制御部30は、通話相手の電話機器(ユーザBの電話機器110)に対して通話要求を発信する。その後は、制御部30は、ステップS26において、電話機器110からの応答があるまで待機する。
In step S <b> 24, the
一方、電話機器110側においては、制御部130が通話要求を受信すると(ステップS110:肯定)、ステップS112、S114を前述と同様に実行し、ステップS116において、通話方式がテレビ電話か否かを判断する。このステップS116の判断が肯定されると、ステップS124に移行し、制御部130は、設定画面を表示する。この場合の設定画面は、図8(b)と同様の設定画面であるものとするが、通話開始ボタンに代えて、設定終了ボタンが設けられているものとする。
On the other hand, on the
この設定画面において、ユーザBが設定内容を決定し、設定終了ボタンを押すと(ステップS126:肯定)、制御部130は、ステップS128において、電話機器10に対する応答処理を実行する。この応答処理を実行した後は、制御部130は、ステップS130のテレビ電話通話処理のサブルーチンを実行する。一方、電話機器10では、電話機器110側から応答があった場合(S26:肯定)、ステップS28のテレビ電話通話処理のサブルーチンを実行する。
In this setting screen, when the user B determines the setting contents and presses the setting end button (step S126: Yes), the
以下、ステップS28、S130の詳細について、図9のフローチャートに沿って説明する。なお、ステップS28、S130の各処理は、同一の処理であるため、ここでは、電話機器110の制御部130による処理(ステップS130)を例にとり説明する。
Details of steps S28 and S130 will be described below with reference to the flowchart of FIG. In addition, since each process of step S28 and S130 is the same process, it demonstrates here taking the process (step S130) by the
図9の処理では、まず、ステップS150において、制御部130は、撮像に関する設定情報(ステップS124で説明した設定画面上で入力された情報)を通信部124を介して電話機器10の制御部30に送信する。
In the process of FIG. 9, first, in step S150, the
次いで、ステップS152では、制御部130は、撮像に関する設定情報を電話機器10側から受信するまで待機し、受信した段階で、ステップS154に移行する。ステップS154に移行すると、制御部130は、相手による設定を許可しているか否かを判断する。すなわち、図8(b)の設定画面において、相手(ユーザA)による設定を許可(する/しない)のうち、「する」にチェックが入れられたか否かを判断する。ここでの判断が否定された場合には、ステップS162に移行するが、肯定された場合には、ステップS156に移行する。
Next, in step S152, the
ステップS156に移行した場合、制御部130は、撮像条件を設定する。例えば、電話機器10において、図8(b)に示すような設定情報が入力された場合には、当該設定に従った撮像を行うように撮像条件を設定する。図8(b)の場合、撮像部として「前面撮像部112」を利用し、顔の解像度が「高」に設定されているので、図10に示すように、前面撮像部112の撮像素子113の各画素において、顔を撮像している領域(第1撮像領域)113aの解像度が他の領域(第2撮像領域)113bよりも高くなるように撮像条件を設定する。この場合、制御部130は、第1撮像領域113aの間引き率を第2撮像領域113bの間引き率よりも小さくする。また、第1撮像領域113aのフレームレートを第2撮像領域113bのフレームレートよりも小さくすることもできる。
When the process proceeds to step S156, the
次いで、ステップS158では、制御部130は、撮像及び顔認識を実行する。この場合、制御部130は、撮像結果から顔認識を行い、顔を含む範囲を特定する。
Next, in step S158, the
次いで、ステップS160では、制御部130は、顔認識結果に基づいて第1撮像領域113aをどの範囲に設定するかを特定し、特定した第1撮像領域113aの間引き率やフレームレートを設定する。なお、第1撮像領域113aの位置や大きさは、顔の動きに追従して変化する。
Next, in step S160, the
次いで、ステップS162では、制御部130は、設定情報に基づいて、撮像された画像から電話機器10に送信する画面を作成し、作成した画面と音声の送受信を開始する。すなわち、テレビ電話による通話を開始する。ここで、図8(b)に示すように、顔以外の表示を「しない」、顔拡大を「する」、文字情報の表示を「する」に設定していた場合には、制御部130は、画面として、図11(a)に符号Gで示す画面を作成して電話機器10(制御部30)に送信する。なお、文字情報「元気?」は、制御部130がユーザBの音声を認識した結果を表示したものである。なお、文字情報としては、通話時間や通話料金等の情報を表示することとしてもよい。
Next, in step S162, the
画面Gを受信した制御部30は、ディスプレイ16に図11(a)に示すようなテレビ電話画面を表示する。なお、図11(a)のテレビ電話画面には、画面Gの他、電話機器10の前面撮像部12において撮像され、制御部30により作成された画面H(S162)や、設定ボタン、通話終了ボタンが含まれている。ここで、図11(a)のように顔を拡大表示する場合であっても、顔の解像度が「高」に設定されていれば、ディスプレイ16上において、ユーザBの顔を鮮明に表示することができる。
The
なお、図8(b)の設定画面において、顔以外の表示を「しない」、顔拡大を「しない」、文字情報の表示を「する」に設定していた場合には、テレビ電話画面として、図11(b)に示す画面が表示される。ここで、図11(a)、図11(b)の画面がディスプレイ16上に表示される場合、制御部130は、電話機器110の前面撮像部112では、顔以外の領域(第2撮像領域113b)の撮像を行わないように設定してもよい。ただし、顔の動きに第1撮像領域113aを追従させるため、第1撮像領域113aの周囲の所定範囲については、撮像を行うようにしてもよい。この場合、当該所定範囲内においては、解像度を第1撮像領域113aよりも低く設定して撮像するようにしてもよい。このように、必要に応じて撮像する範囲を減らしたり、解像度を低くしたりすることで、制御部130の処理量を低減させることができるため、通信負荷、消費電力、電池消耗等の低減を図ることが可能となる。
In the setting screen of FIG. 8B, when the display other than the face is set to “No”, the face enlargement is set to “No”, and the character information display is set to “Yes”, The screen shown in FIG. 11B is displayed. Here, when the screens of FIG. 11A and FIG. 11B are displayed on the
また、図8(c)の設定画面において、顔以外の表示を「する」、顔拡大を「しない」、文字情報の表示を「する」に設定していた場合には、テレビ電話画面として、図12(a)に示す画面が表示される。さらに、図8(b)の設定画面において、顔以外の表示を「する」、顔拡大を「しない」、文字情報の表示を「しない」に設定していた場合には、テレビ電話画面として、図12(b)に示す画面がディスプレイ16に表示される。この場合においても、相手の顔をはっきり表示したいときに顔の範囲の解像度を上げることができるため、ユーザの視認性、使い勝手を向上することができる。また、顔以外の領域(第2撮像領域113b)の解像度を下げることで、制御部130の処理量を低減させることができる。なお、第1撮像領域113aと第2撮像領域113bにおけるフレームレートが異なる場合には、一方の撮像領域で撮像が行われたタイミングにおいて他方の撮像領域で撮像が行われていない場合がある。このような場合には、一方の撮像領域の撮像画像と他方の撮像領域の直近の撮像画像とを合成するようにすればよい。
Further, in the setting screen of FIG. 8C, when the display other than the face is set to “Yes”, the face enlargement is set to “No”, and the character information display is set to “Yes”, The screen shown in FIG. 12A is displayed. Further, in the setting screen of FIG. 8B, when the display other than the face is set to “Yes”, the face enlargement is set to “No”, and the character information display is set to “No”, A screen shown in FIG. 12B is displayed on the
また、図8(b)の設定画面において、顔以外の表示を「しない」、顔拡大を「する」、文字情報の表示を「しない」、撮像部の「両方」を使用する、に設定していた場合には、テレビ電話画面として、図13に示す画面が作成され、ディスプレイ16に表示される。この図13の画面では、背面撮像部114で撮像された画像I(ユーザBの周辺の風景の画像)と、前面撮像部112で撮像された画像J(ユーザBの画像)とが合成された状態で表示される。
Also, in the setting screen of FIG. 8B, the display other than the face is set to “No”, the face enlargement is “Yes”, the character information display is “No”, and “Both” of the imaging unit is used. If so, the screen shown in FIG. 13 is created as a videophone screen and displayed on the
図9に戻り、制御部130は、ステップS162の後、ステップS164において、設定ボタンが押されたか否かを判断する。ユーザBは、設定を変更したい場合には、設定ボタンを押す。このように設定ボタンが押されると、ステップS164の判断が肯定され、制御部130は、ステップS166において、設定画面を表示する。なお、この場合の設定画面は、図8(b)と同様であるが、通話開始ボタンに代えて設定変更ボタンが設けられているものとする。
Returning to FIG. 9, after step S <b> 162, the
この設定画面においてユーザBが設定を変更し設定変更ボタンを押すと(S168:肯定)、制御部130は、ステップS170において、変更された設定を通信部124を介して電話機器10に送信する。次いで、ステップS172では、制御部130は、通話終了ボタンが押されたか否かを判断し、このステップS172の判断が否定されると、ステップS164に戻る。
When the user B changes the setting on this setting screen and presses the setting change button (S168: Yes), the
一方、ステップS164の判断が否定された場合、すなわち、設定ボタンが押されていない場合には、ステップS174に移行し、制御部130は、電話機器10側から設定情報(ユーザAが設定を変更したという情報)を受信したか否かを判断する。このステップS174の判断が否定された場合には、ステップS172に移行するが、肯定された場合には、ステップS176に移行する。
On the other hand, if the determination in step S164 is negative, that is, if the setting button is not pressed, the process proceeds to step S174, and the
ステップS176に移行すると、制御部130は、設定において、相手による設定を許可しているか否かを判断する。このステップS176の判断が否定された場合には、ステップS172に移行するが、肯定された場合には、ステップS178に移行する。ステップS178に移行した場合、制御部130は、電話機器10においてユーザAによって変更された設定を反映させる(記憶部123に格納されている設定情報を更新する)。その後は、ステップS172に移行する。
When the process proceeds to step S176, the
その後、ステップS164〜S178の処理・判断を繰り返し、ステップS172の判断が肯定されると、制御部130は、ステップS180に移行する。ステップS180では、制御部130は、電話機器10との通信(通話)を切断し、図9及び図7の全処理を終了する。なお、前述したように、電話機器10においても図9の処理が同時並行的に実行される(S28)。
Thereafter, the processing / determination of steps S164 to S178 is repeated, and when the determination of step S172 is affirmed, the
なお、制御部130(30)は、ステップS164〜S172の処理を行っている間に、ユーザからのテレビ電話画面への入力をタッチパネル122(22)を介して受け付けるようにしてもよい。すなわち、例えば、図12(b)の画面上でタッチパネル122がユーザBによる入力(ここでは、一例としてピンチアウト動作とする)を受け付けた場合には、ピンチアウトされた部分を拡大して表示するようにしてもよい。この場合、ピンチアウト動作が行われたという情報は、設定が変更された場合(S166〜S170)と同様、制御部30が相手側の電話機器110の制御部130に対して送信するようにすればよく、相手側の制御部130は、当該ピンチアウト動作の情報に基づいて、画面を作成するようにすればよい。また、例えば、ユーザが明るさを変えた箇所を指定した場合には、当該箇所が明るく表示されるようにしてもよい。この場合、制御部30は箇所の指定情報を相手側の制御部130に対して送信し、相手側の制御部130が、指定された箇所を撮像する画素(画素群)のゲインを他の素子よりも上げたり、指定された箇所を撮像する画素(画素群)の電荷蓄積時間を他の素子よりも長くしたりすればよい。また、ユーザが画面全体を明るくする旨の指示を入力した場合には、その旨を制御部30が制御部130に送信し、制御部130が、不図示の閃光装置(フラッシュ)を制御して発光させるようにしてもよい。
Note that the control unit 130 (30) may receive input from the user to the videophone screen via the touch panel 122 (22) while performing the processing of steps S164 to S172. That is, for example, when the
なお、本実施形態では、例えば、ユーザAが相手による設定を許可しない設定としている場合には、ユーザAがユーザBに送信する自身の画像の設定を図8(b)と同様の設定画面上にて行うこととしてもよい。これにより、ユーザAは、ユーザBの電話機器110に表示される画面を自分でカスタマイズすることができる。例えば、ユーザAが自己の周辺を見せたくない場合には、図11(b)のような画面表示になるように設定を行えばよい。
In the present embodiment, for example, when the user A is set not to permit the setting by the other party, the setting of the image of the user A transmitted to the user B is set on the same setting screen as in FIG. It is good also to do in. Thereby, the user A can customize the screen displayed on the
以上、詳細に説明したように、本第1の実施形態によると、電話機器110は、第1撮像領域113a及び第2撮像領域113bを有する撮像部112又は114と、相手方の電話機器10から設定情報を取得する通信部124と、通信部124が取得した設定情報に基づいて、第1撮像領域113aの撮像条件と第2撮像領域113bの撮像条件との少なくとも一方を設定する制御部130と、を備えているので、相手方の電話機器10を利用するユーザAが入力した設定情報に基づいて、電話機器110における撮像条件を変更することができる。これにより、電話機器110が撮像した画像に対して、該画像を表示する電話機器10のユーザAの好みを反映させることができるので、ユーザの使い勝手を向上することができる。
As described above in detail, according to the first embodiment, the
また、本第1の実施形態では、制御部130は、ユーザBが設定画面(図8(b))において設定した情報に基づいて、設定情報に基づく撮像条件の設定を制限する(S154:否定の場合)。これにより、相手方(ユーザA)がユーザBの利用する電話機器110の撮像条件を一方的に変更できないようにすることができる。
In the first embodiment, the
また、本第1の実施形態では、通信部124は、撮像部112又は114により撮像された画像を電話機器10に送信するので、ユーザAは自身の好みが反映された画像を見ることができる。
In the first embodiment, the
また、本第1の実施形態では、電話機器110が前面撮像部112と背面撮像部114とを備えており、制御部130は、通信部124を介して、両撮像部112,114で撮像された画像を合成して、電話機器10に送信することができる(図13参照)。これにより、ユーザAは、電話機器110の前面側と背面側の画像を同時に見ることができる。
In the first embodiment, the
また、本第1の実施形態では、制御部130は、電話機器10に送信し、電話機器10において表示された画像に対して入力された操作情報(ピンチアウト動作など)を受け付けるので、ユーザAにより画像に対して入力された操作情報を反映させた画像を電話機器10に送信することができる。
In the first embodiment, the
また、本第1の実施形態では、電子機器システム100は、同一の機能を有する電話機器10,110間でテレビ電話を行うシステムであるので、発信側のユーザ及び受信側のユーザのそれぞれが、相手方の撮像部の設定を行うことができる。ただし、これに限らず、いずれか一方の電話機器において相手方の撮像部の設定を行うことができなくてもよい。
In the first embodiment, since the
なお、上記第1の実施形態では、テレビ電話の設定情報の入力を通話開始直前に行う場合について説明したが、これに限らず、設定情報の入力は、事前に行っておいてもよい。また、制御部30,130は、テレビ電話を終了したときの設定情報を記憶部23,123に記憶しておき、次回テレビ電話を行う際に記憶しておいた設定情報を読み出すこととしてもよい。
In the first embodiment, the case where the setting information of the videophone is input immediately before the start of the call has been described. However, the present invention is not limited to this, and the setting information may be input in advance. The
なお、上記第1の実施形態では、ユーザBの音声認識及び文字情報の表示を、ユーザBの利用する電話機器110の制御部130が行う場合について説明したが、これに限らず、相手方の電話機器10の制御部30がユーザBの音声認識及び文字情報の表示を行うこととしてもよい。
In the first embodiment, the case where the
なお、上記第1の実施形態では、一方の電話機器がインターホンの室内設置機器で、他方の電話機器がインターホンの室外設置機器であってもよい。この場合、室内設置機器上でユーザが設定した設定情報を室外設置機器に送信し、該設定情報に基づいて、室外設置機器の制御部が撮像素子の第1撮像領域と第2撮像領域の少なくとも一方の撮像条件を変更するようにしてもよい。これにより、上記第1の実施形態と同様の効果を得ることができる。 In the first embodiment, one telephone device may be an interphone indoor installation device, and the other telephone device may be an interphone outdoor installation device. In this case, setting information set by the user on the indoor installation device is transmitted to the outdoor installation device, and based on the setting information, the control unit of the outdoor installation device at least of the first imaging region and the second imaging region of the image sensor. One imaging condition may be changed. Thereby, the same effect as the first embodiment can be obtained.
なお、上記第1の実施形態では、2つの電話機器間におけるテレビ電話について説明したが、これに限らず、PC(Personal Computer)及びWEBカメラを用いたテレビ電話においても、適用することができる。 In the first embodiment, the videophone between the two telephone devices has been described. However, the present invention is not limited to this, and the present invention can also be applied to a videophone using a PC (Personal Computer) and a WEB camera.
《第2の実施形態》
以下、第2の実施形態について、図14〜図19に基づいて、説明する。
<< Second Embodiment >>
Hereinafter, the second embodiment will be described with reference to FIGS.
図14には、本第2の実施形態における電子機器システムの使用態様の一例が示されている。図14に示すように、本第2の実施形態では、ユーザAが利用する電話機器10と、ユーザBが保持し、ユーザB〜ユーザEが利用する電話機器110との間でテレビ電話による通話を行うものとする。すなわち、本第2の実施形態では、1人対多数人(図14では1人対4人)によるテレビ電話が行われるものとする。
FIG. 14 shows an example of how the electronic device system is used in the second embodiment. As shown in FIG. 14, in the second embodiment, a videophone call is made between the
なお、本第2の実施形態では、基本的には、第1の実施形態の処理(図7、図9)と同様の処理が行われるが、各電話機器10,110における設定情報の内容が異なっている。
In the second embodiment, basically the same processing as the processing in the first embodiment (FIGS. 7 and 9) is performed, but the contents of the setting information in each
図15(a)には、ユーザAが利用する電話機器10に表示される設定画面(図7のステップS20)の一例が示されている。図15(a)の設定画面では、例えば、相手による設定を許可(する/しない)において、通話相手からの撮像に関する設定情報を受信した場合に、その設定を許可するか否かを選択することができる。また、顔の解像度(高/中/低/距離に応じて)においては、電話機器110において撮像される範囲に顔が含まれていた場合に、その顔が含まれる領域の解像度を選択することができる。また、撮像部(前面/背面/両方)においては、電話機器110において、前面撮像部112と背面撮像部114のいずれの撮像画像を見たいか、あるいは両撮像部112、114の撮像画像を合成した画像を見たいか、を選択することができる。また、相手が複数人の場合(優先者表示する/優先者表示しない)においては、相手の電話機器110が複数人を撮像している場合に、そのうちの優先者を明示的に表示するか否かを設定することができる。また、優先者は(前面側の人/しゃべっている人/選択した人)においては、優先者をどのように定めるかを選択することができる。なお、図15(a)には図示されていないが、設定画面において、その他の情報、例えば優先者の表示方法や、文字情報を表示するか否かなどを設定することができてもよい。
FIG. 15A shows an example of a setting screen (step S20 in FIG. 7) displayed on the
なお、電話機器10では、ユーザAが、図15(a)に示すような設定情報の入力を行ったものとする。
In the
図15(b)には、ユーザB〜Eが利用する電話機器110に表示される設定画面(図7のステップS124)の一例が示されている。本実施形態では、電話機器110のユーザBが、図15(b)に示すような設定情報の入力を行ったものとする。
FIG. 15B shows an example of a setting screen (step S124 in FIG. 7) displayed on the
なお、本第2の実施形態では、電話機器10と電話機器110との間でテレビ電話が開始されると、電話機器10には、図17(a)に示すような画面が表示される。図17(a)の画面には、電話機器10を利用するユーザAの画像が表示されるとともに、電話機器110を利用するユーザB〜Eの顔画像が同一の大きさの枠内に表示されるようになっている。また、図17(a)の画面には、第1の実施形態(図11(a))と同様、設定ボタン及び通話終了ボタンが表示される。
In the second embodiment, when a videophone call is started between the
ここで、図15(a)に示すように、設定画面において、顔の解像度として「距離に応じて」が選択された場合の、制御部130による撮像素子113の制御方法について説明する。例えば、図14において破線で示すように、電話機器110の背面撮像部114がユーザC〜Eを撮像している場合、背面撮像部114が有する撮像素子113には、ユーザの顔を含む矩形領域(第1撮像領域)113ac,113ad,113aeを設定することができる。この場合、領域の大きさが大きいほど、電話機器110からの距離が近く、小さいほど電話機器110からの距離が遠いと推定される。したがって、本実施形態では、制御部130は、領域の大きさが大きいほど(距離が近いほど)その領域の解像度を低くし、領域の大きさが小さいほど(距離が遠いほど)その領域の解像度を高く設定する。このようにすることで、図17(a)に示すように各領域(ユーザC〜Eの顔)を同一の大きさの表示枠内に表示するような場合でも、各ユーザC〜Eの顔の鮮明度合いを均一(ほぼ均一)にすることができる。なお、前面撮像部112においても、ユーザBの顔を含む第1撮像領域の解像度を、距離に応じて設定すれば、ユーザBの顔の鮮明度合いと、ユーザC〜Eの顔の鮮明度合いとを同一(ほぼ同一)にすることができる。なお、制御部130は、第1の実施形態と同様、顔以外の領域(第2撮像領域113b)の解像度を低く設定したり、撮像を行わないようにすることができる。これにより、消費電力を低減することができる。
Here, as shown in FIG. 15A, a method of controlling the
本第2の実施形態では、テレビ電話が開始されると、電話機器110の制御部130は、図17(a)に示すような画面G’を作成し、電話機器10の制御部30に送信する(図9のステップS162)。これにより、電話機器10のディスプレイ16には図17(a)に示すような画面が表示されるので、ユーザAは、相手側のユーザB〜Eの顔を見ながら通話をすることができる。この場合、電話機器110からの距離に応じた解像度で各ユーザの顔が撮像されるため、ユーザAは、ユーザB〜Eの顔を均一の鮮明度で見ることができる。
In the second embodiment, when a videophone call is started, the
ところで、図15(a)の設定画面において、ユーザAにより、相手が複数人の場合に「優先者表示する」が選択され、優先者は「前面側の人」が選択されたものとする。この場合、制御部130は、図17(b)に示すような画面G”を作成し、制御部30に送信するので、ディスプレイ116には、前面側の人(ユーザB)が他のユーザよりも大きく表示されるようになっている。この場合、制御部130は、顔を表示する表示枠の大きさと、顔と電話機器110との間の距離と、を考慮して、各第1撮像領域の解像度を設定することができる。例えば、制御部130は、顔を表示する表示枠内のデータ量が全て一致するように、各第1撮像領域の解像度を設定することができる。これにより、各表示枠内に表示される顔の鮮明度を均一にすることができる。
By the way, in the setting screen of FIG. 15A, it is assumed that “display priority” is selected by the user A when there are a plurality of opponents, and “front person” is selected as the priority. In this case, since the
なお、ユーザの設定にもよるが、優先者表示においては、図18(a)に示すように、優先者の表示枠を他の表示枠よりも太線にて表示してもよい。また、図15(a)の設定画面において、ユーザAにより、優先者は「しゃべっている人」が選択された場合には、制御部130は、各ユーザの口の動きに基づいて、しゃべっている人を特定し、特定された人の表示枠を図18(b)に示すように太線で表示したり、図17(b)に示すように、大きく表示したりしてもよい。
Although depending on user settings, in the priority display, as shown in FIG. 18A, the priority display frame may be displayed with a thicker line than the other display frames. Further, in the setting screen of FIG. 15A, when the user A selects “speaking person” as the priority, the
また、例えば、図15(a)の設定画面において、ユーザAにより、優先者は「選択した人」が選択された場合には、制御部30は、図17(a)の画面において、ユーザAがタッチした表示枠の情報を取得し、制御部130に送信する。この場合、制御部130は、受信した情報に基づいて、タッチした表示枠を優先表示した画面を作成し、制御部30に送信すればよい。
Further, for example, in the setting screen of FIG. 15A, when the user A selects “selected person” as the priority, the
また、制御部130は、例えば、図19に示すように、どのユーザが電話機器110の前面側に位置し、どのユーザが電話機器110の背面側に位置しているかを表示する文字を付記した画面を制御部30に送信するようにしてもよい。
Further, for example, as shown in FIG. 19, the
なお、制御部130は、優先者については、他のユーザよりも高い解像度で(又は鮮明度が高くなるように)撮像するように撮像条件を設定してもよい。これにより、優先度の高いユーザの表情を他のユーザよりも鮮明に表示することができる。
Note that the
以上、説明したように、本第2の実施形態によると、第1の実施形態と同様の効果が得られるほか、制御部130が、第1撮像領域113ac〜113aeの大きさに応じて各第1撮像領域の撮像条件を変更するので、電話機器10において適切な表示を行うことが可能である。また、制御部130は、第1撮像領域の画像を電話機器10において表示する表示枠の大きさに応じて、第1撮像領域の撮像条件を変更するので、表示枠の大きさを考慮した適切な撮像を行うことができる。
As described above, according to the second embodiment, the same effect as that of the first embodiment can be obtained, and the
また、制御部130は、優先者をユーザの状態(例えば、しゃべっているなど)に基づいて決定することができる。これにより、所定の状態のユーザ(例えば、しゃべっているユーザ)を目立つように表示することができる。
In addition, the
なお、上記第2の実施形態では、優先者を1人定める場合について説明したが、これに限らず、優先者を複数人定めてもよい。また、各ユーザに優先順位を定め、優先順位に応じた表示を行うようにしてもよい。優先順位は、ユーザの位置や状態(しゃべっている、声が大きいなど)、ユーザの入力等に基づいて定めることができる。優先順位に応じた表示には、表示枠の大きさ、表示枠の表示位置、付記する文字(優先順位を示す数字)の少なくとも1つが含まれていてもよい。 In the second embodiment, the case where one priority is determined has been described. However, the present invention is not limited to this, and a plurality of priority may be determined. Further, priority order may be set for each user, and display according to the priority order may be performed. The priority can be determined based on the position and state of the user (speaking, loud voice, etc.), user input, and the like. The display in accordance with the priority order may include at least one of the size of the display frame, the display position of the display frame, and additional characters (numbers indicating the priority order).
また、上記第2の実施形態においても、第1の実施形態と同様、電話機器10のタッチパネル22における操作情報に基づいて、制御部130が作成する画面を変更することとしてもよい。また、電話機器10のタッチパネル22における操作情報に基づいて、制御部130が不図示のフラッシュの動作を制御してもよい。
Also in the second embodiment, the screen created by the
なお、上記第2の実施形態では、ユーザの顔やユーザの情報を予め記憶部23,123に登録しておき、ユーザの顔認証結果に基づいて、ユーザの情報を画面上に表示するようにしてもよい。この場合、ユーザの情報(例えば役職等)に基づいて、優先順位を決定してもよい。
In the second embodiment, the user's face and user information are registered in the
なお、上記第2の実施形態では、テレビ電話を1人対多数人で行う場合について説明したが、これに限らず、多数人対多数人でテレビ電話を行う場合にも適用することができる。 In the second embodiment, the case where a videophone call is made by one to many people has been described. However, the present invention is not limited to this, and the present invention can also be applied to a case where a videophone call is made by many to many people.
《第3の実施形態》
以下、第3の実施形態の電子機器システムについて、図20〜図26に基づいて説明する。
<< Third Embodiment >>
Hereinafter, an electronic device system according to a third embodiment will be described with reference to FIGS.
図20には、第3の実施形態に係る電子機器システムの使用態様の一例が示されている。本実施形態では、図20に示すように、電話機器10を保持するユーザAが電話機器10及びカメラ装置210を利用して、遠隔地で開催されている会議に参加するためのシステムである。
FIG. 20 shows an example of how the electronic device system according to the third embodiment is used. In the present embodiment, as shown in FIG. 20, the user A holding the
図21には、本実施形態の電子機器システム1000の構成がブロック図にて示されている。図21に示すように、電子機器システム1000は、電話機器10と、カメラ装置210と、を備える。電話機器10は、第1、第2の実施形態と同様の構成を有する。カメラ装置210は、撮像部212と、マイク213と、スピーカ214と、記憶部216と、通信部218と、制御部230とを有する。
FIG. 21 is a block diagram showing the configuration of the
撮像部212は、会議室の壁や天井等に固定され、会議室内を撮像する。撮像部212は、電話機器10の前面撮像部12及び背面撮像部14と同様の構成を有する。すなわち、撮像部212は、国際公開第2013/145753号に開示されているような各画素(画素群)の撮像条件を制御可能な撮像素子を有している。
The
マイク213は、会議室内の音声を集音する。スピーカ214は、電話機器10のマイク20が集音したユーザAの音声を出力する。記憶部216は、電話機器10から入力される設定情報等を格納する。通信部218は、電話機器10の通信部24と通信し、音声や画像のやり取りを行う。
The
制御部230は、CPU等を有し、カメラ装置210を統括的に制御する。
The
次に、本第3の実施形態における電子機器システム1000の処理について説明する。本実施形態の電子機器システム1000では、図22に示す設定処理と、図24に示す会議処理とが実行される。
Next, processing of the
(設定処理)
図22の設定処理は、会議室内を撮像した画像(図23(a)参照)において、どの範囲がホワイトボードであり、どの範囲にユーザが座るかを、電話機器10を用いてユーザAが事前に設定する処理である。
(Setting process)
In the setting process of FIG. 22, in the image captured in the conference room (see FIG. 23A), the user A uses the
図22の処理では、まず、ステップS200において、制御部30が、設定開始要求があるまで待機する。この場合、ユーザAから設定開始要求が入力された段階で、ステップS202に移行する。
In the process of FIG. 22, first, in step S <b> 200, the
ステップS202に移行すると、制御部30は、カメラ装置210の撮像画像を受信してディスプレイ16上に表示する。例えば、ディスプレイ16上には、図23(a)に示すような会議室内を撮像した画像が表示される。
In step S <b> 202, the
次いで、ステップS204では、制御部30は、ホワイトボード範囲指定要求をディスプレイ16上に表示する。この表示を見たユーザAは、ディスプレイ16に表示されている画像内で、ホワイトボードの範囲(図23(b)の範囲WB)を指定する。この場合、ユーザAは、タッチパネル22において、ホワイトボードの外縁部を指でなぞることで、範囲を指定することができる。
Next, in step S <b> 204, the
次いで、ステップS206では、制御部30は、ホワイトボードの範囲が指定されるまで待機し、ユーザAによって範囲が指定された段階で、ステップS208に移行する。
Next, in step S206, the
ステップS208では、制御部30は、ユーザ存在範囲の指定要求をディスプレイ16上に表示する。この表示を見たユーザAは、ディスプレイ16に表示されている画像内で、会議中にユーザが存在するであろう範囲(図23(b)の範囲U1〜U4)を指定する。この場合、ユーザAは、例えばタッチパネル22において指定したい矩形範囲の対角の位置に触れることで、範囲指定することができる。
In step S <b> 208, the
次いで、ステップS210では、制御部30は、ユーザ存在範囲が指定されるまで待機し、ユーザAによって指定された段階で、ステップS212に移行する。
Next, in step S210, the
ステップS212に移行すると、制御部30は、通信部24を介して、ユーザAによって指定された範囲(WB、U1〜U4)をカメラ装置210(制御部230)に送信する。なお、制御部230は、指定された範囲(WB、U1〜U4)を受信すると、その座標情報を記憶部216に記憶する。
If transfering it to step S212, the
以上により、図22の設定処理が終了する。 Thus, the setting process in FIG. 22 ends.
(会議処理)
次に、会議処理について、図24のフローチャートに沿って説明する。図24の処理では、まず、ステップS300において、電話機器10の制御部30が、テレビ会議開始の要求がユーザAから入力されるまで待機し、ユーザAから入力された段階で、ステップS302に移行する。
(Conference processing)
Next, the conference process will be described along the flowchart of FIG. In the process of FIG. 24, first, in step S300, the
ステップS302に移行すると、制御部30は、通信部24を介して、会議の開始要求をカメラ装置210の制御部230に送信する。その後は、制御部30は、ステップS304において通信開始処理を実行する。
In step S <b> 302, the
一方、カメラ装置210の制御部230は、ステップS400において、会議の開始要求を受信するまで待機している。したがって、電話機器10側においてステップS302が実行されると、制御部230は、ステップS402に移行し、通信開始処理を実行する。
On the other hand, the
上記のようにして、電話機器10とカメラ装置210との間の通信が成立すると、制御部30、230は、音声の送受信を開始する(ステップS305、S403)。この場合、電話機器10の制御部30は、マイク213で集音された会議室側の音声をスピーカ18から出力し、カメラ装置210の制御部230は、マイク20で集音されたユーザAの音声をスピーカ214から出力する。また、カメラ装置210側では、ステップS404において、制御部230が、画像の撮像を開始する。ここで、画像の撮像においては、制御部230は、ユーザにより指定された範囲WB,U1〜U4を第1撮像領域とするとともに、範囲WB,U1〜U4とは無関係に動く物体(プレゼンターPと推定される)を含む範囲を第1撮像領域とし、その他の範囲を第2撮像領域として、第1撮像領域の解像度を第2撮像領域の解像度よりも高く設定する。これにより、ホワイトボード、ユーザB〜D、及びプレゼンターPを高解像度で撮像することができる。
As described above, when communication between the
その後、カメラ装置210では、ステップS405において、制御部230が、ホワイトボード範囲WBを歪曲補正する。具体的には、ホワイトボード範囲WBは、通常、台形形状で撮像されることが多いため、当該台形形状が矩形形状となるように画像を補正し、歪みを低減する。
Thereafter, in the
次いで、ステップS406では、制御部230は、各範囲(補正後の範囲WB、及び範囲U1〜U4)の画像及びプレゼンターPの画像を合成して画面を作成し、通信部218を介して電話機器10の制御部30に送信する。制御部230は、その後は、ステップS408の判断が肯定されるまで、すなわち、通信が切断されるまで、ステップS405、S406の処理を所定時間間隔で(例えば、1フレームごとに)繰り返す。
Next, in step S406, the
一方、電話機器10の制御部30は、ステップS304の後、ステップS306において、カメラ装置210から画面を受信するまで待機している。したがって、制御部230においてステップS406が実行されたタイミングで、制御部30は、ステップS308に移行し、受信した画面を表示する。ここで表示される画面は、例えば、図25(a)に示すようなプレゼンターP、ユーザB〜E、補正後のホワイトボードの画像を含む画面であるものとする。なお、図25(a)のような表示を行う場合、第1撮像領域以外の領域(又は第1撮像領域及びその周辺以外の領域)を撮像しなくてもよい。これにより、処理負荷や消費電力を低減することができる。
On the other hand, after step S304, the
ただし、図25(a)の画面に限られるものではなく、ユーザAによる設定に基づいて、例えば、図25(b)や図26に示すような画面を表示することもできる。図25(b)の画面は、プレゼンターPとホワイトボードの画像を拡大して示す画面である。このような画面を表示する場合、撮像部212が有する撮像素子のうち、プレゼンターPを撮像する範囲と、ホワイトボードを撮像する範囲の解像度を、他の範囲の解像度よりも高く設定することが好ましい。
However, the screen is not limited to the screen of FIG. 25A, and based on the setting by the user A, for example, a screen as shown in FIG. 25B or FIG. 26 can be displayed. The screen shown in FIG. 25B is an enlarged screen showing images of the presenter P and the whiteboard. When displaying such a screen, it is preferable to set the resolution of the range where the presenter P is imaged and the range where the whiteboard is imaged among the imaging elements of the
一方、図26の画面は、図25(b)の画面のうち、ホワイトボードの画像において制御部230が文字認識した結果を、テキストデータとして表示した画面である。ホワイトボードに書かれている文字を認識してテキストデータとして表示することで、ホワイトボードに書かれている内容を読みやすく表示することができる。なお、図26では、設定処理において、図23(b)の範囲U1を指定されなかったため、ユーザBが表示されていない状態を示している。
On the other hand, the screen of FIG. 26 is a screen that displays, as text data, the result of the character recognition performed by the
次いで、ステップS310では、制御部30は、ユーザAから終了要求があったか否かを判断し、ここでの判断が否定されると、ステップS306に戻る。そして、制御部30は、ユーザAからの終了要求があるまで、ステップS306〜S310の処理・判断を繰り返す。
Next, in step S310, the
その後、ユーザAからの終了要求があると、ステップS310の判断が肯定されるため、制御部30は、通信を切断して、図24の全処理を終了する。
Thereafter, when there is a termination request from the user A, the determination in step S310 is affirmed, so the
以上、詳細に説明したように、本第3の実施形態によると、ユーザAが設定したユーザB〜Dが存在するであろう範囲やホワイトボードが撮像される範囲(第1撮像領域)の解像度をその他(第2撮像領域)の解像度よりも高く設定するので、ユーザが見たい領域を鮮明に表示することができる。 As described above in detail, according to the third embodiment, the resolution of the range where the users B to D set by the user A will exist and the range where the whiteboard is imaged (first imaging region) Is set to be higher than the resolution of the other (second imaging region), so that the region desired by the user can be clearly displayed.
また、会議室のように広い範囲を撮像する場合には、撮像部212が広角レンズを有する場合がある。特に光軸外の領域ではレンズの湾曲により画像が歪んでしまうが、本第3の実施形態のように画像を補正することで歪みを低減することができる。この場合、補正した範囲に文字が含まれる場合には、当該文字を読みやすく表示することができる。
Further, when imaging a wide range as in a conference room, the
なお、上記第3の実施形態では、範囲WB、U1〜U4について、個別に撮像条件を設定してもよい。また、設定処理において、セキュリティ上、撮像したくない範囲を設定できるようにしてもよい。なお、会議において、プレゼンターPが存在しないような場合には、しゃべっている人の顔を大きく表示するようにしてもよい。 In the third embodiment, the imaging conditions may be individually set for the ranges WB and U1 to U4. In the setting process, a range that is not desired to be captured may be set for security reasons. If the presenter P does not exist in the conference, the face of the person who is speaking may be displayed larger.
なお、上記第3の実施形態では、会議室にモニタを設け、該モニタとカメラ装置210とを接続してもよい。この場合、制御部230は、制御部30から電話機器10の前面撮像部12及び/又は背面撮像部14で撮像された画像を受信し、モニタに表示するようにしてもよい。
In the third embodiment, a monitor may be provided in the conference room, and the monitor and the
なお、上記第3の実施形態では、カメラ装置210は、撮像部を備えるその他の装置(例えば、PCやスマートフォンなど)であってもよい。
In the third embodiment, the
なお、上記第3の実施形態においても、第1の実施形態と同様、プレゼンターの喋っている内容をテキスト表示するようにしてもよい。また、プレゼンターや会議参加者の画像から顔認識処理を行い、氏名や役職等を画像と併せて表示するようにしてもよい。 In the third embodiment as well, as in the first embodiment, the contents spoken by the presenter may be displayed as text. Further, face recognition processing may be performed from images of presenters and conference participants, and the name, title, and the like may be displayed together with the images.
上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。 The above-described embodiment is an example of a preferred embodiment of the present invention. However, the present invention is not limited to this, and various modifications can be made without departing from the scope of the present invention.
10 電話機器
110 電話機器
112 前面撮像部
113a 第1撮像領域
113b 第2撮像領域
114 背面撮像部
124 通信部
130 制御部
DESCRIPTION OF
Claims (14)
外部機器から操作情報を取得する取得部と、
前記取得部により取得した前記操作情報に基づいて、前記第1撮像領域の撮像条件と前記第2撮像領域の撮像条件との少なくとも一方を設定する制御部と、
を備える電子機器。 An imaging unit having a first imaging region and a second imaging region;
An acquisition unit for acquiring operation information from an external device;
A control unit configured to set at least one of an imaging condition of the first imaging region and an imaging condition of the second imaging region based on the operation information acquired by the acquisition unit;
Electronic equipment comprising.
前記送信部は、複数の前記撮像部で撮像された画像を合成して、前記外部機器に送信することを特徴とする請求項3に記載の電子機器。 A plurality of the imaging unit;
The electronic device according to claim 3, wherein the transmission unit synthesizes images captured by the plurality of imaging units and transmits the synthesized image to the external device.
前記制御部は、複数の前記第1撮像領域それぞれに設定された優先順位に応じて、前記撮像条件を変更することを特徴とする請求項6〜8のいずれか一項に記載の電子機器。 A plurality of the first imaging areas;
The electronic device according to claim 6, wherein the control unit changes the imaging condition according to a priority set for each of the plurality of first imaging regions.
前記電子機器と通信可能な外部機器と、を備える電子機器システム。 An electronic device according to any one of claims 1 to 13,
An electronic device system comprising: an external device capable of communicating with the electronic device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018181813A JP2019004520A (en) | 2018-09-27 | 2018-09-27 | Electronic apparatus and electronic apparatus system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018181813A JP2019004520A (en) | 2018-09-27 | 2018-09-27 | Electronic apparatus and electronic apparatus system |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014071623A Division JP6409301B2 (en) | 2014-03-31 | 2014-03-31 | Electronics |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019004520A true JP2019004520A (en) | 2019-01-10 |
Family
ID=65005009
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018181813A Pending JP2019004520A (en) | 2018-09-27 | 2018-09-27 | Electronic apparatus and electronic apparatus system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019004520A (en) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06217276A (en) * | 1992-08-27 | 1994-08-05 | Toshiba Corp | Moving picture encoding device |
JP2002034010A (en) * | 2000-07-18 | 2002-01-31 | Nagano Japan Radio Co | Video telephone system |
JP2005031317A (en) * | 2003-07-11 | 2005-02-03 | Nikon Corp | Camera |
JP2007228019A (en) * | 2006-02-21 | 2007-09-06 | Olympus Corp | Imaging apparatus |
JP2008252461A (en) * | 2007-03-30 | 2008-10-16 | Olympus Corp | Imaging apparatus |
JP2009253553A (en) * | 2008-04-03 | 2009-10-29 | Sharp Corp | Image data output device and image data output method |
JP2010161655A (en) * | 2009-01-08 | 2010-07-22 | Sony Ericsson Mobile Communications Ab | Imaging apparatus, and imaging method |
JP2010171690A (en) * | 2009-01-22 | 2010-08-05 | Nippon Telegr & Teleph Corp <Ntt> | Television conference system and video communication method |
JP2011176603A (en) * | 2010-02-24 | 2011-09-08 | Canon Inc | Imaging apparatus and method for controlling the same |
WO2013164915A1 (en) * | 2012-05-02 | 2013-11-07 | 株式会社ニコン | Imaging device |
-
2018
- 2018-09-27 JP JP2018181813A patent/JP2019004520A/en active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06217276A (en) * | 1992-08-27 | 1994-08-05 | Toshiba Corp | Moving picture encoding device |
JP2002034010A (en) * | 2000-07-18 | 2002-01-31 | Nagano Japan Radio Co | Video telephone system |
JP2005031317A (en) * | 2003-07-11 | 2005-02-03 | Nikon Corp | Camera |
JP2007228019A (en) * | 2006-02-21 | 2007-09-06 | Olympus Corp | Imaging apparatus |
JP2008252461A (en) * | 2007-03-30 | 2008-10-16 | Olympus Corp | Imaging apparatus |
JP2009253553A (en) * | 2008-04-03 | 2009-10-29 | Sharp Corp | Image data output device and image data output method |
JP2010161655A (en) * | 2009-01-08 | 2010-07-22 | Sony Ericsson Mobile Communications Ab | Imaging apparatus, and imaging method |
JP2010171690A (en) * | 2009-01-22 | 2010-08-05 | Nippon Telegr & Teleph Corp <Ntt> | Television conference system and video communication method |
JP2011176603A (en) * | 2010-02-24 | 2011-09-08 | Canon Inc | Imaging apparatus and method for controlling the same |
WO2013164915A1 (en) * | 2012-05-02 | 2013-11-07 | 株式会社ニコン | Imaging device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11477413B2 (en) | System and method for providing wide-area imaging and communications capability to a handheld device | |
JP5434513B2 (en) | Mobile terminal and brightness adjustment program | |
KR101433157B1 (en) | Mobile terminal and method for transmitting image thereof | |
KR101356269B1 (en) | Mobile terminal with dual camera and method for image processing using the same | |
WO2021051995A1 (en) | Photographing method and terminal | |
WO2020015560A1 (en) | Image sensor and mobile terminal | |
JP5294889B2 (en) | Imaging apparatus and imaging method | |
JP6409301B2 (en) | Electronics | |
WO2016031548A1 (en) | Operation system, communication terminal, communication system, operation method, and program | |
JP2007150452A (en) | Video intercom device | |
KR101782334B1 (en) | Image sensor, image capturing apparatus, and cellular phone | |
JP2019004520A (en) | Electronic apparatus and electronic apparatus system | |
US10218912B2 (en) | Information processing apparatus, method of controlling image display, and storage medium | |
JP2017168977A (en) | Information processing apparatus, conference system, and method for controlling information processing apparatus | |
US20050280731A1 (en) | Apparatus and method for displaying images in a portable terminal comprising a camera and two display units | |
JP6494263B2 (en) | Image sensor and electronic device | |
JP2005151073A (en) | Portable terminal equipment having videophone function | |
KR100747581B1 (en) | Mobile terminal having cameras and method for transmitting and receiving data using the same | |
JP2005175977A (en) | Portable terminal device | |
TWI752465B (en) | Image processing system, image processing method, and program | |
JP2005012291A (en) | Mobile moving video communication terminal for tv conference | |
JP2007251778A (en) | Image input-output apparatus | |
JP2006332968A (en) | Video television device | |
JP2016123011A (en) | Management system, communication terminal, management system, management method, and program | |
JPH1198484A (en) | Remote conference system and terminal for remote conference |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180928 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190527 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190604 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190805 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191003 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191126 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200127 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200526 |