JP2009171272A - Video telephone terminal device - Google Patents
Video telephone terminal device Download PDFInfo
- Publication number
- JP2009171272A JP2009171272A JP2008007609A JP2008007609A JP2009171272A JP 2009171272 A JP2009171272 A JP 2009171272A JP 2008007609 A JP2008007609 A JP 2008007609A JP 2008007609 A JP2008007609 A JP 2008007609A JP 2009171272 A JP2009171272 A JP 2009171272A
- Authority
- JP
- Japan
- Prior art keywords
- display
- terminal device
- videophone
- video
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephone Function (AREA)
Abstract
Description
本発明は、映像・音声信号の送受信を行うテレビ電話端末装置に関し、特に、相手テレビ電話端末装置からの性能情報に応じて相手端末の表示装置に適した映像表示が可能なテレビ電話端末装置に関する。 The present invention relates to a videophone terminal device that transmits and receives video / audio signals, and more particularly, to a videophone terminal device capable of displaying video suitable for a display device of a partner terminal according to performance information from the partner videophone terminal device. .
近年、通信ネットワークの高速化や、映像や音声の符号化技術の進化に伴って、テレビ電話システムの普及が進みつつある。これらのテレビ電話システムでは、SIP(Session Initiation Protocol)やRTP(Real−time Transportation Protocol)などの標準プロトコルが採用されており、テレビ電話端末装置として、テレビ電話専用機器だけでなく、例えば、パーソナルコンピュータや携帯電話、PDA(Personal Digital Assistant)をはじめとする様々な機器を選択・使用することができるようになっている。 In recent years, videophone systems are becoming more widespread with the speeding up of communication networks and the evolution of video and audio encoding technologies. In these videophone systems, standard protocols such as SIP (Session Initiation Protocol) and RTP (Real-time Transport Protocol) are adopted, and not only videophone-dedicated devices but also personal computers, for example, personal computer Various devices such as mobile phones, PDAs (Personal Digital Assistants) can be selected and used.
また、上記テレビ電話システムでは、テレビ電話開始時にそれぞれの端末装置が有する復号可能な映像、音声の符号化方式や映像の表示サイズなどの性能諸元情報を相手端末装置に通知し、通知を受けた端末装置は、これらの性能諸元情報に基づいて、撮影画像の拡大・縮小や映像・音声の符号化を行い、相手端末装置に送信するのが一般的となっている(例えば、下記、特許文献1参照)。
しかしながら、上記テレビ電話端末装置の中には、高精細カメラや高精細表示が可能なディスプレイ装置を利用して、鮮明な画像でテレビ電話を行えるテレビ電話端末装置も出現してはいるが、例えば、携帯電話やPDA等の表示装置では、高精細カメラを搭載してはいるものの、携帯性の観点から小型化されており、その結果として、表示装置は、画面サイズに適した表示サイズが選ばれている。特に、このような高精細カメラ及び表示サイズが小さい表示装置を備えたテレビ電話端末装置を利用した場合、現状のテレビ電話システムでは、高精細映像を有効に活用することができないという問題がある。すなわち、高精細カメラにより撮影した撮影画像を表示サイズが小さい表示装置の表示画面サイズに収まるように撮影画像を単に縮小して表示することになり、高精細さを活かした映像表現を行うことができなくなるという問題点が発生する。 However, among the videophone terminal devices, there are videophone terminal devices that can make a videophone call with a clear image using a high-definition camera or a display device capable of high-definition display. Although display devices such as mobile phones and PDAs are equipped with high-definition cameras, they are miniaturized from the viewpoint of portability, and as a result, a display size suitable for the screen size is selected. It is. In particular, when a videophone terminal device having such a high-definition camera and a display device with a small display size is used, there is a problem that the current videophone system cannot effectively use high-definition video. In other words, the captured image captured by the high-definition camera is simply reduced and displayed so as to fit within the display screen size of the display device having a small display size, and the video expression utilizing the high definition can be performed. The problem of being unable to do so occurs.
そこで、本発明は、斯かる実情に鑑み、少なくとも2つのテレビ電話端末装置間で映像・音声を送受信するテレビ電話システムにおいて、高精細カメラで撮影した動画像を相手のテレビ電話端末装置の表示装置の表示画面の表示サイズが小さいものであっても、高精細さを有効に活用した映像表示を行えるテレビ電話端末装置を提供しようとするものである。 Therefore, in view of such circumstances, the present invention provides a display device for a videophone terminal device of a counterpart in a videophone system that transmits and receives video and audio between at least two videophone terminal devices. Therefore, it is an object of the present invention to provide a videophone terminal device that can perform video display that effectively utilizes high definition even when the display size of the display screen is small.
上記のような問題点を解決するために、本発明に係るテレビ電話端末装置は、以下のような構成とし、特徴を有する。 In order to solve the above problems, the videophone terminal device according to the present invention has the following configuration and characteristics.
本発明に係るテレビ電話端末装置は、少なくとも2つのテレビ電話端末装置間で、映像・音声を送受信し、テレビ電話開始時にそれぞれのテレビ電話端末装置が有する性能情報を相互に交換し合うテレビ電話システムのテレビ電話端末装置において、外部の映像を入力する映像入力部と、入力した映像から表示するための映像データを生成する表示制御部と、前記表示制御部によって生成された前記映像データを表示する表示装置と、相手端末装置より送信される該相手端末装置の表示装置のサイズを表す矩形領域の座標位置を含む情報の抽出・変更を行う矩形情報処理部と、を備え、前記表示制御部は、相手端末装置より送信される前記表示装置の表示サイズと前記映像入力部の撮像サイズとを比較し、該撮像サイズが前記表示サイズより大きいと判断した場合に、高サイズ表示モードへの切替え及び高サイズ表示開始指示を相手端末装置に通知するように制御するとともに、該相手端末装置から高サイズ表示開始を行った旨の通知を受信した場合に、該相手端末装置から送信される映像を表示する代わりに、前記映像入力部により入力した映像を前記表示装置の表示サイズに縮小した映像及び前記矩形領域の位置を示す表示枠及び高サイズ表示開始メッセージを該映像に重畳して前記表示装置に表示するようにしたことを特徴とする。 The videophone terminal device according to the present invention transmits and receives video / audio between at least two videophone terminal devices, and exchanges performance information of each videophone terminal device at the start of the videophone. In the videophone terminal apparatus, a video input unit for inputting an external video, a display control unit for generating video data for display from the input video, and the video data generated by the display control unit are displayed. A display device, and a rectangular information processing unit that extracts and changes information including a coordinate position of a rectangular region that represents the size of the display device of the counterpart terminal device transmitted from the counterpart terminal device, the display control unit The display size of the display device transmitted from the partner terminal device is compared with the imaging size of the video input unit, and the imaging size is larger than the display size. If it is determined that it is necessary, control is performed to notify the counterpart terminal device of switching to the high size display mode and a high size display start instruction, and a notification that the high size display is started is received from the counterpart terminal device. In this case, instead of displaying the video transmitted from the counterpart terminal device, the video input by the video input unit is reduced to the display size of the display device, and the display frame and the height indicating the position of the rectangular area are displayed. A size display start message is superimposed on the video and displayed on the display device.
また、本発明に係るテレビ電話端末装置において、高サイズ表示開始を行った旨の通知を受信した後に、前記矩形情報処理部を介して変更された前記矩形領域の座標値に基づき、前記映像入力部の映像を前記表示装置の表示サイズに縮小した映像内で前記矩形領域を任意の位置に移動し、前記相手端末装置に該矩形領域の座標値を送信し、該相手端末装置から移動表示開始を行った旨の通知を受信した場合に、移動表示開始メッセージを表示するとともに、前記表示枠を移動するようにしたことを特徴とする。 Further, in the videophone terminal device according to the present invention, the video input is performed based on the coordinate value of the rectangular area changed through the rectangular information processing unit after receiving the notification that the high-size display is started. The rectangular area is moved to an arbitrary position in the video obtained by reducing the video of the display to the display size of the display device, the coordinate value of the rectangular area is transmitted to the counterpart terminal device, and the moving display starts from the counterpart terminal device When a notification to the effect is received, a moving display start message is displayed and the display frame is moved.
また、本発明に係るテレビ電話端末装置において、前記表示制御部は、高サイズ表示開始を行った旨の通知を受信した後に、前記矩形情報処理部を介して、前記映像入力部の映像を前記表示装置の表示サイズに縮小した映像内で前記矩形領域を任意の位置に移動し、前記相手端末装置に該矩形領域の座標値を送信して、該相手端末装置から移動表示開始を行った旨の通知を受信した場合に、移動表示開始メッセージを表示するとともに、前記表示枠を移動するようにしたことを特徴とする。 Further, in the videophone terminal device according to the present invention, the display control unit receives the notification that the high-size display is started, and then receives the video of the video input unit via the rectangular information processing unit. The fact that the rectangular area is moved to an arbitrary position in the video reduced to the display size of the display device, the coordinate value of the rectangular area is transmitted to the counterpart terminal device, and the moving display is started from the counterpart terminal device. When the notification is received, a moving display start message is displayed and the display frame is moved.
また、本発明に係るテレビ電話端末装置において、前記表示制御部は、逆に、高サイズ表示モードへの切替え及び高サイズ表示開始指示を相手端末装置から通知を受けた後に、前記矩形領域を任意の位置に移動させるための前記相手端末装置に該矩形領域の座標値を送信して、該相手端末装置から移動表示開始を行った旨の通知を受信した場合に、移動表示開始メッセージを表示するとともに、前記矩形領域を移動するようにしたことを特徴とする。 In the videophone terminal device according to the present invention, the display control unit, on the contrary, arbitrarily selects the rectangular area after receiving a notification from the partner terminal device to switch to the high-size display mode and to issue a high-size display start instruction. When the coordinate value of the rectangular area is transmitted to the counterpart terminal device for moving to the position, and a notification indicating that the movement display is started is received from the counterpart terminal device, a movement display start message is displayed. In addition, the rectangular area is moved.
上記のように構成された本発明のテレビ電話端末装置によれば、以下に示す優れた効果を奏し得る。 According to the videophone terminal device of the present invention configured as described above, the following excellent effects can be obtained.
本発明のテレビ電話端末装置によれば、表示装置の表示可能な最大サイズが、撮像する高精細カメラの撮像サイズより小さい場合であっても、高精細さを活かした映像表示が可能であり、映像に映し出されている画像情報の識別が容易となる。 According to the videophone terminal device of the present invention, even when the maximum displayable size of the display device is smaller than the imaging size of the high-definition camera to be imaged, video display utilizing the high-definition is possible. The image information displayed on the video can be easily identified.
また、本発明のテレビ電話端末装置によれば、撮像した映像の内、どの矩形領域を表示しているかの座標値等の情報を相手端末装置から通知を受け、その矩形領域を表す表示枠を生成することにより、視覚的に確認することができ、この領域を移動する場合等の操作の正確性を高めることができる。 In addition, according to the videophone terminal device of the present invention, information such as the coordinate value indicating which rectangular region is displayed in the captured video is received from the counterpart terminal device, and a display frame representing the rectangular region is displayed. By generating, it can be visually confirmed, and the accuracy of the operation when moving in this area can be improved.
以下、本発明に係るテレビ電話端末装置の一実施形態について図面を参照して説明する。 Hereinafter, an embodiment of a videophone terminal apparatus according to the present invention will be described with reference to the drawings.
図1〜図13は、本発明に係るテレビ電話端末装置の本実施形態の一例であって、図中、図と同一の符号を付した部分は同一物を表わすものとする。 1 to 13 are examples of the present embodiment of the videophone terminal device according to the present invention. In the figure, the same reference numerals as those in the figure denote the same parts.
まず、本発明に係るテレビ電話端末装置の詳細構成及び動作を説明する前に、本実施形態に係るテレビ電話端末装置の特徴点である「高サイズ表示モード」について簡単に説明する。 First, before describing the detailed configuration and operation of the videophone terminal device according to the present invention, the “high-size display mode” that is a feature of the videophone terminal device according to the present embodiment will be briefly described.
図1は、本実施形態におけるテレビ電話端末装置を用いたテレビ電話システム概要図である。 FIG. 1 is a schematic diagram of a videophone system using a videophone terminal device according to the present embodiment.
図1では、代表するテレビ電話端末装置A、B、Cが、インターネット等の通信ネットワーク10を介して接続した構成例を示している。このように接続された複数のテレビ電話端末装置から構成されるテレビ電話システムにおいて、例えば、テレビ電話端末装置A、Bは、使用するテレビ電話用プロトコルに従って、互いの通信接続を確立した後、両者の端末装置が撮影した映像および集音した音声を互いの端末装置に送出することにより、テレビ電話が開始される。
FIG. 1 shows a configuration example in which representative videophone terminal devices A, B, and C are connected via a
ここで、上述したように、テレビ電話端末装置A及びテレビ電話端末装置Bの符号化処理方式や撮影・表示処理能力等が異なる場合が多く、それぞれの端末装置が適切な処理を行うために、通信接続の確立後、互いの処理方式や処理能力を交換することが通常行われている。特に、テレビ電話端末装置A、Bに搭載されているカメラが高精細カメラであって、テレビ電話端末装置A、Bの表示装置の表示サイズが互いに相手の端末装置に搭載している高精細カメラの撮像サイズに対応していなく、高精細カメラの撮像サイズに比較して、表示可能サイズが小さい場合には、このままでは、テレビ電話端末装置A、Bの表示装置の性能に合わせて、単に画像情報を縮小して伝送(以下、低サイズ表示モードという)せざるを得なく、高精細さを活かした映像表示を行うように動作(以下、高サイズ表示モードという)させることはできない。 Here, as described above, the video phone terminal device A and the video phone terminal device B often have different encoding processing methods, shooting / display processing capabilities, etc., and each terminal device performs appropriate processing. After establishing a communication connection, it is usual to exchange processing methods and processing capabilities with each other. In particular, the cameras mounted on the videophone terminal devices A and B are high-definition cameras, and the display sizes of the display devices of the videophone terminal devices A and B are mounted on the other terminal device. If the displayable size is small compared to the imaging size of the high-definition camera, the image size is simply adjusted according to the performance of the display devices of the videophone terminal devices A and B. Information must be reduced and transmitted (hereinafter referred to as a low-size display mode), and cannot be operated (hereinafter referred to as a high-size display mode) so as to perform video display utilizing high definition.
そこで、本実施形態に係るテレビ電話端末装置Aは、高精細カメラによって撮影した全体画像の中から、テレビ電話端末装置Bの表示装置の表示領域と同サイズの領域を任意の座標位置で指定することができるようにし、その指定領域の座標情報等を含む情報をテレビ電話端末装置Bに伝送し、テレビ電話端末装置Bにおいて、上記情報に基づいて、低サイズ表示モードから高サイズ表示モードに切り替えて、高サイズの映像を表示させるとともに、テレビ電話端末装置Bから高サイズ表示モードに切り替えた旨の情報を受け取るようにする。 Therefore, the videophone terminal device A according to the present embodiment designates an area of the same size as the display area of the display device of the videophone terminal apparatus B at an arbitrary coordinate position from the entire image captured by the high-definition camera. Information including the coordinate information of the designated area is transmitted to the videophone terminal device B, and the videophone terminal device B switches from the low-size display mode to the high-size display mode based on the information. Thus, a high-size video is displayed and information indicating that the videophone terminal apparatus B has switched to the high-size display mode is received.
これにより、テレビ電話端末装置Bにおいて、テレビ電話端末装置Aによって撮影した映像と同じ高精細の映像を表示させることができるとともに、テレビ電話端末装置Bで高解像表示が行われていることを確認することができ、後述する任意の位置への領域移動操作を行う際の操作の利便性及び正確性の向上を図ることを可能にしている。 As a result, the videophone terminal device B can display the same high-definition video as the video taken by the videophone terminal device A, and the videophone terminal device B is displaying high resolution. This makes it possible to confirm the convenience and accuracy of the operation when performing an area moving operation to an arbitrary position, which will be described later.
次に、上記高サイズ表示モードによる映像表示動作を行う本発明に係るテレビ電話端末装置の構成及び動作について説明する。 Next, the configuration and operation of the videophone terminal device according to the present invention that performs the video display operation in the high-size display mode will be described.
図2は、テレビ電話端末装置の構成を示すブロック図である。 FIG. 2 is a block diagram showing the configuration of the videophone terminal device.
テレビ電話端末装置20は、外部の映像を撮像するための高精細カメラ(映像入力部)21と、ユーザの音声や周囲の音声を集音するためのマイク22と、相手端末装置の表示装置に表示する矩形領域のサイズ、座標等のパラメータ情報をユーザが指定できるようにするためのキー入力装置23と、高精細カメラ21によって撮像された画像データを圧縮する映像符号化部24と、マイク22によって集音された音声データを圧縮する音声符号化部25と、相手端末装置より送信される矩形領域の座標値情報等の抽出・変更を行う矩形情報処理部26と、符号化された画像データや音声データならびに矩形領域に関する情報をパケット化する送信処理部27と、パケットの送受信を行う送受信部28と、相手端末から受信したパケットを映像データや音声データならびに矩形領域の情報等に分離する受信処理部29と、受信した矩形情報処理部26によって得られた矩形領域の情報に基づいて符号化された映像データを復号化する映像復号化部30と、受信した符号化された音声データを復号化する音声復号化部31と、映像復号化部30によって復号化された映像データまたは高精細カメラ21によって撮像された映像データに矩形情報処理部26によって得られた矩形領域の情報を反映させた映像データを生成する表示制御部32と、表示制御部32によって生成された映像データを表示する表示装置33と、復号化された音声データを再生するスピーカ34と、テレビ電話プロトコルを含めた装置全体の制御を司る統括制御部35と、を備えて構成される。
The
なお、本実施形態のテレビ電話端末装置20として、携帯電話端末を想定しているため、高精細カメラ21の撮像サイズを1920×1080pixel、表示装置33の表示サイズを800×480pixelとして以下説明するが、これらのサイズに限定されるものではない。
In addition, since the mobile phone terminal is assumed as the
図3は、上記テレビ電話端末装置20において、テレビ電話回線の回線接続からテレビ電話開始までの処理動作を示すフロー図である。
FIG. 3 is a flowchart showing processing operations from the videophone line connection to the start of the videophone in the
図3に示すように、テレビ電話を開始する際にあたり、まず、統括制御部35は、テレビ電話回線の確立を行うために、相手の端末装置に対して、テレビ電話発呼を行う(ステップS100)。発呼を行った後、相手の端末装置からの応答を待ち、応答確認処理を行って(ステップS110)、テレビ電話回線の接続が完了する。
As shown in FIG. 3, when starting a videophone call, the
続いて、上述したように、端末装置の互いの処理方式や処理能力諸元の交換を行う(ステップS120)。ステップS120の処理能力諸元交換処理では、図4に示すように、利用可能な画像・音声の送信側符号化方式を表す識別子40、撮影画像の撮像サイズ41、および、受信可能な画像のサイズ43といった情報を交換する他、表示装置で表示可能な画像サイズの最大値44についても交換する。そして、相手端末装置の表示装置の最大表示サイズが高精細カメラ21の撮像サイズよりも小さいか否かを判断する処理を行い(ステップS130)、小さいと判断すると(ステップS130;Yes)、高サイズ表示モード(以下、ピックアップモードという)への切替えを有効にして(ステップS140)、テレビ電話の開始処理を行う(ステップS150)。このテレビ電話の開始処理において、ピックアップモードの利用が可能となり、必要に応じて、実際の高サイズ表示(以下、ピックアップ表示という)が行われる。
Subsequently, as described above, the processing methods and processing capability specifications of the terminal devices are exchanged (step S120). In the processing capability specification exchange process in step S120, as shown in FIG. 4, an
一方、大きいと判断した場合には(ステップS130;No)、そのままテレビ電話の開始処理を行う(ステップS150)。この場合には、カメラ撮像サイズのまま又は表示装置の表示サイズに拡大して表示する。 On the other hand, if it is determined that it is larger (step S130; No), the videophone start process is performed as it is (step S150). In this case, the camera image size is displayed as it is or enlarged to the display size of the display device.
次に、テレビ電話端末装置20によるピックアップ表示開始の指示及び開始後の動作フローについて、図5、6及び8を用いて説明する。
Next, an instruction to start pickup display by the
図5は、ピックアップモード有効期間中におけるテレビ電話端末装置A及びテレビ電話端末装置Bの画面の構成例を示す図である。 FIG. 5 is a diagram illustrating a configuration example of a screen of the videophone terminal device A and the videophone terminal device B during the pickup mode effective period.
(a)は、テレビ電話端末装置Bの高精細カメラによって撮像された画像及びピックアップモード有効期間中に生成されるピックアップ領域表示枠を示す図であり、(b)は、テレビ電話端末装置Bにおけるテレビ電話端末装置Aからの受信画像を示す図である。また、(c)は、ピックアップ表示開始指示時におけるテレビ電話端末装置Bの表示装置に表示する縮小画面を示す図である。さらに、(d)は、テレビ電話端末装置Bのピックアップ表示した画面を示す図である。 (A) is a figure which shows the pick-up area | region display frame produced | generated during the pick-up mode effective period and the image imaged with the high-definition camera of the video-phone terminal device B, (b) It is a figure which shows the received image from the videophone terminal device A. FIG. Further, (c) is a diagram showing a reduced screen displayed on the display device of the videophone terminal device B at the time of pick-up display start instruction. Furthermore, (d) is a diagram showing a screen displayed on the videophone terminal apparatus B as pick-up display.
なお、(b)に示すように、本実施形態では、テレビ電話端末装置Bでは、テレビ電話端末装置Aにより撮影される高撮像サイズの画像自体を受信するものとしているが、伝送効率の点から、(c)、(d)に示す縮小表示画面及びピックアップ表示画面の作成は、テレビ電話端末装置A側で作成し、テレビ電話端末装置Bに送信するようにしてもよい。 As shown in (b), in this embodiment, the videophone terminal apparatus B receives a high-capacity image captured by the videophone terminal apparatus A, but from the viewpoint of transmission efficiency. , (C), (d), the reduced display screen and the pickup display screen may be created on the videophone terminal device A side and transmitted to the videophone terminal device B.
図6は、テレビ電話端末装置A、B間のピックアップ表示の実施シーケンスを示す図である。(a)は、ピックアップ表示開始シーケンスを示す図であり、(b)は、テレビ電話端末装置Aからピックアップ領域の移動開始指示を行う場合のシーケンスを示す図である。また、(c)は、テレビ電話端末装置Bからピックアップ領域の移動開始指示を行う場合のシーケンスを示す図である。
なお、これらのピックアップ指示は、図7に示すデータ構造に含まれるメッセージをテレビ電話送信端末A、B間で送受信することにより行われる。
また、図8は、ピックアップモード開始時の処理の流れを示すフロー図である。図8の(a)は、ピックアップモードの開始を指示するテレビ電話送受信端末Aの処理の流れを、(b)は、ピックアップモード指示を受けるテレビ電話送受信端末Bの処理の流れを示すフロー図である。
FIG. 6 is a diagram showing an execution sequence of pick-up display between the videophone terminal apparatuses A and B. (A) is a figure which shows a pick-up display start sequence, (b) is a figure which shows a sequence in case the movement start instruction | indication of a pick-up area | region is performed from the videophone terminal device A. FIG. Further, (c) is a diagram showing a sequence in the case of instructing the pickup area movement start from the videophone terminal device B.
Note that these pickup instructions are performed by transmitting and receiving a message included in the data structure shown in FIG.
FIG. 8 is a flowchart showing the flow of processing at the start of the pickup mode. 8A is a flowchart showing the process flow of the videophone transmission / reception terminal A instructing the start of the pickup mode, and FIG. 8B is a flowchart showing the process flow of the videophone transmission / reception terminal B receiving the pickup mode instruction. is there.
[ピックアップ表示開始の説明]
まず、図6(a)に示すピックアップ表示開始シーケンス(ステップS510〜S530)、図8(ステップS800〜S840;ステップS850〜S910)について説明する。
ピックアップモードへの切替えが有効(図3に示すフローのステップS140の処理)となったテレビ電話端末装置A、B(Bにおいても、ピックアップモードへの切替えが有効の状態にある)において、テレビ電話が開始されると、図5(a)に示すように、通常、表示装置33には、相手端末装置Bの高精細カメラによって撮影される映像及びピックアップ領域を表す矩形表示(ピックアップ領域表示枠50)が出現する。この状態で、テレビ電話端末装置AのユーザAがキー入力装置23のピックアップ表示開始指示キーを操作することにより、矩形情報処理部26、統括制御部35を介して、ピックアップ表示開始指示が表示制御部32に伝達されると同時に、テレビ電話端末装置Bに対して送信される。そして、表示装置33には、自身の高精細カメラによって撮影される映像及びピックアップ領域を表すピックアップ領域表示枠50の表示に切り替える。
一方、図5(c)に示すように、相手端末装置Bの表示制御部32は、自身の表示装置のサイズに合わせた縮小映像を生成する。相手端末装置Bの表示装置には、この縮小映像を表示するとともに、この縮小映像上に相手端末装置の表示サイズと同一のピックアップ領域表示枠50を表示(図5(c)には、図示していない)し、選択している領域をユーザBに分かるようにする。そして、表示されたピックアップ領域表示枠50はユーザAによる上記操作により表示領域内で移動することができ、表示画面中からピックアップしたい矩形領域を選択することができる。ここで、ピックアップ領域表示枠50の初期座標値としては、例えば、画面の中心位置とする。
[Explanation of pickup display start]
First, the pickup display start sequence (steps S510 to S530) and FIG. 8 (steps S800 to S840; steps S850 to S910) shown in FIG. 6A will be described.
When the switch to the pickup mode is enabled (the process of step S140 in the flow shown in FIG. 3), the videophone terminal apparatuses A and B (the switch to the pickup mode is also enabled in B) 5A, as shown in FIG. 5 (a), the
On the other hand, as shown in FIG. 5C, the
また、ピックアップ領域の座標位置を指示する場合の選択方法としては、例えば、十字キーを備えるキー入力装置によって、撮影画像の左上端の画素を基準とする座標系において、十字キーでピックアップ領域表示枠50の左上端の座標を指定する、といった方法がある。
ピックアップ領域の選択が完了すると、前記選択された座標が図7に示すメッセージに含められ、テレビ電話の通信相手であるテレビ電話送受信端末Bに送信される。メッセージを送信したテレビ電話送受信端末Aは、テレビ電話送受信端末Bからの応答を待つ。一方、ピックアップ座標を含むメッセージを受信したテレビ電話送受信端末Bは、現在表示している画像上に、ピックアップ指示を受信した旨を表すポップアップ表示(ポップアップ文字(P))51を生成する。ポップアップ表示中、キー入力装置において、例えば、決定キーを押下することにより、受信メッセージからピックアップ矩形の左上座標を取得し、受信画像のピックアップ矩形領域を求め、受信画像を縮小して表示していた画面から受信画像を縮小せず、図5(d)に示すように、原寸を維持したまま一部分の画像を切り出したピックアップ画面表示に切り替えることができる。
In addition, as a selection method in the case of designating the coordinate position of the pickup area, for example, in a coordinate system based on the upper left pixel of the photographed image by a key input device including a cross key, the pickup area display frame can be displayed with the cross key. There is a method of designating the coordinates of 50 upper left corners.
When the selection of the pickup area is completed, the selected coordinates are included in the message shown in FIG. 7 and transmitted to the videophone transmission / reception terminal B which is the communication partner of the videophone. The videophone transmission / reception terminal A that has transmitted the message waits for a response from the videophone transmission / reception terminal B. On the other hand, the videophone transmitting / receiving terminal B that has received the message including the pickup coordinates generates a pop-up display (pop-up character (P)) 51 indicating that the pickup instruction has been received on the currently displayed image. During the pop-up display, the key input device, for example, by pressing the enter key, obtains the upper left coordinate of the pickup rectangle from the received message, obtains the pickup rectangular area of the received image, and displays the received image in a reduced size Instead of reducing the received image from the screen, as shown in FIG. 5D, it is possible to switch to the pickup screen display in which a part of the image is cut out while maintaining the original size.
ピックアップ表示を開始したテレビ電話送受信端末Bは、テレビ電話送受信端末Aに対して、ピックアップ表示を開始した旨を通知するためのメッセージを送信する。ピックアップ表示の開始メッセージを受け取ったテレビ電話送受信端末Aの画面表示には、相手端末であるテレビ電話送受信端末Bがピックアップ表示中であることを表すためのポップアップが表示される。このポップアップ表示はテレビ電話送受信端末Bがピックアップ表示を終了するまで表示し続ける。
なお、ここでは相手端末がピックアップ表示中であることを示すためにポップアップ表示を行うとしているが、ユーザに通知する手段としてはこの手段に限定されるものではなく、この他の視覚的な通知手段、または、音声等による聴覚的手段、端末の振動といった触覚的手段などを用いても良い。
The videophone transmitting / receiving terminal B that has started the pickup display transmits a message for notifying the videophone transmitting / receiving terminal A that the pickup display has started. On the screen display of the videophone transmission / reception terminal A that has received the pickup display start message, a pop-up is displayed to indicate that the videophone transmission / reception terminal B, which is the counterpart terminal, is displaying the pickup. This pop-up display continues to be displayed until the videophone transmitting / receiving terminal B finishes the pickup display.
Here, the pop-up display is performed to indicate that the partner terminal is in the pick-up display, but the means for notifying the user is not limited to this means, and other visual notification means. Alternatively, auditory means such as voice or tactile means such as vibration of the terminal may be used.
また、テレビ電話端末装置Aからのピックアップ表示開始指示後、テレビ電話端末装置A、B間のテレビ電話回線の接続が解消されるまで、テレビ電話端末装置Bは、ピックアップ表示開始・終了の指示をテレビ電話端末装置Aに対して通知することができる。 In addition, after the pickup display start instruction from the videophone terminal device A, the videophone terminal device B issues a pickup display start / end instruction until the connection of the videophone line between the videophone terminal devices A and B is canceled. Notification can be made to the videophone terminal device A.
さらに、このポップアップ文字(P)51が表示された期間中であっても、テレビ電話端末装置Aの表示装置33には、図5(c)に示す自分自身の高精細カメラ21の映像からテレビ電話端末装置Bのカメラにより撮影される映像に切り替えて、いつでも相手端末装置Bにより撮影された映像を表示することができる。
Further, even during the period when the pop-up character (P) 51 is displayed, the
[テレビ電話端末装置Aからの指示に基づくピックアップ領域の移動についての説明]
続いて、ピックアップ表示中において、高精細画像を撮影しているテレビ電話端末装置Aからの指示に基づいてピックアップ領域の移動開始を行う場合のシーケンス処理について、図8、図9を用いて説明する。
ここで、ピックアップ領域移動の画面表示の様子を図9に、処理の流れを図10に示す。なお、図10の(a)(ステップS1000〜S1040)は、ピックアップ表示を指示するテレビ電話送受信端末Aの処理の流れを、(b)(ステップS1100〜S1150)は、ピックアップ表示の指示を受けるテレビ電話送受信端末Bの処理の流れを示している。
[Explanation of Pickup Area Movement Based on Instruction from Videophone Terminal Device A]
Next, a sequence process in the case where the movement of the pickup area is started based on an instruction from the videophone terminal device A that is capturing a high-definition image during pickup display will be described with reference to FIGS. .
Here, FIG. 9 shows the state of the screen display of the pickup area movement, and FIG. 10 shows the flow of processing. 10A (steps S1000 to S1040) shows the flow of processing of the videophone transmitting / receiving terminal A instructing the pickup display, and FIG. 10B (steps S1100 to S1150) is the television receiving the instruction of the pickup display. The flow of processing of the telephone transmitting / receiving terminal B is shown.
ピックアップ表示中、高精細画像を撮影しているテレビ電話送受信端末Aにおいて、キー入力装置において、例えば十字キーの操作により、ピックアップ領域を移動することができる。
十字キー操作と決定キーにより、図9(a)に示すように、ピックアップ領域が矢印52の方向に移動し、ピックアップ矩形領域の再指定が行われると、再指定された位置の矩形領域の座標を取得し、図7に示すメッセージに含められ、ピックアップ位置更新メッセージとして、相手端末であるテレビ電話送受信端末Bに送信される。メッセージを受信したテレビ電話送受信端末Bでは、図9(b)に示すように、ピックアップ矩形領域の更新メッセージを受信した旨を通知するためのポップアップ(ポップアップ文字(M))53が表示される。ポップアップ表示中に、キー入力装置において、例えば、決定キーを押下することにより、ピックアップ表示位置の更新を行うことができる。テレビ電話送受信端末Bにおいて、決定キーなどによりピックアップ表示位置の更新を選択すると、受信メッセージから新たなピックアップ矩形領域の左上座標を取得してピックアップ領域を更新し、表示画面に反映する。ピックアップ表示位置の更新が完了すると、ピックアップ表示位置を更新したことをテレビ電話送受信端末Aに通知するためにメッセージを送信する。メッセージを受信したテレビ電話送受信端末Aでは、表示画面上のピックアップ領域矩形を強調表示することなどにより、更新が反映されたことをユーザAに通知する。
In the videophone transmission / reception terminal A that is capturing a high-definition image during pickup display, the pickup area can be moved by operating the cross key on the key input device.
When the pick-up area is moved in the direction of the
[テレビ電話端末装置Bからの指示に基づくピックアップ領域の移動の説明]
また、ピックアップ領域の移動指示は、テレビ電話送受信端末Bから行うことも可能である。テレビ電話送受信端末Bにおいて、ピックアップ表示中に、例えば、キー入力装置において十字キーを操作することにより、表示画面の位置を移動することができる。その際の画面表示を図11に、処理の流れを図12に示す。なお、図12の(a)(ステップS1210〜S1290)は、ピックアップ表示を指示しているテレビ電話送受信端末Aの処理の流れを、(b)(ステップS1250〜S1290)は、ピックアップ表示の指示を受け、ピックアップ表示位置を操作するテレビ電話送受信端末Bの処理の流れを示している。
[Description of Pickup Area Movement Based on Instruction from Videophone Terminal Device B]
In addition, an instruction to move the pickup area can be issued from the videophone transmission / reception terminal B. In the videophone transmission / reception terminal B, the position of the display screen can be moved, for example, by operating the cross key on the key input device during the pickup display. The screen display at that time is shown in FIG. 11, and the flow of processing is shown in FIG. 12A (steps S1210 to S1290) shows the processing flow of the videophone transmitting / receiving terminal A instructing the pickup display, and FIG. 12B (steps S1250 to S1290) gives the instruction of the pickup display. The flow of processing of the videophone transmission / reception terminal B operating the reception and pickup display position is shown.
テレビ電話送受信端末Bにおいて、ユーザの十字キー操作が行われると、その操作によって発生したピックアップ矩形領域の移動における移動量を求め、その移動量からピックアップ矩形領域を算出し、テレビ電話送受信端末B上での表示が更新される。表示の更新後は、前記ピックアップ矩形領域の移動量を、図7に示すメッセージに含め、テレビ電話送受信端末Aにメッセージを送信する。メッセージを受信したテレビ電話送受信端末Aでは、メッセージから移動量を取得し、テレビ電話送受信端末Bにおいて表示されている位置を算出し、図13に示すように、撮影画面上にテレビ電話送受信端末Bが視聴している領域を表すピックアップ矩形を表示する。その表示に従って、テレビ電話送受信端末Aではテレビ電話送受信端末A上で指定されたピックアップ矩形を、テレビ電話送受信端末Bの視聴領域を表すピックアップ矩形に前述の移動指示手段により、あわせることができる。 In the videophone transmission / reception terminal B, when the user performs a cross key operation, the movement amount in the movement of the pickup rectangular area generated by the operation is obtained, the pickup rectangular area is calculated from the movement amount, and the videophone transmission / reception terminal B The display at is updated. After the display is updated, the movement amount of the pickup rectangular area is included in the message shown in FIG. 7, and the message is transmitted to the videophone transmitting / receiving terminal A. The videophone transmission / reception terminal A that has received the message acquires the amount of movement from the message, calculates the position displayed on the videophone transmission / reception terminal B, and, as shown in FIG. A pick-up rectangle representing the area that the user is viewing is displayed. According to the display, the videophone transmission / reception terminal A can match the pickup rectangle designated on the videophone transmission / reception terminal A to the pickup rectangle representing the viewing area of the videophone transmission / reception terminal B by the above movement instruction means.
尚、本発明のテレビ電話端末装置は、上記した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。 Note that the videophone terminal device of the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the scope of the present invention.
10 通信ネットワーク
20 テレビ電話端末装置
21 高精細カメラ
22 マイク
23 キー入力装置
24 映像符号化部
25 音声符号化部
26 矩形情報処理部
27 送信処理部
28 送受信部
29 受信処理部
30 映像復号化部
31 音声復号化部
32 表示制御部
33 表示装置
34 スピーカ
35 統括制御部
40 送信側符号化方式を表す識別子
41 撮影画像の撮像サイズ
43 受信可能な画像のサイズ
43 表示可能な画像サイズの最大値
50 ピックアップ領域表示枠
51 ポップアップ文字(P)
52 矢印
53 ポップアップ文字(M)
DESCRIPTION OF
52
Claims (4)
外部の映像を入力する映像入力部と、入力した映像から表示するための映像データを生成する表示制御部と、前記表示制御部によって生成された前記映像データを表示する表示装置と、相手端末装置より送信される該相手端末装置の表示装置のサイズを表す矩形領域の座標位置を含む情報の抽出・変更を行う矩形情報処理部と、を備え、
前記表示制御部は、相手端末装置より送信される前記表示装置の表示サイズと前記映像入力部の撮像サイズとを比較し、該撮像サイズが前記表示サイズより大きいと判断した場合に、高サイズ表示モードへの切替え及び高サイズ表示開始指示を相手端末装置に通知するように制御するとともに、該相手端末装置から高サイズ表示開始を行った旨の通知を受信した場合に、該相手端末装置から送信される映像を表示する代わりに、前記映像入力部により入力した映像を前記表示装置の表示サイズに縮小した映像及び前記矩形領域の位置を示す表示枠及び高サイズ表示開始メッセージを該映像に重畳して前記表示装置に表示するようにしたことを特徴とするテレビ電話端末装置。 In a videophone terminal device of a videophone system that transmits and receives video and audio between at least two videophone terminal devices and exchanges performance information of each videophone terminal device with each other at the start of the videophone.
A video input unit for inputting an external video, a display control unit for generating video data for display from the input video, a display device for displaying the video data generated by the display control unit, and a partner terminal device A rectangular information processing unit that extracts and changes information including the coordinate position of the rectangular region that represents the size of the display device of the counterpart terminal device transmitted from
The display control unit compares the display size of the display device transmitted from the counterpart terminal device with the imaging size of the video input unit, and determines that the imaging size is larger than the display size. Control is made to notify the counterpart terminal device of switching to the mode and a high-size display start instruction, and transmission from the counterpart terminal device when notification of the start of high-size display has been received from the counterpart terminal device Instead of displaying the video to be displayed, the video input by the video input unit is superposed on the video by reducing the video to the display size of the display device, the display frame indicating the position of the rectangular area, and the high-size display start message. The videophone terminal device is characterized in that it is displayed on the display device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008007609A JP2009171272A (en) | 2008-01-17 | 2008-01-17 | Video telephone terminal device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008007609A JP2009171272A (en) | 2008-01-17 | 2008-01-17 | Video telephone terminal device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009171272A true JP2009171272A (en) | 2009-07-30 |
JP2009171272A5 JP2009171272A5 (en) | 2011-03-03 |
Family
ID=40971955
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008007609A Pending JP2009171272A (en) | 2008-01-17 | 2008-01-17 | Video telephone terminal device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009171272A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101697579B (en) * | 2009-10-23 | 2015-05-20 | 中兴通讯股份有限公司 | Terminal with videophone function and method for adjusting video images thereof |
JP2020150330A (en) * | 2019-03-11 | 2020-09-17 | 株式会社リコー | Image communication system, imaging apparatus, mode switching method, program |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005123804A (en) * | 2003-10-15 | 2005-05-12 | Hitachi Ltd | Communication system and method |
-
2008
- 2008-01-17 JP JP2008007609A patent/JP2009171272A/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005123804A (en) * | 2003-10-15 | 2005-05-12 | Hitachi Ltd | Communication system and method |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101697579B (en) * | 2009-10-23 | 2015-05-20 | 中兴通讯股份有限公司 | Terminal with videophone function and method for adjusting video images thereof |
JP2020150330A (en) * | 2019-03-11 | 2020-09-17 | 株式会社リコー | Image communication system, imaging apparatus, mode switching method, program |
JP7400195B2 (en) | 2019-03-11 | 2023-12-19 | 株式会社リコー | Image communication system, imaging device, communication terminal, mode switching method, program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4443181B2 (en) | Communication system and method | |
KR101912602B1 (en) | Mobile device, display apparatus and control method thereof | |
KR100678209B1 (en) | Method for controlling image in wireless terminal | |
EP2175647A1 (en) | Apparatus and method for providing emotion expression service in mobile communication terminal | |
EP2364000A1 (en) | Method for controlling a camera mode in a portalble terminal | |
JP2007189503A (en) | Terminal device and program | |
JP2003125365A (en) | Controlling device, program, and recording medium | |
WO2014101428A1 (en) | Image control method and terminal, video conference apparatus | |
US8411133B2 (en) | Mobile terminal and panoramic photographing method for the same | |
KR100583707B1 (en) | Communication terminal equipment | |
US20050192050A1 (en) | Method and apparatus for processing incoming call of wireless telephone having camera | |
CN112203126A (en) | Screen projection method, screen projection device and storage medium | |
JP2009171272A (en) | Video telephone terminal device | |
EP1746830A2 (en) | Method for performing presentation in video telephone mode and wireless terminal implementing the same | |
JP2004282762A (en) | Control method and its system for remote video processing circuit | |
JP2007194796A (en) | Remote control system, remote-controlled communication apparatus, and controlled-side communication apparatus | |
KR100438540B1 (en) | Image transmitting/receiving method and system for mobile communication terminal equipment | |
JP2005168012A (en) | Video phone compatible type internet phone | |
CN112948046A (en) | Screen capturing method, device, equipment and storage medium | |
KR100617736B1 (en) | Method for zooming of picture in wireless terminal | |
JP4440079B2 (en) | Communication terminal | |
KR100606079B1 (en) | Method for zooming of picture in wireless terminal | |
JP2005286445A (en) | Image transmission terminal, system thereof and terminal image transmitting method | |
JP2009060251A (en) | Information processing apparatus, and remote diagnosing system | |
US10455074B2 (en) | Information processing system, information processing terminal, and control method and control program of information processing terminal |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110113 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121030 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121031 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130305 |