WO2008001441A1 - Portable video device - Google Patents

Portable video device Download PDF

Info

Publication number
WO2008001441A1
WO2008001441A1 PCT/JP2006/312921 JP2006312921W WO2008001441A1 WO 2008001441 A1 WO2008001441 A1 WO 2008001441A1 JP 2006312921 W JP2006312921 W JP 2006312921W WO 2008001441 A1 WO2008001441 A1 WO 2008001441A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
information
transmission
reception
unit
Prior art date
Application number
PCT/JP2006/312921
Other languages
French (fr)
Japanese (ja)
Inventor
Shoichi Sano
Original Assignee
Fujitsu Limited
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Limited filed Critical Fujitsu Limited
Priority to JP2008522245A priority Critical patent/JP4871357B2/en
Priority to PCT/JP2006/312921 priority patent/WO2008001441A1/en
Publication of WO2008001441A1 publication Critical patent/WO2008001441A1/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145—Handheld terminals

Definitions

  • FIG. 3 is a diagram showing a third display pattern to which the present invention is applied.
  • the receiving unit 7B in each receiving side device 1B1 to: LB3 (Fig. 5) refers to the PT field and the name field, and uses the received RTCP packet type, rotation information, and the like. Recognize that it is. Note that other communication protocols may be used to implement the present invention.

Abstract

For one-to-one or one-to-many video transmission, a camera-equipped terminal of the transmission side transmits video information (IvA) imaged by the camera together with rotation information (IrA) indicating the rotation angle of the camera to a display-equipped terminal of the reception side. According to the rotation information (IrA), or according to the rotation information (IrA) and the self-rotation information (IrB), the terminal of the reception side causes a display (display unit) of the reception side to display an erect image of the transmission side or an erect image of the transmission side and the reception side.

Description

明 細 書  Specification
携帯ビデオ装置  Portable video equipment
技術分野  Technical field
[0001] 本発明は、携帯型のビデオ装置、例えば PDA (Personal Digital Assistants)やカメ ラ付携帯電話等のモパイル端末で、特に映像通信機能と映像表示機能とを少なくと も具備するモパイル端末に関する。  [0001] The present invention relates to a mobile video device, such as a PDA (Personal Digital Assistants) or a mobile phone such as a camera-equipped mobile phone, and more particularly to a mobile phone terminal having at least a video communication function and a video display function. .
背景技術  Background art
[0002] 近年の携帯型ビデオ装置、例えば PDAにお!/、ては、その OSとして、該 PDAにお ける表示部上の映像あるいは画像を 0度、 90度、 180度等に回転させて表示させる 機能が実装されている。これは、自由に携帯可能な PDAをユーザが持つときの持ち 方として、縦向き、横向き、逆さ等種々あり得る力 である。このような回転表示機能を 実装することにより、 PDAを仮に逆さに持ったとしても、上記表示部上の表示も同じく 逆さに回転させることが可能となり、該表示部上に正立した映像あるいは画像をユー ザに見せることができる。  [0002] In recent portable video devices, such as PDA! /, As the OS, images or images on the display unit of the PDA are rotated to 0 degrees, 90 degrees, 180 degrees, etc. The function to display is implemented. This is the power that a user can hold a freely portable PDA, such as portrait, landscape, and upside down. By implementing such a rotation display function, even if the PDA is held upside down, the display on the display unit can be rotated upside down as well, and an upright image or image is displayed on the display unit. Can be shown to the user.
[0003] ところが、 PDAに、携帯電話端末と同様、ビデオカメラを一体に搭載してそのビデ ォカメラによる映像をその表示部に表示させたり、ある 、はそのビデオカメラによる映 像あるいは画像を、テレビ電話通信を行っている相手方端末に送信するに際し、そ の PDAを逆さに持つと、映像や画像が相手方の PDAにおいて逆さに表示されたり、 テレビ電話通信を行って ヽる相手方にお！ヽて逆さに表示されてしまう、 t ヽぅ不都合 がある。本発明はこのような不都合に対処するための方策について一つの提案を行 うものである。  [0003] However, like a mobile phone terminal, a PDA is equipped with a video camera so that the video by the video camera is displayed on the display unit, or the video or image by the video camera is displayed on a TV. Holding the PDA upside down when sending to the other party's terminal that is carrying out telephone communication, the video or image is displayed upside down on the other party's PDA, or to the other party who is talking through videophone communication! It will be displayed upside down. The present invention proposes one measure for dealing with such inconvenience.
[0004] なお本発明に関連する公知技術としては下記の〔特許文献 1〕〜〔特許文献 3〕があ る。〔特許文献 1〕に開示された発明では、画像の送り側において画像の回転ならび に変換を行っている。  [0004] The following [Patent Document 1] to [Patent Document 3] are known techniques related to the present invention. In the invention disclosed in [Patent Document 1], the image is rotated and converted on the image sending side.
[0005] また〔特許文献 2〕に開示された発明ではデジタルカメラの撮影時にそのカメラの方 向データを画像データの中に組み込んでおく。そして後にパソコン等にその画像を 再生して表示する場合、その表示に際して上記方向データを読み取り、それに従い 表示すべき画像を回転させ正立画像として表示を行うものである。 [0005] Further, in the invention disclosed in [Patent Document 2], the direction data of the camera is incorporated in the image data when the digital camera is photographed. When the image is reproduced and displayed later on a personal computer or the like, the direction data is read at the time of display and the image is accordingly displayed. The image to be displayed is rotated and displayed as an upright image.
[0006] さらにまた〔特許文献 3〕に開示された発明では、胃カメラ等でその撮像部が回転し たとしても、重力の作用により該撮像部が常に所定方向を向くようにするものである。  [0006] Furthermore, in the invention disclosed in [Patent Document 3], even when the imaging unit is rotated by a stomach camera or the like, the imaging unit is always directed in a predetermined direction by the action of gravity. .
[0007] 特許文献 1 :特開 2000— 152069号公報  [0007] Patent Document 1: Japanese Patent Application Laid-Open No. 2000-152069
特許文献 2：特開 2001—45354号公報  Patent Document 2: Japanese Patent Laid-Open No. 2001-45354
特許文献 3：特開昭 62— 65568号公報  Patent Document 3: Japanese Patent Application Laid-Open No. 62-65568
発明の開示  Disclosure of the invention
発明が解決しょうとする課題  Problems to be solved by the invention
[0008] 上述した 3件の特許文献 1〜3には以下の問題がある。まず特許文献 1については[0008] The three patent documents 1 to 3 described above have the following problems. First, Patent Document 1
、複数の受信端末に対して同報送信を行う場合あるいは複数の端末相互間で映像 や画像を通信し合うと ヽつたテレビ会議のような使 、方をする場合に対して、当該発 明は対応できない、という問題があり、 For broadcast transmission to multiple receiving terminals, or when using a method such as a video conference in which video and images are communicated between multiple terminals, the invention is There is a problem that can not be handled,
また、一般的には映像や画像はこれを受信する端末側の状況に合わせてその表示 形態を指定できることが望ましいところ、当該発明のように送信側の方で画像データ を加工してしまうことは、受信側にとって都合が悪い、という問題もある。  In general, it is desirable to be able to specify the display format of video and images according to the situation of the terminal that receives them. However, it is not possible to process image data on the transmission side as in the present invention. There is also a problem that it is inconvenient for the receiving side.
[0009] 次に特許文献 2については、自分で撮影した静止画像を、自分で楽しむといった閉 じた環境内で実施される発明であり、例えばネットワークを介して送信側端末力 受 信側端末へ画像伝送するような場合には適用できな ヽ、 t ヽぅ問題がある。 [0009] Next, Patent Document 2 is an invention that is implemented in a closed environment where users can enjoy still images taken by themselves. For example, to a terminal on the transmitting side and a terminal on the receiving side via a network. There is a problem that cannot be applied when transmitting images.
[0010] また特許文献 3については、上記特許文献 2と同様、例えばネットワークを介して送 信側端末から受信側端末へ撮像データを送信するような場合には、適用できな ヽ、 という問題がある。 [0010] Further, Patent Document 3 has a problem that, as in Patent Document 2, for example, when imaging data is transmitted from a transmitting terminal to a receiving terminal via a network, it cannot be applied. is there.
[0011] したがって本発明は、上記問題点に鑑み、送信側のカメラ付携帯ビデオ装置から 少なくとも 1台の受信側のディスプレイ付携帯ビデオ装置に映像及び Z又は画像を、 ネットワークを介して、伝送するに際し、送信側のカメラが回転しても受信側のデイス プレイに正立表示させることができ、また、さらにカ卩えて受信側のディスプレイが回転 してもこのディスプレイに正立表示させることのできる携帯ビデオ装置を提供すること を目的とするものである。さらには、その携帯ビデオ装置を複数有するビデオ表示シ ステム、そのための方法およびプログラムを提供することを目的とするものである。 課題を解決するための手段 Therefore, in view of the above problems, the present invention transmits video and Z or images from a transmitting-side camera-equipped portable video device to at least one receiving-side portable video device with a display via a network. In this case, even if the sending camera rotates, it can be displayed upright on the receiving display, and even if the receiving display rotates further, it can be displayed upright on this display. The purpose is to provide a portable video device. It is another object of the present invention to provide a video display system having a plurality of portable video devices, a method and a program therefor. Means for solving the problem
[0012] 本発明によれば、後に図 4を参照して説明するように、送信側の携帯ビデオ装置に 関しては、送信側映像情報を送出する携帯ビデオ装置であって、（i)その送信側映 像情報として受信側へ送出すべき映像を撮影するカメラ部と、 (ii)上記の撮影を行つ たときの映像の回転角を検出する回転角センサ部と、（m)検出したその回転角を回 転情報として、上記の送信側映像情報と共に受信側へ送出する送信部と、から構成 する。  [0012] According to the present invention, as will be described later with reference to FIG. 4, the portable video device on the transmission side is a portable video device that sends video information on the transmission side, and (i) (Ii) a rotation angle sensor unit that detects the rotation angle of the video when the above shooting is performed, and (m) the detected video image. The rotation angle is used as rotation information, and the transmission unit transmits the image information to the reception side together with the transmission side video information.
[0013] 一方、受信側の携帯ビデオ装置に関しては、送信側装置より送出された送信側映 像情報と、その送信側映像情報に係る映像の回転角を示す送信側回転情報とを少 なくとも含む受信情報を入力とする携帯ビデオ装置であって、 (i)上記の受信情報を 入力する受信部と、 (ii)上記の受信情報をもとにして生成された表示データに従って 、上記の送信側映像情報にかかる送信側映像を表示する表示部と、（iii)上記の受信 情報を入力としてその表示データを生成するための処理を行う表示データ生成機能 部と、から構成すると共に、（iv)上記受信情報内の送信側映像情報を一旦格納する 送信側映像メモリと、（V)該受信情報内の送信側回転情報を一旦格納する演算メモリ と、を少なくとも含む。  [0013] On the other hand, with respect to the mobile video device on the receiving side, at least the transmission-side video information transmitted from the transmitting-side device and the transmission-side rotation information indicating the rotation angle of the video related to the transmission-side video information are included. A portable video device that receives received information including: (i) a receiver that inputs the received information; and (ii) the transmission according to display data generated based on the received information. And (iii) a display data generation function unit that performs processing for generating the display data with the received information as an input, and (iv) ) At least a transmission-side video memory that temporarily stores transmission-side video information in the reception information; and (V) a calculation memory that temporarily stores transmission-side rotation information in the reception information.
[0014] また上記の受信側携帯ビデオ装置は、さらに好ましくは、 (vi)当該携帯ビデオ装置 に備えられ、受信側での撮影による受信側映像情報を送出する受信側カメラ部と、 ( vii)当該携帯ビデオ装置内に備えられ、上記の撮影を行ったときの上記受信側映像 情報に係る映像の回転角を検出し、これを受信側回転情報として出力する受信側回 転角センサ部とを有する。そしてさらに (vm)上記の受信側映像情報をー且格納する 受信側映像メモリと、 (ix)当該携帯ビデオ装置内で生成して前記表示部 (ii)に表示 すべき画像 (グラフィック)情報を格納する画像メモリと、を含む。そして上記の演算メ モリ (V)に上記の受信側回転情報を一旦格納する。 [0014] Further, the above-mentioned reception-side portable video device is more preferably (vi) a reception-side camera unit that is provided in the portable video device and sends out reception-side video information obtained by photographing on the reception side; (vii) A reception-side rotation angle sensor unit that is provided in the portable video device and detects a rotation angle of the image related to the reception-side image information when the above-described shooting is performed, and outputs the rotation angle as reception-side rotation information; Have. And ( v m) a receiver video memory for storing the receiver video information and (ix) image (graphic) information to be generated and displayed on the display unit (ii) in the portable video device. And an image memory for storing the image. The reception side rotation information is temporarily stored in the calculation memory (V).
発明の効果  The invention's effect
[0015] 力べして本発明によれば、後述の説明から明らかになるとおり、下記の a)〜d)に示 す効果が得られる。  [0015] In summary, according to the present invention, the effects shown in the following a) to d) can be obtained as will be apparent from the following description.
[0016] a) PDAや携帯電話でテレビ電話を行う際、これらの携帯ビデオ装置を傾けた場合 すなわち該装置を正立させない場合においても、相手側の受信側装置において正 立した画像を表示させることができる。 [0016] a) When these mobile video devices are tilted when making a videophone call with a PDA or mobile phone In other words, even when the device is not set upright, an upright image can be displayed on the receiving side device on the other side.
[0017] b)同報的に複数の装置へ映像や画像を送る際や複数の装置間で相互に映像や 画像を送る際でも、各該装置では、それぞれの回転角に拘わらず、当該映像等を正 立して表示することができる。  [0017] b) Even when sending images and images to a plurality of devices in a broadcast manner, or when sending images and images between a plurality of devices, each of the devices does not depend on the rotation angle. Etc. can be displayed upright.
[0018] c)受信側装置での処理によって映像等を回転させるので、受信側ユーザの好みに 応じた映像等の表示態様を自由に得ることができる。  C) Since the video and the like are rotated by the processing on the receiving side device, the display mode of the video and the like according to the preference of the receiving side user can be freely obtained.
[0019] d)自装置 Aで自分で撮影した映像を表示 (モニタ)する場合も、その表示部に相手 方装置 Bと同じ処理部を設けることによって、相手方装置ならびに自装置の回転の如 何に拘わらず、正立した映像等を表示させることができる。また受信側装置の表示部 に映像等をミラー表示するための加工を加えることもできるが、この場合送信側の映 像とは全く関係なく加工することができるので、したがって、相手装置を考慮すること なく自由にかつ簡単にそのミラー加工が行える。  [0019] d) When displaying (monitoring) the video captured by the own device A, the same processing unit as that of the counterpart device B is provided on the display unit, so that the other device and the own device can be rotated. Regardless of this, an upright video or the like can be displayed. It is also possible to add processing for mirror display of video etc. on the display unit of the receiving device, but in this case, processing can be performed regardless of the image on the transmitting side. The mirror can be processed freely and easily.
図面の簡単な説明  Brief Description of Drawings
[0020] [図 1]図 1は、送信側映像および受信側映像の第 1パターンを示す図である。 FIG. 1 is a diagram showing a first pattern of a transmission side video and a reception side video.
[図 2]図 2は、本発明を適用した第 2表示パターンを示す図である。  FIG. 2 is a diagram showing a second display pattern to which the present invention is applied.
[図 3]図 3は、本発明を適用した第 3表示パターンを示す図である。  FIG. 3 is a diagram showing a third display pattern to which the present invention is applied.
[図 4]図 4は、本発明に係る携帯ビデオ装置 (送信側)の基本構成を示す図である。  FIG. 4 is a diagram showing a basic configuration of a portable video device (transmission side) according to the present invention.
[図 5]図 5は、 1対多通信機能を備えた送信部による配信例を示す図である。  FIG. 5 is a diagram showing an example of distribution by a transmission unit having a one-to-many communication function.
[図 6]図 6は、 RTCPにおける APPパケットフィールドの構成を示す図である。  FIG. 6 is a diagram showing the structure of an APP packet field in RTCP.
[図 7]図 7は、本発明に係る携帯ビデオ装置 (受信側)の基本構成を示す図である。  FIG. 7 is a diagram showing a basic configuration of a portable video device (reception side) according to the present invention.
[図 8]図 8は、本発明に係る携帯ビデオ装置 (受信側)の基本構成を示す図である。  FIG. 8 is a diagram showing a basic configuration of a portable video device (reception side) according to the present invention.
[図 9]図 9は、受信側装置におけるアドレス変換の様子を示す図である。  [Fig. 9] Fig. 9 is a diagram showing a state of address conversion in the receiving side device.
[図 10]図 10は、受信側装置全体の具体的構成を示す図である。  FIG. 10 is a diagram showing a specific configuration of the entire receiving-side apparatus.
[図 11]図 11は、受信側装置における受信側自身で生成する映像と画像につ！ヽて示 す図である。  [Fig. 11] Fig. 11 shows images and images generated by the receiving device itself in the receiving device! FIG.
[図 12]図 12は、図 10における映像情報と回転情報の区分けの仕方の一例を示すフ ローチャートである。 [図 13]図 13は、（B)の表示データ DdAを表示部 3B上の所定位置 (A)に表示させる アドレス変換を図解的に表す図である。 [FIG. 12] FIG. 12 is a flowchart showing an example of a method of dividing the video information and the rotation information in FIG. FIG. 13 is a diagram schematically showing address conversion for displaying the display data DdA of (B) at a predetermined position (A) on the display unit 3B.
[図 14]図 14は、（B)の回転を伴う表示データ DdAを表示部上に正立して表示 (A)さ せるアドレス変換を図解的に表す図である。  [FIG. 14] FIG. 14 is a diagram schematically showing address conversion for displaying (A) the display data DdA accompanying the rotation of (B) upright on the display unit.
[図 15]図 15の (A)および (B)は、相手装置が回転角 Θ aだけ傾いている場合を示す 図である。  FIG. 15 (A) and FIG. 15 (B) are diagrams showing a case where the counterpart device is tilted by a rotation angle Θa.
[図 16]図 16の (A)および (B)は、自装置も回転角 0 bだけ傾いている場合を示す図 である。  FIG. 16 (A) and (B) in FIG. 16 are diagrams showing a case where the device itself is also inclined by a rotation angle 0 b.
[図 17]図 17の (A) , (B)および (C)は、自装置での映像について回転角 0 cだけ傾 Vヽて 、る場合を示す図である。  [FIG. 17] (A), (B), and (C) of FIG. 17 are diagrams showing a case where the image on the device is tilted by a rotation angle 0 c.
[図 18]図 18の (A)〜 (E)は、本発明に基づくミラー表示を説明するための図である。  [FIG. 18] FIGS. 18A to 18E are views for explaining mirror display according to the present invention.
[図 19]図 19は、「ミラー表示」において、表示したい領域 (B)と表示部に表示させる映 像 (A)とを示す図である。  FIG. 19 is a diagram showing an area (B) to be displayed and an image (A) to be displayed on the display unit in “mirror display”.
[図 20]図 20は、表示データ合成部の動作概念を簡単に表す図である。  FIG. 20 is a diagram simply illustrating the operation concept of the display data synthesizing unit.
[図 21]図 21は、図 20の概念を具体例をもって表す図である。  FIG. 21 is a diagram showing the concept of FIG. 20 with a specific example.
[図 22]図 22は、表示データ合成部の一構成例を示す図である。  FIG. 22 is a diagram illustrating a configuration example of a display data synthesis unit.
発明を実施するための最良の形態  BEST MODE FOR CARRYING OUT THE INVENTION
[0021] まず初めに本発明の理解を早めるために、本発明に係るビデオ装置の表示部にお ける映像あるいは画像 (以下、単に映像等とも称す)の表示パターンの実例を示す。  First, in order to expedite the understanding of the present invention, an example of a display pattern of an image or an image (hereinafter also simply referred to as an image) on the display unit of the video apparatus according to the present invention is shown.
[0022] 図 1は送信側映像および受信側映像の第 1表示パターンを示す図である。本図に おいて、参照番号 1は携帯ビデオ装置 (以下、単に装置とも称す)、 2はカメラ部、 3は 表示部、 4はテンキー等の操作部を示す。ここに、各参照番号に付された Aは映像の 送信側を表し、 Bは映像の受信側を表す。したがって、 VAはカメラ部 2Aにより撮影さ れた送信側映像を表し、 VBは表示部 3Bに表示されたその映像、すなわち受信側映 像を表す。  FIG. 1 is a diagram showing a first display pattern of the transmission side video and the reception side video. In this figure, reference numeral 1 is a portable video device (hereinafter also simply referred to as a device), 2 is a camera unit, 3 is a display unit, and 4 is an operation unit such as a numeric keypad. Here, A attached to each reference number represents a video transmission side, and B represents a video reception side. Therefore, VA represents the transmission side image taken by the camera unit 2A, and VB represents the image displayed on the display unit 3B, that is, the reception side image.
[0023] 図 1に示す第 1表示パターンは、本発明を適用しない場合の表示パターンであり、 装置 1を傾けて（図の例では 90度)表示対象をカメラ部 2Aにより撮影したときの送信 側映像が VAとして示される。この映像 VAは、本発明を適用しない場合、正立してい る受信側装置 IBの表示部 3Bの画面上において、図示するとおり、 90度傾いた受信 側映像 VBとして表示される。このような表示パターン (VB)は受信側のユーザにとつ て '|¾いものではない。 [0023] The first display pattern shown in FIG. 1 is a display pattern when the present invention is not applied, and is transmitted when the display target is photographed by the camera unit 2A with the apparatus 1 tilted (90 degrees in the example in the figure). Side image is shown as VA. This video VA is upright if the present invention is not applied. As shown in the figure, it is displayed as the receiving side video VB tilted 90 degrees on the screen of the display unit 3B of the receiving side device IB. Such a display pattern (VB) is not good for the receiving user.
[0024] 図 2は本発明を適用した第 2表示パターンを示す図である。なお全図を通して同様 の構成要素には同一の参照番号または記号を付して示す。  FIG. 2 is a diagram showing a second display pattern to which the present invention is applied. Throughout the drawings, similar components are denoted by the same reference numerals or symbols.
[0025] 図 2において、 5Aは回転角センサ部であり、今 90度傾いている装置 1 Aの回転情 報 Ir (rotation) A ( = 90° )を出力し、映像情報 Iv (video) Aと共に装置 IBに送信さ れる。このとき、傾いて受信された映像 VAは、上記回転情報 IrAに基づいて正立し た映像 VBとなる。 [0025] In FIG. 2, 5A is a rotation angle sensor unit, which outputs rotation information Ir (rotation) A (= 90 °) of device 1 A which is tilted 90 degrees now, and video information Iv (video) A And sent to the device IB. At this time, the video VA received at an inclination is an upright video VB based on the rotation information IrA.
[0026] 図 3は、本発明を適用した第 3表示パターンを示す図である。上記図 2において、装 置 1Aからの回転情報 IrAおよび送信側映像情報 IvAを受信した受信側装置 1Bそれ 自体が傾!、て 、た場合を本図は示す。例えば今 90度傾 、て 、たとすると (IrB = 90 ° )、この IrBと上記の受信した IrAとを合成した回転角力 正立した映像 VBを生成 するように、図 3に示された「回転の指示」ならびに「回転処理」が装置 1B内で実行さ れる。  FIG. 3 is a diagram showing a third display pattern to which the present invention is applied. In FIG. 2, this figure shows a case where the receiving side device 1B itself that has received the rotation information IrA and the transmitting side video information IvA from the device 1A is tilted. For example, if it is tilted 90 degrees now (IrB = 90 °), the rotation angle force obtained by combining this IrB and the received IrA is generated as shown in FIG. “Instruction” and “Rotation processing” are executed in the apparatus 1B.
[0027] 以上、本発明の理解を早めるための説明を行ったので、以下に本発明のさらに具 体的な説明を行う。まず図 4を参照すると、本図は、本発明に係る携帯ビデオ装置（ 送信側)の基本構成を示す図である。  [0027] As described above, the explanation for accelerating the understanding of the present invention has been described, and a more specific description of the present invention will be described below. First, referring to FIG. 4, FIG. 4 is a diagram showing a basic configuration of a portable video apparatus (transmission side) according to the present invention.
[0028] 図 4において、参照番号 2Aはおよび 5Aはそれぞれ、カメラ部および回転角センサ 部であり、また 6Aはこれらの各出力情報を、無線 Z有線ネットワーク NWを介して、 受信側装置 1Bに送信する送信部である。すなわち、本発明に係る装置 (送信側） 1A は送信側映像情報を送出する携帯ビデオ装置であって、送信側映像情報 IvAとして 受信側（1B)へ送出すべき映像 VAを撮影するカメラ部 2Aと、その撮影を行ったとき の映像の回転角を検出する回転角センサ部 5 Aと、検出したその回転角を回転情報 I rAとして、送信側映像情報 IvAと共に受信側（1B)へ送出する送信部 6Aと、を備え て構成される携帯ビデオ装置である。  [0028] In Fig. 4, reference numerals 2A and 5A are a camera unit and a rotation angle sensor unit, respectively, and 6A sends each of these output information to the receiving side device 1B via the wireless Z wired network NW. It is a transmission part which transmits. In other words, the device (transmission side) 1A according to the present invention is a portable video device that transmits video information on the transmission side, and a camera unit 2A that captures a video VA to be transmitted to the reception side (1B) as transmission side video information IvA. And the rotation angle sensor unit 5 A for detecting the rotation angle of the image when the image is taken, and the detected rotation angle as rotation information I rA, which is transmitted to the reception side (1B) together with the transmission side video information IvA. A portable video device configured to include a transmission unit 6A.
[0029] ここに回転情報 IrAを生成する回転角センサ部 5Aは、ジャイロセンサ、重力センサ または傾斜センサのいずれかによつて実現できる。なお、前述した図 2および図 3で は、一例として、ジャイロセンサを示している。このジャイロセンサや重力センサおよび 傾斜センサとしては既に市販で安価に入手可能なものがある。また既述した特許文 献 1〜特許文献 3においても、それぞれ独自に工夫した回転角センサ部が開示され ている。 Here, the rotation angle sensor unit 5A that generates the rotation information IrA can be realized by any of a gyro sensor, a gravity sensor, and a tilt sensor. In addition, in FIG. 2 and FIG. Shows a gyro sensor as an example. Some of these gyro sensors, gravity sensors, and tilt sensors are already commercially available and inexpensively available. In addition, Patent Documents 1 to 3 described above each disclose a rotation angle sensor unit devised independently.
[0030] さらに図 4の送信部 6Aについて詳しく説明する。この送信部 6Aは、 (i) 1つの受信 側装置 1Bに送信側映像情報 IvAおよび回転情報 IrAを送出する 1対 1通信機能お よび (ϋ)複数の受信側装置 IBに送信側映像情報 IvAおよび回転情報 IrAを送出す る 1対多通信機能のうちの少なくとも一方の通信機能を備えることができる。図 5は上 記の 1対多 (point-to-multipoint)通信機能を備えた送信部6 Aによる配信例を示す 図である。なお本図では、装置 1A力も各装置 1Bに向力 片方向のみを記載してい るが、同様に各装置 1Bから装置 1Aに向力 逆方向送信も存在する。 [0030] Further, the transmission unit 6A in Fig. 4 will be described in detail. This transmission unit 6A has (i) a one-to-one communication function for sending transmission-side video information IvA and rotation information IrA to one reception-side device 1B, and (i) transmission-side video information IvA to multiple reception-side devices IB. And at least one of the one-to-many communication functions for sending rotation information IrA. FIG. 5 is a diagram showing an example of distribution by the transmission unit 6 A having the above-described point-to-multipoint communication function. In this figure, the device 1A force also shows only one direction of force to each device 1B, but similarly, there is also a direction reverse transmission from each device 1B to device 1A.
[0031] 図 5において、装置 1Aはその送信部 6Aより、 RTPパケットを用いて映像、画像、音 声等の情報 (IvA)を送信し、 RTCPパケットを用いて回転情報 (IrA)を送信する。こ れらの送信は、好ましくは IP (Internet Protocol)ネットワーク NW上にて各装置 1B1 〜1B3に向けて行われる。なお既に知られているとおり、上記のプロトコル RTPZR TCP (Real-time Transport Control Protocol)は丄 ETF (http://www.ietf.org/) RFC 1 889にて規定されており、 RTPにより映像等の情報を送信し、 RTCPによりその送信 の制御を行う。  In FIG. 5, apparatus 1A transmits information (IvA) such as video, image, and voice using RTP packet and transmission information (IrA) using RTCP packet from its transmitting unit 6A. . These transmissions are preferably performed toward each of the devices 1B1 to 1B3 on the IP (Internet Protocol) network NW. As already known, the above-mentioned protocol RTPZR TCP (Real-time Transport Control Protocol) is defined in ETF (http://www.ietf.org/) RFC 1 889, and RTP video, etc. This information is transmitted and the transmission is controlled by RTCP.
[0032] 図 6は RTCPにおける APPパケットフィールドの構成を示す図である。 RTCPバケツ トにはいくつかの種類があり、本発明に基づく回転情報 IrAは、その種類の中の APP (アプリケーション独自の規定によるパケット）を用いる。一般に、映像やデータを送る プロトコルにおいては、その付加情報も送る仕組みがある。そこで、回転情報 IrAは 該付加情報として送ることができる。またこの図 6によれば、その付加情報としてさらに 頻度情報 If A (frequency)をも加えて 、る。  FIG. 6 is a diagram showing the configuration of the APP packet field in RTCP. There are several types of RTCP buckets, and the rotation information IrA according to the present invention uses APP (packet according to application-specific rules) in that type. In general, protocols that send video and data have a mechanism to send additional information. Therefore, the rotation information IrA can be sent as the additional information. In addition, according to FIG. 6, frequency information If A (frequency) is further added as the additional information.
[0033] このように本発明の送信部 6Aは、送信側映像情報 IvAをデータ伝送用の RTPに 従って送出し、回転情報 IrAを制御用の RTCPに従って送出することを特徴とし、 またこの RTCPに従う制御用パケット内には、回転情報 IrAに加えてさらに、その回 転情報を更新する頻度を示す頻度情報 HAを含むことを特徴とするものである。 [0034] なお図 6に示すフィールド構成の詳細を示すと以下のとおりである。 [0033] As described above, the transmission unit 6A of the present invention is characterized in that it transmits the transmission side video information IvA according to the RTP for data transmission, and transmits the rotation information IrA according to the RTCP for control, and also conforms to this RTCP. In addition to the rotation information IrA, the control packet further includes frequency information HA indicating the frequency of updating the rotation information. Details of the field configuration shown in FIG. 6 are as follows.
V(lビット長）： RFC1889に準拠した製品バージョン（ = 2)。  V (l bit length): Product version conforming to RFC1889 (= 2).
P (1ビット長）：パケットの最後に付属するパディングオクテットのある Zなしを示す。 Subtype (5ビット長）：0固定。  P (1 bit length): Indicates Z without the padding octet attached to the end of the packet. Subtype (5-bit length): Fixed to 0.
PT(8ビット長）：パケットタイプで RTCPパケットのどの種類であるのかを示す。 204 固定。  PT (8-bit length): Indicates the type of RTCP packet in the packet type. 204 Fixed.
長さ（16ビット長）： RTCPパケットの全体の長さを 32で割って 1引いた数。 送信者 SSRC (32ビット長）：送信者の識別番号  Length (16-bit length): The total length of the RTCP packet divided by 32 and subtracted by 1. Sender SSRC (32-bit length): Sender identification number
name：回転情報の RTCPパケットであることを示す名前： "kait"  name: Name indicating the RTCP packet of rotation information: "kait"
回転情報（16ビット長）：装置の回転角度。正立を 0度として時計周りに 360度まで。 回転情報更新頻度（16ビット長）：回転情報を更新する時間間隔。 0. 01秒単位。  Rotation information (16-bit length): The rotation angle of the device. Up to 360 degrees clockwise with 0 degrees upright. Rotation information update frequency (16-bit length): Time interval for updating rotation information. 0.0.01 seconds.
[0035] なお、各受信側装置 1B1〜： LB3 (図 5)内の受信部 7Bにおいては、上記の PTフィ 一ルドと nameフィールドを参照して、受信 RTCPパケットの種類と、回転情報等であ ることとを認識する。なお、本発明を実現するために他の通信プロトコルを用いても良 い。 [0035] Note that the receiving unit 7B in each receiving side device 1B1 to: LB3 (Fig. 5) refers to the PT field and the name field, and uses the received RTCP packet type, rotation information, and the like. Recognize that it is. Note that other communication protocols may be used to implement the present invention.
[0036] 次に図 7を参照して、本発明に係る携帯ビデオ装置 (受信側)の基本構成を示す。  Next, with reference to FIG. 7, a basic configuration of the portable video device (receiving side) according to the present invention will be shown.
図 7において、参照番号 7Bは前述した受信部、 8Bはメモリ機能部、 9Bは表示デー タ生成機能部であり、 3Bは前述した表示部である。  In FIG. 7, reference numeral 7B is the receiving unit described above, 8B is a memory function unit, 9B is a display data generation function unit, and 3B is the display unit described above.
[0037] すなわち、本発明に係る装置 (受信側） 1Bは、送信側装置 1Aより送出された送信 側映像情報 IvAと、その送信側映像情報に係る映像の回転角を示す送信側回転情 報 IrAとを少なくとも含む受信情報 linを入力とする携帯ビデオ装置であって、その受 信情報 linを入力する受信部 7Bと、この受信部 7Bにて受信した受信情報 linを一旦 格納するメモリ機能部 8Bと、このメモリ機能部 8Bに格納された受信情報 linをもとにし て生成された表示データ Dd (display)に従って、送信側映像情報 IvAにカゝかる送信 側映像 VAを表示する表示部 3Bと、上記の受信情報 linを入力として表示データ Dd を生成するための処理を行う表示データ生成機能部 9Bと、を有する携帯ビデオ装置 である。  That is, the device (reception side) 1B according to the present invention transmits the transmission side video information IvA sent from the transmission side device 1A and the transmission side rotation information indicating the rotation angle of the video related to the transmission side video information. It is a portable video device that receives reception information lin including at least IrA, and receives the reception information lin, and a memory function unit that temporarily stores the reception information lin received by the reception unit 7B 8B and the display unit 3B for displaying the transmission side video VA stored in the transmission side video information IvA according to the display data Dd (display) generated based on the reception information lin stored in the memory function unit 8B. And a display data generation function unit 9B that performs processing for generating display data Dd by using the received information lin as an input.
[0038] ここにメモリ機能部 8B (図 7)は、受信情報 lin内の送信側映像情報 IvAをー且格納 する送信側映像メモリ 81と、その受信情報 Iin内の送信側回転情報 IrAを一旦格納 する演算メモリ 82と、を少なくとも含んでいる。 [0038] Here, the memory function unit 8B (Fig. 7) stores and stores the transmission side video information IvA in the reception information lin. At least a transmission side video memory 81 and a calculation memory 82 for temporarily storing the transmission side rotation information IrA in the reception information Iin.
[0039] また表示データ生成機能部 9B (図 7)は、表示部 3Bにおけるシーケンシャル'スキ ヤンを行う原スキャン 'アドレス AD (図 9および図 10参照）に対し、演算メモリ 82に格 納された送信側回転情報 IrAに相応するアドレス変換を加えた変換スキャン'ァドレ ス adA (図 9および図 10参照）を生成する送信側映像アドレス変換部 91を含んでい る。 [0039] The display data generation function unit 9B (Fig. 7) is stored in the operation memory 82 for the original scan 'address AD (see Fig. 9 and Fig. 10) for sequential' scanning in the display unit 3B. It includes a transmission side video address conversion unit 91 that generates a conversion scan address “adA” (see FIGS. 9 and 10) in which address conversion corresponding to the transmission side rotation information IrA is added.
[0040] 本発明に係る携帯ビデオ装置 1は、受信側装置 1B自身が、自身のカメラ部 2Bによ り撮影した受信側映像 VB及び Z又は自身が作成した画像情報 Ig (graphic)〖こ係る 画像 GBをも、送信側映像 VAと共に表示部 3Bに表示可能としている。図 8は、本発 明に係る他の携帯ビデオ装置 (受信側)の基本構成を示す図であって、上記の映像 VBや画像 GBをも映像 VAと共に表示部 3Bに表示可能としている。  [0040] The portable video device 1 according to the present invention is such that the receiving side device 1B itself receives the receiving side images VB and Z taken by its own camera unit 2B or the image information Ig (graphic) created by itself. The image GB can also be displayed on the display unit 3B together with the transmission side video VA. FIG. 8 is a diagram showing a basic configuration of another portable video device (reception side) according to the present invention, and the above video VB and image GB can be displayed on the display unit 3B together with the video VA.
[0041] すなわち、当該携帯ビデオ端末 1Bに備えられ、受信側での撮影による受信側映像 情報 VBを送出する受信側カメラ部 2Bと、当該携帯ビデオ装置 1B内に備えられ、そ の撮影を行ったときの受信側映像情報 IvBに係る映像の回転角を検出し、これを受 信側回転情報 IrBとして出力する受信側回転角センサ部 5Bとを有する。そしてメモリ 機能部 8Bはさらに、受信側映像情報 IvBを一旦格納する受信側映像メモリ 83と、当 該携帯ビデオ装置 1B内の CPU11で生成して表示部 3Bに表示すべき画像 (グラフ イツク)情報 Igを格納する画像メモリ 83と、を含み、かつ、前述の演算メモリ 82に受信 側回転情報 (IrB)を一旦格納するようにする。  [0041] That is, the portable video terminal 1B is provided in the portable video device 1B, and is provided in the portable video device 1B and performs the shooting. A reception-side rotation angle sensor unit 5B that detects the rotation angle of the video related to the reception-side video information IvB at this time and outputs the detected rotation angle as reception-side rotation information IrB. The memory function unit 8B further includes a receiving side video memory 83 for temporarily storing the receiving side video information IvB, and image (graphic) information to be generated and displayed on the display unit 3B by the CPU 11 in the portable video device 1B. An image memory 83 for storing Ig, and receiving side rotation information (IrB) is temporarily stored in the arithmetic memory 82 described above.
[0042] また前述の表示データ生成機能部 9Bは、画像メモリ 84に対しては、原スキャン'ァ ドレス ADをそのまま入力とすると共に、上記の演算メモリ 82に格納された受信側回 転情報 IrBに相応するアドレス変換をカ卩えた変換スキャン ·アドレス adB (図 9および 図 10参照）を生成する受信側映像アドレス変換部 92を含むようにする。  In addition, the display data generation function unit 9B described above receives the original scan address AD as it is for the image memory 84, and receives-side rotation information IrB stored in the calculation memory 82. It includes a receiving side video address conversion unit 92 that generates a conversion scan address adB (see Fig. 9 and Fig. 10) with an address conversion corresponding to.
[0043] さらにまた表示データ生成機能部 9Bは、上記のメモリ機能部 8Bにおける上記の送 信側映像メモリ 81、受信側映像メモリ 83および画像メモリ 84からの各表示データを 合成して表示部 3Bに送出する表示データ合成部 93を有する。  Furthermore, the display data generation function unit 9B combines the display data from the transmission side video memory 81, the reception side video memory 83, and the image memory 84 in the memory function unit 8B to display the display unit 3B. Display data composition section 93 for sending to
[0044] 以上装置 1Bの基本構成（図 7および図 8)についてさらに具体的な構成を説明する 。図 9は受信側装置におけるアドレス変換の様子を示す図であり、 [0044] A more specific configuration of the basic configuration of the device 1B (Figs. 7 and 8) will be described. . Fig. 9 is a diagram showing the state of address translation in the receiving device.
図 10は受信側装置全体の具体的構成例を示す図であり、  FIG. 10 is a diagram showing a specific configuration example of the entire receiving-side apparatus.
図 11は受信側装置における受信側自身で生成する映像と画像にっ 、て示す図で ある。  FIG. 11 is a diagram showing video and images generated by the receiving side itself in the receiving side device.
[0045] まず図 9を参照すると、カメラ部 2Aから送信されてきた映像情報 IvAは映像メモリ 8 1に 1フレーム分ずつ上書きされながら格納される。また自己のカメラ部 2B力 の 1フ レーム分ずつの映像情報 IvB、さらには自己の CPU (図 10の 11)で生成した文字や グラフィック（映像の説明や映像の枠等)をなす画像情報 Igがそれぞれ映像メモリ 83 と画像メモリ 84に格納される。なお音声情報は本発明に関係しな 、ので省略する。  First, referring to FIG. 9, the video information IvA transmitted from the camera unit 2A is stored in the video memory 81 while being overwritten by one frame. In addition, the video information IvB for each frame of its own camera unit 2B power, and the image information that forms characters and graphics (video description, video frame, etc.) generated by its own CPU (11 in Fig. 10) Ig Are stored in the video memory 83 and the image memory 84, respectively. Note that the audio information is not related to the present invention and is omitted.
[0046] これらのメモリ（81, 83, 84)格納された情報（IvA, IvB, Ig)は、読出しアドレス生 成部 12からの原スキャン 'アドレス ADに従って順次読み出される。読み出されたこれ らの情報（IvA, IvB, Ig)は、それぞれ表示データ DdA, DdBおよび DdGとして、表 示データ合成部 93にて合成された後、最終的な表示データ Ddとなり、表示部 3B〖こ お 、てユーザに対し表示画面として提供される。  Information (IvA, IvB, Ig) stored in these memories (81, 83, 84) is sequentially read according to the original scan address AD from the read address generation unit 12. The read information (IvA, IvB, Ig) is synthesized as display data DdA, DdB, and DdG by the display data synthesis unit 93, and becomes final display data Dd. This is provided as a display screen to the user.
[0047] 以上の動作は、装置 1Aにおいても装置 1Bにおいても何らの回転がない場合であ る。もしこれらの装置 1Aおよび 1Bが回転を伴ったとしたならば、本発明に基づく回転 情報 IrAおよび IrBが、それぞれアドレス変換部 91および 92に作用し、上記の原スキ ヤン'アドレス ADはそれぞれ変換スキャン 'アドレス adAおよび adBに変換された後、 対応のメモリ 81および 83を読み出すことになる。ここに上記の回転に拘らず正立した 画面表示がなされる。なお、画像情報 Igによる表示データ DdGは、カメラ部 2Bとは 無関係であるから、上記の回転に起因したアドレス変換は不要である。  [0047] The above operation is a case where there is no rotation in either apparatus 1A or apparatus 1B. If these devices 1A and 1B are rotated, the rotation information IrA and IrB based on the present invention acts on the address conversion units 91 and 92, respectively, and the above original scan address AD is converted and scanned. 'After conversion to addresses adA and adB, the corresponding memory 81 and 83 will be read. Here, an upright screen display is made regardless of the above rotation. Note that the display data DdG based on the image information Ig is irrelevant to the camera unit 2B, and thus the address conversion due to the rotation is not necessary.
[0048] 次に図 10を参照すると、図 9では記載されなかった CPU11と、アンテナ 71および 伝送インタフェース 72を有する受信部 7Bと、演算メモリ 82と、回転角センサ部 5Bと 力 本図 10では記載されている。  Next, referring to FIG. 10, the CPU 11 not shown in FIG. 9, the receiving unit 7B having the antenna 71 and the transmission interface 72, the arithmetic memory 82, the rotation angle sensor unit 5B, and the force Are listed.
[0049] この図 10の構成のうち、受信側装置 1B自身が生成する映像 IvBおよび画像 Ig (G B)に関係する部分のみを抽出すると図 11に示すごとくなる。  In the configuration of FIG. 10, when only the portion related to the video IvB and the image Ig (GB) generated by the receiving side device 1B itself is extracted, the result is as shown in FIG.
[0050] 上記の図 10についてもう少し詳しく説明する。図 12は図 10における映像情報 IvA と回転情報 IrAの区分けの仕方の一例を示すフローチャートである。 [0051] ステップ Sl l：図 10に示す受信部 7Bの伝送インタフェース 72にて、受信情報 Iinを なすパケット（図 6にて説明した RTPZRTCPパケット）を受信する。 [0050] The above FIG. 10 will be described in a little more detail. FIG. 12 is a flowchart showing an example of how the video information IvA and the rotation information IrA in FIG. 10 are separated. Step Sl l: A packet forming the reception information Iin (the RTPZRTCP packet described in FIG. 6) is received by the transmission interface 72 of the receiving unit 7B shown in FIG.
ステップ S 12：上記パケットの識別子 (RTPZRTCP)を見て、映像情報 (RTP)か 回転情報 (RTCP)かを判断し、  Step S 12: Look at the packet identifier (RTPZRTCP) above to determine whether it is video information (RTP) or rotation information (RTCP)
ステップ S13 :RTPならば圧縮された当該映像情報 IvAの復号ィ匕を行った後、映像 メモリ 81にそれを格納する。  Step S13: If it is RTP, the compressed video information IvA is decoded and stored in the video memory 81.
[0052] ステップ S14 :RTCPならば、すなわち回転情報 IrAならば自己の回転情報 IrBも加 味して、調整すべき回転角を計算する。この計算結果をアドレス変換部 91に反映さ せる。 Step S14: If it is RTCP, that is, if the rotation information is IrA, the rotation angle to be adjusted is calculated by taking into account its own rotation information IrB. The calculation result is reflected in the address conversion unit 91.
ステップ S15 :また自己の回転情報 IrBに基づき、自己の映像 VBを正立させるよう に、アドレス変換部 92により変換されたアドレスでメモリ 83の読み出しを行う。  Step S15: Further, based on the own rotation information IrB, the memory 83 is read with the address converted by the address conversion unit 92 so that the own video VB is erect.
[0053] 次に「アドレス変換」についてさらに詳細に説明する。まず図 10に示す送信側映像 メモリ 81に対する原スキャン ·アドレス（画像表示アドレス）について見てみる。すなわ ち、映像メモリ 81の内容を、表示部 3B上の所望の位置に表示させるためのアドレス 変換である。 Next, “address conversion” will be described in more detail. First, let's look at the original scan address (image display address) for the sending-side video memory 81 shown in Fig. 10. That is, it is address conversion for displaying the contents of the video memory 81 at a desired position on the display unit 3B.
[0054] ここで、原スキャン 'アドレス ADを (X, y)として表し、その映像メモリに与えるべきァ ドレスを (P, Q)として表すと、下記の式（1)で表すことができる。  Here, when the original scan address AD is expressed as (X, y) and the address to be given to the video memory is expressed as (P, Q), it can be expressed by the following equation (1).
P = ax + by+c  P = ax + by + c
Q = dx + ey+f (1)  Q = dx + ey + f (1)
ただし、 a, b, c, d, eおよび fは、映像 VAを表示部 3B上のどの座標にどの大きさで 表すかを設定するための係数 (定数)であり、 CPU11が所定のアプリケーションソフト により指定する。この式（1)に基づくアドレス変換は、送信側映像アドレス変換部 91 において行われる。なお、（P, Q)の値が、映像メモリ 81のアドレスの値を超えるとき は、そのアドレス変換は行われない。また、表示したくない部分があるときは、メモリ 8 1に透明色データ Dt (transparent)を書き込む。  However, a, b, c, d, e, and f are coefficients (constants) for setting which coordinate on the display unit 3B to express the video VA in which size, and the CPU 11 uses predetermined application software. Specify by. The address conversion based on the equation (1) is performed in the transmission side video address conversion unit 91. Note that when the value of (P, Q) exceeds the address value of the video memory 81, the address conversion is not performed. If there is a portion that is not desired to be displayed, transparent color data Dt (transparent) is written in the memory 81.
[0055] 図 13は（B)の表示データ DdAを表示部 3B上の所定位置 (A)に表示させるァドレ ス変換を図解的に表す図である。本図（B)に表す映像データ DaA上の矩形領域" R "の映像を、表示部 3Bの画面 (A)上の左下の領域" Z"に表示させるものとすると、上 記式（1)は下記式（2)により表される。この例の場合、 CPU11は、上記の係数 a〜f を、計算【こより、 a = 20, b = 0, c = 100, d=0, e = 20および f= 200【こ設定する。 FIG. 13 is a diagram schematically illustrating address conversion for displaying the display data DdA of (B) at a predetermined position (A) on the display unit 3B. If the video of the rectangular area “R” on the video data DaA shown in this figure (B) is displayed in the lower left area “Z” on the screen (A) of the display unit 3B, The expression (1) is represented by the following expression (2). In this example, the CPU 11 sets the above-described coefficients a to f by calculation: a = 20, b = 0, c = 100, d = 0, e = 20 and f = 200.
P = 20x+100  P = 20x + 100
Q = 20y+200 (2)  Q = 20y + 200 (2)
[0056] 次に、本発明のポイントである回転情報 (IrA, IrB)を考慮したアドレス変換につ!ヽ て説明する。図 14は (B)の回転を伴う表示データ DaAを表示部 3B上に正立して表 示 (A)させるアドレス変換を図解的に表す図である。すなわち本図の（B)において、 "R"が相手 (送信側）の映像であって回転角 Θ aだけ回転している。これをアドレス変 換により、本図 (A)のように正立した映像" Z"に補正する。  [0056] Next, address conversion considering rotation information (IrA, IrB), which is a point of the present invention, will be described. FIG. 14 is a diagram schematically showing address conversion for displaying (A) the display data DaA accompanying the rotation of (B) upright on the display unit 3B. That is, in (B) of this figure, “R” is the image of the other party (transmission side) and rotated by the rotation angle Θa. This is corrected to an upright image "Z" as shown in Fig. (A) by address conversion.
[0057] 相手 (送信側）力 の映像 VAをどのように回転させるかは、表示する受信側ユーザ での好み〖こよることもできる。例えば寝て見る場合等、相手の映像は重力に対して正 立していなくても良ぐ自装置と同じ方向の場合の方が都合が良いこともある。したが つて常に自動的に正立させるのではなぐユーザの調整のもとで回転角を変えても良 い。このときは、上述の係数 a〜fとしてユーザが操作部 4Bを操作して入力した設定 値に基づく値を CPU11が計算する。  [0057] How to rotate the video (VA) of the other party (transmission side) can be determined by the preference of the receiving side user to display. For example, when viewing a person sleeping, it may be more convenient if the other person's image is in the same direction as his / her device, which does not have to stand up against gravity. Therefore, the rotation angle may be changed under the user's adjustment rather than always erecting automatically. At this time, the CPU 11 calculates values based on the set values input by the user operating the operation unit 4B as the above-described coefficients a to f.
[0058] 上記図 14において、矩形" Z"の中心点の座標を（（xO+xl)Z2, (y0+yl)/2) とし、その中心点で回転角 Θ aだけ回転させて正立させるものとする。つまり、相手（ 送信側）から送られてくる回転情報 (IrA)は IrA= Θ aである。  [0058] In FIG. 14, the coordinates of the center point of the rectangle "Z" are ((xO + xl) Z2, (y0 + yl) / 2), and the center point is rotated by the rotation angle Θ a to stand upright. Shall be allowed to. That is, the rotation information (IrA) sent from the other party (transmission side) is IrA = Θa.
[0059] ここで表示部 3B上の表示座標（X, y)は、下記式（3)のようになる。  Here, the display coordinates (X, y) on the display unit 3B are expressed by the following formula (3).
P(A) = {x- (xl-x0+l)/2}cos Θ a—{y— (yl-yO+l) /2}si n0a+(xO+xl)/2  P (A) = {x- (xl-x0 + l) / 2} cos Θ a— {y— (yl-yO + l) / 2} si n0a + (xO + xl) / 2
Q(A) = {x— (xl-x0+l)/2}sin Θ a+{y- (yl-yO+l) /2}c os0a+(yO+yl)/2 (3)  Q (A) = {x— (xl-x0 + l) / 2} sin Θ a + {y- (yl-yO + l) / 2} c os0a + (yO + yl) / 2 (3)
[0060] なおこの式（3)では分力りやすいように回転角 Θ aを用いている力 結局は、既述の 式（1)により拡大、縮小、移動、トリミングのみならず、回転までも表すことができる。  [0060] It should be noted that in this equation (3), the force using the rotation angle Θa so that it is easy to apply force. Finally, not only enlargement, reduction, movement, and trimming but also rotation can be achieved by the equation (1). Can be represented.
[0061] 上記式（3)を見やすくすると、下記式 (4)のようになる。  [0061] When the above formula (3) is easy to see, the following formula (4) is obtained.
P(A) = {x- (xl-x0+l)/2}cos Θ a—{y— (yl-yO+l) /2}si n0a+(xO+xl)/2 Q(A) = {x— (xl-x0+l)/2}sin Θ a— {y— (yl-yO+1) /2}c os 0 a+ (yO+yl)/2 (4) P (A) = {x- (xl-x0 + l) / 2} cos Θ a— {y— (yl-yO + l) / 2} si n0a + (xO + xl) / 2 Q (A) = {x— (xl-x0 + l) / 2} sin Θ a— {y— (yl-yO + 1) / 2} c os 0 a + (yO + yl) / 2 (4)
上記式 (4)をさらに変形すると、下記式（ 5)のようになる。  When the above equation (4) is further modified, the following equation (5) is obtained.
P(A) =cos Θ a'x— sin Θ a'y— Cpa  P (A) = cos Θ a'x— sin Θ a'y— Cpa
Q(A) =sin Θ a#x— cos Θ a#y— Cqa (5) Q (A) = sin Θ a # x— cos Θ a # y— Cqa (5)
ここに上記式（1)の係数 a, b, c, d, e, fは以下のとおりとなる。  Here, the coefficients a, b, c, d, e, and f in the above equation (1) are as follows.
a = cos Θ a  a = cos Θ a
b=— sin Θ a  b = — sin Θ a
c={ (xl— xO+l)cos Θ a+ (yl -y0+ 1) sin Θ a + xO + xl }/2 = Cpa d=sin Θ a  c = {(xl— xO + l) cos Θ a + (yl -y0 + 1) sin Θ a + xO + xl} / 2 = Cpa d = sin Θ a
e=—cos Θ a  e = —cos Θ a
f={ (xl-xO+l)sin 0 a+ (yl-yO+l)cos 0 a+yO+yl }/2 = Cqa f = {(xl-xO + l) sin 0 a + (yl-yO + l) cos 0 a + yO + yl} / 2 = Cqa
[0062] カゝくして送信側映像アドレス変換部 91 (図 10)は、原スキャン 'アドレス ADを (X, y) とし、送信側回転情報 IrAにより示される送信側回転角を Θ aとすると、変換スキャン' アドレス（P(A), Q (A))を上記式（5)にて演算する。ここに、 Cpaおよび Cqaは、そ れぞれ、 cos Θ aおよび sin Θ aを含む定数である。 [0062] The transmission-side video address conversion unit 91 (Fig. 10) concludes that the original scan 'address AD is (X, y) and the transmission-side rotation angle indicated by the transmission-side rotation information IrA is Θa. The conversion scan 'address (P (A), Q (A)) is calculated by the above equation (5). Here, Cpa and Cqa are constants including cos Θ a and sin Θ a, respectively.
[0063] 上記アドレス（X, y)は、例えば、表示部 3Bの画面上の左上から、左→右、左→右 …とスキャンするように与えられる。上記式（5)によりアドレス P(A), Q (A)が計算さ れ、 P— Q平面上を斜め（回転角 Θ a)にスキャンする。  [0063] The address (X, y) is given so as to scan, for example, from left to right, left to right, ... from the upper left on the screen of the display unit 3B. The addresses P (A) and Q (A) are calculated by the above equation (5), and the P-Q plane is scanned obliquely (rotation angle Θ a).
[0064] 上記アドレス (X, y)をもとに上記式（5)で計算されたアドレス（P (A) , Q (A) )力 映 像メモリ 81のアクセス範囲を超えたときは、該メモリ 81へのアドレスは与えられず、該 メモリ 81からの読出しデータは透明色データ Dt(tranparent)となる。  [0064] When the address (P (A), Q (A)) calculated in the above equation (5) based on the address (X, y) exceeds the access range of the force image memory 81, No address is given to the memory 81, and the read data from the memory 81 is transparent color data Dt (tranparent).
[0065] また上記アドレス (X, y)をもとに上記式（5)で計算されたアドレス (P (A) , Q (A) )が 、映像メモリ 81の範囲を超えて切れてしまう場合があり得る。つまり、 X— y平面の端 すなわち表示画面（3B)の端の座標力 P— Q平面の途中になってしまう場合である 。このような場合は、 P— Q平面にある映像の一部が出力されず表示されない（映像 が切れてしまう）。  [0065] If the address (P (A), Q (A)) calculated by the above equation (5) based on the address (X, y) is cut beyond the range of the video memory 81 There can be. That is, the coordinate force P-Q plane at the end of the XY plane, that is, the end of the display screen (3B) is in the middle. In such a case, part of the image on the PQ plane is not output and is not displayed (the image is cut off).
したがって、映像を回転させた場合に、表示画面に大きさが合わない場合は、画面 の端で切られたり、画面の途中で相手映像が途切れてしまうこともあり得る。 Therefore, if the image does not fit on the display screen when the image is rotated, the screen May be cut off at the edge of the screen, or the other party's video may be interrupted in the middle of the screen.
[0066] 上記の式（3)〜（5)を用いたケースは、送信側回転角 Θ aのみを考慮した場合であ るが、さらに、受信側回転角 Θ bをも合わせて考慮する場合 (下記の (1))がある。一 方、受信側の映像に関して、受信側回転角のみ (これを、 Θ bと区別して Θ cとする）を 考慮する場合（下記の（II))もある。さらには、後述のミラー表示（図 18、図 19)の場合 もめる。  [0066] The case using the above equations (3) to (5) is a case where only the transmission-side rotation angle Θ a is considered, but further, the reception-side rotation angle Θ b is also considered. ((1) below). On the other hand, with regard to the video on the receiving side, there are cases where only the receiving side rotation angle (this is differentiated from Θ b and is taken as Θ c) is considered ((II) below). Furthermore, the case of the mirror display (Figs. 18 and 19) described later is also included.
[0067] (I)送信側映像アドレス変換部 91は、受信側回転情報 IrBにより示される受信側回 転角を Θ bとすると、変換スキャン'アドレス (P (A) , Q (A) )を下記の式 (6)にて演算 する。  [0067] (I) The transmission-side video address conversion unit 91 sets the conversion scan 'address (P (A), Q (A)) as Θ b when the reception-side rotation angle indicated by the reception-side rotation information IrB is Calculate with the following equation (6).
P(A) =cos( Θ a- Θ b) ·χ— sin( θ a- θ b) -y-Cpa  P (A) = cos (Θ a- Θ b) χχ sin (θ a- θ b) -y-Cpa
Q(A) =sin( Θ a- Θ b) -x-cos( Θ a— Θ b) -y-Cqa (6)  Q (A) = sin (Θ a- Θ b) -x-cos (Θ a— Θ b) -y-Cqa (6)
ここに上記式（1)の係数 a, b, c, d, e, fは以下のとおりとなる。  Here, the coefficients a, b, c, d, e, and f in the above equation (1) are as follows.
a = cos ( Θ a— θ b)  a = cos (Θ a— θ b)
b=-sin( Θ a- Θ b)  b = -sin (Θ a- Θ b)
c={(xl-xO+l)cos( Θ a- Θ b) + (yl-yO+l)sin( Θ a - Θ b) +xO +xl}/2 = Cpa  c = {(xl-xO + l) cos (Θ a- Θ b) + (yl-yO + l) sin (Θ a-Θ b) + xO + xl} / 2 = Cpa
d=sin( Θ a- Θ b)  d = sin (Θ a- Θ b)
e=— cos ( Θ a— Θ b)  e = — cos (Θ a— Θ b)
f={(xl-xO+l)sin( Θ a- Θ b) + (yl-yO+l)cos( Θ a - Θ b) +y0 +yl}/2 = Cqa  f = {(xl-xO + l) sin (Θ a-Θ b) + (yl-yO + l) cos (Θ a-Θ b) + y0 + yl} / 2 = Cqa
[0068] (II)受信側アドレス変換部 92は、原スキャン 'アドレスを (X, y)とし、受信側回転情 報 IrBにより示される受信側回転角を 0 cとすると、変換スキャン 'アドレス (P(C), Q( C) )を下記式（7)にて演算する。  [0068] (II) The reception-side address conversion unit 92 sets the original scan 'address as (X, y) and the reception-side rotation angle indicated by the reception-side rotation information IrB as 0 c. P (C), Q (C)) is calculated by the following formula (7).
P(C) =cos2 Θ c-x-sin2 Θ c-y-Cpc  P (C) = cos2 Θ c-x-sin2 Θ c-y-Cpc
Q(C) =sin2 Θ c-x-cos2 Θ c-y-Cqc (7)  Q (C) = sin2 Θ c-x-cos2 Θ c-y-Cqc (7)
ここに上記式（1)の係数 a, b, c, d, e, fは以下のとおりとなる。  Here, the coefficients a, b, c, d, e, and f in the above equation (1) are as follows.
a = cos2 Θ c  a = cos2 Θ c
b=— sin2 Θ c c=-{(xl-x0+l)cos2 Θ c+ (yl-y0+l)sin2 Θ c+χθ +xl}/2 = Cpc b = — sin2 Θ c c =-{(xl-x0 + l) cos2 Θ c + (yl-y0 + l) sin2 Θ c + χθ + xl} / 2 = Cpc
d=sin2 Θ c  d = sin2 Θ c
e=— cos2 Θ c  e = — cos2 Θ c
f=-{(xl-x0+l)sin2 Θ c+ (yl-y0+l)cos2 Θ c+yO +yl}/2 = Cqc  f =-{(xl-x0 + l) sin2 Θ c + (yl-y0 + l) cos2 Θ c + yO + yl} / 2 = Cqc
なお 2 Θ cとする理由につ 、ては後述（図 17)する。  The reason for 2Θc will be described later (Fig. 17).
[0069] 上述したアドレス変換の様子を図解的に表すと、図 15〜図 17のようになる。まず、 図 15の (A)および (B)は、相手装置が回転角 Θ aだけ傾いている場合を示す図で あり、 [0069] The state of the address conversion described above is illustrated schematically as shown in FIGS. First, (A) and (B) in Fig. 15 are diagrams showing a case where the counterpart device is tilted by the rotation angle Θ a.
図 16の (A)および (B)は、自装置も回転角 0 bだけ傾いている場合を示す図であり 図 17の (A), (B)および (C)は、自装置での映像について回転角 0 cだけ傾いて いる場合を示す図であって、これら図 15、図 16および図 17はそれぞれ既述の式（5) 、式（6)および式（7)に対応して 、る。  (A) and (B) in Fig. 16 are diagrams showing a case where the device itself is also tilted by the rotation angle 0 b, and (A), (B) and (C) in Fig. 17 are images of the device itself. FIG. 15, FIG. 16, and FIG. 17 correspond to the above-described equations (5), (6), and (7), respectively. The
[0070] 図 15(A)において、 21はメモリ 81の内容を図解的に表し、相手装置 1Aが Θ aだけ 傾いたときに取り込んだ画像 VAの内容である。なお、 22は傾きの方向を分力りやす くするための単なる目印である。この図 15(A)の画像を、自装置 1Bで受け取ったとき の映像データ、すなわち自装置 1Bが正立して 、るときの画面表示は図 15 (B)のよう になる。 In FIG. 15A, 21 schematically represents the contents of the memory 81, and is the contents of the image VA captured when the counterpart apparatus 1A is tilted by Θa. In addition, 22 is a mere mark for making the direction of inclination easy to be divided. The image data when the image of FIG. 15 (A) is received by the own device 1B, that is, the screen display when the own device 1B is upright is as shown in FIG. 15 (B).
[0071] 次に図 16において、自装置が 0 bだけ傾いていると、画面表示は本図（A)のように なり、 (θα- θ b)だけ傾く。この映像データを（ Θ a— Θ b)だけ回転させると画面表 示は正立し、本図（B)に示すごとくなる。  Next, in FIG. 16, when the own device is tilted by 0 b, the screen display is as shown in (A) of this figure, and is tilted by (θα−θ b). If this video data is rotated by (Θ a – Θ b), the screen display will be upright, as shown in this figure (B).
[0072] さらに図 17を参照すると、自装置 1Bのカメラ部 2Bにて表示対象を撮影する様子が 本図 (A)に示される。カメラは向こう側を向いているから、装置の背面が見えている（ 表示部 3Bも向こう側にある）。このときの装置 1Bの回転角が Θ cであるとすると、カメラ に対し映像は本図（B)に示すごとぐ Θ cだけ傾く。  Further, referring to FIG. 17, a state in which the display target is photographed by the camera unit 2B of the device 1B is shown in FIG. Since the camera is facing away from you, you can see the back of the device (display 3B is also away). If the rotation angle of the device 1B at this time is Θc, the image is tilted by Θc as shown in this figure (B).
[0073] し力し実際には装置 1B自体が Θ cだけ傾 、て 、るので、結局本図（C)に示すごとく 、映像は Θ c X 2 ( = θ ο+ θ c)だけ傾くことになる。既述の式（7)における" 2 Θ c，，は 、このことを意味する。 [0073] In practice, however, the device 1B itself is inclined by Θc, so that as shown in FIG. The image is tilted by Θ c X 2 (= θ ο + θ c). "2 Θ c,," in the above equation (7) means this.
[0074] 次にミラー表示について説明する。カメラ 2Bで撮影した自分の映像を見る場合、そ の映像の左右を反転させた方が、あた力も鏡を見ているようでその方が自然な感じで 違和感がない。  Next, mirror display will be described. When viewing your own video taken with Camera 2B, it is more natural to see the mirror when you flip the left and right sides of the video, and there is no sense of incongruity.
[0075] 図 18の (A)〜(E)は、本発明に基づくミラー表示を説明するための図である。本図  FIGS. 18A to 18E are diagrams for explaining mirror display according to the present invention. This figure
(A)は前述した図 17 (A)と同じであり、装置 1Bの背面から見て反時計回りに回転角 Θ cだけ該装置 1Bを回転させたとする。そうすると、装置 1Bのカメラ部 2B力も見たと き、映像は図 18 (B)に示すように時計回りに— Θ cだけ傾いて見える。この映像を、 カメラ（2B)をとおる鉛直軸に対して反転させると図 18 (C)のごとくなる。これを表示 部 3B上の画面に表示すると、図 18 (D)のようになる。し力し実際には装置 1Bも— Θ cだけ傾いており、図 18 (E)に示すように映像の傾きは相殺されて、結局映像はアド レス変換なしに正立して見えることになる。  (A) is the same as FIG. 17 (A) described above, and it is assumed that the device 1B is rotated counterclockwise by the rotation angle Θc as viewed from the back of the device 1B. Then, when the camera unit 2B force of the device 1B is also seen, the image appears to be tilted clockwise by −Θc as shown in FIG. 18 (B). When this image is reversed with respect to the vertical axis passing through the camera (2B), the result is as shown in FIG. 18 (C). When this is displayed on the screen on the display unit 3B, it is as shown in FIG. 18 (D). However, in reality, the device 1B is also tilted by Θc, and the tilt of the image is canceled as shown in Fig. 18 (E), so that the image appears to be upright without any address conversion. .
[0076] 図 19は「ミラー表示」にお 、て表示した 、領域 (B)と表示部 3Bに表される映像 (A) を示す図であり、前述の図 13および図 14に相当する。すなわち図 10のカメラ部 2B で撮影した自分の映像を自分の装置 1Bで表示する際、映像の左右を反転させたミラ 一映像にて表示させるものとする。このカメラ力 取り込んだ映像が図 19 (B)に示す P— Q面上にあり、それを図 19 (A)に示す x—y面上の映像へと変換する。この表示 に際しては、上記の P— Q面が図 10の受信側映像メモリ 83にあり、それを表示する 画面は上記の X— y面であるものとする。この X— y面を走査する際、表示する座標が（ X, y)のとき、 P— Q面の座標（P, Q)がどのような値をとるかを示す式が座標変換式 であり、一般式としては既述の式（1)、この図 19の例では下記式（8)となる。  FIG. 19 is a diagram showing the region (B) and the image (A) displayed on the display unit 3B displayed in “mirror display”, and corresponds to FIG. 13 and FIG. 14 described above. In other words, when the user's own image taken by the camera unit 2B in FIG. 10 is displayed on his / her device 1B, the image is displayed as a mirror image with the left and right sides of the image reversed. The image captured by this camera force is on the PQ plane shown in Fig. 19 (B), which is converted to the video on the xy plane shown in Fig. 19 (A). In this display, it is assumed that the above-mentioned PQ plane is in the receiving-side video memory 83 in FIG. 10, and the screen for displaying it is the above-mentioned XY plane. When scanning this X—y plane, when the coordinates to be displayed are (X, y), the formula that shows what value the coordinates (P, Q) of the P—Q plane take is the coordinate conversion formula. As a general expression, the above-described expression (1) is obtained, and in the example of FIG. 19, the following expression (8) is obtained.
P= 10x+ 300  P = 10x + 300
Q = 20y+ 200 (8)  Q = 20y + 200 (8)
[0077] 以上のミラー表示について要約すると、受信側カメラ部 2Bによる受信側映像情報 I vBを、表示部 3Bにおいてミラー表示すべき旨の指示があつたときは、前述の受信側 アドレス変換部 92 (図 10)は、変換スキャン 'アドレスへの変換を行うことなぐ原スキ ヤン'アドレス (X, y)の左右入れ換えのみを実行するようにする。 [0078] 最後に、図 9や図 10に示す表示データ合成部 93についてさらに詳しく説明する。 図 20は表示データ合成部 93の動作概念を簡単に表す図であり、図 21は図 20の概 念を具体例をもって表す図である。 To summarize the above mirror display, when the display side 3B gives an instruction to display the mirror information on the reception side video information I vB by the reception side camera unit 2B, the above-mentioned reception side address conversion unit 92 In (Fig. 10), the conversion scan 'original scan without converting to address' address (X, y) is executed only on the left and right. Finally, the display data synthesis unit 93 shown in FIGS. 9 and 10 will be described in more detail. FIG. 20 is a diagram simply illustrating the operation concept of the display data composition unit 93, and FIG. 21 is a diagram illustrating the concept of FIG. 20 with a specific example.
[0079] まず図 20を参照すると、表示データ合成部 93は、相手 (送信側端末 1A)からの映 像 VAと、自己（受信側端末 1B)内で生成した映像 VBと、自己内で生成した画像 GB とを合成し、合成映 Z画像 Vとして表示部 3Bの画面上に表示する機能を果たす。こ の具体例を図 21に示す。  [0079] Referring first to FIG. 20, the display data synthesis unit 93 generates the video VA from the other party (transmission side terminal 1A), the video VB generated within itself (reception side terminal 1B), and the internal generation. The combined image GB and the composite image Z image V are displayed on the screen of the display unit 3B. A specific example is shown in Fig. 21.
[0080] 図 21において、左上段の図は周囲が透明色データ Dtで埋められた相手映像 (VA )を示し、左中段の図は例えば透明色データ Dtとした自己（1B)映像 VBを示し、左 下段の図は自己内で生成したグラフィック画像 (GB)を示すものであって、これらを合 成すると、右側の図に示す合成映 Z画像 Vとなる。  [0080] In FIG. 21, the upper left figure shows the partner video (VA) with the periphery filled with the transparent color data Dt, and the middle left figure shows the self (1B) video VB with the transparent color data Dt, for example. The figure on the lower left shows a graphic image (GB) generated within itself, and when these are combined, it becomes the composite image Z image V shown in the figure on the right.
[0081] 前述したようにアドレス変換を行った結果、枠からはみ出す映像や欠落する映像等 が出てくる場合がある。このような場合には、そのはみ出し部分や欠落部分を黒表示 するのではなぐ透明色データ Dtで埋め合わせするのが好ましい。もう一度図 20を 参照すると、もし表示データ # 101が透明色データ Dtであれば、その下の表示デー タ # 102を使用する。またもし表示データ # 102が透明色データ Dtならば、その下 の表示データ # 103を使用し、これらの合成（ # 101 + # 102+ # 103)を上から見 ると、合成表示データ # 104が得る。  [0081] As a result of performing the address conversion as described above, there are cases in which an image that protrudes from the frame, a missing image, or the like appears. In such a case, it is preferable to make up for the protruding portion and the missing portion with transparent color data Dt that does not display black. Referring to FIG. 20 again, if display data # 101 is transparent color data Dt, display data # 102 below is used. If display data # 102 is transparent color data Dt, display data # 103 below is used, and when these composites (# 101 + # 102 + # 103) are viewed from above, composite display data # 104 Get.
[0082] 以上を要約すると、表示データ合成部 93 (図 10)は、送信側アドレス変換部 91およ び受信側アドレス変換部 92による各アドレス変換に起因して、それぞれ対応する送 信側映像メモリ 81および受信側映像メモリ 83からの各表示データの読み出しが不能 となってこれらメモリからの表示データが無データとなったとき、該無データを透明色 データに置き換えて表示部 3Bに送出する機能を果たす。  [0082] To summarize the above, the display data synthesis unit 93 (Fig. 10) is caused by the respective address translations by the transmission side address translation unit 91 and the reception side address translation unit 92, and the corresponding transmission side video. When the display data from the memory 81 and the receiving-side video memory 83 cannot be read and the display data from these memories becomes no data, the no-data is replaced with transparent color data and sent to the display unit 3B. Fulfills the function.
[0083] さらに好ましくは上記表示データ合成部 93は、送信側映像メモリ 81、受信側映像メ モリ 83および画像メモリ 84からの各表示データを、表示部 3Bの手前から奥行き方向 に重ねて表示する際、その並び順を設定する優先順設定部を備えるようにする。そ のための構成を次に図をもって示す。  [0083] More preferably, the display data composition unit 93 displays the display data from the transmission side video memory 81, the reception side video memory 83, and the image memory 84 so as to overlap each other in the depth direction from the front of the display unit 3B. In this case, a priority order setting unit for setting the arrangement order is provided. The configuration for this is shown in the figure below.
[0084] 図 22は表示データ合成部 93の一構成例を示す図であり、上記の優先順設定部は 本図の中央上方にぉ 、て参照番号 104により示されて 、る。この優先順設定部 104 は、 3つの選択スィッチ 101, 102および 103に対して、接点の接続位置（すなわち 優先順)を指定する。なおその指令は CPU11 (図 10)から与えられる。 FIG. 22 is a diagram showing an example of the configuration of the display data synthesizing unit 93. The priority order setting unit described above is This is indicated by reference numeral 104 in the upper center of the figure. The priority order setting unit 104 designates contact connection positions (that is, priority order) for the three selection switches 101, 102, and 103. The command is given by CPU11 (Fig. 10).
[0085] 上記の接点の接続位置は、選択スィッチ 101, 102および 103の各々の中で「1」「 2」および「3」を付して示されており、「1」→「2」→「3」の順で優先順位が低くなる。図 22によれば、各「1」の接点には送信側映像メモリ 81からの VAが与えられ、各「2」の 接点には受信側メモリ 83からの VBが与えられ、各「3」の接点には画像メモリ 84から の GBが与えられる。つまり、まずは映像 VAが最優先で表示され、もしこの VAの一 部が透明色データ Dtに置き換わっているならば、その部分には次の優先順位の VB が表示される。もしこの VBの一部が透明色データ Dtに置き換わっているならば、そ の部分にはその次の優先順位の GBが表示される。  [0085] The connection positions of the above contacts are indicated by “1”, “2”, and “3” in each of the selection switches 101, 102, and 103, and “1” → “2” → The priority becomes lower in the order of “3”. According to FIG. 22, VA from the transmission side video memory 81 is given to each “1” contact, and VB from the reception side memory 83 is given to each “2” contact. The contacts are given GB from the image memory 84. That is, first, the video VA is displayed with the highest priority. If a part of this VA is replaced with the transparent color data Dt, the next priority VB is displayed in that part. If a part of this VB is replaced with the transparent color data Dt, the GB of the next priority is displayed in that part.
[0086] すなわち図 22の構成によれば、透明色データ Dt (例えば 16進表示で" FF")が、 透明色データ検出部 105により、上記 VA内に検出されると、選択スィッチ 106の接 点「4」から「5」に切り換えられ、今度は接点「5」を通して与えられる表示データが表 示部 3Bに送出される。  That is, according to the configuration of FIG. 22, when the transparent color data Dt (for example, “FF” in hexadecimal display) is detected in the VA by the transparent color data detection unit 105, the connection of the selection switch 106 is performed. The point “4” is switched to “5”, and the display data given through the contact “5” is sent to the display unit 3B.
[0087] この接点「5」を通して与えられる表示データは選択スィッチ 108内の接点「6」を通 して得られる表示データすなわち受信側映像 VBである。しかしもしその VBの一部に 透明色データ Dtが含まれていたとすると、この Dtを検出した透明色データ検出部 10 7は選択スィッチ 108内の接点を「6」から「7」に切り換え、選択スィッチ 103内の接点 「3」を通して与えられる GBを、接点「7」→接点「5」を介して、表示部 3Bに送出する。 力べして例えば図 21に示す合成表示映 Z画像 Vが表示部 3Bに送られてその画面上 に表示される。  The display data given through the contact “5” is the display data obtained through the contact “6” in the selection switch 108, that is, the reception side video VB. However, if the transparent color data Dt is included in a part of the VB, the transparent color data detection unit 10 7 that detected this Dt switches the contact in the selection switch 108 from “6” to “7” and selects it. The GB given through the contact “3” in the switch 103 is sent to the display unit 3B via the contact “7” → the contact “5”. For example, the composite display image Z image V shown in FIG. 21 is sent to the display unit 3B and displayed on the screen.
[0088] 上述した本発明は、同時に、（1)ビデオ表示システム、（2)ビデオ表示方法および（ 3)ビデオ表示プログラムも提供する。  [0088] The present invention described above also provides (1) a video display system, (2) a video display method, and (3) a video display program.
(1)ビデオ表示システムは、  (1) Video display system
送信側映像情報を送出する携帯ビデオ装置であって、送信側映像情報として受信 側へ送出すべき映像を撮影するカメラ部と、前記の撮影を行ったときの前記映像の 回転角を検出する回転角センサ部と、検出した前記回転角を回転情報として、前記 送信側映像情報と共に前記受信側へ送信する送信部と、を備えてなる送信側携帯 ビデオ装置および A portable video device that sends video information on the transmission side, and a camera unit that shoots video to be sent to the reception side as video information on the transmission side, and rotation that detects the rotation angle of the video when the video is taken The angle sensor unit and the detected rotation angle as rotation information, A transmission unit that transmits to the reception side together with transmission-side video information, and a transmission-side portable video device comprising:
前記送信側装置より送出された前記送信側映像情報と、前記回転角を示す送信側 回転情報とを含む受信情報を入力する受信部と、該受信情報をもとにして生成され た表示データに従って、前記送信側映像情報にかかる送信側映像を表示する表示 部と、前記受信情報を入力として前記表示データを生成するための処理を行う表示 データ生成機能部と、を備えてなる受信側携帯ビデオ装置、から構成される。  In accordance with display data generated based on the reception unit that inputs reception information including the transmission-side video information transmitted from the transmission-side device and transmission-side rotation information indicating the rotation angle, and the reception information A reception-side portable video comprising: a display unit that displays the transmission-side video according to the transmission-side video information; and a display data generation function unit that performs processing for generating the display data using the reception information as an input. Device.
[0089] (2)ビデオ表示方法は、  [0089] (2) The video display method is
送信側映像情報を送出する送信側携帯ビデオ装置において、  In the transmission-side portable video device that transmits the transmission-side video information,
前記送信側映像情報として受信側へ送出すべき映像をカメラ部にて撮影する工程 と、  Photographing a video to be sent to the receiving side as the sending side video information with a camera unit;
前記の撮影を行ったときの前記映像の回転角を回転角センサ部にて検出する工程 と、  A step of detecting a rotation angle of the image at the time of the shooting by a rotation angle sensor unit;
検出した前記回転角を回転情報として、前記送信側映像情報と共に送信部から前 記受信側へ送信する工程と、を有し、  A step of transmitting the detected rotation angle as rotation information together with the transmission side video information from the transmission unit to the reception side, and
前記送信側装置より送出された送信側映像情報と、前記回転角を示す送信側回転 情報とを含む受信情報を入力とする受信側携帯ビデオ装置において、  In the reception-side portable video device that receives the reception information including the transmission-side video information sent from the transmission-side device and the transmission-side rotation information indicating the rotation angle,
前記受信情報を受信部にて入力する工程と、  Inputting the reception information at a receiving unit;
前記受信情報をもとにして生成された表示データに従って、表示部にて前記送信 側映像情報にかかる送信側映像を表示する工程と、  In accordance with display data generated based on the reception information, displaying a transmission-side video according to the transmission-side video information on a display unit;
前記受信情報を入力として、表示データ生成機能部にて前記表示データを生成す るための処理を行う工程と、を有する。  Performing a process for generating the display data in the display data generation function unit using the received information as an input.
[0090] (3)— 1 送信側のプログラムは、 [0090] (3) — 1 The sending program is
送信側映像情報を送出する送信側携帯ビデオ装置にぉ 、て、コンピュータに、 前記送信側映像情報として受信側へ送出すべき映像を撮影する手順と、 前記の撮影を行ったときの前記映像の回転角を検出する手順と、  A procedure for photographing a video to be transmitted to the reception side as the transmission side video information on a transmission side portable video device that transmits the transmission side video information, and the video at the time of the photographing is performed. The procedure to detect the rotation angle;
検出した前記回転角を回転情報として、前記送信側映像情報と共に前記受信側へ 送信する手順と、を実行させるプログラムである。 [0091] (3) - 2 受信側のプログラムは、 And a procedure for transmitting the detected rotation angle as rotation information to the reception side together with the transmission side video information. [0091] (3)-2
送信側装置より送出された送信側映像情報と、その送信側映像情報に係る映像の 回転角を示す送信側回転情報とを少なくとも含む受信情報を入力とする受信側携帯 ビデオ装置において、コンピュータに、  In a reception-side portable video device that receives reception information including at least transmission-side video information transmitted from a transmission-side device and transmission-side rotation information indicating a rotation angle of a video related to the transmission-side video information,
前記受信情報を入力する手順と、  Inputting the received information;
前記受信情報をもとにして生成された表示データに従って、前記送信側映像情報 にかかる送信側映像を表示する手順と、  In accordance with display data generated based on the reception information, a procedure for displaying the transmission side video according to the transmission side video information,
前記受信情報を入力として、前記表示データを生成するための処理を行う手順と、 を実行させるプログラムである。  And a procedure for executing a process for generating the display data using the received information as an input.
[0092] 以上詳述したとおり本発明によれば、 [0092] As detailed above, according to the present invention,
•送信側の装置で、該装置を傾けた状態でのカメラによる撮影データを送信したとき に、その受信側のユーザ装置における表示部に自動的に正立した映像を提供する ことができる。  • When sending data from a camera with the device tilted, the sending device can automatically provide an upright image on the display unit of the receiving user device.
'上記の映像の正立化は、ポイントーッ一一ポイントの通信でも、ポイントーッ一一 マルチポイントの通信でも実現可能である。  'The above-mentioned video upright can be realized by point-to-point communication or point-to-multipoint communication.
•受信側の装置における傾け角までも考慮して正立映像をユーザ装置に提供する ことができる。  • Upright images can be provided to user devices in consideration of the tilt angle of the receiving device.

Claims

請求の範囲 The scope of the claims
[1] 送信側映像情報を送出する携帯ビデオ装置であって、  [1] A portable video device for sending video information on the transmitting side,
前記送信側映像情報として受信側へ送出すべき映像を撮影するカメラ部と、 前記の撮影を行ったときの前記映像の回転角を検出する回転角センサ部と、 検出した前記回転角を回転情報として、前記送信側映像情報と共に前記受信側へ 送信する送信部と、  A camera unit that captures a video to be transmitted to the reception side as the transmission-side video information, a rotation angle sensor unit that detects a rotation angle of the video when the shooting is performed, and the detected rotation angle as rotation information As a transmission unit for transmitting to the reception side together with the transmission side video information,
を備えてなることを特徴とする携帯ビデオ装置。  A portable video device comprising:
[2] 前記回転角センサ部は、ジャイロセンサ、重力センサまたは傾斜センサのいずれか を含むことを特徴とする請求項 1に記載の携帯ビデオ装置。  2. The portable video device according to claim 1, wherein the rotation angle sensor unit includes any of a gyro sensor, a gravity sensor, and a tilt sensor.
[3] 前記送信部は、前記送信側映像情報をデータ伝送用の RTPに従って送出し、前 記回転情報を制御用の RTCPに従って送出することを特徴とする請求項 1に記載の 携帯ビデオ装置。 3. The portable video device according to claim 1, wherein the transmission unit transmits the transmission side video information according to RTP for data transmission, and transmits the rotation information according to RTCP for control.
[4] 前記 RTCPに従う制御用パケット内には、前記回転情報に加えてさらに、その回転 情報を更新する頻度を示す頻度情報を含むことを特徴とする請求項 1に記載の携帯 ビデオ装置。  4. The mobile video device according to claim 1, wherein the control packet according to the RTCP includes frequency information indicating a frequency of updating the rotation information in addition to the rotation information.
[5] 前記送信部は、 1つの受信側装置に前記送信側映像情報および前記回転情報を 送出する 1対 1通信機能および複数の受信側装置に前記送信側映像情報および前 記回転情報を送出する 1対多通信機能のうちの少なくとも一方の通信機能を備えるこ とを特徴とする請求項 1に記載の携帯ビデオ装置。  [5] The transmission unit transmits the transmission-side video information and the rotation information to one reception-side device, and transmits the transmission-side video information and the rotation information to a plurality of reception-side devices. The portable video device according to claim 1, further comprising at least one communication function of the one-to-many communication functions.
[6] 送信側装置より送出された送信側映像情報と、その送信側映像情報に係る映像の 回転角を示す送信側回転情報とを少なくとも含む受信情報を入力とする携帯ビデオ 装置であって、 [6] A portable video device that receives reception information including at least transmission-side video information transmitted from a transmission-side device and transmission-side rotation information indicating a rotation angle of a video related to the transmission-side video information.
前記受信情報を入力する受信部と、  A receiving unit for inputting the received information;
前記受信情報をもとにして生成された表示データに従って、前記送信側映像情報 にかかる送信側映像を表示する表示部と、  In accordance with display data generated based on the received information, a display unit for displaying the transmission side video according to the transmission side video information,
前記受信情報を入力として前記表示データを生成するための処理を行う表示デー タ生成機能部と、  A display data generation function unit that performs processing for generating the display data with the received information as an input;
を有することを特徴とする携帯ビデオ装置。 A portable video device comprising:
[7] 前記受信情報内の前記送信側映像情報を一旦格納する送信側映像メモリと、該受 信情報内の前記送信側回転情報を一旦格納する演算メモリと、を少なくとも含むこと を特徴とする請求項 6に記載の携帯ビデオ装置。 [7] It includes at least a transmission-side video memory that temporarily stores the transmission-side video information in the reception information, and an arithmetic memory that temporarily stores the transmission-side rotation information in the reception information. The portable video device according to claim 6.
[8] 前記表示データ生成機能部は、前記表示部におけるシーケンシャル 'スキャンを行 う原スキャン 'アドレスに対し、前記演算メモリに格納された前記送信側回転情報に相 応するアドレス変換を加えた変換スキャン ·アドレスを生成する送信側映像アドレス変 換部を含むことを特徴とする請求項 7に記載の携帯ビデオ装置。 [8] The display data generation function unit performs conversion by adding address conversion corresponding to the transmission-side rotation information stored in the arithmetic memory to the sequential “scan original scan” address in the display unit 8. The portable video device according to claim 7, further comprising a transmission-side video address conversion unit that generates a scan address.
[9] 前記送信側映像アドレス変換部は、前記原スキャン 'アドレスを (X, y)とし、前記送 信側回転情報により示される送信側回転角を Θ aとすると、前記変換スキャン 'ァドレ ス (P (A) , Q (A) )を下式にて演算し、 [9] The transmission-side video address conversion unit sets the original scan 'address as (X, y) and the transmission-side rotation angle indicated by the transmission-side rotation information as Θa. Calculate (P (A), Q (A)) with the following formula,
P (A) =cos Θ a'x— sin Θ a'y— Cpa  P (A) = cos Θ a'x— sin Θ a'y— Cpa
Q (A) = sin Θ a #x— cos Θ a 'y—し qa Q (A) = sin Θ a # x- cos Θ a 'y- and qa
ここに、 Cpaおよび Cqaは、それぞれ、 cos Θ aおよび sin Θ aを含む定数である、 ことを特徴とする請求項 8に記載の携帯ビデオ装置。  9. The portable video device according to claim 8, wherein Cpa and Cqa are constants including cos Θa and sin Θa, respectively.
[10] 当該携帯ビデオ装置に備えられ、受信側での撮影による受信側映像情報を送出 する受信側カメラ部と、 [10] A reception-side camera unit that is provided in the portable video device and that transmits reception-side video information obtained by shooting on the reception side;
当該携帯ビデオ装置内に備えられ、前記の撮影を行ったときの前記受信側映像情 報に係る映像の回転角を検出し、これを受信側回転情報として出力する受信側回転 角センサ部と、  A reception-side rotation angle sensor unit that is provided in the portable video device and detects a rotation angle of the video associated with the reception-side video information when the shooting is performed, and outputs the rotation angle as reception-side rotation information;
前記受信側映像情報を一旦格納する受信側映像メモリと、  A receiving side video memory for temporarily storing the receiving side video information;
当該携帯ビデオ装置内で生成して前記表示部に表示すべきグラフィック情報を格 納する画像メモリと、を含み、かつ、前記演算メモリに前記受信側回転情報を一旦格 納することを特徴とする請求項 6に記載の携帯ビデオ装置。  An image memory for storing graphic information to be generated in the portable video device and displayed on the display unit, and the reception-side rotation information is temporarily stored in the arithmetic memory. The portable video device according to claim 6.
[11] 前記送信側映像アドレス変換部は、前記受信側回転情報により示される受信側回 転角を 0 bとすると、前記変換スキャン 'アドレス (P (A) , Q (A) )を下式にて演算し、 P (A) =cos ( Θ a- Θ b) ·χ— sin ( θ a- θ b) -y-Cpa [11] The transmission-side video address conversion unit sets the conversion scan address (P (A), Q (A)) to the following formula, where the reception-side rotation angle indicated by the reception-side rotation information is 0 b. P (A) = cos (Θ a- Θ b) χ- sin (θ a- θ b) -y-Cpa
Q (A) = sin ( Θ a- Θ b) -x-cos ( Θ a— Θ b) -y-Cqa  Q (A) = sin (Θ a- Θ b) -x-cos (Θ a— Θ b) -y-Cqa
ここに、 Cpaおよび Cqaは、それぞれ、 cos ( Θ a— Θ b)および sin ( Θ a~ Θ b)を含む 定数である、 Where Cpa and Cqa include cos (Θ a— Θ b) and sin (Θ a ~ Θ b), respectively. A constant,
ことを特徴とする請求項 9に記載の携帯ビデオ装置。  10. The portable video device according to claim 9, wherein
[12] 前記表示データ生成機能部は、前記画像メモリに対しては、前記原スキャン 'アドレ スをそのまま入力とすると共に、前記演算メモリに格納された前記受信側回転情報に 相応するアドレス変換を加えた変換スキャン ·アドレスを生成する受信側映像アドレス 変換部を含むことを特徴とする請求項 10に記載の携帯ビデオ装置。  [12] The display data generation function unit inputs the original scan address as it is to the image memory and performs address conversion corresponding to the reception-side rotation information stored in the arithmetic memory. 11. The portable video device according to claim 10, further comprising a receiving side video address converting unit for generating the added conversion scan address.
[13] 前記受信側アドレス変換部は、前記原スキャン 'アドレスを (X, y)とし、前記受信側 回転情報により示される受信側回転角を Θ cとすると、前記変換スキャン 'アドレス (P ( C) , Q (C) )を下式にて演算し、  [13] The receiving side address conversion unit sets the original scanning 'address as (X, y) and the receiving side rotation angle indicated by the receiving side rotation information as Θc, and the conversion scan' address (P ( C), Q (C))
P (C) =cos2 Θ c -x- sin2 Θ c -y-Cpc  P (C) = cos2 Θ c -x- sin2 Θ c -y-Cpc
Q (C) = sin2 Θ c -x-cos2 Θ c -y-Cqc  Q (C) = sin2 Θ c -x-cos2 Θ c -y-Cqc
ここに、 Cpcおよび Cqcは、それぞれ、 cos2 Θ cおよび sin2 Θ c、を含む定数である、 ことを特徴とする請求項 12に記載の携帯ビデオ装置。  13. The portable video device according to claim 12, wherein Cpc and Cqc are constants including cos2Θc and sin2Θc, respectively.
[14] 前記受信側カメラ部による前記受信側映像情報を、前記表示部においてミラー表 示すべき旨の指示があつたとき、前記受信側アドレス変換部は、前記変換スキャン · アドレスへの変換を行うことなぐ前記原スキャン 'アドレス（X, y)の左右入れ換えの みを実行することを特徴とする請求項 13に記載の携帯ビデオ装置。  [14] When there is an instruction to display the reception-side video information from the reception-side camera unit on the display unit as a mirror, the reception-side address conversion unit performs conversion into the conversion scan address 14. The portable video device according to claim 13, wherein only the left and right interchange of the original scan 'address (X, y) is performed.
[15] 前記表示データ生成機能部は、前記送信側映像メモリ、前記受信側映像メモリお よび前記画像メモリの各出力を合成して前記表示部に送出する表示データ合成部を 有することを特徴とする請求項 10に記載の携帯ビデオ装置。  [15] The display data generation function unit includes a display data synthesis unit that synthesizes outputs of the transmission-side video memory, the reception-side video memory, and the image memory and sends them to the display unit. The portable video device according to claim 10.
[16] 前記表示データ合成部は、前記送信側アドレス変換部および前記受信側アドレス 変換部による各アドレス変換に起因して、それぞれ対応する前記送信側映像メモリお よび前記受信側映像メモリからの各表示データの読み出しが不能となってこれらメモ リカもの表示データが無データとなったとき、該無データを透明色データに置き換え て前記表示部に送出することを特徴とする請求項 15に記載の携帯ビデオ装置。  [16] The display data synthesizing unit is caused by the address conversion performed by the transmission-side address conversion unit and the reception-side address conversion unit, respectively, from the corresponding transmission-side video memory and the reception-side video memory. 16. The display device according to claim 15, wherein when the display data cannot be read and the display data of the memory becomes no data, the no-data is replaced with transparent color data and transmitted to the display unit. Portable video device.
[17] 前記表示データ合成部は、前記送信側映像メモリ、前記受信側映像メモリおよび 前記画像メモリからの各表示データを、前記表示部の手前から奥行き方向に重ねて 表示する際、その並び順を設定する優先順設定部を有することを特徴とする請求項 15に記載の携帯ビデオ装置。 [17] When the display data composition unit displays each display data from the transmission side video memory, the reception side video memory, and the image memory so as to overlap each other in the depth direction from the front of the display unit, A priority order setting unit for setting 15. The portable video device according to 15.
[18] 送信側映像情報を送出する携帯ビデオ装置であって、送信側映像情報として受信 側へ送出すべき映像を撮影するカメラ部と、前記の撮影を行ったときの前記映像の 回転角を検出する回転角センサ部と、検出した前記回転角を回転情報として、前記 送信側映像情報と共に前記受信側へ送信する送信部と、を備えてなる送信側携帯 ビデオ装置および [18] A portable video device for transmitting video information on the transmission side, wherein a camera unit that captures video to be transmitted to the reception side as video information on the transmission side, and a rotation angle of the video at the time of shooting A transmission-side portable video device comprising: a rotation angle sensor unit that detects; and a transmission unit that transmits the detected rotation angle as rotation information to the reception side together with the transmission-side video information;
前記送信側装置より送出された前記送信側映像情報と、前記回転角を示す送信側 回転情報とを含む受信情報を入力する受信部と、該受信情報をもとにして生成され た表示データに従って、前記送信側映像情報にかかる送信側映像を表示する表示 部と、前記受信情報を入力として前記表示データを生成するための処理を行う表示 データ生成機能部と、を備えてなる受信側携帯ビデオ装置、力 構成されることを特 徴とするビデオ表示システム。  In accordance with display data generated based on the reception unit that inputs reception information including the transmission-side video information transmitted from the transmission-side device and transmission-side rotation information indicating the rotation angle, and the reception information A reception-side portable video comprising: a display unit that displays the transmission-side video according to the transmission-side video information; and a display data generation function unit that performs processing for generating the display data using the reception information as an input. Equipment, power A video display system characterized by being composed.
[19] 送信側映像情報を送出する送信側携帯ビデオ装置にお!ヽて、 [19] Contact the sending mobile video device that sends the sending video information!
前記送信側映像情報として受信側へ送出すべき映像をカメラ部にて撮影する工程 と、  Photographing a video to be sent to the receiving side as the sending side video information with a camera unit;
前記の撮影を行ったときの前記映像の回転角を回転角センサ部にて検出する工程 と、  A step of detecting a rotation angle of the image at the time of the shooting by a rotation angle sensor unit;
検出した前記回転角を回転情報として、前記送信側映像情報と共に送信部から前 記受信側へ送信する工程と、を有し、  A step of transmitting the detected rotation angle as rotation information together with the transmission side video information from the transmission unit to the reception side, and
前記送信側装置より送出された送信側映像情報と、前記回転角を示す送信側回転 情報とを含む受信情報を入力とする受信側携帯ビデオ装置において、  In the reception-side portable video device that receives the reception information including the transmission-side video information sent from the transmission-side device and the transmission-side rotation information indicating the rotation angle,
前記受信情報を受信部にて入力する工程と、  Inputting the reception information at a receiving unit;
前記受信情報をもとにして生成された表示データに従って、表示部にて前記送信 側映像情報にかかる送信側映像を表示する工程と、  In accordance with display data generated based on the reception information, displaying a transmission-side video according to the transmission-side video information on a display unit;
前記受信情報を入力として、表示データ生成機能部にて前記表示データを生成す るための処理を行う工程と、を有することを特徴とする携帯ビデオ表示方法。  And a process of generating the display data by a display data generation function unit using the received information as an input.
[20] 送信側映像情報を送出する送信側携帯ビデオ装置にぉ 、て、コンピュータに、 前記送信側映像情報として受信側へ送出すべき映像を撮影する手順と、 前記の撮影を行ったときの前記映像の回転角を検出する手順と、 [20] A procedure for photographing a video to be transmitted to the reception side as the transmission-side video information on a computer after the transmission-side portable video device that transmits the transmission-side video information; A procedure for detecting a rotation angle of the video when performing the shooting;
検出した前記回転角を回転情報として、前記送信側映像情報と共に前記受信側へ 送信する手順と、を実行させることを特徴とするプログラム。  And a procedure for transmitting the detected rotation angle as rotation information to the reception side together with the transmission side video information.
送信側装置より送出された送信側映像情報と、その送信側映像情報に係る映像の 回転角を示す送信側回転情報とを少なくとも含む受信情報を入力とする受信側携帯 ビデオ装置において、コンピュータに、  In a reception-side portable video device that receives reception information including at least transmission-side video information transmitted from a transmission-side device and transmission-side rotation information indicating a rotation angle of a video related to the transmission-side video information,
前記受信情報を入力する手順と、  Inputting the received information;
前記受信情報をもとにして生成された表示データに従って、前記送信側映像情報 にカゝかる送信側映像を表示する手順と、  In accordance with display data generated based on the reception information, a procedure for displaying a transmission side video that is covered by the transmission side video information;
前記受信情報を入力として、前記表示データを生成するための処理を行う手順と、 を実行させることを特徴とするプログラム。  And a procedure for performing a process for generating the display data with the received information as an input.
PCT/JP2006/312921 2006-06-28 2006-06-28 Portable video device WO2008001441A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008522245A JP4871357B2 (en) 2006-06-28 2006-06-28 Mobile device and video communication system
PCT/JP2006/312921 WO2008001441A1 (en) 2006-06-28 2006-06-28 Portable video device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2006/312921 WO2008001441A1 (en) 2006-06-28 2006-06-28 Portable video device

Publications (1)

Publication Number Publication Date
WO2008001441A1 true WO2008001441A1 (en) 2008-01-03

Family

ID=38845219

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/312921 WO2008001441A1 (en) 2006-06-28 2006-06-28 Portable video device

Country Status (2)

Country Link
JP (1) JP4871357B2 (en)
WO (1) WO2008001441A1 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2442562A1 (en) * 2010-10-12 2012-04-18 Research in Motion Limited Method and apparatus for image orientation indication and correction
WO2013192103A1 (en) * 2012-06-20 2013-12-27 Qualcomm Incorporated Device and method for multimedia communications with picture orientation information
EP2684294A1 (en) * 2011-03-10 2014-01-15 Vidyo, Inc. Render-orientation information in video bitstream
CN104702857A (en) * 2015-03-27 2015-06-10 合肥联宝信息技术有限公司 Method and device for processing angles of imaged pictures
JP2017092558A (en) * 2015-11-04 2017-05-25 シャープ株式会社 Communication device and program
JP2018201065A (en) * 2017-05-25 2018-12-20 キヤノン株式会社 Display control device, display control method, and program
CN109922204A (en) * 2017-12-13 2019-06-21 中兴通讯股份有限公司 Image processing method and terminal

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0983981A (en) * 1995-09-19 1997-03-28 Matsushita Electric Ind Co Ltd Picture communication equipment
JPH11196397A (en) * 1997-12-26 1999-07-21 Canon Inc Display device and communication system
JP2001054084A (en) * 1999-08-09 2001-02-23 Matsushita Electric Ind Co Ltd Video telephone system
JP2001197462A (en) * 2000-01-17 2001-07-19 Nec Corp Visual telephone equipment and visual telephone system provided with the same
JP2003158727A (en) * 2001-09-07 2003-05-30 Canon Inc Electronic apparatus, imaging apparatus, portable communications apparatus, method and program for controlling display of video
JP2004120344A (en) * 2002-09-26 2004-04-15 Matsushita Electric Ind Co Ltd Communication terminal equipment and method therefor
JP2005130150A (en) * 2003-10-23 2005-05-19 Sony Corp Communication processing apparatus, and communication processing method as well as computer program
JP2005191964A (en) * 2003-12-25 2005-07-14 Toshiba Corp Image processing method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001136500A (en) * 1999-11-05 2001-05-18 Matsushita Electric Ind Co Ltd Image communication apparatus and image communication method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0983981A (en) * 1995-09-19 1997-03-28 Matsushita Electric Ind Co Ltd Picture communication equipment
JPH11196397A (en) * 1997-12-26 1999-07-21 Canon Inc Display device and communication system
JP2001054084A (en) * 1999-08-09 2001-02-23 Matsushita Electric Ind Co Ltd Video telephone system
JP2001197462A (en) * 2000-01-17 2001-07-19 Nec Corp Visual telephone equipment and visual telephone system provided with the same
JP2003158727A (en) * 2001-09-07 2003-05-30 Canon Inc Electronic apparatus, imaging apparatus, portable communications apparatus, method and program for controlling display of video
JP2004120344A (en) * 2002-09-26 2004-04-15 Matsushita Electric Ind Co Ltd Communication terminal equipment and method therefor
JP2005130150A (en) * 2003-10-23 2005-05-19 Sony Corp Communication processing apparatus, and communication processing method as well as computer program
JP2005191964A (en) * 2003-12-25 2005-07-14 Toshiba Corp Image processing method

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8803999B2 (en) 2010-10-12 2014-08-12 Blackberry Limited Method and apparatus for image orientation indication and correction
EP2442562A1 (en) * 2010-10-12 2012-04-18 Research in Motion Limited Method and apparatus for image orientation indication and correction
US9743099B2 (en) 2011-03-10 2017-08-22 Vidyo, Inc. Render-orientation information in video bitstream
EP2684294A1 (en) * 2011-03-10 2014-01-15 Vidyo, Inc. Render-orientation information in video bitstream
EP2684294A4 (en) * 2011-03-10 2014-08-20 Vidyo Inc Render-orientation information in video bitstream
US10027970B2 (en) 2011-03-10 2018-07-17 Vidyo, Inc. Render-orientation information in video bitstream
US9438818B2 (en) 2012-06-20 2016-09-06 Qualcomm Incorporated Device and method for multimedia communications with picture orientation information
JP2015524235A (en) * 2012-06-20 2015-08-20 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ Device and method for multimedia communication with picture orientation information
KR20150023776A (en) * 2012-06-20 2015-03-05 퀄컴 인코포레이티드 Device and method for multimedia communications with picture orientation information
US9445125B2 (en) 2012-06-20 2016-09-13 Qualcomm Incorporated Device and method for multimedia communications with picture orientation information
WO2013192103A1 (en) * 2012-06-20 2013-12-27 Qualcomm Incorporated Device and method for multimedia communications with picture orientation information
CN104335590B (en) * 2012-06-20 2018-03-06 高通股份有限公司 Apparatus and method for carrying out multimedia communication using picture azimuth information
CN104335590A (en) * 2012-06-20 2015-02-04 高通股份有限公司 Device and method for multimedia communications with picture orientation information
KR102069402B1 (en) 2012-06-20 2020-01-22 퀄컴 인코포레이티드 Device and method for multimedia communications with picture orientation information
CN104702857A (en) * 2015-03-27 2015-06-10 合肥联宝信息技术有限公司 Method and device for processing angles of imaged pictures
JP2017092558A (en) * 2015-11-04 2017-05-25 シャープ株式会社 Communication device and program
JP2018201065A (en) * 2017-05-25 2018-12-20 キヤノン株式会社 Display control device, display control method, and program
CN109922204A (en) * 2017-12-13 2019-06-21 中兴通讯股份有限公司 Image processing method and terminal

Also Published As

Publication number Publication date
JP4871357B2 (en) 2012-02-08
JPWO2008001441A1 (en) 2009-11-26

Similar Documents

Publication Publication Date Title
WO2008001441A1 (en) Portable video device
EP2811739B1 (en) Terminal, image communication control server, and system and method for image communication using same
JP4443181B2 (en) Communication system and method
US10592191B2 (en) Apparatus, system, and method of controlling display of image data in a network of multiple display terminals
WO1998039906A1 (en) Communication terminal
JP2001054084A (en) Video telephone system
WO2012109831A1 (en) Method for shooting in video telephone and mobile terminal
WO2006129660A1 (en) Electronic device
KR20060045849A (en) Portable terminal having a display unit for displaying image without changing display mode regardless of rotating the display unit and operation method thereof
JPWO2004047412A1 (en) Portable device
WO2011007489A1 (en) Teleconferencing device and image display processing method
KR20070012059A (en) Method for displaying emotion in video telephone mode of wireless terminal
JP2008203726A (en) Opening/closing type communication terminal device and video switching method
JP2004289688A (en) Television telephone apparatus
JP3804766B2 (en) Image communication apparatus and portable telephone
CN112398685B (en) Host equipment acceleration method, device, equipment and medium based on mobile terminal
JP2015215745A (en) Telecommunication system
KR20060127304A (en) Method for performing call in wireless terminal
KR100891771B1 (en) Apparatus and method for application drivie using angular in a portable terminal unit
JP2006180378A (en) Portable telephone
JP2008206131A (en) Opening and closing type communication terminal equipment
JP2005151073A (en) Portable terminal equipment having videophone function
JP5154020B2 (en) Videophone system, videophone terminal apparatus, and videophone image display method
JP2007274034A (en) Videophone system, videophone terminal, and videophone image display method
JP5983993B2 (en) Conference equipment

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 06767538

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2008522245

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: RU

122 Ep: pct application non-entry in european phase

Ref document number: 06767538

Country of ref document: EP

Kind code of ref document: A1