JP2009005254A - 映像送信装置及び映像受信装置 - Google Patents

Abstract

【課題】送信される映像を受信して表示することにより、正しい天地方向の映像が表示される。
【解決手段】映像受信装置は、自装置の回転角度を送信する。映像送信装置は、受信された映像受信装置の回転角度と、自装置の回転角度などから送信する映像に施す回転角度を決定する（ステップＳ２１ｄ）。そして、決定された回転角度に応じた回転、トリミング及び縮小拡大の処理を映像に施して（ステップＳ２１ｅ〜ステップＳ２１ｉ）、映像受信装置に送信する（ステップＳ２１ｊ）。
【選択図】図１３

Description

本発明は、映像送信装置及び映像受信装置に係り、特に、送信される映像を回転する処理に関する。

内蔵されたカメラによって映像を撮影し、その撮影された映像を符号化して送信する移動通信端末装置が知られている。なお、映像は、動画像だけでなく、静止画像も含む。ここで、ファインダーとして用いられる移動通信端末装置が備える表示部の表示画面の形状は、縦長の長方形であることが主流である。

一方、テレビの表示部の表示画面は横長であること、パソコンの表示部の表示画面は横長の形状であることが多いこと、カメラが撮影する映像は、テレビで用いられているＮＴＳＣ（National Television System Committee）方式の信号を出力するために横長の形状であることが多いことなど、映像の形状は、横長が採用されていることが多い。また、ＱＣＩＦ（Quarter CIF、Quarter Common Intermediate Format）形式は、横が１７６画素、縦が１４４画素であるように、映像の形状の標準は、横長の長方形が多い。

そこで、移動通信端末装置に取付けられたカメラは、撮影された映像が、横長の形状として入力される角度で取付けられることが主流である。そして、その装置は、カメラによって入力された映像を、例えば、ＱＣＩＦ形式に変換して符号化し、送信する。

ここで、移動通信端末装置は、小型で軽量であり、撮影者は、例えば、被写体に応じて、装置を回転させ、撮影される映像の縦横を反転させて撮影する。横方向へ回転するにあたり、右回りの回転と、左回りの回転とのいずれの回転もされることがある。また、１８０度の回転がされて、即ち、装置の上下方向が逆転されて撮影されることもある。

装置をいずれの方向に回転させて撮影する場合であっても、装置が備えるカメラと、装置が備える表示部とが同じ方向に同じ角度で回転されるため、ファインダーとしての表示部に表示される映像の天地方向は、被写体の天地方向と等しい。即ち、映像の上部には被写体の上部が、映像の下部には被写体の下部が位置する。そのため、撮影者は、どの向きに装置が回転されたとしても、何ら違和感を感じることがないまま撮影し、送信する。

一方、移動通信端末装置がカメラによって入力された映像を符号化し、送信する動作は、撮影の際に、装置がいずれの方向にいずれの角度で回転されていたか、そして、撮影者の意図は、縦長の映像の撮影であったか、また、横長の映像の撮影であったかに依存しない。なぜなら、符号化の負荷の増大を防ぐため、装置は、カメラによって入力された映像を、所定の標準である形式、例えば、ＱＣＩＦ形式の映像として符号化するためである。

そこで、例えば、撮影者が縦長の映像として撮影し、その映像が送信された場合、その映像を受信した装置では、横長のＱＣＩＦ形式の映像が受信される。この受信された映像は、撮影者が意図した映像が９０度回転されたものであって、天地方向が正しくない。ここで、正しい天地方向とは、撮影者が意図した映像と上下関係が等しいことを意味する。

そこで、その場合、映像を受信した装置は、受信された映像を回転させて表示する必要がある。映像を受信した装置がパソコンであって、横長の表示画面が充分に大きく、また、充分な映像処理能力を有する場合、正しい天地方向で充分な大きさの映像を表示させることができる。ただし、使用者によって映像を回転させる操作がされることが必要である。

一方、映像を受信した装置が移動通信端末装置である場合、その装置が映像を送信した移動通信端末装置と同じ方向に同じ角度の回転がされていれば、何ら支障は生じず、正しい天地方向の映像が表示部に表示される。

しかし、その装置が映像を送信した移動通信端末装置と同じ方向に同じ角度の回転がされていない場合、映像を正しい天地方向で表示するには、映像の回転が避けられず、更に、その映像の全てを表示させるために、映像の縮小が必要なことがある。この処理は、小型で軽量の蓄電池に蓄えられた電力によって動作する移動通信端末装置には大きな負荷となる。また、小型の表示画面に縮小された映像が表示されるため、映像の詳細が表示されない。

そこで、映像を送信する装置は、映像を受信する移動通信端末装置の表示部の表示画面の大きさを要求し、映像の縮小が最低限になるように、送信する映像に対して回転などの変換を施す処理が知られている（例えば、特許文献１参照。）。
特開２００５−１７５９９５号公報（第２−４、図１、図７、図８）

しかしながら、上述した特許文献１に開示されている方法では、たとえ、映像の縮小が最低限になったとしても、映像を受信した移動通信端末装置が如何なる角度に回転されているかに依存しない映像が送信される。

そこで、映像を受信した装置の使用者は、表示部に表示された映像の天地方向を正しくするために、送信された映像に依存して、装置を回転させなければならないことがある問題点があった。この問題点は、映像を受信した装置が台に置かれている場合、顕著である。その場合、装置を回転して、同じ台に置くことができるとは限らないからである。

本発明は、上記問題点を解決するためになされたもので、送信される映像を受信して表示することにより、正しい天地方向の映像が表示される映像送信装置及び映像受信装置を提供することを目的とする。

上記目的を達成するために、本発明の映像送信装置は、表示画面の前面から見たその表示画面の回転角度を送信し、受信された符号化された映像を復号化してその表示画面に表示する映像受信装置と接続され、前記映像受信装置から送信された回転角度を受信する天地情報受信手段と、前記天地情報受信手段によって受信された回転角度の逆向き回転を映像に施す映像加工手段と、前記映像加工手段によって回転を施された映像を符号化する映像符号化手段と、前記映像符号化手段によって符号化された映像を前記映像受信装置に送信する映像送信手段とを具備することを特徴とする。

また、本発明の映像受信装置は、受信された回転角度の逆向き回転を施した映像を符号化して送信する映像送信装置と接続され、映像が表示される表示画面を有する表示手段と、前記表示手段の表示画面の前面から見たその表示画面の回転角度を検出する天地方向検出手段と、前記天地方向検出手段によって検出された回転角度を映像送信装置に送信する天地方向送信手段と、前記映像送信装置から送信された符号化された映像を受信する映像受信手段と、前記映像受信手段によって受信された符号化された映像を復号化して前記表示手段に表示させる復号化手段とを具備することを特徴とする。

本発明によれば、送信される映像を受信して表示することにより、正しい天地方向の映像が表示される。

以下に、本発明による映像送信装置及び映像受信装置の実施の形態を、図面を参照して説明する。

（第１の実施形態）
図１は、本発明の第１の実施の形態に係る映像送信装置及び映像受信装置が含まれる映像送受信システムの構成を示すブロック図である。

この映像送受信システムは、本発明の第１の実施の形態に係る映像送信装置及び映像受信装置が適用された第１の移動通信端末装置ＭＳ１、第２の移動通信端末装置ＭＳ２、第１のパソコン装置ＰＣ１及び第２のパソコン装置ＰＣ２が通信網ＮＷを介して接続されている。即ち、第１の移動通信端末装置ＭＳ１、第２の移動通信端末装置ＭＳ２、第１のパソコン装置ＰＣ１及び第２のパソコン装置ＰＣ２は、映像の送受信及び音声の送受信を行うことによってテレビ電話機能を提供する装置である。

なお、以後の説明で、いずれの装置が映像を送信する装置であり、いずれの装置が映像を受信する装置であるかを例示する必要がある場合、第１の移動通信端末装置ＭＳ１及び第１のパソコン装置ＰＣ１は、映像送信装置が適用された映像を送信する装置であり、第２の移動通信端末装置ＭＳ２及び第２のパソコン装置ＰＣ２は映像受信装置が適用された映像を受信する装置とする。

なお、通信網ＮＷは、例えば、第１の移動通信端末装置ＭＳ１及び第２の移動通信端末装置ＭＳ２が接続される移動通信網と、第１のパソコン装置ＰＣ１及び第２のパソコン装置ＰＣ２が接続されるインターネット通信網とからなるが、これに限るものではない。また、通信網ＮＷには、上記以外の如何なる装置が接続されても良い。

図２は、第ｉの移動通信端末装置ＭＳｉ（ここで、ｉは、１または２。なお、以後、ｉの取り得る値の説明を省略する。）の外観と、被写体が第ｉの移動通信端末装置ＭＳｉによって撮影され、映像が入力される概要を示す。即ち、図２（ａ）は被写体ＳＵＢを、図２（ｂ）は、第ｉの移動通信端末装置ＭＳｉの天地方向が基本方向に置かれた際の正面の外観を示し、図２（ｃ）は被写体ＳＵＢが第ｉの移動通信端末装置ＭＳｉによって撮影され、入力された映像ＰＩＣを示す。

第ｉの移動通信端末装置ＭＳｉの正面には、受話に用いられるスピーカ１４ａと、映像の入力に用いられるカメラ２１ａと、利用者に操作を促す表示や、利用者が指示した内容の表示や、装置の動作状態の表示などに用いられるＬＣＤ（Liquid Crystal Display）からなる表示部１５と、キーパッドからなる入力装置１６と、送話に用いられるマイクロフォン１４ｂとが設置されている。

ここで、基本方向とは、受話に用いられるスピーカ１４ａが上部に、送話に用いられるマイクロフォン１４ｂが下部に位置する方向である。また、基本方向に置かれると、入力装置１６のキーパッドに記載された文字が装置の使用者から見て正しい文字となる。そして、基本方向に置かれた際、表示部１５の表示画面は、縦長の長方形である。以後、装置が基本方向に置かれた場合、その装置の天地方向は０度であるとする。

カメラ２１ａは、被写体ＳＵＢを撮影し、第ｉの移動通信端末装置ＭＳｉが基本方向に置かれた際の右方向（カメラ２１ａから右方向を向く矢印にて示す。）を撮影された映像の上方向として、横長の長方形である入力された映像ＰＩＣを出力する。その結果、入力された映像ＰＩＣは、被写体ＳＵＢを反時計回りに９０度回転した映像となる。この映像の上方向を、入力された映像ＰＩＣから上方向を向く矢印にて示す。

表示部１５には、カメラ２１ａによって入力された映像ＰＩＣが表示されている。この表示の際、第ｉの移動通信端末装置ＭＳｉが基本方向に置かれた際の右方向（表示部１５から右方向を向く矢印にて示す。）に、入力された映像ＰＩＣの上方向が表示される。言い換えると、入力された映像ＰＩＣは、時計回りに９０度回転されて表示部１５に表示される。この結果、被写体ＳＵＢと、表示部１５に表示された映像とは、同じ方向であって、使用者に違和感を与えない。

以後、装置が基本方向に置かれた際、表示部１５に映像の上方向が表示される方向、かつ、カメラ２１ａによって入力された映像ＰＩＣの上方向に撮影される方向を、一括して、その装置の表示の天地方向と称し、上方向を０度とし、表示部１５を前面から見て、時計回りに９０度、１８０度及び２７０度のいずれかとする。第ｉの移動通信端末装置ＭＳｉの表示の天地方向は、表示部１５から右方向を向く矢印にて示すように、また、カメラ２１ａから右方向を向く矢印にて示すように、９０度であって、固定である。

第１の移動通信端末装置ＭＳ１のカメラ２１ａによって撮影された映像が通信網ＮＷを介して第２の移動通信端末装置ＭＳ２に送信され、第２の移動通信端末装置ＭＳ２の表示部１５に表示される場合、第２の移動通信端末装置ＭＳ２の天地方向が基本方向に、即ち０度に置かれていれば、上記説明と同じ動作によって、上記説明で表示部１５に表示された映像と同じ映像が表示される。

図３は、第ｉのパソコン装置ＰＣｉの外観と、第ｉのパソコン装置ＰＣｉによって撮影され、映像が入力される概要を示す。即ち、図３（ａ）は、第ｉのパソコン装置ＰＣｉが例えば、机上の置かれた際の正面の外観を示し、図３（ｂ）は、第ｉのパソコン装置ＰＣｉによって撮影され、入力された映像ＰＩＣを示す。なお、この入力された映像ＰＩＣは、図２（ａ）を参照して説明した被写体ＳＵＢが撮影されたものである。なお、第ｉのパソコン装置ＰＣｉは、第ｉの移動通信端末装置ＭＳｉと同じ部分を含む。そこで、同じ部分には、同じ符号を付して説明を省略する。

第ｉのパソコン装置ＰＣｉは、入力装置１６が上面に設置され、机上に置かれる第１の筐体と、カメラ２１ａと、表示部１５とが正面に設置され、第１の筐体とヒンジ部（図示せず）によって接続され、机上から略垂直方向にある第２の筐体とを有する。

第ｉのパソコン装置ＰＣｉは、動作時には、図３（ａ）に示すように机上に置かれ、この机上の置かれた際の方向が基本方向である。そこで、第ｉのパソコン装置ＰＣｉの天地方向は、動作時には、０度である。また、基本方向に置かれた際、表示部１５の表示画面は、横長の長方形である。

カメラ２１ａは、被写体ＳＵＢを撮影し、第ｉのパソコン装置ＰＣｉが基本方向に置かれた際の上方向（カメラ２１ａから上方向を向く矢印にて示す。）を撮影された映像の上方向として、横長の長方形である入力された映像ＰＩＣを出力する。その結果、入力された映像ＰＩＣは、被写体ＳＵＢに回転を施さない映像となる。この映像の上方向を、入力された映像ＰＩＣから上方向を向く矢印にて示す。

表示部１５には、カメラ２１ａによって入力された映像ＰＩＣが表示されている。この表示の際、第ｉのパソコン装置ＰＣｉが基本方向に置かれた際の上方向（表示部１５から上方向を向く矢印にて示す。）に、入力された映像ＰＩＣの上方向が表示される。この結果、被写体ＳＵＢと、表示部１５に表示された映像とは、同じ方向であって、使用者に違和感を与えない。

第ｉのパソコン装置ＰＣｉの表示の天地方向を示す角度は、表示部１５から上方向を向く矢印にて示すように、また、カメラ２１ａから上方向を向く矢印にて示すように、０度であって、固定である。ここで、既に述べたように、表示の天地方向は、上方向を０度とし、表示部１５を前面から見て、時計回りに９０度、１８０度及び２７０度のいずれかの回転角度によって表される。

第１のパソコン装置ＰＣ１のカメラ２１ａによって撮影された映像が通信網ＮＷを介して第２のパソコン装置ＰＣ２に送信され、第２のパソコン装置ＰＣ２の表示部１５に表示される場合、第２のパソコン装置ＰＣ２は基本方向に置かれているので、上記説明と同じ動作によって、第２のパソコン装置ＰＣ２の表示部１５には、第１のパソコン装置ＰＣ１の表示部１５に表示された映像と同じ映像が表示される。

図４は、第ｉの移動通信端末装置ＭＳｉの構成を示すブロック図である。この第ｉの移動通信端末装置ＭＳｉは、装置全体の制御を行う制御部１１と、通信網ＮＷに接続されるアンテナ１２ａと、通信部１２ｂと、送受信部１３と、受話用のスピーカ１４ａと、送話用のマイクロフォン１４ｂと、通話部１４ｃと、表示部１５と、入力装置１６と、天地方向検出部１７と、符号化部２１と、テレビ電話用のカメラ２１ａと、テレビ電話用のマイクロフォン２１ｂと、復号化部２２と、テレビ電話用のスピーカ２２ａとからなる。

図５は、符号化部２１の詳細な構成を示すブロック図である。符号化部２１は、カメラ２１ａと接続される映像取得部２１ｃと、表示部形状取得部２２ｃと接続される天地情報取得部２１ｄと、送受信部１３と接続される送信先表示部形状取得部２１ｅと、天地方向検出部１７と接続される映像加工部２１ｆと、送受信部１３と接続される映像符号化部２１ｇと、マイクロフォン２１ｂ及び送受信部１３と接続される音声符号化部２１ｈとからなる。

なお、図５で、太い実線は、映像信号または音声信号の流れを、細い実線は制御信号の流れを示す。また、表示部形状取得部２２ｃは、後述するように、復号化部２２を構成する要素である。

図６は、復号化部２２の詳細な構成を示すブロック図である。復号化部２２は、送受信部１３及び表示部１５と接続される映像復号化部２２ｂと、天地方向検出部１７、天地情報取得部２１ｄ及び送受信部１３と接続される表示部形状取得部２２ｃと、送受信部１３及びスピーカ２２ａと接続される音声復号化部２２ｄとからなる。なお、図６で、太い実線は、映像信号または音声信号の流れを、細い実線は制御信号の流れを示す。また、天地情報取得部２１ｄは、既に説明したように、符号化部２１を構成する要素である。

図７は、第ｉのパソコン装置ＰＣｉの構成を示すブロック図である。この第ｉのパソコン装置ＰＣｉは、装置全体の制御を行う制御部１１と、通信網ＮＷに接続される通信部１２ｂ２と、送受信部１３と、表示部１５と、入力装置１６と、符号化部３１と、テレビ電話用のカメラ２１ａと、テレビ電話用のマイクロフォン２１ｂと、復号化部３２と、テレビ電話用のスピーカ２２ａとからなる。

この第ｉのパソコン装置ＰＣｉは、第ｉの移動通信端末装置ＭＳｉと比較して、アンテナ１２ａと、受話用のスピーカ１４ａと、送話用のマイクロフォン１４ｂと、通話部１４ｃと、天地方向検出部１７とを有しない。また、通信部１２ｂに代えて通信部１２ｂ２を、符号化部２１に代えて符号化部３１を、復号化部２２に代えて復号化部３２を有する。

なお、既に述べたように、第ｉのパソコン装置ＰＣｉは、第ｉの移動通信端末装置ＭＳｉと同じ部分を含む。そこで、同じ部分には、同じ符号を付して説明を省略する。なお、同じ部分に、軽微な差異があることもある。例えば、第ｉのパソコン装置ＰＣｉ装置の制御部１１は、第ｉのパソコン装置ＰＣｉ装置が有しない通話部１４ｃ及び天地方向検出部１７の制御機能を有しない。しかし、この差異は、本発明の実施形態に影響を与えるものではなく、同じ部分として必要に応じて差異を説明する。

図８は、符号化部３１の詳細な構成を示すブロック図である。符号化部３１は、カメラ２１ａと接続される映像取得部２１ｃと、送受信部１３と接続される送信先表示部形状取得部２１ｅと、映像加工部２１ｆと、送受信部１３と接続される映像符号化部２１ｇと、マイクロフォン２１ｂ及び送受信部１３と接続される音声符号化部２１ｈとからなる。なお、図８で、太い実線は、映像信号または音声信号の流れを、細い実線は制御信号の流れを示す。

この符号化部３１は、第ｉの移動通信端末装置ＭＳｉの符号化部２１と比較して、天地情報取得部２１ｄを有さない。また、映像加工部２１ｆは、天地方向検出部１７と接続されない。

図９は、復号化部３２の詳細な構成を示すブロック図である。復号化部３２は、送受信部１３及び表示部１５と接続される映像復号化部２２ｂと、送受信部１３と接続される表示部形状取得部２２ｃ２と、送受信部１３及びスピーカ２２ａと接続される音声復号化部２２ｄとからなる。なお、図９で、太い実線は、映像信号または音声信号の流れを、細い実線は制御信号の流れを示す。

この復号化部３２は、第ｉの移動通信端末装置ＭＳｉの復号化部２２と比較して、表示部形状取得部２２ｃに代えて表示部形状取得部２２ｃ２を有し、表示部形状取得部２２ｃ２は、天地方向検出部１７及び天地情報取得部２１ｄと接続されない。

上記のように構成された、本発明の第１の実施形態に係る装置の各部の動作を、まず、第ｉの移動通信端末装置ＭＳｉの各部の動作から図４〜図６を参照して説明する。通信部１２ｂは、通信網ＮＷから送信され、アンテナ１２ａが受信した高周波信号を送受信部１３へ出力し、また、送受信部１３から出力された高周波信号をアンテナ１２ａより通信網ＮＷへ送信する。

送受信部１３は、通信部１２ｂからの高周波信号を増幅、周波数変換及び復調し、それによってディジタル信号を得て、得られた通話音声信号を通話部１４ｃに、制御信号を制御部１１に、テレビ電話に係わる制御信号を符号化部２１に、テレビ電話に係わる映像信号と音声信号を復号化部２２に送る。

更には、送受信部１３は、ディジタル信号、即ち、通話部１４ｃから出力される通話音声信号、制御部１１から出力される制御信号、符号化部２１から出力されるテレビ電話に係わる映像信号と音声信号、及び復号化部２２から出力されるテレビ電話に係わる制御信号を変調、周波数変換及び増幅し、高周波信号を得て、それを通信部１２ｂに送って通信網ＮＷに送信させる。

通話部１４ｃは、送受信部１３から出力されるディジタル音声信号をアナログ音声信号に変換し、それを増幅してスピーカ１４ａに送る。また、マイクロフォン１４ｂから出力されるアナログ音声信号を増幅し、それをディジタル音声信号に変換して送受信部１３に送信する。

表示部１５は、制御部１１に制御されることで、文字・数字や映像データの表示動作を行い、表示されているデータは、入力装置１６からの入力操作や着信信号に応答して制御部１１からの指示を受けることで切換わる。

入力装置１６は、通信相手の電話番号などを指定するための数字キーと複数の機能キーを含むキーからなる。そして、入力装置１６のキーが操作されると、そのキーの識別子が制御部１１に通知され、制御部１１によって、表示部１５に文字として表示され、または、制御が行われる。

天地方向検出部１７は、ジャイロセンサーを含み、第ｉの移動通信端末装置ＭＳｉの天地方向を検出する。そして、０度、９０度、１８０度及び２７０度のいずれか１つの天地方向を示す回転角度を出力する。ここで、０度とは、図２を参照して説明した基本方向である。

その他の回転角度は、それぞれ図１０、図１１及び図１２に示すように、第ｉの移動通信端末装置ＭＳｉを正面、即ち、表示部１５の表示画面、入力装置１６及びカメラ２１ａの前面から見て、時計回りに回転した角度である。なお、第ｉの移動通信端末装置ＭＳｉの回転によって、表示部１５及びカメラ２１ａも同じ角度で回転されている。

なお、この回転角度は、相対的なものであり、表示部１５の表示を見ている使用者から見た表示部１５の回転角度であるが、表示部１５から見た使用者の回転角度とみなして良い。また、カメラ２１ａによって撮影される被写体から見たカメラ２１ａの回転角度であるが、カメラ２１ａから見た被写体の回転角度とみなして良い。

その回転角度が、０度、９０度、１８０度及び２７０度のいずれでもない場合、天地方向検出部１７は、それらのいずれか１つで、最も回転した角度に近い方向を出力する。なお、天地方向検出部１７は、ジャイロセンサーによって装置の天地方向を検出すると限るものではない。例えば、重力を感知して、重力が働く方向を出力する加速度センサーによって検出しても良い。

ここで、表示部１５及びカメラ２１ａが第ｉの移動通信端末装置ＭＳｉの表示部１５及びカメラ２１ａ以外の部分から分離可能、または、回転可能であれば、表示部１５及びカメラ２１ａに天地方向検出部１７が設けられた構成とする。

なお、図１０、図１１及び図１２には、第ｉの移動通信端末装置ＭＳｉがそれぞれの天地方向に置かれた際の外観を示し、表示部１５の表示と、カメラ２１ａによって入力された映像ＰＩＣを併せて示す。ここで、被写体は、図２（ａ）を参照して説明した被写体ＳＵＢである。第ｉの移動通信端末装置ＭＳｉがいずれの天地方向に置かれた場合でも、装置の使用者から見た表示部１５の表示の方向は、被写体ＳＵＢの方向と相違しない。しかし、入力された映像ＰＩＣは、天地方向を示す回転角度の逆向き回転、即ち、その回転角度の正負を逆にした角度の回転をした映像となる。

次に、符号化部２１の各部の動作を説明する。映像取得部２１ｃは、カメラ２１ａによって入力された映像を受信して、その映像信号から所定の時間間隔で連続する静止画（フレーム）を作成する。

天地情報取得部２１ｄは、映像取得部２１ｃによって作成された１枚の、または連続する複数枚の静止画を参照して、第ｉの移動通信端末装置ＭＳｉの天地方向を取得する。ここで、取得される天地方向を示す回転角度は、０度、９０度、１８０度及び２７０度のいずれか１つである。なお、表示部１５及びカメラ２１ａが第ｉの移動通信端末装置ＭＳｉのそれら以外の部分と分離可能または回転可能な場合、取得された天地方向を第ｉの移動通信端末装置ＭＳｉの天地方向とみなす。

静止画の参照によって、第ｉの移動通信端末装置ＭＳｉの天地方向を取得するため、天地情報取得部２１ｄは、その静止画から、被写体の上部にあるものと、被写体の下部にあるものとの対を検出する。例えば、静止画が風景を撮影したものであり、被写体の上部にあるものは空であるのに対して、被写体の下部にあるものは地面、海面または建物である。また、静止画が人物の顔を撮影したものであり、被写体の上部にあるものは目であるのに対して、被写体の下部にあるものは口である。

そして、静止画で、被写体の上部にあるもと、被写体の下部にあるものとの位置を調べる、被写体の上部にあるものが静止画の左に、被写体の下部にあるものが静止画の右にあれば、図２（ｃ）を参照することにより明らかなように、装置の天地方向を示す回転角度は、０度である。同様に、被写体の上部にあるものが静止画の下に、被写体の下部にあるものが静止画の上にあれば、図１０を参照することにより明らかなように、装置の天地方向を示す回転角度は、９０度である。

また、被写体の上部にあるものが静止画の右に、被写体の下部にあるものが静止画の左にあれば、図１１を参照することにより明らかなように、装置の天地方向を示す回転角度は、１８０度である。更に、被写体の上部にあるものが静止画の上に、被写体の下部にあるものが静止画の下にあれば、図１２を参照することにより明らかなように、装置の天地方向を示す回転角度は、２７０度である。

送信先表示部形状取得部２１ｅは、符号化部２１が送信する映像を受信する第ｉの移動通信端末装置ＭＳｉ、または第ｉのパソコン装置ＰＣｉが送信し、送受信部１３によって受信されたその装置の表示部形状を受信する。ここで、表示部形状とは、その装置の天地方向を示す回転角度と、その装置の表示の天地方向を示す回転角度との２つである。

映像加工部２１ｆは、天地方向検出部１７から送られた第ｉの移動通信端末装置ＭＳｉの天地方向を示す回転角度及び／または天地情報取得部２１ｄから送られた第ｉの移動通信端末装置ＭＳｉの天地方向を示す回転角度を受信し、それらの一方または両方から第ｉの移動通信端末装置ＭＳｉの天地方向を判断する。また、第ｉの移動通信端末装置ＭＳｉの表示の天地方向を示す回転角度は、既に説明したように９０度であって、予め映像加工部２１ｆ内に記憶される。

更に、映像加工部２１ｆは、送信先表示部形状取得部２１ｅが取得した符号化部２１が送信する映像を受信する第ｉの移動通信端末装置ＭＳｉまたは、第ｉのパソコン装置ＰＣｉの天地方向を示す回転角度と、その装置の表示の天地方向を示す回転角度との２つを受信する。

これらの、自装置の天地方向、自装置の表示の天地方向、映像を受信する装置の天地方向及び映像を受信する装置の表示の天地方向の４つの天地方向を示す回転角度により、映像加工部２１ｆは、映像取得部２１ｃによって作成された静止画に対して回転及び圧縮伸張の処理を施した、例えばＱＣＩＦ形式の静止画を作成する。ここで、作成される静止画は、映像符号化部２１ｇによって符号化可能な形式に従ったものである。

映像符号化部２１ｇは、映像加工部２１ｆによって作成されたＱＣＩＦ形式の静止画を符号化する。この符号化は、例えば、ＭＰＥＧ方式や、Ｈ．２６４方式によって行われるが、これに限るものではない。また、静止画は、ＱＣＩＦ形式に限るものではない。そして、符号化された映像を送受信部１３に送って、その映像を受信する装置に送信させる。

音声符号化部２１ｈは、マイクロフォン２１ｂによって入力された音声信号を受信して、その音声信号を所定の時間間隔で分割した音声信号を作成する。そして、その作成された音声信号をＡＡＣ方式によって符号化する。なお、符号化方式は、ＡＡＣ方式に限るものではない。そして、符号化された音声信号を送受信部１３に送って、その音声を受信する装置に送信させる。

次に、復号化部２２の各部の動作を説明する。映像復号化部２２ｂは、送受信部１３によって受信された符号化された映像信号を復号する。そして、復号された映像信号を表示部１５に送って表示させる。

表示部形状取得部２２ｃは、天地方向検出部１７から送信された第ｉの移動通信端末装置ＭＳｉの天地方向を示す回転角度と、天地情報取得部２１ｄから送信された第ｉの移動通信端末装置ＭＳｉの天地方向を示す回転角度とを受信する。そして、それらの２つの天地方向を示す回転角度の１つまたは２つから判断された第ｉの移動通信端末装置ＭＳｉの天地方向を示す回転角度と、予め表示部形状取得部２２ｃ内に記憶された第ｉの移動通信端末装置ＭＳｉの表示の天地方向を示す回転角度（既に説明したように、９０度である。）とを送受信部１３に送って、復号化部２２が復号している映像を送信している装置に送信させる。

表示部形状取得部２２ｃは、上記２つの天地情報を、所定の時間間隔で送受信部１３に送る。または、受信された第ｉの移動通信端末装置ＭＳｉの天地方向を示す回転角度を表示部形状取得部２２ｃ内に記憶し、記憶された第ｉの移動通信端末装置ＭＳｉの天地方向を示す回転角度と異なる天地方向を示す回転角度が受信された場合、上記２つの天地情報を送受信部１３に送る。または、新たに受信された第ｉの移動通信端末装置ＭＳｉの天地方向を示す回転角度を送受信部１３に送る。

音声復号化部２２ｄは、送受信部１３によって受信された符号化された音声信号を復号する。そして、復号された音声信号をスピーカ２２ａに送って音声を発生させる。

次に、第ｉのパソコン装置ＰＣｉの各部の動作を図７〜図９を参照して説明する。通信部１２ｂ２は、通信網ＮＷから送信された高周波信号を送受信部１３へ出力し、また、送受信部１３から出力された高周波信号を通信網ＮＷへ送信する。

第ｉのパソコン装置ＰＣｉの符号化部３１の映像加工部２１ｆは、第ｉの移動通信端末装置ＭＳｉの符号化部２１の映像加工部２１ｆと比較して、第ｉのパソコン装置ＰＣｉの天地方向を示す回転角度を受信しない。

その受信された天地方向を示す回転角度に代えて、映像加工部２１ｆは、予め映像加工部２１ｆ内に記憶された第ｉのパソコン装置ＰＣｉの天地方向を示す回転角度を用いることが相違する。なぜなら、第ｉのパソコン装置ＰＣｉは、例えば、机上に置かれた状態、即ち基本方向で動作し、装置の天地方向を示す回転角度は、０度であって、変化することがないからである。

また、予め映像加工部２１ｆ内に記憶される第ｉのパソコン装置ＰＣｉの表示の天地方向を示す回転角度は、既に説明したように０度である。これらの相違以外、符号化部３１の映像加工部２１ｆは、符号化部２１の映像加工部２１ｆと同じ動作をする。

第ｉのパソコン装置ＰＣｉの復号化部３２の表示部形状取得部２２ｃ２は、第ｉの移動通信端末装置ＭＳｉの復号化部２２の表示部形状取得部２２ｃと比較して、第ｉのパソコン装置ＰＣｉの天地方向を示す回転角度を受信しない。

その受信された天地方向を示す回転角度に代えて、表示部形状取得部２２ｃ２は、予め表示部形状取得部２２ｃ２内に記憶された第ｉのパソコン装置ＰＣｉの天地方向を示す回転角度を用いることが相違する。なぜなら、第ｉのパソコン装置ＰＣｉは、例えば、机上に置かれた状態、即ち基本方向で動作し、装置の天地方向を示す回転角度は、０度であって、変化することがないからである。

また、予め表示部形状取得部２２ｃ２内に記憶される第ｉのパソコン装置ＰＣｉの表示の天地方向を示す回転角度は、既に説明したように０度である。これらの相違以外、復号化部３２の表示部形状取得部２２ｃ２は、復号化部２２の表示部形状取得部２２ｃと同じ動作をする。

次に、映像を送信する第１の移動通信端末装置ＭＳ１及び第１のパソコン装置ＰＣ１の映像加工部２１ｆの映像の加工動作の詳細を説明する。映像にこの加工を施すことによって、映像を受信する第２の移動通信端末装置ＭＳ２及び第２のパソコン装置ＰＣ２は、受信された映像を表示部１５に表示させることによって、正しい天地方向の映像が表示される。

即ち、映像を送信する第１の移動通信端末装置ＭＳ１及び映像を受信する第２の移動通信端末装置ＭＳ２の天地方向の変更によって、表示される天地方向が乱れることがない。また、映像符号化部２１ｇ及び映像復号化部２２ｂは、上記変更に係わらず、処理する映像の形式は一定であって、何ら高い性能を要求されることはなく、また、負荷が増大することはない。

既に説明したように、映像加工部２１ｆの映像の加工動作の際に用いられるパラメータは、自装置の天地方向、自装置の表示の天地方向、映像を受信する装置の天地方向及び映像を受信する装置の表示の天地方向の４つの天地方向を示す回転角度である。

図１３は、映像加工部２１ｆの映像の加工動作のフローチャートを示す。映像加工部２１ｆは、動作を開始して（ステップＳ２１ａ）、映像取得部２１ｃによって作成された静止画を１枚受信する（ステップＳ２１ｂ）。そして、自装置の天地方向を示す回転角度を天地方向検出部１７及び／または天地情報取得部２１ｄから得る。または、映像加工部２１ｆ内に記憶された回転角度を得る。また、映像加工部２１ｆ内に記憶された自装置の表示の天地方向を示す回転角度を得る。更に、映像を受信する装置の天地方向を示す回転角度及び映像を受信する装置の表示の天地方向を示す回転角度を送信先表示部形状取得部２１ｅから得る（ステップＳ２１ｃ）。

そして、得られた自装置の天地方向、自装置の表示の天地方向、映像を受信する装置の天地方向及び映像を受信する装置の表示の天地方向の４つの天地方向を示す回転角度から、映像加工部２１ｆは、ステップＳ２１ｂで得られた静止画を回転する角度を求める（ステップＳ２１ｄ）。

この回転角度は、次の式１によって求められる。即ち、
（自装置の天地方向−映像を受信する装置の天地方向）
＋（自装置の表示の天地方向−映像を受信する装置の表示の天地方向） （式１）
である。

なお、式１中の４つの天地方向は、それぞれの回転角度を示す。式１で求められる回転角度は、０度、９０度、１８０度及び２７０度の中のいずれかである。なぜなら、回転角度を算出する式１の各要素は既に説明したように９０度の倍数だからである。

なお、式１で算出された値が３６０度以上である場合、３６０で除した余りとする。また、式１で算出された値が負の値である場合、３６０を加えた値とする。３６０を加えても負の値である場合、正の値となるまで、更に３６０を加える動作を繰り返す。

式１の第１項は、装置の天地方向が異なる際の表示の補正であり、自装置の天地方向を示す回転角度と比較して、映像を受信する装置の天地方向を示す回転角度が、例えば、９０度多ければ、事前にそれを打ち消すべく、静止画を逆向きに同じ角度である−９０度、即ち２７０度回転させることを意味する。これは、図２（ｃ）に示す装置の天地方向を示す回転角度が０度の場合の映像と、図１０（ｂ）に示す装置の天地方向を示す回転角度が９０度の場合の映像と、図１１（ｂ）に示す装置の天地方向を示す回転角度が１８０度の場合の映像と、図１２（ｂ）に示す装置の天地方向を示す回転角度が２７０度の場合の映像とを比較すると、容易に理解される。

式１の第２項は、自装置の表示の天地方向を示す回転角度と比較して、映像を受信する装置の表示の天地方向を示す回転角度が、例えば、９０度多ければ、事前にそれを打ち消すべく、静止画を逆向きに同じ角度である−９０度、即ち２７０度回転させることを意味する。これは、図３（ｂ）に示す表示の天地方向を示す回転角度が０度の場合の映像と、図２（ｃ）に示す表示の天地方向を示す回転角度が９０度の場合の映像とを比較すると、容易に理解される。

続いて、映像加工部２１ｆは、ステップＳ２１ｄで算出された回転角度によって動作を分岐する（ステップＳ２１ｅ）。回転角度が０度の場合、静止画に０度回転処理の加工を施し（ステップＳ２１ｆ）、回転角度が９０度の場合、静止画に９０度回転処理の加工を施し（ステップＳ２１ｇ）、回転角度が１８０度の場合、静止画に１８０度回転処理の加工を施す（ステップＳ２１ｈ）。

また、映像加工部２１ｆは、回転角度が２７０度の場合、静止画に２７０度回転処理の加工を施し（ステップＳ２１ｉ）、加工された静止画を送信して（ステップＳ２１ｊ）、ステップＳ２１ｂの静止画を受信する動作に戻る。なお、ステップＳ２１ｂで静止画が受信されない場合、映像加工部２１ｆは、動作を終了する（図示せず）。

ステップＳ２１ｆの、静止画に０度回転処理の加工を施す過程を図１４を参照して説明する。この０度回転処理は、第１のパソコン装置ＰＣ１から第２のパソコン装置ＰＣ２への映像送信の場合（この場合、式１の全ての要素が０度となる。）、第１の移動通信端末装置ＭＳ１から第２の移動通信端末装置ＭＳ２への映像送信であり、両装置の天地方向を示す回転角度が同じ場合（この場合、式１の第１項は０度、第２項は０度となる。）に行われる。

この０度回転処理は、更に、第１のパソコン装置ＰＣ１から第２の移動通信端末装置ＭＳ２への映像送信であり、図１２に示す、第２の移動通信端末装置ＭＳ２の天地方向を示す回転角度が２７０度の場合（この場合、式１の第１項は、０−２７０＝−２７０度、第２項は、０−９０＝−９０度となる。）に行われる。

なお、図１４には、図２（ａ）に示す被写体ＳＵＢが撮影された映像を併せて例示する。この映像は、第１のパソコン装置ＰＣ１から第２のパソコン装置ＰＣ２への映像送信の場合、第１の移動通信端末装置ＭＳ１から第２の移動通信端末装置ＭＳ２への映像送信であり、両装置の天地方向を示す回転角度が、図１２に示す２７０度の場合、及び、第１のパソコン装置ＰＣ１から第２の移動通信端末装置ＭＳ２への映像送信であり、第２の移動通信端末装置ＭＳ２の天地方向を示す回転角度が、図１２に示す２７０度の場合の映像である。

図１４（ａ）は、カメラ２１ａによって入力された映像ＰＩＣであって、映像取得部２１ｃによって作成され、映像加工部２１ｆによる加工前の静止画を示す。この静止画は、横長であって、例えば、横が６４０画素、縦が４８０画素である。映像加工部２１ｆは、この静止画を映像符号化部２１ｇが符号化する形式、例えば、ＱＣＩＦ形式、即ち、横が１７６画素、縦が１４４画素の静止画に加工する。

そのため、映像加工部２１ｆは、縮小を行って、符号化される映像ＰＩＣ２を作成する。なお、縦方向の縮小率と、横方向の縮小率には軽微な差があるが、この縮小によって使用者に違和感を与えることはない。２つの縮小率の相違によって使用者に違和感を与える場合、後述するように、静止画に、例えばトリミングを施す。

ステップＳ２１ｇの、静止画に９０度回転処理の加工の過程を図１５及び図１６を参照して説明する。この９０度回転処理は、第１のパソコン装置ＰＣ１から第２の移動通信端末装置ＭＳ２への映像送信であり、第２の移動通信端末装置ＭＳ２の天地方向を示す回転角度が、図１１に示す１８０度の場合（この場合、式１の第１項は、０−１８０＝−１８０度、第２項は、０−９０＝−９０度となる。）に行われる。

また、第１の移動通信端末装置ＭＳ１から第２の移動通信端末装置ＭＳ２への映像送信であり、第１の移動通信端末装置ＭＳ１の天地方向を示す回転角度から第２の移動通信端末装置ＭＳ２の天地方向を示す回転角度を減じた差が９０度の場合（それぞれの天地方向は、４通りある。）に行われる。この際、式１の第１項は、０度、第２項は、９０度となる。

なお、図１５及び図１６には、図２（ａ）に示す被写体ＳＵＢが撮影された映像を併せて例示する。この映像は、第１のパソコン装置ＰＣ１から第２の移動通信端末装置ＭＳ２への映像送信であり、第２の移動通信端末装置ＭＳ２の天地方向を示す回転角度が、図１１に示す１８０度の場合、及び、第１の移動通信端末装置ＭＳ１から第２の移動通信端末装置ＭＳ２への映像送信であり、第１の移動通信端末装置ＭＳ１の天地方向を示す回転角度が、図１２に示す２７０度であり、第２の移動通信端末装置ＭＳ２の天地方向を示す回転角度が、図１１に示す１８０度である場合の映像である。

図１５は、静止画にトリミングを含む加工が施される過程を示し、図１５（ａ）は、入力された映像ＰＩＣである映像加工部２１ｆによる加工前の静止画を示し、図１４（ａ）に示した静止画と同じである。映像加工部２１ｆは、この静止画を、９０度回転された静止画であり、映像符号化部２１ｇが符号化する形式、例えば、ＱＣＩＦ形式であるように加工するため、映像加工部２１ｆは、まず、横長の静止画を縦長の静止画に加工する。

そこで、映像加工部２１ｆは、図１５（ｂ）に示すように、加工前の静止画の左右から、同じ大きさのトリミング領域ＴＲＭを削除し、縦長であって、縦横比（縦の画素数÷横の画素数）が、加工後のＱＣＩＦ形式の横縦比（横の画素数÷縦の画素数）に略等しい、トリミング後の静止画を作成する。次に、トリミング後の静止画を９０度回転して、縮小することによって、図１５（ｃ）に示す、符号化される映像ＰＩＣ２、即ち、ＱＣＩＦ形式の加工後の静止画を得る。

なお、静止画が回転されたことは、それぞれの静止画に付した上向き矢印で示す。この上向き矢印が付された辺が、表示部１５に表示される際、天地方向の上方向に表示される。また、上記説明で、トリミング、回転、そして縮小の順序で加工するとしたが、これに限るものではなく、任意の順序で行って良い。

しかし、縮小によって、静止画が粗くなるので、映像加工部２１ｆは、縮小を必要な最低限度に行う。例えば、入力された映像ＰＩＣをＱＣＩＦ形式に縮小してトリミングすると、トリミング後の静止画をＱＣＩＦ形式に拡大する必要がある。このように、縮小の後で拡大をすることは、最低限度を超えた縮小が行われたことを意味するので、トリミングの前にＱＣＩＦ形式に縮小しない。縮小してトリミングすることは、差し支えないが、例えば、トリミングされた静止画がＱＣＩＦ形式となるような縮小を行う。

このトリミングによって、映像加工部２１ｆによって加工された静止画の部分であって、映像加工部２１ｆによる加工前の静止画に基づかない部分、例えば、空領域はない。そこで、映像符号化部２１ｇによって符号化される映像ＰＩＣ２は、全てがカメラ２１ａによって入力された映像ＰＩＣの全部または一部であって、意味のない映像を含まない。

ここで、映像加工部２１ｆは、トリミングにあたり、加工前の静止画の左右から同じ大きさのトリミング領域ＴＲＭを削除すると限るものではない。その静止画の部分静止画であって、重要と判断される部分をトリミングによって削除しないようにしても良い。

例えば、加工前の静止画に１つの顔映像が含まれている場合、映像加工部２１ｆは、その顔映像を可能な限り映像の左右方向の中心に位置させるようにし、その結果、左右から異なる大きさのトリミング領域ＴＲＭを削除しても良い。また、左右のいずれか一方のトリミング領域ＴＲＭを削除しても良い。更に、加工前の静止画に複数の顔映像が含まれている場合、トリミング領域ＴＲＭを、それらの顔映像を含まないように決定する。

なお、映像加工部２１ｆは、横長の静止画を縦長の静止画に加工するにあたり、上記説明した、トリミングによるとは限らない。即ち、トリミングによれば、入力された映像ＰＩＣの一部が削除され、受信した装置に送られないので、それを避けるため、加工後の静止画に空領域を設けても良い。

図１６は、映像加工部２１ｆによる、加工後の静止画に空領域を設けて、９０度回転処理の加工動作の過程を示す。図１６（ａ）は、映像加工部２１ｆによる加工前の静止画を示し、図１５（ａ）に示した静止画と同じである。

映像加工部２１ｆは、次に、図１６（ｂ）に示すように、入力された映像ＰＩＣを縮小し、入力された映像ＰＩＣの上及び／または下に空領域ＥＭＰを設ける。そして、縮小された入力された映像ＰＩＣと、空領域ＥＭＰとによって縦横比が加工後のＱＣＩＦ形式の横縦比に略等しい空領域追加後の静止画を作成する。図１６（ｂ）では、空領域ＥＭＰは、下のみに設けられている。次に、空領域追加後の静止画を９０度回転して、縮小することによって、図１６（ｃ）に示す、符号化される映像ＰＩＣ２、即ち、ＱＣＩＦ形式の加工後の静止画を得る。

ここで、映像加工部２１ｆが横長の静止画を縦長の静止画に加工するにあたり、トリミングを施す処理と、空領域を設ける処理との２つを説明したが、これらは、相反する処理ではない。適宜組み合わせても良いことは、明らかである。

ステップＳ２１ｈの、静止画に１８０度回転処理の加工を行う動作は、ステップＳ２１ｆの、静止画に０度回転処理の加工を行う動作に、静止画を１８０度回転する動作を加えたものであり、説明を省略する。また、ステップＳ２１ｉの、静止画に２７０度回転処理の加工を行う動作は、ステップＳ２１ｇの、静止画に９０度回転処理の加工を行う動作に、静止画を１８０度回転する動作を加えたものであり、説明を省略する。

ここで、ステップＳ２１ｆ〜ステップＳ２１ｉの回転処理の動作に中の、静止画をＱＣＩＦ形式に縮小する動作は、静止画を映像符号化部２１ｇが符号化可能な所定の形式にする動作であって、送信側の装置で行う必要がある。

更に、ステップＳ２１ｇの、静止画に９０度回転処理の加工を行う動作と、ステップＳ２１ｉの、静止画に２７０度回転処理の加工を行う動作とは、送信側の装置で行う必要がある。なぜなら、上述したように、これらの動作によってトリミングが行われることがあり、所定の形式、例えば、ＱＣＩＦ形式に圧縮して送信後、受信側の装置でトリミングを行うと、トリミング以後、静止画の拡大が行われる結果、送信側の装置でトリミングを行った場合と比較して、受信側の装置の表示部１５に表示される映像が粗くなるからである。

それに対して、ステップＳ２１ｈの静止画に１８０度回転処理の加工を行う動作の中で、単なる回転動作のみは、受信側の装置で行っても良い。なぜなら、その回転前の静止画をＱＣＩＦ形式に縮小して符号化し、受信側の装置でその符号化された静止画を復号化した後で１８０度回転しても、受信側の装置の表示部１５に表示される映像の粗さに相違がないからである。

以上説明した動作により、映像を送信する第１の移動通信端末装置ＭＳ１及び／または映像を受信する第２の移動通信端末装置ＭＳ２の天地方向がどの回転角度に回転されていても、天地方向が正しい映像が第２の移動通信端末装置ＭＳ２の表示部１５に表示される。なお、映像は第１のパソコン装置ＰＣ１から送信される場合と、映像は第２のパソコン装置ＰＣ２によって受信される場合においても天地方向が正しい映像が受信側の装置の表示部１５に表示される。

また、映像送信中の第１の移動通信端末装置ＭＳ１の天地方向が変化した場合、その変化は、第１の移動通信端末装置ＭＳ１の天地方向検出部１７または天地情報取得部２１ｄによって検出される。そして、その検出結果に基づいて、映像加工部２１ｆによって送信される映像に回転が施され、引き続き天地方向が正しい映像が受信側の装置の表示部１５に表示される。

また、映像受信中の第２の移動通信端末装置ＭＳ２の天地方向が変化した場合、その変化は、第２の移動通信端末装置ＭＳ２の天地方向検出部１７または天地情報取得部２１ｄによって検出され、その検出結果は、第２の移動通信端末装置ＭＳ２の表示部形状取得部２２ｃ、送信側の装置の送信先表示部形状取得部２１ｅを経て映像加工部２１ｆに送られる。そして、その送られた検出結果に基づいて、映像加工部２１ｆによって送信される映像に回転が施され、引き続き天地方向が正しい映像が第２の移動通信端末装置ＭＳ２の表示部１５に表示される。

（第２の実施形態）
第２の実施形態に係る映像送信装置及び映像受信装置が第１の実施形態に係る映像送信装置及び映像受信装置と異なる点は、第ｉの移動通信端末装置ＭＳｉの復号化部２２にある。そこで、同じ部分については、同じ符号を付して説明を省略する。また、第２の実施形態に係る第ｉの移動通信端末装置ＭＳｉの復号化部２２で、第１の実施形態に係る第ｉの移動通信端末装置ＭＳｉの復号化部２２と同じ部分については、同じ符号を付して説明を省略する。

図１７は、第２の実施形態に係る第ｉの移動通信端末装置ＭＳｉの復号化部２２の詳細な構成を示すブロック図である。この復号化部２２は、送受信部１３と接続される映像復号化部２２ｂと、表示部１５と接続される映像回転部２２ｅと、天地方向検出部１７、天地情報取得部２１ｄ及び送受信部１３と接続される表示部形状取得部２２ｃ３と、送受信部１３及びスピーカ２２ａと接続される音声復号化部２２ｄとからなる。なお、図１７で、太い実線は、映像信号または音声信号の流れを、細い実線は制御信号の流れを示す。

この復号化部２２は、図６に示す第１の実施形態に係る第ｉの移動通信端末装置ＭＳｉの復号化部２２と比較して、映像回転部２２ｅを有し、更に、表示部形状取得部２２ｃに代えて、表示部形状取得部２２ｃ３を有する構成である。

上記のように構成された、本発明の第２の実施形態に係る装置の復号化部２２の動作を図１７を参照して説明する。表示部形状取得部２２ｃ３は、第１の実施形態に係る装置の復号化部２２の表示部形状取得部２２ｃと同じ動作により、第ｉの移動通信端末装置ＭＳｉの天地方向を示す回転角度を受信する。

そして、表示部形状取得部２２ｃ３は、受信された第ｉの移動通信端末装置ＭＳｉの天地方向を示す回転角度と、予め表示部形状取得部２２ｃ３内に記憶された第ｉの移動通信端末装置ＭＳｉの表示の天地方向を示す回転角度とを送受信部１３に送って、復号化部２２が復号している映像を送信している装置に送信させる。更に、受信された第ｉの移動通信端末装置ＭＳｉの天地方向を示す回転角度を表示部形状取得部２２ｃ３内に記憶する。

そして、第ｉの移動通信端末装置ＭＳｉの天地方向を示す回転角度が新たに受信され、その受信された天地方向を示す回転角度と、表示部形状取得部２２ｃ３内に記憶された第ｉの移動通信端末装置ＭＳｉの天地方向を示す回転角度とが異なる場合、表示部形状取得部２２ｃ３は、受信された天地方向を示す回転角度から記憶された天地方向を示す回転角度と減算した差によって動作を分岐する。なお、既に説明した通り、その差は、９０度、１８０度及び２７０度の中のいずれかである。

即ち、その差が９０度及び２７０度のいずれか一方の場合、表示部形状取得部２２ｃ３は、第ｉの移動通信端末装置ＭＳｉの天地方向を示す回転角度として、受信された第ｉの移動通信端末装置ＭＳｉの天地方向を示す回転角度を送受信部１３に送って、送信させる。更に、受信された第ｉの移動通信端末装置ＭＳｉの天地方向を示す回転角度を表示部形状取得部２２ｃ３内に記憶する。

一方、その差が１８０度の場合、表示部形状取得部２２ｃ３は、送受信部１３に送る第ｉの移動通信端末装置ＭＳｉの天地方向を示す回転角度を変更しない。そして、映像回転部２２ｅに指示して、映像信号を１８０度回転させる。そして、受信された第ｉの移動通信端末装置ＭＳｉの天地方向を示す回転角度を表示部形状取得部２２ｃ３内に記憶する。

映像回転部２２ｅは、動作を開始した際、映像復号化部２２ｂによって復号された映像信号を何ら変更せずに表示部１５に送って表示させる。一方、表示部形状取得部２２ｃ３から映像信号を１８０度回転させる指示を受信した以降、上記復号された映像信号を１８０度回転して、表示部１５に送って表示させる。

再び、表示部形状取得部２２ｃ３から映像信号を１８０回転させる指示を受信した以降、映像回転部２２ｅは、上記復号された映像信号を何ら変更せずに表示部１５に送って表示させる。即ち、表示部形状取得部２２ｃ３からの回転させる指示はトグル式であって、奇数回数受信された後は、１８０度回転させ、偶数回（０回を含む。）受信された後は、何ら変更させない。

この第２の実施形態に係る表示部形状取得部２２ｃ３の動作によれば、映像を受信する第２の移動通信端末装置ＭＳ２の天地方向が１８０度変更された場合、直ちに、第２の移動通信端末装置ＭＳ２によって受信され、表示される映像の天地方向を正しくすることができる。

なお、上記差が２７０度の場合、表示部形状取得部２２ｃ３は、その差が１８０度の場合と同様に、第２の移動通信端末装置ＭＳ２の天地方向を示す回転角度として９０度を送受信部１３に送って、送信させ、また、映像回転部２２ｅに指示して、映像信号を１８０度回転させても良い。

ただし、この動作によれば、静止画が映像加工部２１ｆによって上記天地方向を示す回転角度が９０度変更された処理が開始されるタイミングと、映像回転部２２ｅによって１８０度回転の処理が開始されるタイミングとのずれが生じる可能性があり、そのずれの間、過渡的に表示される映像の天地方向が正しくない可能性がある。

即ち、上記送受信部１３を経由して送られた第２の移動通信端末装置ＭＳ２の天地方向を示す回転角度が第１の移動通信端末装置ＭＳ１の映像加工部２１ｆに到着前に、既にその映像加工部２１ｆによって加工が施されていた静止画、例えば、映像符号化部２１ｇによって符号化されていた静止画や、通信網ＮＷを伝送されていた静止画は、映像加工部２１ｆによって上記回転処理が行われていないにも係らず、映像回転部２２ｅによって上記回転処理が行われるからである。

なお、映像符号化部２１ｇによって符号化され、映像復号化部２２ｂによって復号される映像が正方形である場合、表示部形状取得部２２ｃ３が送受信部１３に送って送信させるのは、表示部形状取得部２２ｃ３内に記憶された第ｉの移動通信端末装置ＭＳｉの表示の天地方向を示す回転角度である。

そして、表示部形状取得部２２ｃ３は、第ｉの移動通信端末装置ＭＳｉの天地方向が変更された場合、変更後の天地方向を示す回転角度を送受信部１３に送らず、映像回転部２２ｅに映像の回転をさせる。この場合、映像回転部２２ｅの映像の回転は、９０度、１８０度及び２７０度のいずれかである。

（その他の実施形態）
以上の説明は、映像を送信する装置の表示部形状取得部２２ｃは、自装置の天地方向と、自装置の表示の天地方向の２つの天地方向を示す回転角度を送受信部１３に送って送信させるとしたが、これに限るものではない。これらの回転角度の和を送るとしても良い。これによって映像加工部２１ｆの動作に支障がないことは、式１によれば明らかである。

以上の説明は、第ｉのパソコン装置ＰＣｉは、装置の天地方向が変更されないとした。しかし、これに限るものではない。装置の天地方向が変更される場合、映像を受信する第ｉのパソコン装置ＰＣｉは、映像を受信する第ｉの移動通信端末装置ＭＳｉと同様に、天地方向検出部１７及び／または天地情報取得部２１ｄを有し、第ｉのパソコン装置ＰＣｉと同様に、装置の天地方向を示す回転角度を映像を送信する装置に送信すれば良い。

以上の説明は、表示部１５及びカメラ２１ａは、第ｉの移動通信端末装置ＭＳｉまたは第ｉのパソコン装置ＰＣｉと分離可能、または、回転可能であるとしても、表示部１５とカメラ２１ａとは分離不可能、更に、回転不可能とした。しかし、これに限るものではない。表示部１５の天地方向と、カメラ２１ａの天地方向をそれぞれ得て用いれば良い。即ち、映像加工部２１ｆは、自装置の天地方向として自装置のカメラ２１ａの天地方向を、映像を受信する装置の天地方向として、その装置の表示部１５の天地方向を用いれば良い。

カメラ２１ａの天地方向は、天地情報取得部２１ｄによって得られる。また、天地方向検出部をカメラ２１ａに固定することによって得られる。表示部１５の天地方向は、天地方向検出部を表示部１５に固定することによって得られる。

また、表示部１５の表示画面と、カメラ２１ａとが、例えば、装置の表面と裏面とに設けられている場合、表示部１５の天地方向を示す回転角度と、カメラ２１ａの天地方向を示す回転角度とは逆向きになる。この場合、天地情報取得部２１ｄによって得られた天地方向であれ、天地方向検出部１７によって得られた天地方向であれ、逆向きに変換することによって、表示部１５の天地方向を示す回転角度と、カメラ２１ａの天地方向を示す回転角度とが得られる。

以上の説明は、第ｉの移動通信端末装置ＭＳｉと、第ｉのパソコン装置ＰＣｉとがテレビ電話の通信をする場合を例にとった。しかし、本発明は、テレビ電話の通信以外の映像通信を行う装置、例えば、映像の配信を行う装置に適用することが当然に可能である。

この時、その配信を行う装置の天地方向を示す角度と、その装置の表示の天地方向を示す角度とは、常に０度とすれば良い。また、映像の配信を受ける装置が複数台であっても良い。その場合、映像の配信を行う装置は、映像の配信を受ける装置毎に、映像加工部２１ｆに映像の加工をさせる。即ち、映像の配信を受ける装置の数に依存して、最大で４通りの加工をさせる。

配信される映像は、記憶媒体に記憶された映像であっても良い。その場合、映像符号化部２１ｇによって用いられる符号化方式、例えば、ＱＣＩＦ形式の画素数に比較して、記憶された映像が多くの画素数による映像である場合、本発明の効果が現れる。記憶された映像が符号化されていても同じであり、復号化された際に、多くの画素数による映像である場合、本発明の効果が現れる。

なお、映像符号化部２１ｇによって用いられる符号化方式は、ＱＣＩＦ形式に限るものではない。更に、その符号化方式は、映像符号化部２１ｇと、映像復号化部２２ｂとの間で、それらの性能に基づいて、映像の送受信前に決定されるとしても良い。

以上の説明は、装置の天地方向を示す回転角度及び装置の表示の天地方向を示す回転角度は、０度、９０度、１８０度及び２７０度のいずれかであるとした。その結果、映像加工部２１ｆが行う静止画を回転させる回転角度は、０度、９０度、１８０度及び２７０度のいずれかであるとしたが、これに限るものではない。

装置の天地方向を示す回転角度及び装置の表示の天地方向を示す回転角度は任意の角度であるとしても良い。また、例えば、４５度きざみの角度としても良い。それぞれに対応して、映像加工部２１ｆが行う静止画を回転させる角度は、任意の角度となり、また、４５度きざみの角度となる。また、トリミングを施す処理と、空領域を設ける処理とを組み合わせることによって、入力された映像ＰＩＣのより多くの部分を符号化される映像ＰＩＣ２に含めることができる。

以上の説明では、第ｉの移動通信端末装置ＭＳｉは、受話用のスピーカ１４ａと、テレビ電話用のスピーカ２２ａとの２つのスピーカを備えるとしたが、これに限るものではない。１つのスピーカを備え、受話用とテレビ電話用とに兼用しても良い。また、送話用のマイクロフォン１４ｂとテレビ電話用のマイクロフォン２１ｂとの２つのマイクロフォンを備えるとしたが、これに限るものではない。１つのマイクロフォンを備え、送話用とテレビ電話用とに兼用しても良い。本発明は以上の構成に限定されるものではなく、種々の変形が可能である。

本発明の第１の実施形態に係る映像送信装置及び映像受信装置が含まれる映像送受信システムの構成を示すブロック図。 本発明の第１の実施形態に係る移動通信端末装置の外観と撮影される映像を示す図。 本発明の第１の実施形態に係るパソコン装置の外観と撮影される映像を示す図。 本発明の第１の実施形態に係る移動通信端末装置の構成を示すブロック図。 本発明の第１の実施形態に係る移動通信端末装置の符号化部の構成を示すブロック図。 本発明の第１の実施形態に係る移動通信端末装置の復号化部の構成を示すブロック図。 本発明の第１の実施形態に係るパソコン装置の構成を示すブロック図。 本発明の第１の実施形態に係るパソコン装置の符号化部の構成を示すブロック図。 本発明の第１の実施形態に係るパソコン装置の復号化部の構成を示すブロック図。 本発明の第１の実施形態に係る移動通信端末装置が９０度回転された際の外観と撮影される映像を示す図。 本発明の第１の実施形態に係る移動通信端末装置が１８０度回転された際の外観と撮影される映像を示す図。 本発明の第１の実施形態に係る移動通信端末装置が２７０度回転された際の外観と撮影される映像を示す図。 本発明の第１の実施形態に係る移動通信端末装置の映像加工部の映像加工動作のフローチャート。 本発明の第１の実施形態に係る移動通信端末装置の映像加工部によって映像が０度回転加工される過程を示す図。 本発明の第１の実施形態に係る移動通信端末装置の映像加工部によって映像が９０度回転加工される過程を示す図（第１の例）。 本発明の第１の実施形態に係る移動通信端末装置の映像加工部によって映像が９０度回転加工される過程を示す図（第２の例）。 本発明の第２の実施形態に係る移動通信端末装置の復号化部の構成を示すブロック図。

符号の説明

ＭＳｉ 第ｉの移動通信端末装置
ＰＣｉ 第ｉのパソコン装置
ＮＷ 通信網
１３ 送受信部
１５ 表示部
１６ 入力装置
１７ 天地方向検出部
２１、３１ 符号化部
２１a カメラ
２１ｃ 映像取得部
２１ｄ 天地情報取得部
２１ｅ 送信先表示部形状取得部
２１ｆ 映像加工部
２１ｇ 映像符号化部
２２、３２ 復号化部
２２ｂ 映像復号化部
２２ｃ、２２ｃ２、２２ｃ３ 表示部形状取得部
２２ｅ 映像回転部

Claims (6)

1. 表示画面の前面から見たその表示画面の回転角度を送信し、受信された符号化された映像を復号化してその表示画面に表示する映像受信装置と接続され、
   前記映像受信装置から送信された回転角度を受信する天地情報受信手段と、
   前記天地情報受信手段によって受信された回転角度の逆向き回転を映像に施す映像加工手段と、
   前記映像加工手段によって回転を施された映像を符号化する映像符号化手段と、
   前記映像符号化手段によって符号化された映像を前記映像受信装置に送信する映像送信手段とを具備する
   ことを特徴とする映像送信装置。
2. 表示画面の前面から見たその表示画面の回転角度を送信し、受信された符号化された映像を復号化してその表示画面に表示する映像受信装置と接続され、
   前記映像受信装置から送信された回転角度を受信する天地情報受信手段と、
   被写体を撮影して映像を出力するカメラと、
   その被写体側から見た前記カメラの回転角度を検出する天地方向検出手段と、
   前記天地方向検出手段によって検出されたカメラの回転角度と、前記天地情報受信手段によって受信された回転角度の逆向きの回転角度とを加えた和の角度の回転を前記カメラによって撮影された映像に施す映像加工手段と、
   前記映像加工手段によって回転を施された映像を符号化する映像符号化手段と、
   前記映像符号化手段によって符号化された映像を前記映像受信装置に送信する映像送信手段とを具備する
   ことを特徴とする映像送信装置。
3. 表示画面に表示される映像表示の回転角度と、その表示画面の前面から見たその表示画面の回転角度とを送信し、受信された符号化された映像を復号化してその表示画面に表示する映像受信装置と接続され、
   前記映像受信装置から送信された映像表示の回転角度と表示画面の回転角度とを受信する天地情報受信手段と、
   前記天地情報受信手段によって受信された映像表示の回転角度と表示画面の回転角度との和の回転角度の逆向き回転を映像に施す映像加工手段と、
   前記映像加工手段によって回転を施された映像を符号化する映像符号化手段と、
   前記映像符号化手段によって符号化された映像を前記映像受信装置に送信する映像送信手段とを具備する
   ことを特徴とする映像送信装置。
4. 表示画面に表示される映像表示の回転角度と、その表示画面の前面から見たその表示画面の回転角度との和の角度を送信し、受信された符号化された映像を復号化してその表示画面に表示する映像受信装置と接続され、
   前記映像受信装置から送信された映像表示の回転角度と表示画面の回転角度との和の角度を受信する天地情報受信手段と、
   前記天地情報受信手段によって受信された和の角度の逆向き回転を映像に施す映像加工手段と、
   前記映像加工手段によって回転を施された映像を符号化する映像符号化手段と、
   前記映像符号化手段によって符号化された映像を前記映像受信装置に送信する映像送信手段とを具備する
   ことを特徴とする映像送信装置。
5. 前記映像符号化手段は、縦横それぞれに所定の画素数の映像を符号化し、
   前記映像加工手段は、前記映像に回転を施すことに併せて、トリミングを施して、前記所定の画素数の映像を作成する
   ことを特徴とする請求項１ないし請求項４のいずれか１項に記載の映像送信装置。
6. 受信された回転角度の逆向き回転を施した映像を符号化して送信する映像送信装置と接続され、
   映像が表示される表示画面を有する表示手段と、
   前記表示手段の表示画面の前面から見たその表示画面の回転角度を検出する天地方向検出手段と、
   前記天地方向検出手段によって検出された回転角度を映像送信装置に送信する天地方向送信手段と、
   前記映像送信装置から送信された符号化された映像を受信する映像受信手段と、
   前記映像受信手段によって受信された符号化された映像を復号化して前記表示手段に表示させる復号化手段とを具備する
   ことを特徴とする映像受信装置。

Images