JP2011066577A - Image processing program, display system, image processor, and image processing method - Google Patents
Image processing program, display system, image processor, and image processing method Download PDFInfo
- Publication number
- JP2011066577A JP2011066577A JP2009213999A JP2009213999A JP2011066577A JP 2011066577 A JP2011066577 A JP 2011066577A JP 2009213999 A JP2009213999 A JP 2009213999A JP 2009213999 A JP2009213999 A JP 2009213999A JP 2011066577 A JP2011066577 A JP 2011066577A
- Authority
- JP
- Japan
- Prior art keywords
- area
- image
- mesh
- type
- transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、表示装置に画像情報を送信する画像処理プログラム、表示システム、画像処理装置および画像処理方法に関する。 The present invention relates to an image processing program for transmitting image information to a display device, a display system, an image processing device, and an image processing method.
従来、コンピュータと表示装置（モニタやプロジェクタ）とをネットワークで接続した表示システムが利用されている。この表示システムでは、コンピュータは画像データを表示装置に送信する。表示装置は、コンピュータから受信した画像データをモニタ画面上やスクリーン上に表示する。 Conventionally, a display system in which a computer and a display device (a monitor or a projector) are connected via a network has been used. In this display system, a computer transmits image data to a display device. The display device displays the image data received from the computer on a monitor screen or a screen.
ここで、コンピュータと表示装置とを接続するネットワークとして、無線ＩＰ（Internet Protocol）ネットワークや電話回線網などが考えられる。このような伝送路では、単位時間当たりに送受信可能なデータ伝送量（以下、伝送容量という）には限りがある。このため、伝送容量が圧迫されるとコンピュータ側で生成した画像データが表示装置で再生されるまでに遅延が生じることがある。その場合、例えば、表示装置が表示する画像に遅延やコマ落ちが発生する。 Here, as a network for connecting the computer and the display device, a wireless IP (Internet Protocol) network, a telephone line network, or the like can be considered. In such a transmission path, there is a limit to the amount of data that can be transmitted / received per unit time (hereinafter referred to as transmission capacity). For this reason, when the transmission capacity is compressed, there may be a delay before the image data generated on the computer side is reproduced on the display device. In this case, for example, a delay or a frame drop occurs in the image displayed by the display device.
これに対し、コンピュータ側で生成した画像データを符号化することでデータ量を小さくし（圧縮）、圧縮した画像データを表示装置に送ることが考えられる。このようにすると、伝送容量が小さくても通信により生じ得る遅延を低減することができる。 On the other hand, it is conceivable that the amount of data is reduced (compressed) by encoding image data generated on the computer side, and the compressed image data is sent to the display device. In this way, it is possible to reduce a delay that may occur due to communication even if the transmission capacity is small.
ところが、画像データの圧縮を行うと画質が低下し、表示装置が表示する画像が見づらくなることがあるという問題がある。このため、動画用の画像データ生成に際し、オペレータが入力した領域や人物を表示している領域を取得し、当領域については他の領域よりも圧縮率を下げて画質を相対的に向上することで、当領域を見易くする方法が知られている（例えば、特許文献１，２参照）。また、高画質領域のコマ数を低画質領域よりも多くすることで高画質領域の画質をより向上する方法が知られている（例えば、特許文献３参照）。
However, when image data is compressed, there is a problem that the image quality deteriorates and it is difficult to see the image displayed on the display device. For this reason, when generating image data for moving images, an area input by an operator or an area displaying a person is acquired, and the compression ratio of this area is lower than that of other areas to improve image quality relatively. Thus, a method for making this region easy to see is known (see, for example,
ところで、画像には所定時間の間に大きく変化する領域とほとんど変化のない領域とが含まれ得る。この場合、大きく変化する領域と同等の頻度で、ほとんど変化のない領域の画像データを送信することは、ネットワークの伝送容量の利用の観点からは非効率であるという問題がある。 By the way, an image can include a region that changes greatly during a predetermined time and a region that hardly changes. In this case, there is a problem that it is inefficient from the viewpoint of using the transmission capacity of the network to transmit the image data of the region that hardly changes at the same frequency as the region that changes greatly.
本発明はこのような点に鑑みてなされたものであり、画像情報を効率的に送信する画像処理プログラム、表示システム、画像処理装置および画像処理方法を提供することを目的とする。 SUMMARY An advantage of some aspects of the invention is that it provides an image processing program, a display system, an image processing apparatus, and an image processing method that efficiently transmit image information.
上記課題を解決するために、画像処理プログラムが提供される。この画像処理プログラムを実行するコンピュータは、検出手段および送信手段として機能する。検出手段は、時系列に入力された複数の画像間の変化に応じて、各画像に含まれる第１の種類の領域と第１の種類の領域よりも変化量の大きい第２の種類の領域とを検出する。送信手段は、所定の時間幅における第１の種類の領域の画像情報の送信回数を所定の時間幅における第２の種類の領域の画像情報の送信回数よりも少ない回数として、第１の種類の領域の画像情報と第２の種類の領域の画像情報とを順次送信する。 In order to solve the above problems, an image processing program is provided. A computer that executes the image processing program functions as a detection unit and a transmission unit. The detection means includes a first type region included in each image and a second type region having a larger amount of change than the first type region according to a change between the plurality of images input in time series. And detect. The transmission means sets the number of transmissions of the image information of the first type area in the predetermined time width as a number less than the number of transmissions of the image information of the second type area in the predetermined time width. The image information of the area and the image information of the second type area are sequentially transmitted.
また、上記課題を解決するために、表示システムが提供される。この表示システムは、画像処理装置と表示装置とを有する。画像処理装置は、検出手段と送信手段とを備える。検出手段は、時系列に入力された複数の画像間の変化に応じて、各画像に含まれる第１の種類の領域と第１の種類の領域よりも変化量の大きい第２の種類の領域とを検出する。送信手段は、所定の時間幅における第１の種類の領域の画像情報の送信回数を所定の時間幅における第２の種類の領域の画像情報の送信回数よりも少ない回数として、第１の種類の領域の画像情報と第２の種類の領域の画像情報とを順次送信する。表示装置は、受信手段と表示手段とを備える。受信手段は、送信手段が送信した第１の種類の領域の画像情報と第２の種類の領域の画像情報とを順次受信する。表示手段は、受信手段が第１の種類の領域の画像情報と第２の種類の領域の画像情報とを受信した場合、第１の種類の領域の画像情報と第２の種類の画像情報とを表示し、受信手段が第２の種類の領域の画像情報を受信して第１の種類の領域の画像情報を受信しない場合、以前に受信した第１の種類の領域の画像情報と今回受信した第２の種類の領域の画像情報とを表示する。 Moreover, in order to solve the said subject, a display system is provided. This display system includes an image processing device and a display device. The image processing apparatus includes a detection unit and a transmission unit. The detection means includes a first type region included in each image and a second type region having a larger amount of change than the first type region according to a change between the plurality of images input in time series. And detect. The transmission means sets the number of transmissions of the image information of the first type area in the predetermined time width as a number less than the number of transmissions of the image information of the second type area in the predetermined time width. The image information of the area and the image information of the second type area are sequentially transmitted. The display device includes receiving means and display means. The receiving means sequentially receives the image information of the first type area and the image information of the second type area transmitted by the transmitting means. The display means, when the receiving means receives the image information of the first type area and the image information of the second type area, the image information of the first type area and the image information of the second type And when the receiving means receives the image information of the second type area and does not receive the image information of the first type area, the image information of the first type area previously received and the current reception The image information of the second type area is displayed.
また、上記課題を解決するために上記画像処理プログラムを実行するコンピュータと同様の機能を有する画像処理装置が提供される。また、上記課題を解決するために上記画像処理プログラムを実行するコンピュータと同様の処理を行う画像処理方法が提供される。 In order to solve the above problems, an image processing apparatus having the same function as a computer that executes the image processing program is provided. In order to solve the above problem, an image processing method is provided that performs the same processing as a computer that executes the image processing program.
上記画像処理プログラム、表示システム、画像処理装置および画像処理方法によれば、画像情報を効率的に送信することができる。 According to the image processing program, display system, image processing apparatus, and image processing method, image information can be transmitted efficiently.
以下、実施の形態を図面を参照して詳細に説明する。
［第１の実施の形態］
図１は、第１の実施の形態の表示システムを示す図である。この表示システムは、コンピュータ１および表示装置２を有する。コンピュータ１は、検出手段１ａおよび送信手段１ｂを有する。
Hereinafter, embodiments will be described in detail with reference to the drawings.
[First Embodiment]
FIG. 1 is a diagram illustrating a display system according to a first embodiment. This display system has a
検出手段１ａは、時系列に入力された画像１０，１０ａ，１０ｂ，・・・の間の変化に応じて、各画像に含まれる第１の種類の領域１１と、第１の種類の領域１１よりも変化量の大きい第２の種類の領域１２とを検出する。変化量は、例えば各画素の画素値の変化の度合いにより検出することができる。例えば、画像１０ａの対象画素の画素値と直前の画像である画像１０における対応する画素の画素値との差が所定値以上である場合に、対象画素を第２の種類の領域１２に含めることが考えられる。なお、変化量は、複数の画素の集合により比較して検出してもよい。
The detection means 1a detects the
送信手段１ｂは、所定の時間幅における第１の種類の領域１１の画像情報の送信回数を所定の時間幅における第２の種類の領域１２の画像情報の送信回数よりも少ない回数として、第１の種類の領域１１の画像情報と第２の種類の領域１２の画像情報とを表示装置２に順次送信する。
The transmission means 1b sets the number of transmissions of the image information of the
例えば、送信手段１ｂは、所定の時間幅の間で第２の種類の領域１２に関して画像情報１２ａ，１２ｂ，１２ｃ，１２ｄ，１２ｅと５回の送信を行い、第１の種類の領域１１に関して画像情報１１ａ，１１ｂと２回の送信を行う。
For example, the
表示装置２は、送信手段１ｂから受信した第１の種類の領域１１の画像情報と第２の種類の領域１２の画像情報とを表示する。表示装置２は、例えば、モニタやプロジェクタである。
The
表示装置２は、例えば第１の種類の領域１１の画像情報１１ａと第２の種類の領域の画像情報１２ａとを受信すると、画像情報１１ａ，１２ａを組み合わせた画像を表示する。次に、表示装置２は、画像情報１２ｂを受信すると、表示した画像情報１２ａを画像情報１２ｂで更新する。その後、表示装置２が画像情報１２ｃ，１２ｄと順次受信した場合も同様である。そして、表示装置２は、画像情報１１ｂ，１２ｅを受信すると、表示した画像情報１１ａを画像情報１１ｂで更新し、表示した画像情報１２ｄを画像情報１２ｅで更新する。
For example, when receiving the
コンピュータ１によれば、検出手段１ａにより、時系列に入力された複数の画像１０，１０ａ，１０ｂ，・・・の間の変化に応じて、各画像に含まれる第１の種類の領域１１と、第１の種類の領域１１よりも変化量の大きい第２の種類の領域１２とが検出される。送信手段１ｂにより、所定の時間幅における第１の種類の領域１１の画像情報の送信回数を所定の時間幅における第２の種類の領域１２の画像情報の送信回数よりも少ない回数として、第１の種類の領域１１の画像情報と第２の種類の領域１２の画像情報とが表示装置２に順次送信される。
According to the
これにより、画像情報を効率的に送信することが可能となる。具体的には、第２の種類の領域１２に比べて変化量の小さい第１の種類の領域１１の画像情報は、第２の種類の領域１２の画像情報よりも送信回数が少なくなる。このため、第１の種類の領域１１の画像情報を送信するために、伝送容量が不必要に使用されることを抑止することができる。また、その分の伝送容量を用いて、第１の種類の領域１１の画像や第２の種類の領域１２の画像の画質向上を図ることができる。また、その分の伝送容量を他のデータ通信に利用することもできる。
Thereby, it becomes possible to transmit image information efficiently. Specifically, the number of transmissions of the image information of the
以下の第２〜第５の実施の形態では、第１の実施の形態に係る表示システムの応用例を説明する。
［第２の実施の形態］
図２は、表示システムの全体構成を示す図である。第２の実施の形態に係る表示システムは、コンピュータ１００および表示装置２００を有する。コンピュータ１００と表示装置２００とは、ネットワーク１０を介して接続される。ネットワーク１０は、コンピュータ１００および表示装置２００を無線で接続する無線ＬＡＮ（Local Area Network）である。
In the following second to fifth embodiments, application examples of the display system according to the first embodiment will be described.
[Second Embodiment]
FIG. 2 is a diagram illustrating the overall configuration of the display system. The display system according to the second embodiment includes a
コンピュータ１００は、表示装置２００に表示させる画像データをネットワーク１０を介して表示装置２００に送信する。コンピュータ１００が表示装置２００に送信する画像データのデータ形式には、Ｍｏｔｉｏｎ ＪＰＥＧ（Motion Joint Photographic Experts Groups）などによる非可逆圧縮方式が用いられる。非可逆圧縮方式を用いることで、可逆圧縮方式に比べて、データ量を小さくし易いほか、符号化・復号処理に要する処理時間を短縮することができる。このため、非可逆圧縮方式は、画像データをネットワーク１０を介して送信し、複数の画面上で同時に同一の内容を閲覧したい場合に適している。
The
表示装置２００は、コンピュータ１００から受信する画像データをスクリーン２０に投影する。表示装置２００は、例えば、プロジェクタである。
コンピュータ１００は、表示装置２００に画像データを送信する機能を有している。この機能は、コンピュータ１００が画像処理プログラムを実行することで実現される。そのような画像処理プログラムは、コンピュータ読み取り可能な記録媒体３０に記録して配布することができる。
The
The
また、ネットワーク１０に接続されたサーバ装置（図示せず）に記録媒体３０から画像処理プログラムを格納してもよい。この場合、コンピュータ１００は、ネットワーク１０を介してサーバ装置から画像処理プログラムをダウンロードすることができる。
Further, the image processing program may be stored from the
記録媒体３０としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリを使用できる。磁気記録装置には、ＨＤＤ（Hard Disk Drive）、フレキシブルディスク（ＦＤ）、磁気テープなどがある。光ディスクには、ＣＤ（Compact Disc）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−Ｒ／ＲＷ／ＲＡＭ（Random Access Memory）などがある。光磁気記録媒体には、ＭＯ（Magneto-Optical disk）などがある。
As the
また、表示装置２００もコンピュータ１００が送信した画像データを受信してスクリーン２０に投影する機能を有している。表示装置２００は、そのためのプログラムをネットワーク１０を介してサーバ装置からダウンロードすることができる。
The
なお、コンピュータ１００と表示装置２００とは、ネットワーク１０を介さずに直接接続されてもよい。この場合、コンピュータ１００と表示装置２００とは、ワイヤレスＵＳＢ（Wireless Universal Serial Bus）で接続することが考えられる。
The
図３は、コンピュータのハードウェア構成を示す図である。コンピュータ１００は、ＣＰＵ（Central Processing Unit）１０１、ＲＡＭ（Random Access Memory）１０２、ＨＤＤ１０３、表示処理部１０４、ディスプレイ１０５、入力処理部１０６、キーボード１０７、マウス１０８および通信処理部１０９を有する。
FIG. 3 is a diagram illustrating a hardware configuration of the computer. The
ＣＰＵ１０１は、コンピュータ１００全体を制御する。
ＲＡＭ１０２は、ＣＰＵ１０１に実行させるＯＳ（Operating System）のプログラムやアプリケーションソフトウェア（以下、アプリケーションという）のプログラムの少なくとも一部を一時的に記憶する。また、ＲＡＭ１０２は、ＣＰＵ１０１による処理に必要な各種データを記憶する。
The
The
ＨＤＤ１０３は、ＯＳのプログラム、アプリケーションのプログラムを記憶する。また、ＨＤＤ１０３は、ＣＰＵ１０１による処理に必要な各種データを記憶する。なお、ＨＤＤ１０３の代わりに例えばＳＳＤ（Solid State Drive）などの他の不揮発性の記憶装置を用いることもできる。
The
表示処理部１０４は、ディスプレイ１０５と接続される。表示処理部１０４は、ＣＰＵ１０１からの命令にしたがって画像をディスプレイ１０５の画面に表示させる。
入力処理部１０６は、キーボード１０７とマウス１０８と接続される。入力処理部１０６は、キーボード１０７やマウス１０８から送られてくる信号をＣＰＵ１０１に送信する。
The
The
通信処理部１０９は、ネットワーク１０と接続され、表示装置２００と画像データの送受信を行う。画像データの内容は、例えば、表示処理部１０４がディスプレイ１０５に表示させている画像が考えられる。このようにすると、例えば、ユーザは、コンピュータ１００を操作しながら、その操作画面を表示装置２００を介してスクリーン２０に表示してプレゼンテーションを行うことができる。
The
図４は、表示装置のハードウェア構成を示す図である。表示装置２００は、ＣＰＵ２０１、ＲＡＭ２０２、ＮＶＲＡＭ（Non Volatile RAM）２０３、表示処理部２０４、投影部２０５、入力処理部２０６、操作部２０７および通信処理部２０８を有する。
FIG. 4 is a diagram illustrating a hardware configuration of the display device. The
ＣＰＵ２０１は、表示装置２００全体を制御する。
ＲＡＭ２０２は、ＣＰＵ２０１に実行させるＯＳのプログラムやアプリケーションのプログラムの少なくとも一部を一時的に記憶する。また、ＲＡＭ２０２は、ＣＰＵ２０１による処理に必要な各種データを記憶する。
The
The
ＮＶＲＡＭ２０３は、ＯＳのプログラム、アプリケーションのプログラムを記憶する。また、ＮＶＲＡＭ２０３は、ＣＰＵ２０１による処理に必要な各種データを記憶する。
表示処理部２０４は、投影部２０５と接続される。表示処理部２０４は、ＣＰＵ２０１からの命令にしたがって、投影部２０５にスクリーンへの画像の投影を実行させる。
The
The
入力処理部２０６は、操作部２０７と接続される。入力処理部２０６は、操作部２０７から送られてくる信号をＣＰＵ２０１に送信する。
通信処理部２０８は、ネットワーク１０と接続され、コンピュータ１００とデータの送受信を行う。
The
The
図５は、第２の実施の形態の各装置の機能構成を示す図である。コンピュータ１００は、制御情報記憶部１１０、メッシュ記憶部１２０、メッシュ管理情報記憶部１３０、メッシュ生成部１４０、変化検出部１４５、領域判定部１５０、送信領域特定部１６０、符号化部１７０、送信部１８０、受信部１８５、通信帯域監視部１９０、フレームレート設定受付部１９５を有する。これらの機能はＣＰＵ１０１が画像処理プログラムを実行することで実現される。ただし、これらの機能の一部または全部を専用のハードウェアで実現してもよい。
FIG. 5 is a diagram illustrating a functional configuration of each device according to the second embodiment. The
制御情報記憶部１１０は、画像データの符号化に際して、圧縮率（あるいは画質）を特定するためのデータ出力制御情報を記憶する。データ出力制御情報には、コンピュータ１００と表示装置２００との間の伝送路の伝送容量や表示装置２００が画像を再生する際のフレームレート（単位時間当たりの描画画面数）などの情報が含まれる。
The control
メッシュ記憶部１２０は、画像内を所定数の画素による方形領域に分割したメッシュを記憶するためのバッファである。メッシュ記憶部１２０は、時系列に入力された画像データについて生成されたメッシュを一時的に記憶する。
The
メッシュ管理情報記憶部１３０は、画像内におけるメッシュの位置、動画や静止画の区分などを含むメッシュ管理情報を記憶する。
メッシュ生成部１４０は、画像データを順次受け付ける。メッシュ生成部１４０は、画像データを分割してメッシュを生成し、メッシュ記憶部１２０に格納する。
The mesh management
The
変化検出部１４５は、メッシュ記憶部１２０に記憶された画像内の同一位置のメッシュと該当位置の直前のメッシュとを比較して、該当のメッシュが直前のメッシュからの変化を検出する。ここで、変化検出部１４５は、メッシュの変化を、両メッシュに含まれる画素の画素値（色や輝度を示すパラメータなど）に差があるか否かにより検出することができる。具体的には、変化検出部１４５は、画素値に差がある画素が存在する場合に変化ありと検出し、何れの画素にも画素値に差がない場合に変化なしと検出する。また、例えば、変化検出部１４５は、画素値に所定値以上の差がある画素が存在する場合に変化ありと検出し、何れの画素にも所定値以上の差がない場合に変化なしと検出することも考えられる。
The
領域判定部１５０は、変化検出部１４５が変化ありと検出した領域（複数のメッシュの集合）を動画領域と特定する。また、領域判定部１５０は、変化検出部１４５が変化なしと検出した領域を静止画領域と特定する。領域判定部１５０は、このようにして特定した各メッシュの動画および静止画の区分に基づいてメッシュ管理情報を生成し、メッシュ管理情報記憶部１３０に格納する。
The
送信領域特定部１６０は、メッシュ管理情報記憶部１３０に記憶されたメッシュ管理情報に基づいて、表示装置２００に送信する領域（送信領域）を特定する。送信領域特定部１６０は、動画領域について、その全部を送信領域と特定する。
The transmission
また、送信領域特定部１６０は、静止画領域について、その一部を送信領域と特定する。すなわち、送信領域特定部１６０は、静止画領域を更に分割し、分割した領域を複数のタイミングで送信領域として順次特定する。このようにすることで、静止画領域の単位面積当たりの送信データ量を動画領域の単位面積当たりの送信データ量よりも多く割り当てることができる。すなわち、後段の符号化に伴う圧縮率を制御して、静止画領域の画質を動画領域の画質よりも向上させることができる。
Further, the transmission
更に、送信領域特定部１６０は、静止画領域を送信領域と特定する頻度を、動画領域を送信領域と特定する頻度よりも小さくする。例えば、送信領域特定部１６０は、静止画領域の画質の画像データを送信した後は、その領域が動画領域となるか、あるいは所定時間が経過するまで、送信領域として特定しないようにする。すなわち、画像データの入力レートに対し、静止画領域については間引きを行うことで、静止画領域の送信レート（あるいは送信回数）を動画領域の送信レートよりも少なくすることができる。
Furthermore, the transmission
送信領域特定部１６０は、送信領域として特定した動画領域または静止画領域の情報を符号化部１７０に出力する。
符号化部１７０は、送信領域特定部１６０が特定した送信領域のメッシュを順番に符号化してデータ量を削減する（圧縮）。符号化部１７０は、圧縮率決定部１７１、動画領域符号化部１７２および静止画領域符号化部１７３を有する。
The transmission
The
圧縮率決定部１７１は、動画領域に含まれるメッシュ（動画メッシュ）群または静止画領域に含まれるメッシュ（静止画メッシュ）群の符号化後データ量を決定する。符号化後データ量が大きいほど圧縮率は低く、画像の劣化も小さいため、画像の品質は高くなる。また、符号化後データ量が小さいほど圧縮率は高く、画像の劣化が大きいため、画像の品質は低くなる。
The compression
圧縮率決定部１７１は、動画メッシュの圧縮率よりも静止画メッシュの圧縮率を低く設定し、静止画領域については、動画領域よりも高品位な画像の表示を可能とする。圧縮率決定部１７１による圧縮率の決定処理の詳細は、後述する。
The compression
動画領域符号化部１７２は、圧縮率決定部１７１が決定した動画領域の符号化後データ量に近くなるように送信領域内の動画メッシュを符号化する。例えば、Ｍｏｔｉｏｎ ＪＰＥＧ形式で符号化する場合、動画領域符号化部１７２は、動画メッシュにＤＣＴ（Discrete Cosine Transform）変換、量子化処理およびハフマン符号化処理を順次施して符号化を行う。この場合、動画領域符号化部１７２は、例えば動画領域の符号化後データ量を越えない最大のデータ量となるテーブル類（量子化テーブルやハフマン符号テーブル）を用いて符号化する。あるいは、符号化後データ量に最も近くなるテーブル類を用いて符号化する。
The moving image
動画領域符号化部１７２は、符号化して生成した動画圧縮データを送信部１８０に出力する。
静止画領域符号化部１７３は、圧縮率決定部１７１が決定した静止画領域の符号化後データ量に近くなるように送信領域内の静止画メッシュを符号化する。なお、静止画領域に関しても、動画領域符号化部１７２と同様にしてＭｏｔｉｏｎ ＪＰＥＧ形式の符号化処理を施すことが考えられる。
The moving image
The still image
静止画領域符号化部１７３は、符号化して生成した静止画圧縮データを送信部１８０に出力する。
なお、符号化部１７０は、表示装置２００で画像を再生する際の情報を、各圧縮データに含める。符号化部１７０は、例えばＭｏｔｉｏｎ ＪＰＥＧ形式で符号化を行う場合、量子化に用いた量子化テーブル、ハフマン符号化に用いたハフマン符号テーブルおよび各メッシュの位置（画面上の座標など）を示す情報を各圧縮データに含める。
The still image
Note that the
送信部１８０は、符号化部１７０から取得した動画圧縮データまたは静止画圧縮データを含む圧縮データを表示装置２００に送信する。
受信部１８５は、表示装置２００から表示装置２００が画像再生を行うフレームレートの設定情報を受信する。受信部１８５は、制御情報記憶部１１０に記憶されたデータ出力制御情報に、フレームレートの設定情報の内容を反映する。
The
The receiving
通信帯域監視部１９０は、送信部１８０および受信部１８５からコンピュータ１００と表示装置２００との間の伝送路の伝送容量を取得する。通信帯域監視部１９０は、制御情報記憶部１１０に記憶されたデータ出力制御情報に、現通信環境における伝送容量の情報を反映する。
The communication
フレームレート設定受付部１９５は、表示装置２００が画像を再生する際のフレームレートの設定変更を受け付ける。フレームレートの設定変更は、例えば、ユーザがディスプレイ１０５に表示された設定変更用のインタフェースにしたがって、キーボード１０７やマウス１０８を操作することで入力される。フレームレート設定受付部１９５は、受け付けたフレームレートの設定変更を表示装置２００に通知すると共に、その変更内容を制御情報記憶部１１０に記憶されたデータ出力制御情報に反映する。
The frame rate
表示装置２００は、受信部２１０、復号部２２０、出力処理部２３０、フレームレート通知部２４０および送信部２５０を有する。
受信部２１０は、送信部１８０が送信した圧縮データを受信する。受信部２１０は、受信した圧縮データを復号部２２０に出力する。
The
The receiving
復号部２２０は、受信部２１０から取得した圧縮データに含まれる動画圧縮データまたは静止画圧縮データを復号する。受信部２１０は、動画領域復号部２２１および静止画領域復号部２２２を有する。
The
動画領域復号部２２１は、動画圧縮データを復号する。例えば、動画圧縮データがＭｏｔｉｏｎ ＪＰＥＧ形式である場合、動画領域復号部２２１は、動画圧縮データに対して、ハフマン復号処理、逆量子化処理および逆ＤＣＴ変換を順次施して動画領域の復号画像データを得る。このとき、動画領域復号部２２１は、符号化時に使用したハフマン符号テーブルや量子化テーブルを動画圧縮データから取得して、復号に利用することができる。動画領域復号部２２１は、動画領域の復号画像データを出力処理部２３０に出力する。
The moving image
静止画領域復号部２２２は、静止画圧縮データを復号する。例えば、静止画圧縮データがＭｏｔｉｏｎ ＪＰＥＧ形式である場合、動画領域復号部２２１と同様の処理により静止画領域の復号画像データを得る。ただし、動画領域復号部２２１と静止画領域復号部２２２とでは画質が異なるため、復号処理に用いる量子化テーブルやハフマン符号テーブルは異なるものとなる。静止画領域復号部２２２は、静止画領域の復号画像データを出力処理部２３０に出力する。
The still image
出力処理部２３０は、復号部２２０から取得した動画領域の復号画像データと静止画領域の復号画像データとを合成して得られる復号画像を投影部２０５に出力し、スクリーン２０に投影させる。出力処理部２３０は、例えば、動画圧縮データや静止画圧縮データに含まれる各メッシュの位置を示す情報により、動画圧縮領域の復号画像データと静止画領域の復号画像データとを適正に合成して復号画像を得ることができる。
The
フレームレート通知部２４０は、出力処理部２３０が復号画像を出力（再生）する際のフレームレートを取得する。フレームレート通知部２４０は、フレームレートが変更した場合、新しいフレームレートの情報を送信部２５０に出力する。フレームレートの変更は、例えば、ユーザが操作部２０７で所定の操作を行うことで出力処理部２３０に受け付けられる。また、コンピュータ１００からフレームレートの設定変更指示を受信することでも受け付けられる。
The frame
送信部２５０は、フレームレート通知部２４０から取得したフレームレートの情報をコンピュータ１００に送信する。
図６は、メッシュ構成の具体例を示す図である。画像データ３００は、静止画領域３１０および動画領域３２０を有する。静止画領域３１０および動画領域３２０は、各領域内を方形領域に分割した複数のメッシュ３３０により構成される。メッシュ３３０は、複数の画素３３１を含み、例えば、１６×１６画素や８×８画素の集合である。
The
FIG. 6 is a diagram illustrating a specific example of a mesh configuration. The
画像データ３００は、左上頂点を原点として、横軸にｘ座標、縦軸にｙ座標が定義される。各メッシュの位置は、（ｘ，ｙ）座標によって特定することができる。
変化検出部１４５は、画像データ３００に含まれる各メッシュについて、直前のメッシュとの変化の有無を検出する。領域判定部１５０は、変化検出部１４５により変化なしとされた領域を静止画領域３１０とする。領域判定部１５０は、変化検出部１４５により変化ありとされた領域を動画領域３２０とする。
The
The
図７は、データ出力制御テーブルのデータ構造例を示す図である。データ出力制御テーブル１１１，１１２，１１３は、伝送路の伝送容量の候補値に応じて制御情報記憶部１１０に予め格納される。データ出力制御テーブル１１１は、伝送容量の上限が２０Ｍｂｐｓ（Megabits Per Second）の通信環境における制御情報である。その他にも、例えば、ワイヤレスＵＳＢによる接続を想定して、伝送容量の上限が６０Ｍｂｐｓの通信環境における制御情報を用意しておくことも考えられる。なお、以下の説明では、データ出力制御テーブル１１１に関して説明するが、データ出力制御テーブル１１２，１１３，・・・に関しても同様の構成となる。
FIG. 7 is a diagram illustrating an example of the data structure of the data output control table. The data output control tables 111, 112, and 113 are stored in advance in the control
データ出力制御テーブル１１１には、フレームレートを示す項目、送信可能データ量を示す項目および現設定フラグを示す項目が設定される。各項目の横方向に並べられた情報同士が互いに関連付けられて、１つの伝送環境に関する情報を示す。 In the data output control table 111, an item indicating the frame rate, an item indicating the transmittable data amount, and an item indicating the current setting flag are set. Information arranged in the horizontal direction of each item is associated with each other to indicate information related to one transmission environment.
フレームレートを示す項目には、表示装置２００が画像を再生する際のフレームレートを示す値がｆｐｓ（Frame Per Second）単位で設定される。
送信可能データ量を示す項目には、送信が許容される画像データのデータ量がＫＢ／ｆ（Kilo Byte / Frame）単位で設定される。
In the item indicating the frame rate, a value indicating the frame rate when the
In the item indicating the amount of transmittable data, the amount of image data that is allowed to be transmitted is set in units of KB / f (Kilo Byte / Frame).
現設定フラグを示す項目には、現在使用中の伝送路の伝送容量およびフレームレートが何れであるかを示すフラグが設定される。現設定フラグを示す項目には、該当の設定である場合には“１”が設定され、該当の設定でない場合には“０”が設定される。 In the item indicating the current setting flag, a flag indicating which of the transmission capacity and the frame rate of the currently used transmission line is set. In the item indicating the current setting flag, “1” is set when the setting is appropriate, and “0” is set when the setting is not appropriate.
データ出力制御テーブル１１１には、例えば、フレームレートが“３０”（ｆｐｓ）、送信可能データ量が“２８”（ＫＢ／ｆ）、現設定フラグが“１”という情報が設定される。これは、無線ＬＡＮによる現伝送路の伝送容量が２０Ｍｂｐｓであり、表示装置２００が画像を再生する際のフレームレートが“３０”（ｆｐｓ）の設定となっていることを示している。また、伝送容量のうち、画像データの送信に利用可能なデータ量が“２８”（ＫＢ／ｆ）であることを示している。
In the data output control table 111, for example, information that the frame rate is “30” (fps), the transmittable data amount is “28” (KB / f), and the current setting flag is “1” is set. This indicates that the transmission capacity of the current transmission path by the wireless LAN is 20 Mbps, and the frame rate when the
現設定フラグは、表示装置２００のフレームレートの設定変更に応じて、受信部１８５およびフレームレート設定受付部１９５により更新される。また、伝送路の環境変更などによる伝送容量の変更に応じて通信帯域監視部１９０により更新される。
The current setting flag is updated by the receiving
圧縮率決定部１７１は、データ出力制御テーブル１１１を参照して、送信可能データ量を取得して圧縮率の算出に用いる。ただし、圧縮率決定部１７１は、通信環境に応じて送信可能データ量に相当する値を算出してもよい。
The compression
図８は、第２の実施の形態のメッシュ管理テーブルのデータ構造例を示す図である。メッシュ管理テーブル１３１は、メッシュ管理情報記憶部１３０に格納される。メッシュ管理テーブル１３１には、メッシュ座標を示す項目、動画領域フラグを示す項目および高品位画像送信済フラグを示す項目が設けられる。各項目の横方向に並べられた情報同士が互いに関連付けられて、１つのメッシュに関する情報を示す。
FIG. 8 is a diagram illustrating a data structure example of the mesh management table according to the second embodiment. The mesh management table 131 is stored in the mesh management
メッシュ座標を示す項目には、各メッシュの座標が設定される。
動画領域フラグを示す項目には、該当のメッシュが動画メッシュであるか否かを示すフラグが設定される。動画領域フラグを示す項目には、該当のメッシュが動画メッシュである場合は“１”が設定され、動画メッシュでない、すなわち、静止画メッシュである場合は“０”が設定される。
In the item indicating mesh coordinates, the coordinates of each mesh are set.
In the item indicating the moving image area flag, a flag indicating whether or not the corresponding mesh is a moving image mesh is set. In the item indicating the moving image area flag, “1” is set when the corresponding mesh is a moving image mesh, and “0” is set when the mesh is not a moving image mesh, that is, a still image mesh.
高品位画像送信済フラグを示す項目には、静止画メッシュについて、動画メッシュよりも圧縮率の小さな（画質の高品位な）画像を送信済みであるか否かを示すフラグが設定される。高品位画像送信済フラグを示す項目には、該当のメッシュについて高品位画像を送信済みである場合は“１”が設定され、未送信である場合は“０”が設定される。なお、高品位画像送信済フラグを示す項目には、該当のメッシュが動画メッシュである場合には、高品位画像の送信対象でないことを示す“−”が設定される。 In the item indicating the high quality image transmission flag, a flag indicating whether or not an image having a smaller compression rate (high quality image quality) than the moving image mesh has been transmitted for the still image mesh is set. In the item indicating the high-quality image transmission flag, “1” is set when the high-quality image has been transmitted for the corresponding mesh, and “0” is set when the high-quality image has not been transmitted. In the item indicating the high-quality image transmission flag, “-” indicating that the high-quality image is not a transmission target is set when the corresponding mesh is a moving image mesh.
メッシュ管理テーブル１３１には、例えば、メッシュ座標が（ｘ，ｙ）＝“（１，１）”、動画領域フラグが“０”、高品位画像送信済フラグが“１”という情報が設定される。これは、メッシュ座標（ｘ，ｙ）＝“（１，１）”で指定されるメッシュが静止画メッシュであり、高品位画像を送信済みであることを示している。 In the mesh management table 131, for example, information that the mesh coordinates are (x, y) = “(1, 1)”, the moving image area flag is “0”, and the high-quality image transmitted flag is “1” is set. . This indicates that the mesh specified by the mesh coordinates (x, y) = “(1, 1)” is a still image mesh, and a high-quality image has already been transmitted.
また、メッシュ管理テーブル１３１には、例えば、メッシュ座標が（ｘ，ｙ）＝“（７１，４５）”であり、動画領域フラグが“１”、高品位画像送信済フラグが“−”という情報が設定される。これは、メッシュ座標（ｘ，ｙ）＝“（７１，４５）”で指定されるメッシュが動画メッシュであり、高品位画像の送信対象外であることを示している。 In the mesh management table 131, for example, information that the mesh coordinates are (x, y) = “(71, 45)”, the moving image area flag is “1”, and the high-quality image transmitted flag is “−”. Is set. This indicates that the mesh specified by the mesh coordinates (x, y) = “(71, 45)” is a moving image mesh and is not a transmission target of a high-quality image.
次に、以上の構成により実現されるコンピュータ１００および表示装置２００の処理手順に関して説明する。
まず、コンピュータ１００による画像データの送信処理に関して説明する。
Next, processing procedures of the
First, image data transmission processing by the
図９は、第２の実施の形態の画像データの送信処理を示すフローチャートである。以下、図９に示す処理をフローチャートのステップ番号に沿って説明する。
［ステップＳ１］メッシュ生成部１４０は、１フレーム分の画像データを受け付ける。
FIG. 9 is a flowchart illustrating image data transmission processing according to the second embodiment. In the following, the process shown in FIG. 9 will be described along the step numbers in the flowchart.
[Step S1] The
［ステップＳ２］メッシュ生成部１４０は、受け付けた画像データに含まれる各画素を方形領域に分割してメッシュを生成し、メッシュ記憶部１２０に格納する。
［ステップＳ３］変化検出部１４５は、メッシュ記憶部１２０に記憶された各メッシュについて、直前に入力された画像データに含まれる同一座標の各メッシュと比較して、画素の画素値に変化があるかを検出する。領域判定部１５０は、変化検出部１４５の検出結果に応じて画像データを静止画領域および動画領域に区分する。
[Step S <b> 2] The
[Step S3] The
［ステップＳ４］送信領域特定部１６０は、領域判定部１５０により動画領域と区分されたメッシュ全てを送信領域と特定する。送信領域特定部１６０は、領域判定部１５０により静止画領域と区分されたメッシュを送信する場合、静止画領域を更に分割したうちの一部のメッシュを送信領域として特定する。
[Step S <b> 4] The transmission
［ステップＳ５］符号化部１７０は、送信領域特定部１６０が特定した送信領域のメッシュを符号化する。符号化部１７０は、送信領域のうち動画メッシュおよび静止画メッシュをそれぞれの圧縮率で符号化し、動画圧縮データおよび静止画圧縮データを生成する。このとき、符号化部１７０は、動画領域よりも低い圧縮率で静止画メッシュの符号化を行う。
[Step S5] The
［ステップＳ６］送信部１８０は、符号化部１７０が生成した動画圧縮データおよび静止画圧縮データを表示装置２００に送信する。
［ステップＳ７］メッシュ生成部１４０は、次フレームの画像データを受け付けたか否かを判定する。受け付けた場合、処理をステップＳ２に進める。受け付けていない場合、処理を完了する。
[Step S <b> 6] The
[Step S7] The
このようにして、メッシュ生成部１４０は、順次受け付ける画像データからメッシュを生成する。変化検出部１４５は、各メッシュの画素値の変化を検出する。領域判定部１５０は、変化検出部１４５による変化の検出結果に応じて画像データに含まれる各メッシュを静止画領域および動画領域に分割する。送信領域特定部１６０は、静止画領域および動画領域から送信領域とするメッシュを特定する。符号化部１７０は、送信領域とされたメッシュのうち、動画領域は動画領域の圧縮率で、静止画領域は静止画領域の圧縮率で符号化する。送信部１８０は、符号化部１７０が生成した動画圧縮データおよび静止画圧縮データを表示装置２００に送信する。
In this way, the
次に、上記ステップＳ３〜Ｓ５の処理を更に詳細に説明する。
図１０は、第２の実施の形態の領域判定処理を示すフローチャートである。以下、図１０に示す処理をフローチャートのステップ番号に沿って説明する。なお、図１０に示す処理は、図９のステップＳ３を詳細に示したものである。
Next, the processing of steps S3 to S5 will be described in more detail.
FIG. 10 is a flowchart illustrating region determination processing according to the second embodiment. In the following, the process illustrated in FIG. 10 will be described along the step numbers in the flowchart. Note that the process shown in FIG. 10 shows step S3 in FIG. 9 in detail.
［ステップＳ１１］変化検出部１４５は、メッシュ記憶部１２０に記憶され、最新に入力された画像データに含まれていたメッシュのうちから１つのメッシュを抽出する。メッシュの抽出は、例えば、メッシュ座標の原点を開始点として、ｘ座標の正方向へ走査するようにメッシュを順次抽出することが考えられる。そして、例えば、ｘ座標が最大値に達したら、ｙ座標に１を加えたのち、ｘ座標の最小値から正方向へと抽出していく。
[Step S11] The
［ステップＳ１２］変化検出部１４５は、最新に入力された画像データの直前に入力された画像データに含まれていたメッシュ（以下、直前メッシュという）のうち、ステップＳ１１で抽出したメッシュと同一座標の直前メッシュを抽出する。変化検出部１４５は、ステップＳ１１で抽出したメッシュに含まれる各画素の画素値と直前メッシュに含まれる対応する各画素の画素値とを比較することで、該当のメッシュの変化の有無を検出する。画素値に差のある画素が存在する場合、処理をステップＳ１３に進める。画素値に差のある画素が存在しない場合、処理をステップＳ１４に進める。
[Step S12] The
［ステップＳ１３］領域判定部１５０は、該当のメッシュを動画領域とする。領域判定部１５０は、メッシュ管理情報記憶部１３０に記憶されたメッシュ管理テーブル１３１の該当メッシュ座標に対応するメッシュの動画領域フラグに“１”を設定する。
[Step S13] The
［ステップＳ１４］領域判定部１５０は、該当のメッシュを静止画領域とする。領域判定部１５０は、メッシュ管理情報記憶部１３０に記憶されたメッシュ管理テーブル１３１の該当メッシュ座標に対応するメッシュの動画領域フラグに“０”を設定する。また、動画領域フラグ“１”から“０”へ新たに変更したメッシュに関して、領域判定部１５０は、高品位画像送信済フラグに“０”を設定する。領域判定部１５０は、動画領域フラグを“０”設定のまま維持するメッシュに関しては、高品位画像送信済フラグの設定を変更しない。
[Step S14] The
［ステップＳ１５］変化検出部１４５は、入力された画像データに含まれるメッシュに変化検出を行っていないメッシュが存在するか否かを判定する。変化検出を行っていないメッシュが存在する場合、処理をステップＳ１１に進める。変化検出を行っていないメッシュが存在しない場合、処理を完了させる。
[Step S15] The
このようにして、変化検出部１４５は各メッシュについて同一座標の直前メッシュからの変化を検出する。領域判定部１５０、変化検出部１４５により変化ありと検出されたメッシュの集合を動画領域と特定する。また、領域判定部１５０は、変化検出部１４５により変化なしと検出されたメッシュの集合を静止画領域と特定する。
In this way, the
なお、上記ステップＳ１２において、変化検出部１４５は、変化検出を行うために直前のフレームの画像データを参照する。したがって、最初に受け付けた第１番目のフレームの画像データに関しては、比較対象が存在しないことになる。このため、変化検出部１４５は、第１番目のフレームに関しては、全メッシュに変化ありとする。そして、領域判定部１５０は、第１番目のフレームに関しては全メッシュを動画領域として以降の処理を実行する。
In step S12, the
図１１は、第２の実施の形態の送信領域特定処理を示すフローチャートである。以下、図１１に示す処理をフローチャートのステップ番号に沿って説明する。なお、図１１に示す処理は、図９のステップＳ４を詳細に示したものである。 FIG. 11 is a flowchart illustrating a transmission area specifying process according to the second embodiment. In the following, the process illustrated in FIG. 11 will be described along the step numbers in the flowchart. In addition, the process shown in FIG. 11 shows step S4 of FIG. 9 in detail.
［ステップＳ２１］送信領域特定部１６０は、メッシュ管理情報記憶部１３０に記憶されたメッシュ管理テーブル１３１の動画領域フラグを参照して、今回送信対象の画像データに静止画領域が含まれているか否かを判定する。静止画領域が含まれている場合、処理をステップＳ２２に進める。静止画領域が含まれていない場合、処理をステップＳ２５に進める。
[Step S21] The transmission
［ステップＳ２２］送信領域特定部１６０は、メッシュ管理テーブル１３１の高品位画像送信済フラグを参照して、静止画メッシュのうち、高品位画像を未送信のメッシュが存在するか否かを判定する。高品位画像を未送信のメッシュが存在する場合、処理をステップＳ２３に進める。高品位画像を未送信のメッシュが存在しない場合、処理をステップＳ２５に進める。
[Step S22] The transmission
［ステップＳ２３］送信領域特定部１６０は、静止画領域の分割数を特定する。ここで、静止画領域の分割数とは、静止画領域の送信回数により決まる。例えば、静止画領域を３つの領域に分割して、異なるタイミングに分けて送信する場合、分割数は３である。分割数が小さいほど、静止画領域の画質は低下する。なお、画質の下限は、分割数が１の時であり、このとき動画領域と同一の画質となる。また、分割数が大きいほど、静止画領域の画質は向上する。分割数は、利用環境に応じて、例えばメッシュ情報記憶部１３０に予め記憶される。送信領域特定部１６０は、特定した分割数に基づいて、送信する静止画領域の送信メッシュ数を算出する。
[Step S23] The transmission
［ステップＳ２４］送信領域特定部１６０は、メッシュ管理テーブル１３１を参照して、高品位画像を未送信のメッシュのうち、算出した送信メッシュ数分のメッシュを抽出し、抽出した静止画メッシュ群を送信対象の領域とする。送信領域特定部１６０は、メッシュ管理テーブル１３１の高品位画像送信済フラグを更新する。すなわち、今回送信対象として抽出した静止画メッシュに設定された高品位画像送信済フラグ“０”を“１”に変更する。送信領域特定部１６０は、抽出した静止画メッシュ群を符号化部１７０に出力する。
[Step S24] The transmission
［ステップＳ２５］送信領域特定部１６０は、メッシュ管理テーブル１３１の動画領域フラグを参照して、今回送信対象の画像データに動画領域が含まれているか否かを判定する。動画領域が含まれている場合、処理をステップＳ２６に進める。動画領域が含まれていない場合、処理を完了する。
[Step S25] The transmission
［ステップＳ２６］送信領域特定部１６０は、メッシュ管理テーブル１３１を参照して、動画メッシュを抽出し、抽出した動画メッシュ群を送信対象の領域とする。送信領域特定部１６０は、抽出した動画メッシュ群を符号化部１７０に出力する。
[Step S26] The transmission
このようにして、送信領域特定部１６０は、静止画領域の一部を送信対象の領域として特定する。送信領域特定部１６０は、送信対象の領域として選択するメッシュの数を、静止画領域の分割数に応じて算出する。また、送信領域特定部１６０は、動画領域の全部を送信対象の領域として特定する。
In this way, the transmission
なお、上記ステップＳ２１〜Ｓ２４に示した静止画領域に対する処理および上記ステップＳ２５，Ｓ２６に示した動画領域に対する処理は、順序を逆にしてもよい。例えば、送信領域特定部１６０は、動画領域に対する処理（ステップＳ２５，Ｓ２６）を先に実行した後、静止画領域に対する処理（ステップＳ２１〜Ｓ２４）を行うことも考えられる。
The processing for the still image area shown in steps S21 to S24 and the processing for the moving picture area shown in steps S25 and S26 may be reversed. For example, the transmission
図１２は、第２の実施の形態の符号化処理を示すフローチャートである。以下、図１２に示す処理をフローチャートのステップ番号に沿って説明する。なお、図１２に示す処理は、図９のステップＳ５を詳細に示したものである。 FIG. 12 is a flowchart illustrating the encoding process according to the second embodiment. In the following, the process illustrated in FIG. 12 will be described along the step numbers in the flowchart. The process shown in FIG. 12 shows step S5 in FIG. 9 in detail.
［ステップＳ３１］符号化部１７０は、送信領域特定部１６０が特定した送信対象のメッシュ群（動画メッシュ群および静止画メッシュ群）を取得する。
［ステップＳ３２］圧縮率決定部１７１は、制御情報記憶部１１０に記憶されたデータ出力制御テーブル１１１，１１２，１１３，・・・の現設定フラグを参照して、現在の送信可能データ量Ｄを取得する。例えば、本表示システムの環境では、全帯域２０Ｍｂｐｓ、フレームレート３０ｆｐｓの設定となっている。そのため、圧縮率決定部１７１は、Ｄ＝２８（ＫＢ／ｆ）を取得する。
[Step S31] The
[Step S32] The compression
［ステップＳ３３］圧縮率決定部１７１は、メッシュ管理情報記憶部１３０に記憶されたメッシュ管理テーブル１３１を参照して、静止画領域のメッシュ数Ｘを取得する。
［ステップＳ３４］圧縮率決定部１７１は、メッシュ管理テーブル１３１を参照して、動画領域のメッシュ数Ｙを取得する。
[Step S33] The compression
[Step S34] The compression
［ステップＳ３５］圧縮率決定部１７１は、動画メッシュ率Ｚ＝Ｙ／（Ｘ＋Ｙ）を算出する。
［ステップＳ３６］圧縮率決定部１７１は、上記ステップＳ３１で取得したメッシュ群に静止画メッシュ群と動画メッシュ群とが混在しているか否かを判定する。混在している場合、処理をステップＳ３７に進める。混在していない場合、処理をステップＳ３９に進める。
[Step S35] The compression
[Step S36] The compression
［ステップＳ３７］圧縮率決定部１７１は、動画メッシュ群に対して割り当て可能なデータ量Ｄ１＝Ｄ×Ｚを算出する。
［ステップＳ３８］圧縮率決定部１７１は、静止画メッシュ群に対して割り当て可能なデータ量Ｄ２＝Ｄ−Ｄ１を算出する。そして、処理をステップＳ４２に進める。
[Step S37] The compression
[Step S38] The compression
［ステップＳ３９］圧縮率決定部１７１は、上記ステップＳ３１で取得したメッシュ群は動画メッシュ群のみであるか否かを判定する。動画メッシュ群のみの場合、処理をステップＳ４０に進める。動画メッシュ群のみでない、すなわち、静止画メッシュ群のみである場合、処理をステップＳ４１に進める。
[Step S39] The compression
［ステップＳ４０］圧縮率決定部１７１は、動画領域に対して割り当て可能なデータ量Ｄ１＝Ｄを取得する。そして、処理をステップＳ４２に進める。
［ステップＳ４１］圧縮率決定部１７１は、静止画領域に対して割り当て可能なデータ量Ｄ２＝Ｄを取得する。そして、処理をステップＳ４２に進める。
[Step S40] The compression
[Step S41] The compression
［ステップＳ４２］動画領域符号化部１７２は、圧縮率決定部１７１が求めた動画用送信可能データ量Ｄ１に近付くように、上記ステップＳ３１で取得した動画メッシュ群を符号化し、動画圧縮データを得る。また、静止画領域符号化部１７３は、圧縮率決定部１７１が求めた静止画用送信可能データ量Ｄ２に近付くように、上記ステップＳ３１で取得した静止画メッシュ群を符号化し、静止画圧縮データを得る。なお、符号化部１７０は、動画圧縮データや静止画圧縮データに、符号化に用いたテーブル類（Ｍｏｔｉｏｎ ＪＰＥＧであれば、量子化テーブルやハフマン符号化テーブル）および各メッシュの位置（画面上の座標など）を示す情報を含める。
[Step S42] The moving image
［ステップＳ４３］符号化部１７０は、生成した動画圧縮データと静止画圧縮データとを送信部１８０に出力する。
このようにして、圧縮率決定部１７１は、画像データの静止画メッシュ数と動画メッシュ数との比によって、静止画領域と動画領域とに割り当てる送信データ量を算出する。ここで、画像データの静止画メッシュ数と動画メッシュ数との比は、静止画領域と動画領域との面積の比に相当するものである。そして、動画領域符号化部１７２および静止画領域符号化部１７３は、圧縮率決定部１７１が割り当てた各データ量に近くなるように動画メッシュ群および静止画メッシュ群の符号化を行う。
[Step S43] The
In this way, the compression
具体的には、圧縮率決定部１７１は、例えば静止画メッシュ数Ｘ＝３００を取得する。また、例えば動画メッシュ数Ｙ＝１００を取得する。このとき、動画メッシュ率Ｚ＝１００／（３００＋１００）＝０．２５となる。したがって、送信可能データＤ＝２８ＫＢ／ｆに対して、動画用送信可能データ量Ｄ１＝２８×０．２５＝７ＫＢ／ｆとなる。また、静止画用送信可能データ量Ｄ２＝Ｄ−Ｄ１＝２１ＫＢ／ｆとなる。
Specifically, the compression
このため、動画領域符号化部１７２は、動画メッシュ群の符号化後データ量が７ＫＢに近付くように符号化を行う。また、静止画領域符号化部１７３は、静止画メッシュ群の符号化後データ量が２１ＫＢに近付くように符号化を行う。例えば、Ｍｏｔｉｏｎ ＪＰＥＧ形式であれば、動画領域符号化部１７２は、動画メッシュ群の符号化後データ量が７ＫＢを越えない最大のデータ量となるテーブル類（量子化テーブルやハフマン符号テーブル）を用いて符号化する。あるいは、動画領域符号化部１７２は、動画メッシュ群の符号化後データ量が、７ＫＢに最も近くなるテーブル類を用いて符号化する。静止画領域符号化部１７３も同様にして、静止画メッシュ群の符号化を行う。
For this reason, the moving image
なお、圧縮率決定部１７１は、動画メッシュ率Ｚに注目させたい領域に応じた所定の係数を乗算（あるいは加減）して、動画用送信可能データ量Ｄ１と静止画用送信可能データ量Ｄ２との比を変更することも考えられる。例えば、上記具体例において、動画領域の画質を向上させたい場合、動画メッシュ率Ｚに係数２を乗算してＺ＝０．５とし、動画用送信可能データ量Ｄ１＝１４ＫＢ／ｆ、静止画用送信可能データ量Ｄ２＝１４ＫＢ／ｆとすることも考えられる。また、静止画領域の画質を向上させたい場合、動画メッシュ率Ｚに係数０．５を乗算して、Ｚ＝０．２５とし、Ｄ１＝３．５ＫＢ／ｆ、Ｄ２＝２４．５ＫＢ／ｆとすることも考えられる。また、通信帯域の空き状況に応じて、動的に動画メッシュ率Ｚに乗ずる係数を変更することも考えられる。
Note that the compression
次に、表示装置２００における動画圧縮データおよび静止画圧縮データの受信処理を説明する。
図１３は、第２の実施の形態の画像データの受信処理を示すフローチャートである。以下、図１３に示す処理をフローチャートのステップ番号に沿って説明する。
Next, the reception processing of moving image compressed data and still image compressed data in the
FIG. 13 is a flowchart illustrating image data reception processing according to the second embodiment. In the following, the process illustrated in FIG. 13 will be described along the step numbers in the flowchart.
［ステップＳ５１］受信部２１０は、コンピュータ１００から圧縮データを受信する。受信部２１０は受信した圧縮データを復号部２２０に出力する。
［ステップＳ５２］復号部２２０は、受信部２１０から取得した圧縮データに含まれる動画圧縮データまたは静止画圧縮データを復号する。動画領域復号部２２１は、動画圧縮データに含まれる量子化テーブルや符号テーブルにより、動画圧縮データを復号し、動画領域の復号画像データを得る。静止画領域復号部２２２は、静止画圧縮データに含まれる量子化テーブルや符号テーブルにより、静止画圧縮データを復号し、静止画領域の復号画像データを得る。復号部２２０は、動画領域または静止画領域の復号画像データを出力処理部２３０に出力する。
[Step S51] The receiving
[Step S <b> 52] The
［ステップＳ５３］出力処理部２３０は、復号部２２０から取得した動画領域または静止画領域の復号画像データに含まれるメッシュを合成する。出力処理部２３０は、動画圧縮データや静止画圧縮データに含まれる各メッシュの位置を示す情報に基づいて、動画圧縮領域の復号画像データと静止画領域の復号画像データとを適正に合成することができる。なお、出力処理部２３０は、今回更新されなかった静止画メッシュに関しては、前回までに取得している静止画メッシュの画像を引き続き用いて合成を行う。
[Step S53] The
［ステップＳ５４］出力処理部２３０は、上記ステップＳ５３の合成により得た復号画像を投影部２０５に出力し、スクリーン２０に投影させる。
このようにして、復号部２２０は、コンピュータ１００から受信した動画圧縮データと静止画圧縮データとを復号する。出力処理部２３０は、復号により得られた動画領域の復号画像データと静止画領域の復号画像データとを合成して、投影部２０５によりスクリーン２０に投影させる。
[Step S <b> 54] The
In this way, the
次に、本表示システムにおいて、通信環境の設定を変更する場合の処理手順を説明する。
図１４は、第２の実施の形態の環境の設定変更処理を示すフローチャートである。以下、図１４に示す処理をフローチャートのステップ番号に沿って説明する。
Next, a processing procedure for changing the setting of the communication environment in this display system will be described.
FIG. 14 is a flowchart illustrating environment setting change processing according to the second embodiment. In the following, the process illustrated in FIG. 14 will be described along the step numbers in the flowchart.
［ステップＳ６１］通信帯域監視部１９０は、送信部１８０および受信部１８５による通信状況を監視し、通信帯域の変化の有無を判定する。通信帯域が変化した場合、処理をステップＳ６２に進める。通信帯域が変化していない場合、処理をステップＳ６３に進める。
[Step S61] The communication
［ステップＳ６２］通信帯域監視部１９０は、制御情報記憶部１１０に記憶されたデータ出力制御テーブルを変更する。その際、現在の設定に対応する現設定フラグを“１”から“０”に変更する。そして、変更後の新たなデータ出力制御テーブルの該当のフレームレートに対応する現設定フラグを“０”から“１”に変更する。
[Step S62] The communication
［ステップＳ６３］フレームレート設定受付部１９５は、ユーザによるフレームレートの設定変更を受け付けたか否かを判定する。フレームレートの設定変更を受け付けた場合、処理をステップＳ６４に進める。フレームレートの設定変更を受け付けていない場合、処理をステップＳ６５に進める。
[Step S63] The frame rate
［ステップＳ６４］フレームレート設定受付部１９５は、制御情報記憶部１１０に記憶されたデータ出力制御テーブルの現在の設定に対応する現設定フラグを“１”から“０”に変更する。そして、フレームレート設定受付部１９５は、設定変更後の新たなフレームレートに対応する現設定フラグを“０”から“１”に変更する。
[Step S64] The frame rate
［ステップＳ６５］受信部１８５は、表示装置２００から新たなフレームレートの情報を受信したか否かを判定する。新たなフレームレートの情報を受信した場合、処理をステップＳ６６に進める。新たなフレームレートの情報を受信していない場合、処理を完了する。
[Step S65] The receiving
［ステップＳ６６］受信部１８５は、制御情報記憶部１１０に記憶されたデータ出力制御テーブル１１１の現在の設定に対応する現設定フラグを“１”から“０”に変更する。そして、受信部１８５は、設定変更後の新たなフレームレートに対応する現設定フラグを“０”から“１”に変更する。
[Step S66] The receiving
このようにして、受信部１８５およびフレームレート設定受付部１９５は、現在の通信環境に応じた設定を制御情報記憶部１１０に記憶されたデータ出力制御テーブル１１１，１１２，１１３，・・・に反映することができる。
In this way, the
これにより、符号化部１７０は、現在の通信環境に対して最適な圧縮率で符号化を行うことが可能となる。
次に、コンピュータ１００による画像データの送信方法を更に具体的に説明する。以下の説明では、静止画領域の分割数として３が設定されているものとする。
Thereby, the
Next, a method for transmitting image data by the
図１５は、第２の実施の形態の画像データの送信方法の第１の具体例を示す図である。以下、図１５に示す処理をステップ番号に沿って説明する。なお、ステップＳＴ１は、コンピュータ１００が表示装置２００へ送信する最初のフレームの処理タイミングである。ステップＳＴ２は、ステップＳＴ１の次のフレームの処理タイミングである。ステップＳＴ３は、ステップＳＴ２の次のフレームの処理タイミングである。
FIG. 15 is a diagram illustrating a first specific example of the image data transmission method according to the second embodiment. In the following, the process illustrated in FIG. 15 will be described in order of step number. Note that step ST1 is the processing timing of the first frame that the
［ステップＳＴ１］領域判定部１５０は、画像３００の全体を動画領域とする。送信領域特定部１６０は、画像データ３００の全体を送信領域と特定する。符号化部１７０は、画像データ３００の全体を符号化し、動画圧縮データを生成する。送信部１８０は、符号化部１７０が生成した動画圧縮データを表示装置２００に送信する。この場合、表示装置２００は、動画圧縮データを復号して、画像データ３００の全体に対する復号画像を表示する。
[Step ST1] The
［ステップＳＴ２］領域判定部１５０は、画像データ３００ａの各メッシュと画像データ３００の対応する各メッシュとの間の変化から静止画領域３１１および動画領域３２１を判定する。送信領域特定部１６０は、静止画領域３１１のうち、静止画領域３１１のメッシュ数を３分割したメッシュ数を含む一部領域３１１ａを送信対象の領域と特定する。また、送信領域特定部１６０は、動画領域３２１を送信対象の領域と特定する。符号化部１７０は、一部領域３１１ａのメッシュを符号化し、静止画圧縮データを生成する。また、符号化部１７０は、動画領域３２１のメッシュを符号化し、動画圧縮データを生成する。送信部１８０は、符号化部１７０が生成した静止画圧縮データと動画圧縮データとを表示装置２００に送信する。
[Step ST2] The
この場合、表示装置２００は、静止画圧縮データを復号して、一部領域３１１ａの復号画像データを得る。また、表示装置２００は、動画圧縮データを復号して動画領域３２１の復号画像データを得る。表示装置２００は、これらの復号画像データを合成して画像データ３００ａに対する復号画像を表示する。ただし、静止画領域３１１のうち、一部領域３１１ａ以外の領域である一部領域３１１ｂでは、ステップＳＴ１で取得した復号画像を継続して表示する。この場合、一部領域３１１ａの画質は、一部領域３１１ｂおよび動画領域３２１に比べて高品位となる。
In this case, the
［ステップＳＴ３］領域判定部１５０は、画像データ３００ｂの各メッシュと画像データ３００ａの対応する各メッシュとの間の変化から静止画領域３１２および動画領域３２２を判定する。送信領域特定部１６０は、静止画領域３１２のうち、一部領域３１２ａを送信対象の領域と特定する。また、送信領域特定部１６０は、動画領域３２２を送信対象の領域と特定する。符号化部１７０は、一部領域３１２ａのメッシュを符号化し、静止画圧縮データを生成する。また、符号化部１７０は、動画領域３２２のメッシュを符号化し、動画圧縮データを生成する。送信部１８０は、符号化部１７０が生成した静止画圧縮データと動画圧縮データとを表示装置２００に送信する。
[Step ST3] The
この場合、表示装置２００は、静止画圧縮データを復号して、一部領域３１２ａの復号画像データを得る。また、表示装置２００は、動画圧縮データを復号して動画領域３２２の復号画像データを得る。表示装置２００は、これらの復号画像データを合成して画像データ３００ｂに対する復号画像を表示する。ただし、静止画領域３１２のうち、ステップＳＴ２で送信済みの一部領域３１２ｂでは、ステップＳＴ２で取得した復号画像を継続して表示する。また、静止画領域３１２のうち、一部領域３１２ａ，３１２ｂ以外の領域である一部領域３１２ｃでは、ステップＳＴ１で取得した復号画像を継続して表示する。この場合、一部領域３１２ａ，３１２ｂの画質は、一部領域３１２ｃおよび動画領域３２２に比べて高品位となる。
In this case, the
このように、コンピュータ１００は、静止画領域を複数の領域に分割し、異なるタイミングで送信することで、静止画領域部分の画質を向上させることができる。
次に、コンピュータ１００が各タイミングにおいて符号化、送信する各領域のデータを更に詳細に説明する。
As described above, the
Next, the data of each area encoded and transmitted by the
図１６は、第２の実施の形態の各領域の画像データの送信方法の第２の具体例を示す図である。以下、図１６に示す処理をステップ番号に沿って説明する。なお、図１６のステップＳＴ１〜ＳＴ３は、図１５のステップＳＴ１〜ＳＴ３に対応する。また、原画像のうち３つに分割した領域を領域Ｒ１，Ｒ２，Ｒ３と表記する。なお、領域Ｒ１，Ｒ２，Ｒ３は、初回フレームより後には、静止画領域として特定される領域であるとする。また、原画像のうち初回フレーム以降も継続して動画領域として特定される領域を動画領域Ｍと表記する。 FIG. 16 is a diagram illustrating a second specific example of the image data transmission method for each region according to the second embodiment. Hereinafter, the process illustrated in FIG. 16 will be described in order of step number. Note that steps ST1 to ST3 in FIG. 16 correspond to steps ST1 to ST3 in FIG. In addition, a region divided into three of the original image is denoted as regions R1, R2, and R3. The regions R1, R2, and R3 are regions that are specified as still image regions after the first frame. In addition, a region that is continuously specified as a moving image region after the first frame in the original image is referred to as a moving image region M.
［ステップＳＴ１］コンピュータ１００は、画像データのうち、領域Ｒ１，Ｒ２，Ｒ３および動画領域Ｍのメッシュを符号化して動画圧縮データＲ１１，Ｒ２１，Ｒ３１，Ｍ１１を生成し、表示装置２００に送信する。なお、動画圧縮データＲ１１，Ｒ２１，Ｒ３１，Ｍ１１は、特に分割されていなくてもよい。
[Step ST1] The
［ステップＳＴ２］コンピュータ１００は、画像データのうち、領域Ｒ１のメッシュを符号化して静止画圧縮データＲ１２を生成し、表示装置２００に送信する。また、コンピュータ１００は、動画領域Ｍのメッシュを符号化して、動画圧縮データＭ１２を生成し、表示装置２００に送信する。ここで、コンピュータ１００は、静止画領域Ｒ１に割り当て可能な送信データ量として、ステップＳＴ１で領域Ｒ２，Ｒ３に利用していた分を利用できるので、領域Ｒ１を動画領域Ｍよりも低い圧縮率で符号化することができる。
[Step ST2] The
［ステップＳＴ３］コンピュータ１００は、画像データのうち、領域Ｒ２のメッシュを符号化して静止画圧縮データＲ２２を生成し、表示装置２００に送信する。また、コンピュータ１００は、動画領域Ｍのメッシュを符号化して、動画圧縮データＭ１３を生成し、表示装置２００に送信する。コンピュータ１００は、ステップＳＴ２と同様に領域Ｒ２を動画領域Ｍよりも低い圧縮率で符号化することができる。
[Step ST3] The
［ステップＳＴ４］コンピュータ１００は、画像データのうち、領域Ｒ３のメッシュを符号化して静止画圧縮データＲ３２を生成し、表示装置２００に送信する。また、コンピュータ１００は、動画領域Ｍのメッシュを符号化して、動画圧縮データＭ１４を生成し、表示装置２００に送信する。コンピュータ１００は、ステップＳＴ２と同様に領域Ｒ３を動画領域Ｍよりも低い圧縮率で符号化することができる。
[Step ST <b> 4] The
［ステップＳＴ５］コンピュータ１００は、画像データのうち、動画領域Ｍのメッシュを符号化して動画圧縮データＭ１５を生成し、表示装置２００に送信する。領域Ｒ１，Ｒ２，Ｒ３に関して既に高品位画像を送信済みであるので、コンピュータ１００は、静止画領域の画像データ送信は行わない。
[Step ST5] The
［ステップＳＴ６］コンピュータ１００は、画像データのうち、動画領域Ｍのメッシュを符号化して動画圧縮データＭ１６を生成し、表示装置２００に送信する。領域Ｒ１，Ｒ２，Ｒ３に関して既に高品位画像を送信済みであるので、コンピュータ１００は、静止画領域の画像データ送信は行わない。
[Step ST6] The
［ステップＳＴ７］コンピュータ１００は、画像データのうち、動画領域Ｍのメッシュを符号化して動画圧縮データＭ１７を生成し、表示装置２００に送信する。領域Ｒ１，Ｒ２，Ｒ３に関して既に高品位画像を送信済みであるので、コンピュータ１００は、静止画領域の画像データ送信は行わない。以降、同様にして動画領域Ｍの画像データ送信のみが行われる。
[Step ST7] The
このように、コンピュータ１００は、画像データに含まれるメッシュの時間変化に基づいて、画像データを静止画領域と動画領域とに区分する。そして、コンピュータ１００は、静止画メッシュの送信回数を動画メッシュの送信回数よりも少なくする。
As described above, the
これにより、ネットワークの伝送容量を効率的に利用して画像データを送信することが可能となる。
なお、上記ステップＳＴ７以降、領域Ｒ１，Ｒ２，Ｒ３のメッシュは、変化を検出するまで更新が行われない。ただし、ステップＳＴ７以降の所定のタイミングで領域Ｒ１，Ｒ２，Ｒ３の画像を適宜更新するようにしてもよい。
This makes it possible to transmit image data by efficiently using the transmission capacity of the network.
After step ST7, the meshes in the regions R1, R2, and R3 are not updated until a change is detected. However, the images in the regions R1, R2, and R3 may be appropriately updated at a predetermined timing after step ST7.
また、静止画領域を複数の領域に分割して、異なるタイミングで送信することで、単位面積当たりに割り当て可能な送信データ量を動画領域よりも多く割り当てることができる。 Further, by dividing the still image region into a plurality of regions and transmitting them at different timings, it is possible to allocate a larger amount of transmission data per unit area than that of the moving image region.
これにより、静止画領域の画質を動画領域の画質に比べて高品位とすることができる。その結果、表示装置２００によりスクリーン２０に表示される画像の見易さを向上することができる。
Thereby, the image quality of the still image area can be made higher than the image quality of the moving image area. As a result, the visibility of the image displayed on the
［第３の実施の形態］
次に、第３の実施の形態について説明する。前述の第２の実施の形態との相違点を中心に説明し、同様の事項については説明を省略する。
[Third Embodiment]
Next, a third embodiment will be described. Differences from the second embodiment will be mainly described, and description of similar matters will be omitted.
ここで、第２の実施の形態の表示システムでは、静止画領域と動画領域との境界に位置するメッシュは、動画領域と判定されるので、その境界のメッシュの画質は静止画領域よりも低下する。すなわち、境界部分に含まれる静止画の画質が低下することになる。このため、静止画領域と動画領域との境界が際立って、画像が見難くなってしまう。また、例えば、動画像付近に配置されたインタフェース（例えば、動画操作用のインタフェース）を閲覧させたい場合など、注目する箇所が動画領域に隣接していると、その画像が見難くなってしまう。 Here, in the display system according to the second embodiment, since the mesh located at the boundary between the still image region and the moving image region is determined as the moving image region, the image quality of the mesh at the boundary is lower than that of the still image region. To do. That is, the image quality of the still image included in the boundary portion is reduced. For this reason, the boundary between the still image region and the moving image region is conspicuous, making it difficult to see the image. In addition, for example, when it is desired to browse an interface (for example, an interface for moving image operation) arranged in the vicinity of a moving image, it becomes difficult to see the image if a point of interest is adjacent to the moving image area.
これに対し、第３の実施の形態では、第２の実施の形態で説明した静止画領域と動画領域との境界に位置する第３のメッシュ（境界メッシュ）を導入する。これによって、表示装置２００が表示する画像の見易さをより向上する。
On the other hand, in the third embodiment, a third mesh (boundary mesh) located at the boundary between the still image region and the moving image region described in the second embodiment is introduced. Thereby, the visibility of the image displayed on the
なお、第３の実施の形態の表示システムの全体構成は、図２で説明した第２の実施の形態の表示システムの全体構成と同一であるため、説明を省略する。また、第３の実施の形態の表示システムに含まれるコンピュータおよび表示装置のハードウェア構成は、図３，４で示した第２の実施の形態のコンピュータ１００および表示装置２００のハードウェア構成と同一であるため、説明を省略する。
The overall configuration of the display system according to the third embodiment is the same as the overall configuration of the display system according to the second embodiment described with reference to FIG. The hardware configurations of the computer and the display device included in the display system of the third embodiment are the same as the hardware configurations of the
図１７は、第３の実施の形態の各装置の機能構成を示す図である。コンピュータ１００ａは、制御情報記憶部１１０、メッシュ記憶部１２０、メッシュ管理情報記憶部１３０ａ、メッシュ生成部１４０、変化検出部１４５、領域判定部１５０ａ、送信領域特定部１６０、符号化部１７０ａ、送信部１８０、受信部１８５、通信帯域監視部１９０およびフレームレート設定受付部１９５を有する。これらの機能はＣＰＵ１０１が画像処理プログラムを実行することで実現される。ただし、これらの機能の一部または全部を専用のハードウェアで実現してもよい。
FIG. 17 is a diagram illustrating a functional configuration of each device according to the third embodiment. The computer 100a includes a control
なお、制御情報記憶部１１０、メッシュ記憶部１２０、メッシュ生成部１４０、変化検出部１４５、送信領域特定部１６０、送信部１８０、受信部１８５、通信帯域監視部１９０およびフレームレート設定受付部１９５に関しては、図５で同一の符号を付して説明した構成と同一であるため説明を省略する。また、表示装置２００の構成も図５で説明した構成と同一であるため説明を省略する。
Note that the control
メッシュ管理情報記憶部１３０ａは、画像内におけるメッシュの位置や、動画、静止画および境界領域の区分などを含むメッシュ管理情報を記憶する。なお、境界領域とは、動画メッシュと静止画メッシュとで隣接している２つのメッシュのうち、動画に区分されるメッシュの集合をいう。
The mesh management
領域判定部１５０ａは、変化検出部１４５の変化の検出結果に基づいて、画像データに含まれる各メッシュを動画領域、静止画領域および境界領域に区分する。具体的には、変化検出部１４５が変化ありと検出した領域を動画領域と特定する。また、変化検出部１４５が変化なしと検出した領域を静止画領域と特定する。更に、領域判定部１５０ａは、動画領域と静止画領域とが接する境界に位置するメッシュのうち、動画領域と区分した方のメッシュを境界メッシュとする。境界メッシュの集合が境界領域である。領域判定部１５０ａは、このようにして特定した各メッシュの動画、静止画および境界メッシュの区分に基づいてメッシュ管理情報を生成し、メッシュ管理情報記憶部１３０ａに格納する。
The region determination unit 150a classifies each mesh included in the image data into a moving image region, a still image region, and a boundary region based on the change detection result of the
符号化部１７０ａは、送信領域特定部１６０が特定した送信領域のメッシュを順番に符号化してデータ量を削減する（圧縮）。符号化部１７０ａは、圧縮率決定部１７１ａ、動画領域符号化部１７２ａおよび静止画領域符号化部１７３を有する。なお、静止画領域符号化部１７３は、図５で説明した静止画領域符号化部１７３と同一である。
The encoding unit 170a sequentially encodes the meshes of the transmission area specified by the transmission
圧縮率決定部１７１ａは、動画メッシュ群、静止画メッシュ群および境界メッシュ群の符号化後データ量を決定する。圧縮率決定部１７１ａは、動画メッシュの圧縮率よりも静止画メッシュの圧縮率を低く設定する。また、圧縮率決定部１７１ａは、境界メッシュの圧縮率が、動画メッシュに対する圧縮率よりも低く、静止画メッシュに対する圧縮率よりも高くなるよう決定する。
The compression
動画領域符号化部１７２ａは、圧縮率決定部１７１ａが決定した動画メッシュ群の符号化後データ量に近くなるように送信領域内の動画メッシュを符号化する。また、動画領域符号化部１７２ａは、圧縮率決定部１７１ａが決定した境界メッシュ群の符号化後データ量に近くなるように送信領域内の境界メッシュを符号化する。
The moving image
動画領域符号化部１７２ａは、符号化して生成した動画圧縮データおよび境界圧縮データを送信部１８０に出力する。
なお、符号化部１７０ａは、表示装置２００で画像を再生する際の情報を、各圧縮データに含める。このような情報は、例えばＭｏｔｉｏｎ ＪＰＥＧ形式で符号化を行う場合、量子化に用いた量子化テーブル、ハフマン符号化に用いたハフマン符号テーブルおよび各メッシュの位置（画面上の座標など）を示す情報である。
The moving image
Note that the encoding unit 170a includes information on reproducing an image on the
図１８は、第３の実施の形態のメッシュ管理テーブルのデータ構造例を示す図である。メッシュ管理テーブル１３１ａは、メッシュ管理情報記憶部１３０ａに格納される。メッシュ管理テーブル１３１ａには、メッシュ座標を示す項目、動画領域フラグを示す項目および境界フラグを示す項目および高品位画像送信済フラグを示す項目が設けられる。各項目の横方向に並べられた情報同士が互いに関連付けられて、１つのメッシュに関する情報を示す。
FIG. 18 is a diagram illustrating a data structure example of the mesh management table according to the third embodiment. The mesh management table 131a is stored in the mesh management
なお、メッシュ座標を示す項目、動画領域フラグを示す項目および高品位画像送信済フラグを示す項目は、図８で説明したメッシュ管理テーブル１３１の同一名称の各項目と同一である。 Note that the item indicating the mesh coordinates, the item indicating the moving image region flag, and the item indicating the high-quality image transmitted flag are the same as the items having the same name in the mesh management table 131 described in FIG.
境界フラグを示す項目には、該当のメッシュが境界メッシュであるか否かを示すフラグが設定される。境界フラグを示す項目には、該当のメッシュが境界メッシュである場合は“１”が設定され、境界メッシュでない場合には“０”が設定される。境界メッシュは、動画領域に属するメッシュから特定されるので、静止画領域に属するメッシュに対しては、対象外であることを示す“−”が設定される。すなわち、動画領域フラグが“１”かつ境界フラグが“０”である場合、そのメッシュは動画メッシュである。また、動画領域フラグが“１”かつ境界フラグが“１”である場合、そのメッシュは境界メッシュである。 In the item indicating the boundary flag, a flag indicating whether or not the corresponding mesh is a boundary mesh is set. In the item indicating the boundary flag, “1” is set when the corresponding mesh is a boundary mesh, and “0” is set when the mesh is not a boundary mesh. Since the boundary mesh is specified from the mesh belonging to the moving image area, “−” indicating that the boundary mesh is excluded is set for the mesh belonging to the still image area. That is, when the moving image area flag is “1” and the boundary flag is “0”, the mesh is a moving image mesh. When the moving image area flag is “1” and the boundary flag is “1”, the mesh is a boundary mesh.
メッシュ管理テーブル１３１ａには、例えば、メッシュ座標が（ｘ，ｙ）＝“（７２，４５）”であり、動画領域フラグが“１”、境界フラグが“１”、高品位画像送信済フラグが“−”という情報が設定される。これは、メッシュ座標（ｘ，ｙ）＝“（７２，４５）”で指定されるメッシュが境界メッシュであり、高品位画像の送信対象外であることを示している。 In the mesh management table 131a, for example, the mesh coordinates are (x, y) = “(72, 45)”, the moving image area flag is “1”, the boundary flag is “1”, and the high-quality image transmitted flag is set. Information “-” is set. This indicates that the mesh specified by mesh coordinates (x, y) = “(72, 45)” is a boundary mesh and is not a transmission target of a high-quality image.
また、メッシュ管理テーブル１３１ａには、例えば、メッシュ座標が（ｘ，ｙ）＝“（７３，４５）”であり、動画領域フラグが“１”、境界フラグが“０”、高品位画像送信済フラグが“−”という情報が設定される。これは、メッシュ座標（ｘ，ｙ）＝“（７３，４５）”で指定されるメッシュが動画メッシュであり、高品位画像の送信対象外であることを示している。 In the mesh management table 131a, for example, the mesh coordinates are (x, y) = “(73, 45)”, the moving image area flag is “1”, the boundary flag is “0”, and a high-quality image has been transmitted. Information that the flag is "-" is set. This indicates that the mesh specified by the mesh coordinates (x, y) = “(73, 45)” is a moving image mesh and is not a transmission target of a high-quality image.
次に、以上の構成により実現されるコンピュータ１００ａおよび表示装置２００の処理手順に関して説明する。
なお、コンピュータ１００ａの画像データの送信処理の手順に関しては、図９で説明した手順と同様であるため説明を省略する。以下、コンピュータ１００ａの画像データの送信処理に含まれる各処理について詳細に説明する。
Next, processing procedures of the computer 100a and the
Note that the procedure of the image data transmission process of the computer 100a is the same as the procedure described with reference to FIG. Hereinafter, each process included in the image data transmission process of the computer 100a will be described in detail.
図１９は、第３の実施の形態の領域判定処理を示すフローチャートである。以下、図１９に示す処理をフローチャートのステップ番号に沿って説明する。なお、以下の処理は、図９のステップＳ３の領域判定処理に対応する。 FIG. 19 is a flowchart illustrating region determination processing according to the third embodiment. In the following, the process shown in FIG. 19 will be described along the step numbers in the flowchart. The following process corresponds to the area determination process in step S3 of FIG.
［ステップＳ７１］変化検出部１４５は、メッシュ記憶部１２０に記憶され、最新に入力された画像データに含まれていたメッシュのうちから１つのメッシュを抽出する。
［ステップＳ７２］変化検出部１４５は、最新に入力された画像データの直前に入力された画像データに含まれていた直前メッシュのうち、ステップＳ７１で抽出したメッシュと同一座標の直前メッシュを抽出する。変化検出部１４５は、ステップＳ７１で抽出したメッシュに含まれる各画素の画素値と直前メッシュに含まれる対応する各画素の画素値とを比較することで、該当のメッシュの変化の有無を検出する。濃度に差のある画素が存在する場合、処理をステップＳ７３に進める。画素値に差のある画素が存在しない場合、処理をステップＳ７４に進める。
[Step S71] The
[Step S72] The
［ステップＳ７３］領域判定部１５０ａは、該当のメッシュを動画領域とする。領域判定部１５０ａは、メッシュ管理情報記憶部１３０ａに記憶されたメッシュ管理テーブル１３１ａの該当メッシュ座標に対応するメッシュの動画領域フラグに“１”を設定する。
[Step S73] The area determination unit 150a sets the corresponding mesh as a moving image area. The region determination unit 150a sets “1” to the moving image region flag of the mesh corresponding to the corresponding mesh coordinate in the mesh management table 131a stored in the mesh management
［ステップＳ７４］領域判定部１５０ａは、該当のメッシュを静止画領域とする。領域判定部１５０ａは、メッシュ管理情報記憶部１３０ａに記憶されたメッシュ管理テーブル１３１ａの該当メッシュ座標に対応するメッシュの動画領域フラグに“０”を設定する。また、動画領域フラグ“１”から“０”へ新たに変更したメッシュに関して、領域判定部１５０ａは、高品位画像送信済フラグに“０”を設定する。領域判定部１５０ａは、動画領域フラグを“０”設定のまま維持するメッシュに関しては、高品位画像送信済フラグの設定を変更しない。
[Step S74] The region determination unit 150a sets the corresponding mesh as a still image region. The region determination unit 150a sets “0” to the moving image region flag of the mesh corresponding to the corresponding mesh coordinate in the mesh management table 131a stored in the mesh management
［ステップＳ７５］変化検出部１４５は、入力された画像データに含まれるメッシュに変化検出を行っていないメッシュが存在するか否かを判定する。変化検出を行っていないメッシュが存在する場合、処理をステップＳ７１に進める。変化検出を行っていないメッシュが存在しない場合、処理をステップＳ７６に進める。
[Step S75] The
［ステップＳ７６］領域判定部１５０ａは、上記ステップＳ７３で動画領域としたメッシュのうち、上記ステップＳ７４で静止画領域としたメッシュと隣接するメッシュを抽出する。 [Step S76] The area determination unit 150a extracts a mesh adjacent to the mesh set as the still image area in Step S74 from the meshes set as the moving image area in Step S73.
［ステップＳ７７］領域判定部１５０ａは、静止画領域のメッシュと隣接する動画領域のメッシュを境界メッシュとする。すなわち、領域判定部１５０ａは、該当のメッシュについて、メッシュ管理情報記憶部１３０ａに記憶されたメッシュ管理テーブル１３１ａの境界フラグに“１”を設定する。また、境界メッシュ以外の動画領域のメッシュについては、境界フラグに“０”を設定する。
[Step S77] The area determination unit 150a sets a mesh of a moving image area adjacent to a mesh of a still image area as a boundary mesh. That is, the area determination unit 150a sets “1” to the boundary flag of the mesh management table 131a stored in the mesh management
このようにして、領域判定部１５０ａは、静止画領域のメッシュと隣接する動画領域のメッシュを境界メッシュと設定する。
図２０，２１は、第３の実施の形態の符号化処理を示すフローチャートである。以下、図２０，２１に示す処理をフローチャートのステップ番号に沿って説明する。なお、以下の処理は、図９のステップＳ５の符号化処理に対応する。
In this manner, the area determination unit 150a sets the moving image area mesh adjacent to the still image area mesh as the boundary mesh.
20 and 21 are flowcharts illustrating the encoding process according to the third embodiment. Hereinafter, the processing illustrated in FIGS. 20 and 21 will be described in accordance with step numbers in the flowcharts. The following process corresponds to the encoding process in step S5 of FIG.
［ステップＳ８１］符号化部１７０ａは、送信領域特定部１６０が特定した送信対象のメッシュ群（静止画メッシュ群、静止画メッシュ群および境界メッシュ群）を取得する。
［ステップＳ８２］圧縮率決定部１７１ａは、制御情報記憶部１１０に記憶されたデータ出力制御テーブル１１１，１１２，１１３，・・・の現設定フラグを参照して、現在の送信可能データ量Ｄを取得する。例えば、本表示システムの環境では、全帯域２０Ｍｂｐｓ、フレームレート３０ｆｐｓの設定となっている。
[Step S81] The encoding unit 170a acquires the transmission target mesh group (the still image mesh group, the still image mesh group, and the boundary mesh group) specified by the transmission
[Step S82] The compression
［ステップＳ８３］圧縮率決定部１７１ａは、メッシュ管理情報記憶部１３０ａに記憶されたメッシュ管理テーブル１３１ａを参照して、静止画領域のメッシュ数Ｘを取得する。
[Step S83] The compression
［ステップＳ８４］圧縮率決定部１７１ａは、メッシュ管理テーブル１３１ａを参照して、動画領域のメッシュ数Ｙを取得する。ここで、動画領域のメッシュ数Ｙには、動画メッシュ数および境界メッシュ数が含まれる。
[Step S84] The compression
［ステップＳ８５］圧縮率決定部１７１ａは、動画領域のメッシュのうち、境界メッシュ数Ｋを取得する。
［ステップＳ８６］圧縮率決定部１７１ａは、境界メッシュの品質向上係数ａを特定する。ここで、品質向上係数ｇ（＞１）は、動画メッシュに比べてどの程度だけ送信データ量を多めに割り当てるかを示す係数である。品質向上係数ｇは、例えば制御情報記憶部１１０に予め設定される。
[Step S85] The compression
[Step S86] The compression
［ステップＳ８７］圧縮率決定部１７１ａは、動画メッシュ率Ｚａ＝（Ｙ−Ｋ）／（Ｘ＋Ｙ）を算出する。
［ステップＳ８８］圧縮率決定部１７１ａは、境界メッシュ率Ｚｂ＝ｇＫ／（Ｘ＋Ｙ）を算出する。
[Step S87] The compression
[Step S88] The compression
［ステップＳ８９］圧縮率決定部１７１ａは、上記ステップＳ８１で取得したメッシュ群に静止画メッシュ群と動画メッシュ群とが混在しているか否かを判定する。混在している場合、処理をステップＳ９０に進める。混在していない場合、処理をステップＳ９３に進める。
[Step S89] The compression
［ステップＳ９０］圧縮率決定部１７１ａは、動画メッシュ群に対して割り当て可能なデータ量Ｄ１ａ＝Ｄ×Ｚａを算出する。
［ステップＳ９１］圧縮率決定部１７１ａは、境界メッシュ群に対して割り当て可能なデータ量Ｄ１ｂ＝Ｄ×Ｚｂを算出する。
[Step S90] The compression
[Step S91] The compression
［ステップＳ９２］圧縮率決定部１７１ａは、静止画メッシュ群に対して割り当て可能なデータ量Ｄ２＝Ｄ−Ｄ１ａ−Ｄ１ｂを算出する。そして、処理をステップＳ９６に進める。
[Step S92] The compression
［ステップＳ９３］圧縮率決定部１７１ａは、上記ステップＳ８１で取得したメッシュ群に動画メッシュ群のみが含まれているか否かを判定する。動画メッシュ群のみの場合、処理をステップＳ９４に進める。動画メッシュ群のみでない、すなわち、静止画メッシュ群のみである場合、処理をステップＳ９５に進める。
[Step S93] The compression
［ステップＳ９４］圧縮率決定部１７１ａは、動画メッシュ群に対して割り当て可能なデータ量Ｄ１＝Ｄを取得する。そして、処理をステップＳ９６に進める。
［ステップＳ９５］圧縮率決定部１７１ａは、静止画メッシュ群に対して割り当て可能なデータ量Ｄ２＝Ｄを取得する。そして、処理をステップＳ９６に進める。
[Step S94] The compression
[Step S95] The compression
［ステップＳ９６］動画領域符号化部１７２ａは圧縮率決定部１７１ａが求めた動画用送信可能データ量Ｄ１ａに近付くように、上記ステップＳ８１で取得した動画メッシュ群を符号化し、動画圧縮データを得る。また、動画領域符号化部１７２ａは、圧縮率決定部１７１ａが求めた境界用送信可能データ量Ｄ１ｂに近付くように、上記ステップＳ３１で取得した境界メッシュ群を符号化し、境界圧縮データを得る。また、静止画領域符号化部１７３は、圧縮率決定部１７１ａが求めた静止画用送信可能データ量Ｄ２に近付くように、上記ステップＳ８１で取得した静止画メッシュ群を符号化し、静止画圧縮データを得る。なお、符号化部１７０ａは、動画圧縮データ、境界圧縮データおよび静止画圧縮データに、符号化に用いたテーブル類（Ｍｏｔｉｏｎ ＪＰＥＧであれば、量子化テーブルやハフマン符号化テーブル）および各メッシュの位置（画面上の座標など）を示す情報を含める。
[Step S96] The moving image
［ステップＳ９７］符号化部１７０ａは、生成した動画圧縮データ、境界圧縮データおよび静止画圧縮データを送信部１８０に出力する。
このようにして、圧縮率決定部１７１ａは、画像データの静止画メッシュ数、動画メッシュ数および境界メッシュ数の比によって、静止画領域と動画領域とに割り当てる送信データ量を算出する。ここで、境界メッシュには、動画メッシュよりも多くのデータ帯域を割り当てて品質を向上する。このため、境界メッシュ数に品質向上係数ｇ（＞１）を乗じたもので、静止画メッシュ数および動画メッシュ数との比を取って、境界メッシュ群の送信可能データ量を算出する。
[Step S97] The encoding unit 170a outputs the generated moving image compression data, boundary compression data, and still image compression data to the
In this way, the compression
図２２は、第３の実施の形態の画像の各領域を示す図である。画像データ３００は、静止画領域３１０および動画領域３２０を有する。また、動画領域３２０には、境界領域３４０が含まれる。
FIG. 22 is a diagram illustrating each region of an image according to the third embodiment. The
境界領域３４０は、上述したように動画領域３２０に含まれるメッシュのうち、静止画領域３１０と隣接するメッシュの集合である。
圧縮率決定部１７１ａは、境界領域３４０に含まれる境界メッシュ群につき単位面積当たりに割り当てる送信データ量が、動画領域３２０に含まれる動画メッシュ群（動画領域３２０に含まれるメッシュ群から境界メッシュ群を除いたメッシュ群）につき単位面積当たりに割り当てる送信データ量よりも多くなるようにする。
The boundary region 340 is a set of meshes adjacent to the
The compression
これにより、第２の実施の形態と同様の効果を得ることができる。また、境界領域３４０の画質を、動画領域３２０のうち境界領域３４０以外の領域よりも向上することができる。その結果、静止画領域３１０と動画領域３２０との境界部分での画質の急激な変化が抑えられることになる。このため、表示装置２００は、閲覧者に与える違和感を抑えた、より見易い画像の表示が可能となる。
Thereby, the effect similar to 2nd Embodiment can be acquired. In addition, the image quality of the boundary area 340 can be improved over the area other than the boundary area 340 in the moving
また、表示する画像中の注目する箇所が動画領域３２０に隣接した静止画領域３１０内の静止画像である場合にも、その画像の品質の劣化を抑えることができ、より見易い画像の表示が可能となる。
In addition, even when the point of interest in the displayed image is a still image in the
［第４の実施の形態］
次に、第４の実施の形態について説明する。前述の第２，３の実施の形態との相違点を中心に説明し、同様の事項については説明を省略する。
[Fourth Embodiment]
Next, a fourth embodiment will be described. Differences from the second and third embodiments will be mainly described, and description of similar matters will be omitted.
ここで、第２，３の実施の形態の表示システムでは、動画領域を移動させる場合、動画領域の背後に存在していた静止画領域を新たに表示することになる。この場合、移動に係る領域に閲覧者の注意が向き易くなる。 Here, in the display systems of the second and third embodiments, when moving the moving image area, the still image area existing behind the moving image area is newly displayed. In this case, the viewer's attention is easily directed to the area related to the movement.
これに対し、第４の実施の形態の表示システムでは、動画領域から静止画領域に切り替わったメッシュについて、優先的に高品位画像の送信を行うようにする。これにより、動画領域の移動に係る領域の見易さを向上する。 On the other hand, in the display system according to the fourth embodiment, a high-quality image is preferentially transmitted with respect to a mesh that is switched from a moving image region to a still image region. Thereby, the visibility of the area | region which concerns on the movement of a moving image area | region is improved.
なお、第４の実施の形態の表示システムの全体構成は、図２で示した第２の実施の形態の表示システムの全体構成と同一であるため、説明を省略する。また、第４の実施の形態の表示システムに含まれるコンピュータおよび表示装置のハードウェア構成は、図３，４で示した第２の実施の形態のコンピュータ１００および表示装置２００のハードウェア構成と同一であるため、説明を省略する。
The overall configuration of the display system according to the fourth embodiment is the same as the overall configuration of the display system according to the second embodiment shown in FIG. The hardware configurations of the computer and the display device included in the display system of the fourth embodiment are the same as the hardware configurations of the
図２３は、第４の実施の形態の各装置の機能構成を示す図である。コンピュータ１００ｂは、制御情報記憶部１１０、メッシュ記憶部１２０、メッシュ管理情報記憶部１３０ｂ、メッシュ生成部１４０、変化検出部１４５、領域判定部１５０ｂ、送信領域特定部１６０ｂ、符号化部１７０、送信部１８０、受信部１８５、通信帯域監視部１９０およびフレームレート設定受付部１９５を有する。これらの機能はＣＰＵ１０１が画像処理プログラムを実行することで実現される。ただし、これらの機能の一部または全部を専用のハードウェアで実現してもよい。
FIG. 23 is a diagram illustrating a functional configuration of each device according to the fourth embodiment. The
なお、制御情報記憶部１１０、メッシュ記憶部１２０、メッシュ生成部１４０、変化検出部１４５、符号化部１７０、送信部１８０、受信部１８５、通信帯域監視部１９０およびフレームレート設定受付部１９５に関しては、図５で同一の符号を付して説明した構成と同一であるため説明を省略する。また、表示装置２００の構成も図５で説明した構成と同一であるため説明を省略する。
The control
メッシュ管理情報記憶部１３０ｂは、画像内におけるメッシュの位置や、動画、静止画の区分、動画、静止画の各状態がどれだけの時間継続したかを示す継続フレーム数などを含むメッシュ管理情報を記憶する。
The mesh management
領域判定部１５０ｂは、変化検出部１４５の変化の検出結果に基づいて、画像データに含まれる各メッシュを動画領域および静止画領域に区分する。具体的には、変化検出部１４５が変化ありと検出した領域を動画領域と特定する。また、変化検出部１４５が変化なしと検出した領域を静止画領域と特定する。更に、領域判定部１５０ｂは、該当のメッシュについて、同一区分の領域として継続して特定したフレームの数（継続フレーム数）をカウントする。なお、領域判定部１５０ｂは、該当のメッシュの領域の区分が変更した場合には、カウントをリセットして、再度１からカウントしなおす。領域判定部１５０ｂは、このようにして特定した各メッシュの動画および静止画の区分や継続フレーム数の情報に基づいて、メッシュ管理情報を生成し、メッシュ管理情報記憶部１３０ｂに格納する。
The
送信領域特定部１６０ｂは、メッシュ管理情報記憶部１３０ｂに記憶されたメッシュ管理情報に基づいて、表示装置２００に送信する領域（送信領域）を特定する。送信領域特定部１６０ｂは、動画領域について、その全部を送信領域と特定する。
The transmission
また、送信領域特定部１６０ｂは、静止画領域について、その一部を送信領域と特定する。すなわち、送信領域特定部１６０ｂは、静止画領域を更に分割し、分割した領域を複数のタイミングで送信領域として順次特定する。このようにすることで、静止画領域の単位面積当たりの送信データ量を動画領域の単位面積当たりの送信データ量よりも多く割り当てることができる。すなわち、後段の符号化に伴う圧縮率を制御して、静止画領域の画質を動画領域の画質よりも向上させることができる。
The transmission
更に、送信領域特定部１６０ｂは、メッシュ管理情報に基づいて、送信領域の選択方法を変更する。具体的には、送信領域特定部１６０ｂは、動画領域から静止画領域に切り替わったメッシュに関して優先的に送信領域と特定する。
Furthermore, the transmission
図２４は、第４の実施の形態のメッシュ管理テーブルのデータ構造例を示す図である。メッシュ管理テーブル１３１ｂは、メッシュ管理情報記憶部１３０ｂに格納される。メッシュ管理テーブル１３１ｂには、メッシュ座標を示す項目、動画領域フラグを示す項目、高品位画像送信済フラグを示す項目および継続フレーム数を示す項目が設けられている。各項目の横方向に並べられた情報同士が互いに関連付けられて、１つのメッシュに関する情報を示す。
FIG. 24 is a diagram illustrating an example of a data structure of a mesh management table according to the fourth embodiment. The mesh management table 131b is stored in the mesh management
なお、メッシュ座標を示す項目、動画領域フラグを示す項目および高品位画像送信済フラグを示す項目は、図８で説明したメッシュ管理テーブル１３１の同一名称の各項目と同一である。 Note that the item indicating the mesh coordinates, the item indicating the moving image region flag, and the item indicating the high-quality image transmitted flag are the same as the items having the same name in the mesh management table 131 described in FIG.
継続フレーム数を示す項目には、該当のメッシュが、動画領域または静止画領域として、継続して特定されたフレームの数が設定される。
メッシュ管理テーブル１３１ｂには、例えば、メッシュ座標が（ｘ，ｙ）＝“（１，１）”、動画領域フラグが“０”、高品位画像送信済フラグが“１”、継続フレーム数が“１０”という情報が設定される。これは、メッシュ座標（ｘ，ｙ）＝“（１，１）”で指定されるメッシュが静止画メッシュであり、高品位画像を送信済みで、静止画メッシュの状態が“１０”フレーム継続していることを示している。
In the item indicating the number of continuation frames, the number of frames in which the corresponding mesh is continuously specified as a moving image region or a still image region is set.
In the mesh management table 131b, for example, the mesh coordinates are (x, y) = “(1, 1)”, the moving image area flag is “0”, the high-quality image transmitted flag is “1”, and the number of continuation frames is “ Information "10" is set. This is because the mesh specified by mesh coordinates (x, y) = “(1, 1)” is a still image mesh, a high-quality image has already been transmitted, and the state of the still image mesh continues for “10” frames. It shows that.
また、メッシュ管理テーブル１３１ｂには、例えば、メッシュ座標が（ｘ，ｙ）＝“（５１，３１）”、動画領域フラグが“０”、高品位画像送信済フラグが“０”、継続フレーム数が“１０”という情報が設定される。これは、メッシュ座標（ｘ，ｙ）＝“（５１，３１）”で指定されるメッシュが静止画メッシュであり、高品位画像を未送信で、静止画メッシュの状態が“１０”フレーム継続していることを示している。 In the mesh management table 131b, for example, the mesh coordinates are (x, y) = “(51, 31)”, the moving image area flag is “0”, the high-quality image transmitted flag is “0”, and the number of continuous frames Is set to information “10”. This is because the mesh specified by the mesh coordinates (x, y) = “(51, 31)” is a still image mesh, a high-quality image has not been transmitted, and the state of the still image mesh continues for “10” frames. It shows that.
また、メッシュ管理テーブル１３１ｂには、例えば、メッシュ座標が（ｘ，ｙ）＝“（７０，４５）”、動画領域フラグが“０”、高品位画像送信済フラグが“１”、継続フレーム数が“２”という情報が設定される。これは、メッシュ座標（ｘ，ｙ）＝“（７０，４５）”で指定されるメッシュが静止画メッシュであり、高品位画像を送信済みで、静止画メッシュの状態が“２”フレーム継続していることを示している。 In the mesh management table 131b, for example, the mesh coordinates are (x, y) = “(70, 45)”, the moving image area flag is “0”, the high-quality image transmitted flag is “1”, and the number of continuous frames Is set to information “2”. This is because the mesh specified by mesh coordinates (x, y) = “(70, 45)” is a still image mesh, a high-quality image has already been transmitted, and the state of the still image mesh continues for “2” frames. It shows that.
また、メッシュ管理テーブル１３１ｂには、例えば、メッシュ座標が（ｘ，ｙ）＝“（７２，４５）”、動画領域フラグが“０”、高品位画像送信済フラグが“０”、継続フレーム数が“１”という情報が設定される。これは、メッシュ座標（ｘ，ｙ）＝“（７２，４５）”で指定されるメッシュが静止画メッシュであり、高品位画像を未送信で、静止画メッシュの状態が“１”フレーム継続、すなわち、動画メッシュから静止画メッシュに切り替わった直後であることを示している。 In the mesh management table 131b, for example, the mesh coordinates are (x, y) = “(72, 45)”, the moving image area flag is “0”, the high-quality image transmitted flag is “0”, and the number of continuous frames Is set to information “1”. This is because the mesh designated by the mesh coordinates (x, y) = “(72, 45)” is a still image mesh, a high-quality image has not been transmitted, and the state of the still image mesh is “1” frames, That is, it indicates that it is immediately after switching from the moving image mesh to the still image mesh.
また、メッシュ管理テーブル１３１ｂには、例えば、メッシュ座標が（ｘ，ｙ）＝“（７３，４５）”、動画領域フラグが“１”、高品位画像送信済フラグが“−”、継続フレーム数が“１０”という情報が設定される。これは、メッシュ座標（ｘ，ｙ）＝“（７３，４５）”で指定されるメッシュが動画メッシュであり、高品位画像の送信対象外で、動画メッシュの状態が“１”フレーム継続、すなわち、静止画メッシュから動画メッシュに切り替わった直後であることを示している。 In the mesh management table 131b, for example, the mesh coordinates are (x, y) = “(73, 45)”, the moving image area flag is “1”, the high-quality image transmitted flag is “−”, and the number of continuous frames Is set to information “10”. This is because the mesh specified by the mesh coordinates (x, y) = “(73, 45)” is a moving image mesh, is not a transmission target of a high-quality image, and the state of the moving image mesh is “1” frame continuation. This indicates that it is immediately after switching from the still image mesh to the moving image mesh.
次に、以上の構成により実現されるコンピュータ１００ｂおよび表示装置２００の処理手順に関して説明する。
なお、コンピュータ１００ｂの画像データの送信処理の手順に関しては、図９で説明した手順と同様であるため説明を省略する。以下、コンピュータ１００ｂの画像データの送信処理に含まれる各処理について詳細に説明する。
Next, processing procedures of the
The procedure of the image data transmission process of the
図２５は、第４の実施の形態の送信領域特定処理を示すフローチャートである。以下、図２５に示す処理をフローチャートのステップ番号に沿って説明する。
［ステップＳ１０１］送信領域特定部１６０ｂは、メッシュ管理情報記憶部１３０ｂに記憶されたメッシュ管理テーブル１３１ｂの動画領域フラグを参照して、今回送信対象の画像データに静止画領域が含まれているか否かを判定する。静止画領域が含まれている場合、処理をステップＳ１０２に進める。静止画領域が含まれていない場合、処理をステップＳ１０７に進める。
FIG. 25 is a flowchart illustrating transmission area specifying processing according to the fourth embodiment. In the following, the process illustrated in FIG. 25 will be described along the step numbers in the flowchart.
[Step S101] The transmission
［ステップＳ１０２］送信領域特定部１６０ｂは、メッシュ管理テーブル１３１ｂの高品位画像送信済フラグを参照して、静止画メッシュのうち、高品位画像を未送信のメッシュが存在するか否かを判定する。高品位画像を未送信のメッシュが存在する場合、処理をステップＳ１０３に進める。高品位画像を未送信のメッシュが存在しない場合、処理をステップＳ１０７に進める。
[Step S102] The transmission
［ステップＳ１０３］送信領域特定部１６０ｂは、静止画領域の分割数を特定する。静止画領域の分割数は、利用環境に応じて、例えば、メッシュ管理情報記憶部１３０ｂに予め記憶される。送信領域特定部１６０ｂは、特定した分割数に基づいて、送信する静止画領域の送信メッシュ数を算出する。
[Step S103] The transmission
［ステップＳ１０４］送信領域特定部１６０ｂは、メッシュ管理テーブル１３１ｂを参照して、動画領域フラグが“０”かつ継続フレーム数が“１”であるメッシュ、すなわち、動画メッシュから静止画メッシュに切り替わった直後のメッシュが存在するか否かを判定する。存在する場合、処理をステップＳ１０５に進める。存在しない場合、処理をステップＳ１０６に進める。
[Step S104] With reference to the mesh management table 131b, the transmission
［ステップＳ１０５］送信領域特定部１６０ｂは、静止画領域の送信対象メッシュとして、動画メッシュから静止画メッシュに切り替わった直後のメッシュ（継続フレーム数“１”）で高品位画像を未送信のメッシュを抽出する。
[Step S105] The transmission
［ステップＳ１０６］送信領域特定部１６０ｂは、メッシュ管理テーブル１３１ｂを参照して、高品位画像を未送信のメッシュのうち、ステップＳ１０３で算出した送信メッシュ数分のメッシュを抽出する。なお、ステップＳ１０５で動画メッシュから静止画メッシュに切り替わった直後のメッシュを抽出済みである場合には、残りの送信メッシュ数分を抽出する。送信領域特定部１６０ｂは、メッシュ管理テーブル１３１ｂの高品位画像送信済フラグを更新する。すなわち、今回送信対象として抽出した静止画メッシュに設定された高品位画像送信済フラグ“０”を“１”に変更する。送信領域特定部１６０ｂは、抽出した静止画メッシュ群を符号化部１７０に出力する。
[Step S106] The transmission
［ステップＳ１０７］送信領域特定部１６０ｂは、メッシュ管理テーブル１３１ｂの動画領域フラグを参照して、今回送信対象の画像データに動画領域が含まれているか否かを判定する。動画領域が含まれている場合、処理をステップＳ１０８に進める。動画領域が含まれていない場合、処理を完了する。
[Step S107] The transmission
［ステップＳ１０８］送信領域特定部１６０ｂは、メッシュ管理テーブル１３１ｂを参照して、動画メッシュを抽出し、抽出した動画メッシュ群を送信対象の領域とする。送信領域特定部１６０は、抽出した動画メッシュ群を符号化部１７０に出力する。
[Step S108] The transmission
このようにして、送信領域特定部１６０ｂは、動画メッシュから静止画メッシュに切り替わった直後のメッシュを優先的に抽出して、表示装置２００への送信対象とする。
なお、上記ステップＳ１０１〜Ｓ１０６に示した静止画領域に対する処理および上記ステップＳ１０７，Ｓ１０８に示した動画領域に対する処理は、順序を逆にしてもよい。例えば、送信領域特定部１６０ｂは、動画領域に対する処理（ステップＳ１０７，Ｓ１０８）を先に実行した後、静止画領域に対する処理（ステップＳ１０１〜Ｓ１０６）を行うことも考えられる。
In this way, the transmission
The processing for the still image area shown in steps S101 to S106 and the processing for the moving picture area shown in steps S107 and S108 may be reversed. For example, it is also conceivable that the transmission
図２６は、第４の実施の形態の画像データの送信方法の具体例を示す図である。以下、図２６に示す処理をステップ番号に沿って説明する。なお、図２６の各ステップでは、画像を構成するメッシュに、その継続フレーム数を図示している。また、ステップＳＴ１１は、コンピュータ１００ｂが表示装置２００への最初のフレームの送信タイミングである。ステップＳＴ１２は、ステップＳＴ１１の次のフレームの送信タイミングである。以降、ステップＳＴ１３，ＳＴ１４に関しても同様である。
FIG. 26 is a diagram illustrating a specific example of the image data transmission method according to the fourth embodiment. In the following, the process illustrated in FIG. 26 will be described in order of step number. In each step of FIG. 26, the number of continuous frames is illustrated on the mesh constituting the image. Step ST11 is the transmission timing of the first frame to the
［ステップＳＴ１１］コンピュータ１００ｂは、画像４００の全体を動画領域として符号化し、表示装置２００に送信する。このとき、全メッシュが新たに動画領域として特定されることになるので、全メッシュの継続フレーム数は“１”となる。
[Step ST <b> 11] The
［ステップＳＴ１２］コンピュータ１００ｂは、各メッシュの変化から、静止画領域４１０および動画領域４２０を特定する。そして、静止画領域４１０のうち、一部領域４１１を符号化し、表示装置２００に送信する。また、動画領域４２０の全体を符号化し、表示装置２００に送信する。一部領域４１１は、動画領域４２０よりも高品位の画像となる。なお、静止画領域４１０のうち、一部領域４１１以外の領域に関しては、表示装置２００は、ステップＳＴ１１で受信した画像データを引き続き表示する。
[Step ST12] The
［ステップＳＴ１３］コンピュータ１００ｂは、上記ステップＳＴ１２の動画領域４２０が動画領域４２１の位置へ変更されたことを検知する。このとき、一部領域４２２は、動画領域として検出される。コンピュータ１００ｂは、静止画領域のうち一部領域４１２を符号化し、表示装置２００に送信する。また、動画領域４２１および一部領域４２２の全体を符号化し、表示装置２００に送信する。一部領域４１２は、動画領域４２１および一部領域４２２よりも高品位の画像となる。なお、一部領域４１１に関しては、表示装置２００は、ステップＳＴ１２で受信した画像データを引き続き表示する。また、静止画領域のうち、一部領域４１１，４１２以外の領域については、表示装置２００は、ステップＳ１１で受信した画像データを引き続き表示する。
[Step ST13] The
［ステップＳＴ１４］コンピュータ１００ｂは、上記ステップＳＴ１２の動画領域４２１が動画領域４２３の位置へ変更されたことを検知する。このとき、一部領域４２４は、動画領域と特定される。また、一部領域４１５は、一部領域４２２からの変化がないため、静止画領域と特定される。コンピュータ１００ｂは、静止画領域のうち一部領域４１４，４１５を符号化し、表示装置２００に送信する。また、動画領域４２３および一部領域４２４を符号化し、表示装置２００に送信する。一部領域４１４，４１５は、動画領域４２３および一部領域４２４よりも高品位の画像になる。なお、一部領域４１３に関しては、表示装置２００は、ステップＳＴ１２，ＳＴ１３で受信した画像データを引き続き表示する。また、静止画領域のうち、一部領域４１３，４１４，４１５以外の領域については、表示装置２００は、ステップＳＴ１１で受信した画像データを引き続き表示する。
[Step ST14] The
このように、コンピュータ１００ｂは、動画領域が移動に伴って、動画領域から静止画領域に切り替わった領域（上記の例では、一部領域４１５）のメッシュについて、優先的に送信対象とする。
As described above, the
これにより、第２の実施の形態と同様の効果を得ることができる。また、動画領域の移動に係る領域は、閲覧者の注意が向き易い。このため、このような領域に対して優先的に画質を高めることで、閲覧者に対して与え得る違和感を軽減し、見易さをより向上することができる。 Thereby, the effect similar to 2nd Embodiment can be acquired. In addition, the viewer's attention tends to be directed to the area related to the movement of the moving image area. For this reason, it is possible to reduce the sense of incongruity that can be given to the viewer by improving the image quality preferentially with respect to such an area, and to further improve the visibility.
［第５の実施の形態］
次に、第５の実施の形態について説明する。前述の第２〜第４の実施の形態との相違点を中心に説明し、同様の事項については説明を省略する。
[Fifth Embodiment]
Next, a fifth embodiment will be described. Differences from the above-described second to fourth embodiments will be mainly described, and description of similar matters will be omitted.
ここで、第２〜第４の実施の形態の表示システムでは、その利用状況によっては、使用可能な帯域に余裕ができることも考えられる。このため、第５の実施の形態の表示システムでは、このような余剰の帯域を用いて、表示装置が表示する画像の見易さをより向上する。 Here, in the display systems of the second to fourth embodiments, there is a possibility that a usable bandwidth can be provided depending on the use state. For this reason, in the display system according to the fifth embodiment, the visibility of an image displayed by the display device is further improved by using such an extra band.
なお、第５の実施の形態の表示システムの全体構成は、図２で示した第２の実施の形態の表示システムの全体構成と同一であるため、説明を省略する。また、第５の実施の形態の表示システムに含まれるコンピュータおよび表示装置のハードウェア構成は、図３，４で示した第２の実施の形態のコンピュータ１００および表示装置２００のハードウェア構成と同一であるため、説明を省略する。
The overall configuration of the display system of the fifth embodiment is the same as the overall configuration of the display system of the second embodiment shown in FIG. The hardware configurations of the computer and the display device included in the display system of the fifth embodiment are the same as the hardware configurations of the
図２７は、第５の実施の形態の各装置の機能構成を示す図である。コンピュータ１００ｃは、制御情報記憶部１１０ｃ、メッシュ記憶部１２０、メッシュ管理情報記憶部１３０ｃ、メッシュ生成部１４０、変化検出部１４５、領域判定部１５０ｃ、送信領域特定部１６０ｃ、符号化部１７０ｃを有する。これらの機能はＣＰＵ１０１が画像処理プログラムを実行することで実現される。ただし、これらの機能の一部または全部を専用のハードウェアで実現してもよい。なお、図２７ではメッシュ管理情報記憶部１３０ｃと符号化部１７０ｃとの間の関連線は省略してある。
FIG. 27 is a diagram illustrating a functional configuration of each device according to the fifth embodiment. The
また、メッシュ記憶部１２０、メッシュ生成部１４０、変化検出部１４５、領域判定部１５０ｃ、送信部１８０、受信部１８５、通信帯域監視部１９０およびフレームレート設定受付部１９５に関しては、図５で同一の符号を付して説明した構成と同一であるため説明を省略する。更に、表示装置２００の構成も図５で説明した構成と同一であるため説明を省略する。
Further, the
制御情報記憶部１１０ｃは、画像データの符号化に際して、圧縮率（あるいは画質）を特定するためのデータ出力制御情報を記憶する。また、制御情報記憶部１１０ｃは、静止画領域の画像データを再送するまでの継続フレーム数しきい値を記憶する。
The control
メッシュ管理情報記憶部１３０ｃは、画像内におけるメッシュの位置や、動画、静止画の区分、動画、静止画の各状態がどれだけの時間継続したかを示す継続フレーム数などを含むメッシュ管理情報を記憶する。
The mesh management
領域判定部１５０ｃは、変化検出部１４５の変化の検出結果に基づいて、画像データに含まれる各メッシュを動画領域および静止画領域に区分する。具体的には、変化検出部１４５が変化ありと検出した領域を動画領域と特定する。また、変化検出部１４５が変化なしと検出した領域を静止画領域と特定する。更に、領域判定部１５０ｃは、該当のメッシュについて、同一区分の領域として継続して特定したフレームの数（継続フレーム数）をカウントする。なお、領域判定部１５０ｃは、該当のメッシュの領域の区分が変更した場合には、カウントをリセットして、再度１からカウントしなおす。領域判定部１５０ｃは、このようにして特定した各メッシュの動画および静止画の区分や継続フレーム数の情報に基づいて、メッシュ管理情報を生成し、メッシュ管理情報記憶部１３０ｃに格納する。
The region determination unit 150c classifies each mesh included in the image data into a moving image region and a still image region based on the change detection result of the
送信領域特定部１６０ｃは、メッシュ管理情報記憶部１３０ｃに記憶されたメッシュ管理情報に基づいて、表示装置２００に送信する領域（送信領域）を特定する。送信領域特定部１６０ｃは、動画領域について、その全部を送信領域と特定する。
The transmission
また、送信領域特定部１６０ｃは、静止画領域について、その一部を送信領域と特定する。すなわち、送信領域特定部１６０ｃは、静止画領域を分割し（一次分割）、分割した領域を複数のタイミングで送信領域として順次特定する。このようにすることで、静止画領域の単位面積当たりの送信画像データ量を動画領域の単位面積当たりの送信画像データ量よりも多く割り当てることができる。すなわち、後段の符号化に伴う圧縮率を制御して、静止画領域の画質を動画領域の画質よりも向上させることができる。
The transmission
更に、送信領域特定部１６０ｃは、メッシュ管理情報と、制御情報記憶部１１０ｃに記憶された継続フレーム数しきい値と、を参照して、継続フレーム数しきい値を超えて静止画領域の状態が継続している静止画メッシュの再送を行う。このとき、送信領域特定部１６０ｃは、一次分割時の分割数よりも多くの分割数で静止画領域を分割する（二次分割）。このように、一次分割数よりも多く分割して静止画領域を順次再送することで、静止画領域の単位面積当たりの送信画像データ量を一次分割時よりも多く割り当てることができる。これによって、一次分割で送信した静止画領域の画質をより向上することができる。
Furthermore, the transmission
符号化部１７０ｃは、送信領域特定部１６０ｃが特定した送信領域のメッシュを順番に符号化してデータ量を削減する。符号化部１７０ｃは、圧縮率決定部１７１ｃ、動画領域符号化部１７２および静止画領域符号化部１７３ｃを有する。ここで、動画領域符号化部１７２は、図５で同一の符号を付して説明した構成と同一であるため説明を省略する。
The encoding unit 170c sequentially encodes the meshes of the transmission area specified by the transmission
圧縮率決定部１７１ｃは、動画メッシュ群または静止画メッシュ群の符号化後データ量を決定する。ここで、圧縮率決定部１７１ｃは、動画メッシュの圧縮率よりも静止画メッシュの圧縮率を低く設定し、静止画領域については、動画領域よりも高品位な画像の表示を可能とする。更に、圧縮率決定部１７１ｃは、静止画領域について、一次分割での送信時よりも二次分割での送信時の方が圧縮率を低く設定する。これによって、二次分割により表示された静止画領域の画質をより向上することができる。 The compression rate determination unit 171c determines the encoded data amount of the moving image mesh group or the still image mesh group. Here, the compression rate determination unit 171c sets the compression rate of the still image mesh lower than the compression rate of the moving image mesh, and the still image region can display a higher quality image than the moving image region. Furthermore, the compression rate determination unit 171c sets a lower compression rate for the still image area when transmitting in the secondary division than when transmitting in the primary division. Thereby, the image quality of the still image area displayed by the secondary division can be further improved.
静止画領域符号化部１７３ｃは、圧縮率決定部１７１ｃが決定した静止画領域の符号化後データ量に近くなるように送信領域内の静止画メッシュ群を符号化する。静止画領域符号化部１７３ｃは、圧縮率決定部１７１ｃから一次分割時の符号化データ量を取得した場合、一次分割時の符号化データ量に近いデータ量となるよう静止画メッシュ群を符号化する。また、静止画領域符号化部１７３ｃは、圧縮率決定部１７１ｃから二次分割時の符号化データ量を取得した場合、二次分割時の符号化データ量に近いデータ量となるよう静止画メッシュ群を符号化する。 The still image region encoding unit 173c encodes the still image mesh group in the transmission region so as to be close to the encoded data amount of the still image region determined by the compression rate determining unit 171c. When the still image area encoding unit 173c obtains the encoded data amount at the time of primary division from the compression rate determining unit 171c, the still image region encoding unit 173c encodes the still image mesh group so that the data amount is close to the encoded data amount at the time of primary division. To do. In addition, when the still image region encoding unit 173c acquires the encoded data amount at the time of the secondary division from the compression rate determination unit 171c, the still image mesh encoding unit 173c has a data amount close to the encoded data amount at the time of the secondary division. Encode the group.
静止画領域符号化部１７３ｃは、符号化して生成した静止画圧縮データを送信部１８０に出力する。
図２８は、第５の実施の形態の継続フレーム数しきい値設定テーブルのデータ構造例を示す図である。継続フレーム数しきい値設定テーブル１１１ｃは、制御情報記憶部１１０ｃに予め格納される。継続フレーム数しきい値設定テーブル１１１ｃには、継続フレーム数しきい値が設定される。
The still image region encoding unit 173c outputs the still image compressed data generated by encoding to the
FIG. 28 is a diagram illustrating an example of a data structure of a continuation frame number threshold setting table according to the fifth embodiment. The continuation frame number threshold setting table 111c is stored in advance in the control
継続フレーム数しきい値は、静止画領域について二次分割した画像を送信するまでに該当メッシュが静止画メッシュ状態のままで経過すべき継続フレーム数のしきい値を示す。すなわち、送信領域特定部１６０ｃは、継続フレーム数しきい値以上となった静止画メッシュ群を二次分割による送信対象と特定して、符号化部１７０ｃに出力する。これにより、継続フレーム数以上の期間が経過した静止画メッシュの画質を向上する。
The continuation frame number threshold indicates the threshold value of the number of continuation frames that should pass while the corresponding mesh remains in the still image mesh state before transmitting the image that is secondarily divided for the still image region. That is, the transmission
図２９は、第５の実施の形態のメッシュ管理テーブルのデータ構造例を示す図である。メッシュ管理テーブル１３１ｃは、メッシュ管理情報記憶部１３０ｃに格納される。メッシュ管理テーブル１３１ｃには、メッシュ座標を示す項目、動画領域フラグを示す項目、一次高品位画像送信済フラグを示す項目、二次高品位画像送信済フラグを示す項目および継続フレーム数を示す項目が設けられている。各項目の横方向に並べられた情報同士が互いに関連付けられて、１つのメッシュに関する情報を示す。
FIG. 29 is a diagram illustrating a data structure example of a mesh management table according to the fifth embodiment. The mesh management table 131c is stored in the mesh management
なお、メッシュ座標を示す項目、動画領域フラグを示す項目は、図８で説明したメッシュ管理テーブル１３１の同一名称の各項目と同一である。
一次高品位画像送信済フラグを示す項目には、静止画メッシュについて、一次分割による一次高品位画像を送信済みであるか否かを示すフラグが設定される。一次高品位画像送信済フラグを示す項目には、該当のメッシュについて一次高品位画像を送信済みである場合は“１”が設定され、未送信である場合は“０”が設定される。なお、一次高品位画像送信済フラグを示す項目には、該当のメッシュが動画メッシュである場合には、一次高品位画像の送信対象でないことを示す“−”が設定される。
The items indicating mesh coordinates and the items indicating moving image area flags are the same as the items having the same names in the mesh management table 131 described with reference to FIG.
In the item indicating the primary high-quality image transmitted flag, a flag indicating whether or not the primary high-quality image by the primary division has been transmitted for the still image mesh is set. In the item indicating the primary high-quality image transmission flag, “1” is set when the primary high-quality image has been transmitted for the corresponding mesh, and “0” is set when the mesh has not been transmitted yet. In the item indicating the primary high-quality image transmission flag, “-” indicating that the primary high-quality image is not a transmission target is set when the corresponding mesh is a moving image mesh.
二次高品位画像送信済フラグを示す項目には、静止画メッシュについて、二次分割による二次高品位画像を送信済みであるか否かを示すフラグが設定される。二次高品位画像送信済フラグを示す項目には、該当のメッシュについて二次高品位画像を送信済みである場合は“１”が設定され、未送信である場合は“０”が設定される。なお、二次高品位画像送信済フラグを示す項目には、該当のメッシュが動画メッシュである場合には、二次高品位画像の送信対象でないことを示す“−”が設定される。 In the item indicating the secondary high-quality image transmitted flag, a flag indicating whether or not the secondary high-quality image by the secondary division has been transmitted for the still image mesh is set. In the item indicating the secondary high-quality image transmission flag, “1” is set when the secondary high-quality image has been transmitted for the corresponding mesh, and “0” is set when the mesh is not yet transmitted. . Note that in the item indicating the secondary high-quality image transmission flag, “-” indicating that the secondary high-quality image is not a transmission target is set when the corresponding mesh is a moving image mesh.
継続フレーム数を示す項目には、該当のメッシュが静止画領域として継続して特定されたフレームの数が設定される。
メッシュ管理テーブル１３１ｃには、例えば、メッシュ座標が（ｘ，ｙ）＝“（１，１）”、動画領域フラグが“０”、一次高品位画像送信済フラグが“１”、二次高品位画像送信済フラグが“１”、継続フレーム数が“３５”という情報が設定される。これは、メッシュ座標（ｘ，ｙ）＝“（１，１）”で指定されるメッシュが静止画メッシュであり、静止画メッシュの状態で“３５”フレーム継続していることを示している。また、そのメッシュについて、一次高品位画像、二次高品位画像ともに表示装置２００へ送信済みであることを示している。
In the item indicating the number of continuous frames, the number of frames in which the corresponding mesh is continuously specified as a still image region is set.
In the mesh management table 131c, for example, the mesh coordinates are (x, y) = “(1, 1)”, the moving image area flag is “0”, the primary high-quality image transmitted flag is “1”, and the secondary high-quality Information that the image transmission flag is “1” and the number of continuing frames is “35” is set. This indicates that the mesh specified by the mesh coordinates (x, y) = “(1, 1)” is a still image mesh, and “35” frames are continued in the state of the still image mesh. Further, it is shown that both the primary high-quality image and the secondary high-quality image have been transmitted to the
また、メッシュ管理テーブル１３１ｃには、例えば、メッシュ座標が（ｘ，ｙ）＝“（５１，３１）”、動画領域フラグが“０”、一次高品位画像送信済フラグが“１”、二次高品位画像送信済フラグが“０”、継続フレーム数が“２８”という情報が設定される。これは、メッシュ座標（ｘ，ｙ）＝“（５１，３１）”で指定されるメッシュが静止画メッシュであり、静止画メッシュの状態で“２８”フレーム継続していることを示している。また、そのメッシュについて、一次高品位画像は表示装置２００へ送信済みであるが、二次高品位画像は表示装置２００へ未送信であることを示している。
In the mesh management table 131c, for example, the mesh coordinates are (x, y) = “(51, 31)”, the moving image area flag is “0”, the primary high-quality image transmitted flag is “1”, and the secondary Information that the high-quality image transmission flag is “0” and the number of continuing frames is “28” is set. This indicates that the mesh designated by the mesh coordinates (x, y) = “(51, 31)” is a still image mesh, and “28” frames are continued in the state of the still image mesh. In addition, for the mesh, the primary high-quality image has been transmitted to the
なお、領域判定部１５０ｃは、該当メッシュを静止画領域と新たに判定したタイミングで、一次高品位画像送信済フラグおよび二次高品位画像送信済フラグに“０”を設定する。 The area determination unit 150c sets “0” to the primary high-quality image transmitted flag and the secondary high-quality image transmitted flag at the timing when the corresponding mesh is newly determined as a still image area.
次に、以上の構成により実現されるコンピュータ１００ｃおよび表示装置２００の処理手順に関して説明する。
なお、コンピュータ１００ｃの画像データの送信処理の手順に関しては、図９で説明した手順と同様であるため説明を省略する。以下、コンピュータ１００ｃの画像データの送信処理に含まれる各処理について詳細に説明する。
Next, processing procedures of the
The procedure of the image data transmission process of the
図３０は、第５の実施の形態の送信領域特定処理を示すフローチャートである。以下、図３０に示す処理をフローチャートのステップ番号に沿って説明する。
［ステップＳ１１１］送信領域特定部１６０ｃは、メッシュ管理情報記憶部１３０ｃに記憶されたメッシュ管理テーブル１３１ｃの動画領域フラグを参照して、今回送信対象の画像データに静止画領域が含まれているか否かを判定する。静止画領域が含まれている場合、処理をステップＳ１１２に進める。静止画領域が含まれていない場合、処理をステップＳ１１９に進める。
FIG. 30 is a flowchart illustrating a transmission area specifying process according to the fifth embodiment. In the following, the process illustrated in FIG. 30 will be described along the step numbers in the flowchart.
[Step S111] The transmission
［ステップＳ１１２］送信領域特定部１６０ｃは、メッシュ管理テーブル１３１ｃの一次高品位画像送信済フラグを参照して、静止画メッシュのうち、一次高品位画像を未送信のメッシュが存在するか否かを判定する。一次高品位画像を未送信のメッシュが存在する場合、処理をステップＳ１１３に進める。一次高品位画像を未送信のメッシュが存在しない場合、処理をステップＳ１１５に進める。
[Step S112] The transmission
［ステップＳ１１３］送信領域特定部１６０ｃは、静止画領域の一次分割数を特定する。静止画領域の一次分割数は、利用環境に応じて、例えば、メッシュ管理情報記憶部１３０ｃに予め記憶される。送信領域特定部１６０ｃは、特定した一次分割数に基づいて、送信する静止画領域の一次送信メッシュ数を算出する。
[Step S113] The transmission
［ステップＳ１１４］送信領域特定部１６０ｃは、メッシュ管理テーブル１３１ｃを参照して、一次高品位画像を未送信のメッシュのうち、ステップＳ１１３で算出した一次送信メッシュ数分のメッシュを抽出する。送信領域特定部１６０ｃは、メッシュ管理テーブル１３１ｃの一次高品位画像送信済フラグを更新する。すなわち、今回送信対象として抽出した静止画メッシュに設定された一次高品位画像送信済フラグ“０”を“１”に変更する。送信領域特定部１６０ｃは、抽出した静止画メッシュ群を符号化部１７０ｃに出力する。なお、送信領域特定部１６０ｃは、出力した静止画メッシュ群が一次分割に対応するものである旨を符号化部１７０ｃに通知する。
[Step S114] The transmission
［ステップＳ１１５］送信領域特定部１６０ｃは、制御情報記憶部１１０ｃを参照して、継続フレーム数しきい値を取得する。そして、送信領域特定部１６０ｃは、メッシュ管理テーブル１３１ｃを参照して継続フレーム数しきい値以上の継続フレーム数となった静止画メッシュが存在するか否かを判定する。存在する場合、処理をステップＳ１１６に進める。存在しない場合、処理をステップＳ１１９に進める。
[Step S115] The transmission
［ステップＳ１１６］送信領域特定部１６０ｃは、メッシュ管理テーブル１３１ｃの二次高品位画像送信済フラグを参照して、二次高品位画像を未送信のメッシュが存在するか否かを判定する。二次高品位画像を未送信のメッシュが存在する場合、処理をステップＳ１１７に進める。二次高品位画像を未送信のメッシュが存在しない場合、処理をステップＳ１１９に進める。
[Step S116] The transmission
［ステップＳ１１７］送信領域特定部１６０ｃは、静止画領域の二次分割数を特定する。静止画領域の二次分割数は、利用環境に応じて、例えば、メッシュ管理情報記憶部１３０ｃに予め記憶される。送信領域特定部１６０ｃは、特定した二次分割数に基づいて、送信する静止画領域の二次送信メッシュ数を算出する。
[Step S117] The transmission
［ステップＳ１１８］送信領域特定部１６０ｃは、メッシュ管理テーブル１３１ｃを参照して、二次高品位画像を未送信のメッシュのうち、ステップＳ１１７で算出した二次送信メッシュ数分のメッシュを抽出する。送信領域特定部１６０ｃは、メッシュ管理テーブル１３１ｃの二次高品位画像送信済フラグを更新する。すなわち、今回送信対象として抽出した静止画メッシュに設定された二次高品位画像送信済フラグ“０”を“１”に変更する。送信領域特定部１６０ｃは、抽出した静止画メッシュ群を符号化部１７０ｃに出力する。なお、送信領域特定部１６０ｃは、出力した静止画メッシュ群が二次分割に対応するものである旨を符号化部１７０ｃに通知する。
[Step S118] The transmission
［ステップＳ１１９］送信領域特定部１６０ｃは、メッシュ管理テーブル１３１ｃの動画領域フラグを参照して、今回送信対象の画像データに動画領域が含まれているか否かを判定する。動画領域が含まれている場合、処理をステップＳ１２０に進める。動画領域が含まれていない場合、処理を完了する。
[Step S119] The transmission
［ステップＳ１２０］送信領域特定部１６０ｃは、メッシュ管理テーブル１３１ｃを参照して動画メッシュを抽出し、抽出した動画メッシュ群を送信対象の領域とする。送信領域特定部１６０ｃは、抽出した動画メッシュ群を符号化部１７０ｃに出力する。
[Step S120] The transmission
このようにして送信領域特定部１６０ｃは、静止画領域の一部送信対象の領域として特定する。送信領域特定部１６０ｃは、送信対象の領域として選択するメッシュの数を静止画領域の分割数に応じて算出する。また、送信領域特定部１６０ｃは、静止画領域の分割数を一次分割時よりも二次分割時の方が多くなるようにする。
In this way, the transmission
これにより、後段の符号化処理において、二次分割時の静止画メッシュ群について同一面積の送信データ量を一次分割時の静止画メッシュ群よりも多く割り当てることができる。 As a result, in the subsequent encoding process, a larger amount of transmission data of the same area can be allocated to the still image mesh group at the time of the secondary division than the still image mesh group at the time of the primary division.
なお、上記ステップＳ１１１〜Ｓ１１８に示した静止画領域に対する処理および上記ステップＳ１１９，Ｓ１２０に示した動画領域に対する処理は、順序を逆にしてもよい。例えば、送信領域特定部１６０ｃは、動画領域に対する処理（ステップＳ１１９，Ｓ１２０）を先に実行した後、静止画領域に対する処理（ステップＳ１１１〜Ｓ１１８）を行うことも考えられる。
The processing for the still image area shown in steps S111 to S118 and the processing for the moving picture area shown in steps S119 and S120 may be reversed. For example, the transmission
図３１は、第５の実施の形態の二次高品位画像の送信方法の具体例を示す図である。以下、図３１に示す処理をステップ番号に沿って説明する。なお、図３１の各ステップでは、画像を構成するメッシュに、その継続フレーム数を図示している。また、ステップＳＴ２１は、コンピュータ１００ｃが表示装置２００への最初のフレームの送信タイミングである。ステップＳＴ２２は、ステップＳＴ２１の次のフレームの送信タイミングである。以降、ステップＳＴ２３，ＳＴ２４に関しても同様である。
FIG. 31 is a diagram illustrating a specific example of the secondary high-quality image transmission method according to the fifth embodiment. In the following, the process illustrated in FIG. 31 will be described in order of step number. In each step of FIG. 31, the number of continuous frames is illustrated on the mesh constituting the image. Step ST21 is the transmission timing of the first frame to the
［ステップＳＴ２１］コンピュータ１００ｃは、画像５００のうち動画領域５２０を符号化し、表示装置２００に送信する。このとき、全メッシュの継続フレーム数は“２９”であるとする。静止画領域５１０に関しては、既に全ての静止画メッシュについて一次高品位画像を送信済みであるので、表示装置２００への画像データの送信は行われない。
[Step ST <b> 21] The
［ステップＳＴ２２］コンピュータ１００ｃは、画像５００のうち、動画領域５２１を符号化し、表示装置２００に送信する。このとき、全メッシュの継続フレーム数は“３０”となる。静止画領域５１１に関しては、既に全ての静止画メッシュについて一時高品位画像を送信済みであるので、表示装置２００への画像データの送信は行われない。
[Step ST <b> 22] The
［ステップＳＴ２３］コンピュータ１００ｃは、画像５００のうち、動画領域５２２を符号化し、表示装置２００に送信する。また、コンピュータ１００ｃは、画像５００のうち、静止画領域を二次分割した際の一単位である一部領域５１２を符号化し、表示装置２００に送信する。このとき、例えば、二次分割数を一次分割数の２倍に設定しておけば、一部領域５１２に対して、一次分割時よりも２倍の送信データ量を割り当てることができる。すなわち、圧縮率を低減して、一部領域５１２の画質を向上できる。なお、全メッシュの継続フレーム数は“３１”となる。
[Step ST <b> 23] The
［ステップＳＴ２４］コンピュータ１００ｃは、画像５００のうち、動画領域５２３を符号化し、表示装置２００に送信する。また、コンピュータ１００ｃは、画像５００のうち、静止画領域を二次分割した際の一単位である一部領域５１４を符号化し、表示装置２００に送信する。一部領域５１３は、ステップＳＴ２３の一部領域５１２に対応する。表示装置２００は、一部領域５１３に関しては、ステップＳＴ２３で受信した画像を継続して表示する。なお、全メッシュの継続フレーム数は“３２”となる。
[Step ST24] The
このように、コンピュータ１００ｃは、静止画領域について一次分割により画像送信した後、所定のフレーム数が継続した静止画メッシュについては一次分割よりも細かい分割数で二次分割を行って、表示装置２００へ画像データを送信する。
As described above, the
これにより、第２の実施の形態と同様の効果を実現することができる。また、静止画領域の画質を更に向上して、より見易い画像表示を実現することが可能となる。
第２〜第５の実施の形態で説明したように、コンピュータ１００，１００ａ，１００ｂ，１００ｃは、画像データに含まれるメッシュの時間変化に基づいて、画像データを静止画領域と動画領域とに区分する。そして、コンピュータ１００は、静止画メッシュの送信回数を動画メッシュの送信回数よりも少なくする。
Thereby, the same effect as that of the second embodiment can be realized. In addition, it is possible to further improve the image quality of the still image area and realize an image display that is easier to view.
As described in the second to fifth embodiments, the
これにより、ネットワークの伝送容量を効率的に利用して画像データを送信することが可能となる。
また、静止画領域を複数の領域に分割して、異なるタイミングで送信することで、単位面積当たりに割り当て可能な送信データ量を動画領域よりも多く割り当てることができる。
This makes it possible to transmit image data by efficiently using the transmission capacity of the network.
Further, by dividing the still image region into a plurality of regions and transmitting them at different timings, it is possible to allocate a larger amount of transmission data per unit area than that of the moving image region.
これにより、静止画領域の画質を動画領域の画質に比べて高品位とすることができる。その結果、表示装置２００によりスクリーン２０に表示される画像の見易さを向上することができる。
Thereby, the image quality of the still image area can be made higher than the image quality of the moving image area. As a result, the visibility of the image displayed on the
また、第３の実施の形態で説明したように、静止画領域と動画領域との境界である境界領域を導入する。そして、境界メッシュ群について単位面積当たりに割り当てる送信データ量を動画メッシュ群について単位面積当たりに割り当てる送信データ量よりも多くなるようにする。 Further, as described in the third embodiment, a boundary region that is a boundary between the still image region and the moving image region is introduced. Then, the transmission data amount assigned per unit area for the boundary mesh group is set to be larger than the transmission data amount assigned per unit area for the moving image mesh group.
これにより、境界メッシュ群の画質を、動画メッシュ群の画質よりも向上することができる。その結果、静止画領域と動画領域との境界部分での画質の急激な変化が抑えられることになる。このため、表示装置２００は、閲覧者に与える違和感を抑えた、より見易い画像の表示が可能となる。
Thereby, the image quality of the boundary mesh group can be improved over the image quality of the moving image mesh group. As a result, an abrupt change in image quality at the boundary between the still image region and the moving image region can be suppressed. For this reason, the
また、表示する画像中の注目する箇所が動画領域に隣接した静止画領域内の静止画像である場合にも、その画像の品質の劣化を抑えることができ、より見易い画像の表示が可能となる。 In addition, even when the point of interest in the displayed image is a still image in a still image area adjacent to the moving image area, it is possible to suppress degradation of the quality of the image and display an easier-to-view image. .
また、第４の実施の形態で説明したように、動画領域が移動に伴って、動画領域から静止画領域に切り替わった領域のメッシュについて、優先的に送信対象とする。
すなわち、閲覧者の注意が向き易い動画領域の移動に係る領域に対して優先的に画質を高める。これにより、閲覧者に対して与え得る違和感を軽減し、見易さをより向上することができる。
Further, as described in the fourth embodiment, a mesh in an area in which the moving image area is switched from the moving image area to the still image area as the moving image area moves is preferentially set as a transmission target.
In other words, the image quality is preferentially enhanced with respect to the area related to the movement of the moving image area that is easy for the viewer to pay attention. Thereby, the uncomfortable feeling which can be given with respect to a viewer can be reduced, and legibility can be improved more.
また、第５の実施の形態で説明したように、静止画領域について一次分割により画像送信した後、所定のフレーム数が継続した静止画メッシュについては一次分割よりも細かい分割数で二次分割を行って、表示装置２００へ画像データを送信する。
In addition, as described in the fifth embodiment, after the image is transmitted by primary division for the still image area, the still image mesh having a predetermined number of frames is subjected to secondary division with a smaller number of divisions than the primary division. The image data is transmitted to the
これにより、静止画領域の画質を更に向上して、より見易い画像表示を実現することが可能となる。
これらの方法を用いることで、画像データを効率的に送信することが可能となる。具体的には、変化の少ない静止画領域の画像データの送信回数を変化の多い動画領域の画像データの送信回数よりも少なくする。その結果、伝送容量が不必要に使用されることを抑止することができる。また、余剰の伝送容量を用いて、画質をより向上することができる。また、その分の伝送容量を他のデータ通信に利用することもできる。
As a result, it is possible to further improve the image quality of the still image region and realize an image display that is easier to view.
By using these methods, it is possible to efficiently transmit image data. Specifically, the number of transmissions of image data in a still image area with little change is made smaller than the number of transmissions of image data in a moving picture area with much change. As a result, unnecessary use of transmission capacity can be suppressed. In addition, the image quality can be further improved by using the excess transmission capacity. In addition, the transmission capacity can be used for other data communications.
以上、本発明の画像処理プログラム、表示システム、画像処理装置および画像処理方法を図示の実施の形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は同様の機能を有する任意の構成のものに置換することができる。また、本発明に他の任意の構成物や行程が付加されてもよい。また、本発明は前述した実施の形態のうちの任意の２以上の構成（特徴）を組み合わせたものであってもよい。 The image processing program, display system, image processing apparatus, and image processing method of the present invention have been described based on the illustrated embodiment. However, the present invention is not limited to this, and the configuration of each unit is the same. Any structure having a function can be substituted. Moreover, other arbitrary structures and processes may be added to the present invention. Further, the present invention may be a combination of any two or more configurations (features) of the above-described embodiments.
１ コンピュータ
１ａ 検出手段
１ｂ 送信手段
２ 表示装置
１０，１０ａ，１０ｂ 画像
１１ 第１の種類の領域
１２ 第２の種類の領域
１１ａ，１１ｂ，１２ａ，１２ｂ 画像情報
DESCRIPTION OF
Claims (14)
時系列に入力された複数の画像間の変化に応じて、各画像に含まれる第１の種類の領域と前記第１の種類の領域よりも変化量の大きい第２の種類の領域とを検出する検出手段、
所定の時間幅における前記第１の種類の領域の画像情報の送信回数を前記所定の時間幅における前記第２の種類の領域の画像情報の送信回数よりも少ない回数として、前記第１の種類の領域の画像情報と前記第２の種類の領域の画像情報とを順次送信する送信手段、
として機能させることを特徴とする画像処理プログラム。 Computer
In accordance with a change between a plurality of images input in time series, a first type region included in each image and a second type region having a larger amount of change than the first type region are detected. Detecting means to
The number of transmissions of the image information of the first type area in a predetermined time width is set to be smaller than the number of transmissions of the image information of the second type area in the predetermined time width. Transmitting means for sequentially transmitting image information of the area and image information of the second type area;
An image processing program that functions as an image processing program.
前記送信手段は、前記検出手段が特定した前記送信対象領域の画像情報を送信する、
ことを特徴とする請求項１記載の画像処理プログラム。 The detection means detects a plurality of areas as the first type area, sequentially specifies a transmission target area for each predetermined number of the plurality of areas,
The transmitting unit transmits image information of the transmission target area specified by the detecting unit;
The image processing program according to claim 1.
前記送信手段は、前記符号化手段による符号化後の前記送信対象領域の画像情報および前記第２の種類の領域の画像情報を送信する、
ことを特徴とする請求項２記載の画像処理プログラム。 The computer further encodes the image information of the transmission target area specified by the detection means at a first compression rate, and sets the image information of the second type area higher than the first compression rate. Function as an encoding means for encoding at a compression rate of 2,
The transmission means transmits the image information of the transmission target area and the image information of the second type area after being encoded by the encoding means.
The image processing program according to claim 2, wherein:
前記符号化手段は、前記第３の領域の画像情報を前記第１の圧縮率よりも高く、前記第２の種類の領域の圧縮率よりも低い圧縮率で符号化し、
前記送信手段は、前記符号化手段による符号化後の前記第３の領域の画像情報を前記第２の種類の領域の画像情報と共に送信する、
ことを特徴とする請求項３または４の何れか１項に記載の画像処理プログラム。 The detecting means detects a third region that is adjacent to the first type region among the plurality of regions detected as the second type region;
The encoding means encodes the image information of the third region at a compression rate higher than the first compression rate and lower than the compression rate of the second type region,
The transmitting unit transmits the image information of the third region after the encoding by the encoding unit together with the image information of the second type region;
The image processing program according to any one of claims 3 and 4.
前記送信手段は、前記符号化手段による符号化後の前記変化領域の画像情報を送信する、
ことを特徴とすることを特徴とする請求項３乃至５の何れか１項に記載の画像処理プログラム。 If the area detected as the second type of area by the detecting means is detected as the first type of area, the encoding means detects the type of the area in the first type of area. The image information of the change area is encoded in preference to the area other than the change area that is
The transmission means transmits the image information of the change area after encoding by the encoding means;
The image processing program according to claim 3, wherein the image processing program is characterized in that:
前記符号化手段は、前記再送対象領域の画像情報を前記第１の圧縮率よりも低い圧縮率で符号化し、
前記送信手段は、前記符号化手段による符号化後の前記再送対象領域の画像情報を送信する、
ことを特徴とする請求項３乃至６の何れか１項に記載の画像処理プログラム。 The detection means identifies a retransmission target area that has been detected as the first type area for a predetermined period or longer,
The encoding means encodes the image information of the retransmission target area at a compression rate lower than the first compression rate,
The transmission means transmits image information of the retransmission target area after encoding by the encoding means;
The image processing program according to claim 3, wherein the image processing program is any one of claims 3 to 6.
前記送信手段は、前記入力レートで前記第２の種類の領域の画像情報を送信し、当該入力レートよりも少ない送信レートとなるよう前記第１の種類の領域の画像情報を間引き、前記第１の種類の領域の画像情報を当該送信レートで送信する、
ことを特徴とする請求項１乃至１０の何れか１項に記載の画像処理プログラム。 The detection means detects the change at an input rate of the plurality of images input in the time series,
The transmission means transmits the image information of the second type area at the input rate, thins out the image information of the first type area so that the transmission rate is lower than the input rate, Transmitting image information of the type of area at the transmission rate,
The image processing program according to any one of claims 1 to 10, wherein:
所定の時間幅における前記第１の種類の領域の画像情報の送信回数を前記所定の時間幅における前記第２の種類の領域の画像情報の送信回数よりも少ない回数として、前記第１の種類の領域の画像情報と前記第２の種類の領域の画像情報とを順次送信する送信手段と、
を備える画像処理装置と、
前記送信手段が送信した前記第１の種類の領域の画像情報と前記第２の種類の領域の画像情報とを順次受信する受信手段と、
前記受信手段が前記第１の種類の領域の画像情報と前記第２の種類の領域の画像情報とを受信した場合、当該第１の種類の領域の画像情報と当該第２の種類の画像情報とを表示し、前記受信手段が前記第２の種類の領域の画像情報を受信して前記第１の種類の領域の画像情報を受信しない場合、以前に受信した前記第１の種類の領域の画像情報と今回受信した前記第２の種類の領域の画像情報とを表示する表示手段と、
を備える表示装置と、
を有することを特徴とする表示システム。 In accordance with a change between a plurality of images input in time series, a first type region included in each image and a second type region having a larger amount of change than the first type region are detected. Detecting means for
The number of transmissions of the image information of the first type area in a predetermined time width is set to be less than the number of transmissions of the image information of the second type area in the predetermined time width. Transmitting means for sequentially transmitting image information of the area and image information of the second type area;
An image processing apparatus comprising:
Receiving means for sequentially receiving the image information of the first type area and the image information of the second type area transmitted by the transmitting means;
When the receiving means receives the image information of the first type area and the image information of the second type area, the image information of the first type area and the image information of the second type And when the receiving means receives the image information of the second type area and does not receive the image information of the first type area, Display means for displaying image information and image information of the second type of area received this time;
A display device comprising:
A display system comprising:
所定の時間幅における前記第１の種類の領域の画像データの送信回数を前記所定の時間幅における前記第１の種類の領域の画像データの送信回数よりも少ない回数として、前記第１の種類の領域の画像データと前記第２の種類の領域の画像データとを順次送信する送信手段と、
を有することを特徴とする画像処理装置。 In accordance with a change between a plurality of images input in time series, a first type region included in each image and a second type region having a larger amount of change than the first type region are detected. Detecting means for
The number of transmissions of the image data of the first type area in a predetermined time width is set to be smaller than the number of transmissions of the image data of the first type area in the predetermined time width. Transmitting means for sequentially transmitting image data of the area and image data of the second type of area;
An image processing apparatus comprising:
検出手段が、時系列に入力された複数の画像間の変化に応じて、各画像に含まれる第１の種類の領域と前記第１の種類の領域よりも変化量の大きい第２の種類の領域とを検出し、
送信手段が、所定の時間幅における前記第１の種類の領域の画像データの送信回数を前記所定の時間幅における前記第２の種類の領域の画像データの送信回数よりも少ない回数として、前記第１の種類の領域の画像データと前記第２の種類の領域の画像データとを順次送信する、
ことを特徴とする画像処理方法。 A computer image processing method comprising:
In accordance with a change between a plurality of images input in time series, the detection means includes a first type region included in each image and a second type of a change amount larger than that of the first type region. Detect areas and
The transmission means sets the number of transmissions of the image data of the first type area in a predetermined time width as a number less than the number of transmissions of the image data of the second type area in the predetermined time width. Sequentially transmitting image data of one type of area and image data of the second type of area;
An image processing method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009213999A JP2011066577A (en) | 2009-09-16 | 2009-09-16 | Image processing program, display system, image processor, and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009213999A JP2011066577A (en) | 2009-09-16 | 2009-09-16 | Image processing program, display system, image processor, and image processing method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011066577A true JP2011066577A (en) | 2011-03-31 |
Family
ID=43952365
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009213999A Pending JP2011066577A (en) | 2009-09-16 | 2009-09-16 | Image processing program, display system, image processor, and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011066577A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014021423A (en) * | 2012-07-23 | 2014-02-03 | Mitsubishi Electric Corp | Remote display device |
| JP2015220741A (en) * | 2014-05-21 | 2015-12-07 | 株式会社リコー | Distribution control system, distribution control method, and program |
| JPWO2014049761A1 (en) * | 2012-09-26 | 2016-08-22 | 富士通株式会社 | System, information processing apparatus, and image processing method |
| JP2020039045A (en) * | 2018-09-04 | 2020-03-12 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
| CN116437116A (en) * | 2023-03-03 | 2023-07-14 | 深圳市宏辉智通科技有限公司 | Audio and video scheduling method and system |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07288806A (en) * | 1994-04-20 | 1995-10-31 | Hitachi Ltd | Moving image communication system |
| JP2009049979A (en) * | 2007-07-20 | 2009-03-05 | Fujifilm Corp | Image processing device, image processing method, image processing system, and program |
-
2009
- 2009-09-16 JP JP2009213999A patent/JP2011066577A/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07288806A (en) * | 1994-04-20 | 1995-10-31 | Hitachi Ltd | Moving image communication system |
| JP2009049979A (en) * | 2007-07-20 | 2009-03-05 | Fujifilm Corp | Image processing device, image processing method, image processing system, and program |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014021423A (en) * | 2012-07-23 | 2014-02-03 | Mitsubishi Electric Corp | Remote display device |
| JPWO2014049761A1 (en) * | 2012-09-26 | 2016-08-22 | 富士通株式会社 | System, information processing apparatus, and image processing method |
| US9584752B2 (en) | 2012-09-26 | 2017-02-28 | Fujitsu Limited | System, information processing apparatus, and image processing method |
| JP2015220741A (en) * | 2014-05-21 | 2015-12-07 | 株式会社リコー | Distribution control system, distribution control method, and program |
| JP2020039045A (en) * | 2018-09-04 | 2020-03-12 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
| JP7171322B2 (en) | 2018-09-04 | 2022-11-15 | キヤノン株式会社 | Image processing device, image processing method and program |
| CN116437116A (en) * | 2023-03-03 | 2023-07-14 | 深圳市宏辉智通科技有限公司 | Audio and video scheduling method and system |
| CN116437116B (en) * | 2023-03-03 | 2024-01-30 | 深圳市宏辉智通科技有限公司 | Audio and video scheduling method and system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102087987B1 (en) | Master device, client device, and method for screen mirroring thereof | |
| JP6305279B2 (en) | Video compression device and video playback device | |
| JP4709154B2 (en) | Removable device and recording / reproducing terminal | |
| JP5882547B2 (en) | Optimizing coding and transmission parameters in pictures as scenes change | |
| US8831108B2 (en) | Low latency rate control system and method | |
| JP5216303B2 (en) | Composite video distribution apparatus and method and program thereof | |
| JP6463041B2 (en) | Image processing apparatus, image processing method, and program | |
| JP5717870B2 (en) | COMMUNICATION DEVICE, COMMUNICATION METHOD, AND PROGRAM | |
| JP4636474B2 (en) | Video conversion device, video playback device, video conversion playback system, and program | |
| JP2011066577A (en) | Image processing program, display system, image processor, and image processing method | |
| JP2010212947A (en) | Information processing device and method, information processing system, and program | |
| JP2008244820A (en) | Video display system and video output device | |
| JP2009038604A (en) | Video signal processor | |
| KR20170101760A (en) | Information processing apparatus | |
| JP2004193990A (en) | Information processing system, information processor, information processing method, recording medium and program | |
| JP2011192229A (en) | Server device and information processing method | |
| WO2016009507A1 (en) | Video transmission/reception apparatus and video display apparatus | |
| JP5387520B2 (en) | Information processing apparatus and information processing method | |
| JP4336402B2 (en) | Image processing apparatus and image processing method | |
| JP3913726B2 (en) | Multipoint video conference control device and multipoint video conference system | |
| JP2005341093A (en) | Contents adaptating apparatus, contents adaptation system, and contents adaptation method | |
| WO2019065296A1 (en) | Communication control apparatus, communication control method, program, motion picture imaging communication terminal, and motion picture reproducing communication terminal | |
| JP2016051926A (en) | Image processing apparatus, image processing method, and program | |
| JP2015192278A (en) | Picture processing system and method | |
| JP2011015243A (en) | Playback apparatus and playback method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120914 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130527 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130625 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20131022 |