JP2004356998A

JP2004356998A - Apparatus and method for dynamic image conversion, apparatus and method for dynamic image transmission, as well as programs therefor

Info

Publication number: JP2004356998A
Application number: JP2003152708A
Authority: JP
Inventors: Shunichiro Nonaka; 俊一郎野中
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 2003-05-29
Filing date: 2003-05-29
Publication date: 2004-12-16

Abstract

<P>PROBLEM TO BE SOLVED: To display in high quality an image to be frame-by-frame displayed as a reduced-color moving image, on the display screen having a large number of pixels of a display device of a mobile terminal or the like. <P>SOLUTION: In a request reception unit 12, a dynamic image transfer request from the mobile terminal device 3 is received, and a model discrimination unit 13 discriminates the model of the terminal 3. A dynamic image format conversion unit 14 converts dynamic image data M0 into a format corresponding to the model. If the terminal 3 cannot carry out dynamic image display but can display a multimedia image wherein frames are displayed one by one in high quality, a dynamic image conversion unit 15 converts the dynamic image data M1 into multimedia image data F1. On this occasion, a data size and the like of the terminal 3 are considered. An image output unit 16 sends the multimedia data F1 to the terminal 3 having made the request. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像を例えばＦｌａｓｈ（登録商標）形式のマルチメディア画像に変換する動画像変換装置および方法、動画像を携帯端末装置等に配信する動画像配信装置および方法並びに動画像変換方法および動画像配信方法をコンピュータに実行させるためのプログラムに関するものである。
【０００２】
【従来の技術】
デジタルカメラやスキャナ等により取得される画像は、ＲＧＢ各色８ビットの合計２４ビットの色すなわち約１６７７万色の色を表現することが可能である。しかしながら、画像を再生する装置によっては、これよりも少ない（例えば２５６色）の色数しか表現できない場合がある。また、ウェブサイトにおいて利用頻度が高いｇｉｆやｐｎｇ等の画像フォーマットが扱うことが可能な色は２５６色である。したがって、デジタルカメラ等により取得された画像を、表現可能な色数が少ない再生装置に表示したり、ｇｉｆやｐｎｇ等の画像フォーマットに変換する場合には、１６７７万色の色数を２５６色に減色する必要がある。
【０００３】
従来よりこのような減色処理は、減色処理を行う画像を２５６色で表現するのに最適な２５６色のパレット色からなるパレットデータを生成し、パレットデータのパレット色の中から、画素毎に変換すべき色を選択して各画素を減色していくことにより行っている。
【０００４】
また、デジタルビデオカメラにより取得された動画像をリアルタイムで減色処理して、静止画像が連続的に切り替わることによる動きのある画像（以下減色動画像とする）を生成する方法が提案されている（特許文献１参照）。この方法は、動画像に含まれる１／６０秒毎に変化するフレームをコマ落ちさせることなくリアルタイムで減色処理するために、各フレーム毎にパレットデータを生成するのではなく、数フレーム毎にパレットデータを生成し、数フレーム単位で１つのパレットデータを用いて減色処理を行う方法である。
【０００５】
一方、カメラ付き携帯電話機等の携帯端末装置の機能の向上は著しく、通信速度の向上とも相まって、動画像を撮影し、撮影した動画像を電子メールに添付して送信したり、動画像コンテンツを配信する動画像配信サーバにアクセスして、所望とする動画像コンテンツをダウンロードして再生可能な携帯端末装置が提案されている。
【０００６】
また、静止画像ではあるが、カメラ付きの携帯端末装置から送信された画像が添付された電子メールに対して、送信先の端末装置の種類に応じて適切な画像処理を施すメール中継装置が提案されている（特許文献２参照）。このようなメール中継装置を用いれば、送信先の携帯端末装置が有する画面サイズ、画面の明るさや色合い等に適した画像となるように画像データに画像処理を施して、画像添付電子メールを送信することができる。
【０００７】
ところで、携帯端末装置の表示画面の高画素化が進み、従来よりも縦横が２倍すなわち画素数で４倍となる表示画面を搭載した携帯端末装置が市場に出回りつつある。このような、携帯端末装置にその表示画面の画素数に見合った画像を用意すれば、従来よりも高精細な画像を表示することができる。
【０００８】
【特許文献１】
特開平１１−２５９６４０号公報
【０００９】
【特許文献２】
特願２００２−２１４２１５号
【００１０】
【発明が解決しようとする課題】
しかしながら、表示画面の高画素化が進んでも、携帯端末装置に搭載される画像表示のためのメモリの容量はコスト等の面から高容量とはなっていないのが現状である。例えば、表示画面の画素数が４倍となってもメモリの容量は２倍にしかなっていない。
【００１１】
一方、ｇｉｆやｐｎｇ等の減色動画像フォーマットは、画像上の一方向すなわち１次元方向についての冗長性を考慮して圧縮処理を行っている。このため、一方向に同じ画素値を有する画素が並んでいる場合には圧縮率を高めることができるが、その一方向に直交する方向については、圧縮率を高めることができないものである。
【００１２】
このため、高画素の表示画面を有する携帯端末装置に減色動画像フォーマットを有する減色動画像を表示する場合、例えば画素数を４倍としつつも圧縮後の容量を２倍にまでしかできないという制限があるため、画質を低減させたり、表示するフレーム数を低減したり、解像度を低減する等して、減色動画像フォーマットの画像のデータ容量を少なくしなければならない。しかしながら、上記減色動画像フォーマットの画像は表示可能な色数が元々２５６色しかないため、データ容量を少なくすると、携帯端末装置自体は高精細に画像を表示可能であるにも拘わらず、表示される画像は非常に画質が悪いものとなる。
【００１３】
また、動画像を再生可能な携帯端末装置に動画像コンテンツを配信した場合、その携帯端末装置には動画像を表示することができるが、機種によっては動画像を表示できない場合がある。このため、そのような携帯端末装置においては、たとえその機種に応じて適切に画像処理が施された動画像を配信してもそれを表示することができない。
【００１４】
本発明は上記事情に鑑みなされたものであり、高画素の表示画面を有する携帯端末装置等の表示装置に減色動画像のようにコマ送り表示される画像を高画質に表示できるようにすることを第１の目的とする。
【００１５】
また、本発明は、動画像を表示できない表示装置においても、その動画像を擬似的に表示できるようにすることを第２の目的とする。
【００１６】
【課題を解決するための手段】
本発明による動画像変換装置は、動画像から複数のフレームをサンプリングするサンプリング手段と、
該複数のフレームを２次元方向に冗長性を考慮した圧縮形式にて圧縮してマルチメディアフォーマットのマルチメディア画像を生成するマルチメディア画像生成手段とを備えたことを特徴とするものである。
【００１７】
「マルチメディアフォーマットのマルチメディア画像」とは、複数のフレームをコマ送り表示させつつ音声と同期させながらインタラクティブに表示可能なフォーマットの画像を意味し、例えばＭａｃｒｏｍｅｄｉａ社が開発したＦｌａｓｈ（登録商標）を用いることができるがこれに限定されるものではない。また、音声と同期させないフォーマットも「マルチメディアフォーマットのマルチメディア画像」に含めるものとする。
【００１８】
Ｆｌａｓｈとは、音声やベクターグラフィックスのアニメーションを組み合わせたＷｅｂ表示用ベクトル型グラフィックアニメーションであり、ＳＷＦというファイルフォーマットで表現され、ベクトル表現された図形や写真等のグラフィックスアニメーション等を音声と同期させながら表示画面上においてインタラクティブに表示することができる。このようなＦｌａｓｈを用いることにより、複数のフレームがコマ送り表示されるマルチメディア画像を生成することができる。
【００１９】
また、Ｆｌａｓｈは上述したｇｉｆやｐｎｇ等の減色動画像を扱うことが可能であるが、本発明においては、ｇｉｆやｐｎｇフォーマットのように、１次元方向に冗長性を考慮した圧縮形式ではなく、ＪＰＥＧフォーマットのように、２次元方向の冗長性を考慮した圧縮形式にて複数のフレームを圧縮する。
【００２０】
なお、本発明による動画像変換装置においては、前記マルチメディア画像生成手段は、前記マルチメディア画像を表示する表示装置の特性に応じて、該表示装置に表示可能なように該マルチメディア画像を生成する手段であってもよい。
【００２１】
「表示装置の特性」としては、表示装置の解像度、表示装置が扱うことが可能なデータ容量、表示装置の出力色数等を用いることができる。
【００２２】
「表示装置に表示可能なようにマルチメディア画像を生成する」とは、マルチメディア画像に用いるフレーム数、各フレームの表示間隔、表示するサイズ、表示する色数、マルチメディア画像のデータ容量、展開後のデータ容量等が、表示装置の特性と適合し、表示装置側において何ら加工を加えることなく表示可能なようにマルチメディア画像を生成することをいう。
【００２３】
なお、前記マルチメディア画像生成手段は、前記表示装置の特性に応じて前記複数のフレームを拡大縮小するサイズ変更手段と、
前記表示装置が取り扱い可能なデータ容量となるように、前記複数のフレームを前記２次元方向に冗長性を考慮した圧縮形式にて圧縮するフレーム圧縮手段と、
該圧縮された複数のフレームのフォーマットを成形して前記マルチメディア画像を生成するフォーマット成形手段とを備えてなるものであってもよい。
【００２４】
この場合、前記フレーム圧縮手段は、前記生成されたマルチメディア画像が前記表示装置が取り扱い可能なデータ容量とならない場合に、前記フレームの圧縮率の変更および／または前記複数のフレームからのフレームの間引きを、前記マルチメディア画像が前記データ容量となるまで繰り返す手段であってもよい。
【００２５】
また、本発明による動画像変換装置においては、前記表示装置が携帯端末装置であってもよい。
【００２６】
本発明による動画像配信装置は、動画像の送信を要求した送信要求端末装置に、該要求された動画像を送信する動画像配信装置において、
前記送信要求端末装置の機種を判別する機種判別手段と、
該送信要求端末装置の機種が、動画像を表示できないがマルチメディアフォーマットのマルチメディア画像を表示できる場合に、前記要求された動画像を該マルチメディア画像に変換する動画像変換手段とを備え、
前記マルチメディア画像を前記動画像に代えて前記送信要求端末装置に送信することを特徴とするものである。
【００２７】
なお、本発明による動画像配信装置においては、前記送信要求端末装置の機種が前記動画像および前記マルチメディア画像を表示できないが減色動画像を表示できる場合に、前記要求された動画像を減色動画像に変換する減色動画像変換手段とを備え、
前記減色動画像を前記動画像に代えて前記送信要求端末装置に送信するようにしてもよい。
【００２８】
また、本発明による動画像配信装置においては、前記動画像変換手段が、本発明による動画像変換装置からなるものであってもよい。
【００２９】
本発明による動画像変換方法は、動画像から複数のフレームをサンプリングし、
該複数のフレームを２次元方向に冗長性を考慮した圧縮形式にて圧縮してマルチメディアフォーマットのマルチメディア画像を生成することを特徴とするものである。
【００３０】
本発明による動画像配信方法は、動画像の送信を要求した送信要求端末装置に、該要求された動画像を送信する動画像配信方法において、
前記送信要求端末装置の機種を判別し、
該送信要求端末装置の機種が、動画像を表示できないがマルチメディアフォーマットのマルチメディア画像を表示できる場合に、前記要求された動画像を該マルチメディア画像に変換し、
前記マルチメディア画像を前記動画像に代えて前記送信要求端末装置に送信することを特徴とするものである。
【００３１】
なお、本発明による動画像変換方法および動画像配信方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【００３２】
【発明の効果】
本発明による動画像変換装置および方法によれば、動画像から複数のフレームがサンプリングされ、複数のフレームが２次元方向に冗長性を考慮した圧縮形式にて圧縮されてマルチメディアフォーマットのマルチメディア画像が生成される。ここで、動画像からサンプリングされたフレームは、上記減色動画像のフォーマットであるｇｉｆやｐｎｇフォーマットのように１次元方向の冗長性を考慮した圧縮形式ではなく、ＪＰＥＧのように２次元方向の冗長性を考慮した圧縮形式にて圧縮されてマルチメディア画像に含められることとなる。また、２次元方向の冗長性を考慮した圧縮方式の方が１次元方向の冗長性を考慮した圧縮方式よりも、画質を維持しつつデータ容量を低減できるものである。したがって、本発明によれば、減色動画像と比較してデータ容量を低減しつつも、コマ送り表示される画像を高画質に生成することができ、これにより、高画素の表示画面を有する携帯端末装置等の表示装置にコマ送り表示される画像を高画質に表示することができる。
【００３３】
また、マルチメディア画像を表示する表示装置の特性に応じて、表示装置に表示可能なようにマルチメディア画像を生成することにより、生成されたマルチメディア画像を確実に表示装置に表示することができる。
【００３４】
また、表示装置の特性に応じてフレームを拡大縮小し、表示装置が取り扱い可能なデータ容量となるように複数のフレームを２次元方向に冗長性を考慮した圧縮形式にて圧縮し、圧縮された複数のフレームのフォーマットを成形してマルチメディア画像を生成することにより、表示装置の表示画面のサイズおよび表示装置が扱うことが可能なデータ容量を考慮してマルチメディア画像を生成することができ、これにより、生成されたマルチメディア画像をより確実に表示装置に表示することができる。
【００３５】
また、フレームが単一の色のみからなる等単純な画像であるか、細かな被写体を含む等により複雑なものであるかによって、フレームの圧縮後の容量は異なるものとなる。また、圧縮されたフレームの展開後の容量も、単純な画像か複雑な画像かによって異なるものとなる。このため、フレームの複雑さによっては生成されたマルチメディア画像のデータ容量（展開前後の双方を含む）が表示装置が取り扱い可能なデータ容量とならない場合がある。したがって、生成されるマルチメディア画像が表示装置が取り扱い可能なデータ容量とならない場合に、フレームの圧縮率の変更および／または複数のフレームからのフレームを間引くことを表示装置が取り扱い可能なデータ容量となるまで繰り返すことにより、表示装置が取り扱い可能なデータ容量のマルチメディア画像を生成することができる。
【００３６】
また、表示装置を携帯端末装置とすることにより、携帯端末装置においてマルチメディア画像を表示することができる。
【００３７】
本発明の動画像配信装置および方法によれば、動画像の送信を要求した送信要求端末装置の機種が判別され、その送信要求端末装置の機種が、動画像を表示できないが２次元方向に冗長性を考慮した圧縮形式の画像を用いたマルチメディアフォーマットのマルチメディア画像を表示できる場合に、動画像がマルチメディア画像に変換され、マルチメディア画像が動画像に代えて送信要求端末装置に送信される。このため、携帯端末装置が動画像を表示できなくても、マルチメディア画像により動画像を擬似的に表示することができる。
【００３８】
また、動画像の送信を要求した送信要求端末装置の機種が、動画像およびマルチメディア画像を表示できないが減色動画像を表示できる場合に、動画像が減色動画像に変換され、減色動画像が動画像に代えて送信要求端末装置に送信される。このため、送信要求端末装置が動画像およびマルチメディア画像を表示できなくても、減色動画像により動画像を擬似的に表示することができる。
【００３９】
また、本発明による動画像配信装置および方法において、上記本発明による動画像変換装置および方法と同様に動画像からマルチメディア画像を得ることにより、減色動画像と比較してデータ容量を低減しつつも、コマ送り表示される画像を高画質に生成することができ、これにより、高画素の表示画面を有する携帯端末装置等の表示装置にコマ送り表示される画像を高画質に表示することができる。
【００４０】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による動画像変換装置および動画像配信装置を適用した動画像配信サーバを用いた動画像配信システムの構成を示す概略ブロック図である。図１に示すように、本実施形態による動画像配信システムは、動画像配信サーバ１を備え、動画像コンテンツ作成装置であるパソコン２等において作成した動画像データＭ０を動画像配信サーバ１に保管し、携帯電話機、ＰＨＳ、ＰＤＡ等の携帯端末装置３から動画像の配信のリクエストを携帯電話通信網を介して動画像配信サーバ１に対して行って、動画像配信サーバ１から携帯端末装置３に動画像データＭ０を配信するものである。
【００４１】
図１に示すように、動画像配信サーバ１は、動画像蓄積部１１と、リクエスト受信部１２と、機種判別部１３と、動画像フォーマット変換部１４と、動画像変換部１５と、画像出力部１６とを備える。
【００４２】
動画像蓄積部１１は、パソコン２が作成した動画像データＭ０を複数蓄積する。なお、動画像データＭ０は所定の圧縮形式により符号化されて動画像蓄積部１１に蓄積される。
【００４３】
リクエスト受信部１２は、携帯端末装置３が送信した動画像配信のリクエストを受信する。なお、携帯端末装置３が送信した動画像配信のリクエストには、リクエストを行う動画像データＭ０のファイル名および携帯端末装置３の機種を表す機種情報が含まれる。
【００４４】
機種判別部１３は、リクエストに含まれる機種情報に基づいて、携帯端末装置３の機種を判別する。
【００４５】
動画像フォーマット変換部１４は、リクエストに含まれるファイル名を有する動画像データＭ０を動画像蓄積部１１から読み出し、さらに動画像データＭ０を復号化して機種判別部１３が判別した携帯端末装置３の機種に応じて、読み出した動画像データＭ０のフォーマットを変換する。この際、動画像フォーマット変換部１４は、機種とフォーマットとの関係を表すテーブルを参照して動画像データＭ０のフォーマットを変換する。
【００４６】
図２は機種とフォーマットとの関係を表すテーブルを示す図である。図２に示すように、テーブルＴ１は、携帯端末装置３が携帯電話機である場合の機種毎（Ａ００１，Ａ００２，Ｂ００１等）に、動画像の表示の可否、マルチメディア画像の表示の可否、画面サイズ、表示可能色数、表示可能な減色動画像のコマ数、扱うことが可能なデータ容量（単位ＫＢ）が割り当てられている。そして、動画像フォーマット変換部１４は、テーブルＴ１を参照して、リクエストを行った機種の表示画面サイズおよび表示可能色数に適合するように動画像データＭ０のフォーマットを変換してフォーマット変換済みの動画像データＭ１を生成する。なお、動画像データＭ１は符号化される。
【００４７】
動画像変換部１５は、リクエストを行った携帯端末装置３が動画像を表示できない機種である場合に、さらにリクエストを行った携帯端末装置３がマルチメディア画像を表示可能であるか否かを判定し、マルチメディア画像を表示可能である場合には、フォーマット済みの動画像データＭ１をマルチメディア画像データＦ１に変換する。また、マルチメディア画像も表示できない場合には、フォーマット済みの動画像データＭ１を減色動画像データＲ１に変換する。
【００４８】
図３は動画像変換部１５の詳細な構成を示す概略ブロック図である。図３に示すように、動画像変換部１５は、動画像入力部５１と、復号化部５２と、出力フォーマット決定部５３と、マルチメディア画像生成部５４と、減色動画像生成部５５と、生成画像出力部５６とを備える。
【００４９】
動画像入力部５１は、フォーマット変換済みの動画像データＭ１の動画像変換部１５への入力を受け付ける。
【００５０】
復号化部５２は、符号化されている動画像データＭ１を復号化して生動画像データＭ１′を生成する。
【００５１】
出力フォーマット決定部５３は、テーブルＴ１を参照して、リクエストを行った携帯端末装置３がマルチメディア画像を表示可能である場合には、生動画像データＭ１′をマルチメディア画像生成部５４に入力する。また、マルチメディア画像も表示できない場合には、生動画像データＭ１′を減色動画像生成部５５に入力する。
【００５２】
マルチメディア画像生成部５４は、生動画像データＭ１′からマルチメディア画像データＦ１を生成する。図４は、マルチメディア画像生成部５４の詳細な構成を示す概略ブロック図である。図４に示すようにマルチメディア画像生成部５４は、フレーム分離部６１と、符号化制御部６２と、フレームサンプリング部６３と、フレーム内符号化部６４と、フォーマット成形部６５とを備える。
【００５３】
フレーム分離部６１は、生動画像データＭ１′をフレーム単位の画像データ（以下フレームデータＦｒ０とする）に分離する。例えば本実施形態においては１フレームは１／６０秒の動画像を表すものである。
【００５４】
符号化制御部６２は、最終的に得られるマルチメディア画像データＦ１のデータ容量がリクエストを行った携帯端末装置３が扱うことが可能なデータ容量（以下データ容量Ｋとする）以下となるようにフレームサンプリング部６３およびフレーム内符号化部６４を制御する。なお、データ容量Ｋは圧縮されたマルチメディア画像データＦ１を取り扱うことが可能なデータ容量Ｋ１およびこれを展開した場合データを取り扱うことが可能なデータ容量Ｋ２の双方を含む。
【００５５】
フレームサンプリング部６３は、マルチメディア画像データＦ１のデータ容量がデータ容量Ｋ以下となるように、複数のフレームデータＦｒ０からフレームデータをサンプリングしてサンプリングされたフレームデータＦｒ１を生成する。
【００５６】
フレーム内符号化部６４は、マルチメディア画像データＦ１のデータ容量がデータ容量Ｋ以下となるようにサンプリングされたフレームデータＦｒ１のそれぞれを２次元方向の冗長性を考慮した圧縮方式であるＪＰＥＧ形式にて圧縮して圧縮済みのフレームデータＦｒ２を生成する。さらに、フレーム内符号化部６４は、圧縮済みのフレームデータＦｒ２をフォーマット成形部６５においてフォーマットを成形することにより生成されるマルチメディア画像データＦ１のデータ容量がデータ容量Ｋ１以下となるか否かおよび展開後のマルチメディア画像データＦ１のデータ容量がデータ容量Ｋ２以下となるかを判定する。そしてこの判定が肯定された場合には圧縮済みのフレームデータＦｒ２をフォーマット成形部６５に入力する。一方、この判定が否定された場合には、その旨の情報を符号化制御部６２に送信する。符号化制御部６２はこの旨の情報を受信すると、さらにサンプリングするフレーム数を少なくするようフレームサンプリング部６３を再制御するとともに、圧縮率を高くするようフレーム内符号化部６４を再制御する。
【００５７】
すなわち、フレームが単一の色のみからなる等単純な画像であるか、細かな被写体を含む等により複雑なものであるかによって、圧縮済みのフレームデータＦｒ２のデータ容量は異なるものとなる。また、マルチメディア画像データＦ１の展開後のデータ容量も、単純な画像か複雑な画像かによって異なるものとなる。このため、フレームの複雑さによっては生成されたマルチメディア画像データＦ１のデータ容量がデータ容量Ｋ以下とならない場合がある。したがって、フォーマット成形部６５において生成されるマルチメディア画像データＦ１がデータ容量Ｋ以下とならない場合に、マルチメディア画像データＦ１のデータ容量がデータ容量Ｋ以下となるように、再度サンプリングおよびフレームデータＦｒ１の符号化を行うようにしたものである。
【００５８】
フォーマット成形部６５は、圧縮済みのフレームデータＦｒ２をＦｌａｓｈフォーマットに成形してマルチメディア画像データＦ１を生成する。具体的には、各フレームデータＦｒ２の表示間隔等、各フレームをコマ送り表示させるために必要な情報をフレームデータＦｒ２に付与しつつ各フレームデータＦｒ２を並べることによりフレームデータＦｒ２のフォーマットを成形してマルチメディア画像データＦ１を生成する。なお、マルチメディア画像データＦ１に音声を付与したい場合には、フォーマット成形部６５において音声データがマルチメディア画像データＦ１に含められる。
【００５９】
減色動画像生成部５５は、リクエストを行った携帯端末装置３が動画像およびマルチメディア画像を表示できない機種である場合に、フォーマット済みの動画像データＭ１を減色動画像データＲ１に変換する。図５は減色動画像生成部５５の詳細な構成を示す概略ブロック図である。図５に示すように、減色動画像生成部５５は、フレーム分離部７１と、基準フレーム生成部７２と、パレットデータ生成部７３と、フレームサンプリング部７４と、処理部７５と、フレーム合成部７６と、符号化部７７とを備える。
【００６０】
フレーム分離部７１は、マルチメディア画像生成部５４のフレーム分離部６１と同様に、生動画像データＭ１′をフレーム単位の画像データすなわちフレームデータＦｒ０に分離する。
【００６１】
基準フレーム生成部７２は、フレームデータＦｒ０からパレットデータの生成に用いられる基準フレームデータＢ０を生成する。ここで、基準フレームデータＢ０としては、各フレームを時系列順に並べた場合における先頭のフレームデータＦｒ０を用いるものとする。なお、任意のフレームデータを基準フレームデータＢ０としてもよく、全フレームデータＦｒ０または全フレームデータＦｒ０から選択した複数のフレームデータＦｒ０′を１つの画像データとなるように合成し、この合成したフレームデータを基準フレームデータＢ０として生成してもよい。また、全フレームデータＦｒまたは全フレームデータＦｒ０から選択した複数のフレームデータＦｒ０′を平均することにより基準フレームデータＢ０を生成してもよい。なお、複数のフレームデータＦｒ０′としては、後述するフレームサンプリング部７４がサンプリングしたフレームデータを用いてもよい。
【００６２】
パレットデータ生成部７３は、基準フレームデータＢ０から減色処理に必要な色数のパレットデータＰ０を生成する。具体的にはメディアンカット法等を用いてパレットデータＰ０を生成することができるが、これに限定されるものではない。
【００６３】
ここで、メディアンカット法は、基準フレームデータＢ０を構成するＲＧＢの各色データをＲＧＢの３次元空間にプロットし、３次元空間上の色データが存在する範囲におけるメディアン値を求め、これをパレットデータを構成する１つのパレット色とし、さらにメディアン値により空間を２つに分割して、分割された空間におけるメディアン値を求めることを、パレットデータの色数（例えば２５６色）が得られるまで繰り返すことにより、パレットデータを構成するパレット色を求める方法である。
【００６４】
フレームサンプリング部７４は、フレームデータＦｒ０から減色動画像を構成するフレームデータをサンプリングする。具体的には、図２に示すテーブルＴ１を参照して、リクエストを行った携帯端末装置３が表示することが可能な減色動画像のコマ数の情報を取得し、このコマ数に相当する数のフレームデータをサンプリングする。この際、サンプリングするフレームデータは、動画像データＭ０の再生時間をコマ数により等分した時間におけるフレームデータとすればよい。なお、フレームデータをサンプリングするのみならず、フレーム間において補間を行って新たなフレームデータを生成してもよい。
【００６５】
処理部７５は、フレームサンプリング部７４がサンプリングしたフレームデータＦｒ３に対して、パレットデータＰ０を用いて減色処理を施す。減色処理の方法としては、誤差拡散法等を用いることができる。これにより、減色されたフレームデータＦｒ４が生成される。
【００６６】
フレーム合成部７６は、処理部７５が生成したフレームデータＦｒ４を時系列順に並べて１つのファイルとなるように合成することにより、各フレームの画像が連続的に切り替わって再生される減色生動画像データＲ０を生成する。
【００６７】
符号化部７７は、減色生動画像データＲ０を符号化して減色動画像データＲ１を生成する。この際、携帯端末装置３が取り扱うことが可能なデータ容量Ｋ以下となるように符号化を行う。なお、減色動画像データＲ１のファイルフォーマットとしては、アニメーションｇｉｆやｐｎｇのアニメーションｇｉｆに対応するフォーマットのｍｎｇを用いることができるが、これに限定されるものではない。
【００６８】
生成画像出力部５６は、マルチメディア画像生成部５４が生成したマルチメディア画像データＦ１または減色動画像生成部５５が生成した減色動画像データＲ１を画像出力部１６に出力する。
【００６９】
次いで、本実施形態において行われる処理について説明する。図６は、本実施形態において行われる処理を示すフローチャートである。携帯端末装置３が送信した動画像配信のリクエストをリクエスト受信部１２が受信すると処理が開始され、機種判別部１３がリクエストに含まれる機種情報に基づいて、携帯端末装置３の機種を判別する（ステップＳ１）。続いて、動画像フォーマット変換部１４が、リクエストに含まれるファイル名を有する動画像データＭ０を動画像蓄積部１１から読み出し（ステップＳ２）、テーブルＴ１を参照してリクエストを行った携帯端末装置３の機種に適合するように、動画像データＭ０のフォーマットを変換してフォーマット変換済みの動画像データＭ１を取得する（ステップＳ３）。
【００７０】
次いで、動画像変換部１５が動画像データＭ１の入力を受け付けるとともに（ステップＳ４）、リクエストを行った携帯端末装置３が動画像を表示できる機種であるか否かを判定し（ステップＳ５）、ステップＳ５が否定されると、復号化部５２が動画像データＭ１を復号化して生動画像データＭ１′を取得する（ステップＳ６）。そして、出力フォーマット決定部５３がテーブルＴ１を参照して、リクエストを行った携帯端末装置３がマルチメディア画像を表示可能であるか否かを判定し（ステップＳ７）、ステップＳ７が肯定されるとマルチメディア画像生成部５４が生動画像データＭ１′に対してマルチメディア画像生成処理を施す（ステップＳ８）。
【００７１】
なお、ステップＳ５が肯定されるとステップＳ１０に進み、生成画像出力部５６が動画像データＭ１を画像出力部１６に出力し、画像出力部１６がリクエストを行った携帯端末装置３に動画像データＭ１を送信し（ステップＳ１１）、処理を終了する。
【００７２】
図７はマルチメディア画像生成処理のフローチャートである。まず、フレーム分離部６１が生動画像データＭ１′をフレーム単位の画像データであるフレームデータＦｒ０に分離し（ステップＳ２１）、符号化制御部６２が最終的に得られるマルチメディア画像データＦ１のデータ容量がデータ容量Ｋ以下となるようにフレームサンプリング部６３およびフレーム内符号化部６４を制御する（ステップＳ２２）。
【００７３】
そして、フレームサンプリング部６３が、フレームデータＦｒ０からマルチメディア画像データＦ１を構成するフレームデータＦｒ１をサンプリングする（ステップＳ２３）。さらに、フレーム内符号化部６４がフレームデータＦｒ１を符号化して圧縮済みのフレームデータＦｒ２を生成する（ステップＳ２４）。続いて、フレーム内符号化部６４が、フォーマット成形部６５においてフレームデータＦｒ２から生成されるマルチメディア画像データＦ１のデータ容量がデータ容量Ｋ以下となるか否かを判定する（ステップＳ２５）。ステップＳ２５が否定されると、フレーム内符号化部６４はその情報を符号化制御部６２に入力する。符号化制御部６２は最終的に得られるマルチメディア画像データＦ１のデータ容量がデータ容量Ｋ以下となるようにフレームサンプリング部６３およびフレーム内符号化部６４を再制御し（ステップＳ２６）、ステップＳ２３に戻る。フレームサンプリング部６３およびフレーム内符号化部６４は、マルチメディア画像データＦ１のデータ容量がデータ容量Ｋ以下となるまで、ステップＳ２３以降の処理を繰り返す。
【００７４】
ステップＳ２５が肯定されると、フォーマット成形部６５がフレームデータＦｒ２をＦｌａｓｈフォーマットに成形してマルチメディア画像データＦ１を生成し（ステップＳ２７）、マルチメディア画像生成処理を終了する。
【００７５】
図６に戻り、生成画像出力部５６がマルチメディア画像生成処理により生成されたマルチメディア画像データＦ１を画像出力部１６に出力する（ステップＳ１０）。画像出力部１６はマルチメディア画像データＦ１をリクエストを行った携帯端末装置３に送信し（ステップＳ１１）、処理を終了する。
【００７６】
一方、ステップＳ７が否定されると減色動画像生成部５５が生動画像データＭ１′に対して減色動画像生成処理を施す（ステップＳ９）。
【００７７】
図８は、減色動画像生成処理のフローチャートである。まず、フレーム分離部７１が生動画像データＭ１′をフレーム単位の画像データであるフレームデータＦｒ０に分離し（ステップＳ３１）、基準フレーム生成部７２が、フレームデータＦｒ０から基準フレームデータＢ０を生成する（ステップＳ３２）。そして、パレットデータ生成部７３が、基準フレームデータＢ０からパレットデータＰ０を生成する（ステップＳ３３）。
【００７８】
一方、フレームサンプリング部７４が、フレームデータＦｒ０から減色動画像を構成するフレームデータＦｒ３をサンプリングする（ステップＳ３４）。なお、ステップＳ３４の処理を先に行ってもよく、ステップＳ３２，Ｓ３３およびステップＳ３４の処理を並列に行ってもよい。
【００７９】
そして、処理部７５が、フレームサンプリング部７４がサンプリングしたフレームデータＦｒ３に対して、パレットデータＰ０を用いて減色処理を施して減色されたフレームデータＦｒ４を生成する（ステップＳ３５）。次いで、フレーム合成部７６が、処理部７５が生成したフレームデータＦｒ４を時系列順に並べることにより１つのファイルとなるように合成して減色生動画像データＲ０を生成し（ステップＳ３６）、符号化部７７が減色生動画像データＲ０を符号化して減色動画像データＲ１を生成し（ステップＳ３７）、減色処理を終了する。
【００８０】
図６に戻り、生成画像出力部５６が減色動画像生成処理により生成された減色動画像データＲ１を画像出力部１６に出力する（ステップＳ１０）。画像出力部１６は減色動画像データＲ１をリクエストを行った携帯端末装置３に送信し（ステップＳ１１）、処理を終了する。
【００８１】
携帯端末装置３においては、マルチメディア画像データＦ１、減色動画像データＲ１または動画像データＭ１が受信される。ここで、携帯端末装置３が動画像を表示可能なものである場合には動画像データＭ１が送信され、動画像を表示できる。一方、携帯端末装置３が動画像を表示できないがマルチメディア画像を表示可能なものである場合にはマルチメディア画像データＦ１が送信され、動画像データＭ１からサンプリングされたフレームが連続的に切り替わる動きのある高画質の画像が表示される。
【００８２】
また、携帯端末装置３が動画像およびマルチメディア画像を表示できない場合には減色動画像データＲ１が送信され、減色動画像データＲ１に基づいて、動画像データＭ１からサンプリングされたフレームが連続的に切り替わる動きのある画像が表示される。
【００８３】
このように、本実施形態においては、動画像の送信を要求した携帯端末装置３の機種を判別し、その機種が動画像を表示できないがマルチメディア画像を表示できるものである場合には、リクエストのあった動画像データＭ０をマルチメディア画像データＦ１に変換して送信するようにしたものである。ここで、マルチメディア画像データＦ１は、減色動画像データＲ１とは異なり、ＪＰＥＧのように２次元方向の冗長性を考慮した圧縮形式にて圧縮されたフレームデータＦｒ２が含められるため、データ容量を低減しつつも減色動画像データＲ１と比較して、コマ送り表示される画像を高画質に生成することができる。したがって、携帯端末装置３が動画像を表示できず、かつ取り扱うことが可能なデータ容量に制限があっても、マルチメディア画像データＦ１により、動画像を擬似的にかつ高画質に表示することができ、これにより、携帯端末装置３が高画素の表示画面を有する場合にもコマ送り表示される画像を高画質に表示できる。
【００８４】
また、リクエストを行った携帯端末装置３の特性に応じて動画像データＭ１からマルチメディア画像データＦ１を生成しているため、生成されたマルチメディア画像データＦ１をリクエストを行った携帯端末装置３に確実に表示することができる。
【００８５】
また、生成されるマルチメディア画像データＦ１がデータ容量Ｋ以下とならない場合には、フレームデータＦｒ１の再度のサンプリングおよびフレームデータＦｒ２の再度の符号化を、生成されるマルチメディア画像データＦ１がデータ容量Ｋ以下となるまで繰り返すようにしたため、携帯端末装置３が取り扱うことが可能なデータ容量Ｋに適合する容量のマルチメディア画像データＦ１を生成することができる。
【００８６】
また、リクエストを行った携帯端末装置３が動画像もマルチメディア画像も表示できない場合には、リクエストのあった動画像データＭ０を減色動画像データＲ１に変換して送信するようにしたため、携帯端末装置３が動画像およびマルチメディア画像を表示できなくても、画質は落ちるものの減色動画像データＲ１により動画像を擬似的に表示することができる。
【００８７】
また、動画像データＭ１から減色動画像データＲ１を生成する際に、１つのパレットデータＰ０のみを生成しているため、上記特許文献１に記載された方法のように、数フレーム毎にパレットデータを生成する必要がなくなり、これにより、装置の規模を大きくすることなく、動画像データＭ０から減色動画像データＲ１を得ることができる。
【００８８】
なお、上記実施形態においては、マルチメディア画像としてＦｌａｓｈフォーマットを有するものを用いているが、複数のフレームをコマ送り表示させつつインタラクティブに表示可能なフォーマットであればこれに限定されるものではない。
【００８９】
また、上記実施形態において、マルチメディア画像データＦ１に動画像データＭ０に含まれる音声を含めることも可能である。
【００９０】
また、上記実施形態においては、１つのパレットデータＰ０のみを生成して動画像データＭ１から減色動画像データＲ１を生成しているが、上記特許文献１に記載された方法のように、数フレーム毎にパレットデータを生成して動画像データＭ１から減色動画像データＲ１を生成してもよい。また、これらの方法に限らず、動画像データＭ１から減色動画像データＲ１を生成できれば任意の方法を適用することができる。
【００９１】
なお、上記実施形態におけるマルチメディア画像生成部５４を、動画像をマルチメディア画像に変換する動画像変換装置として単独で用いてもよい。この場合、図９に示すように動画像データＭ０を復号化するとともに、マルチメディア画像を表示する表示装置に適合するフォーマットとなるように復号化された動画像データＭ０′を変換するために、復号化部５２および動画像フォーマット変換部１４を備えるものとなる。
【図面の簡単な説明】
【図１】本発明の実施形態による動画像変換装置および動画像配信装置を適用した動画像配信サーバを用いた動画像配信システムの構成を示す概略ブロック図
【図２】機種とフォーマットとの関係を表すテーブルを示す図
【図３】動画像変換部の詳細な構成を示す概略ブロック図
【図４】マルチメディア画像生成部の詳細な構成を示す概略ブロック図
【図５】減色動画像生成部の詳細な構成を示す概略ブロック図
【図６】本実施形態において行われる処理を示すフローチャート
【図７】マルチメディア画像生成処理のフローチャート
【図８】減色動画像生成処理のフローチャート
【図９】動画像変換装置の構成を示す概略ブロック図
【符号の説明】
１動画像配信サーバ
２パソコン
３携帯端末装置
１１動画像蓄積部
１２リクエスト受信部
１３機種判別部
１４動画像フォーマット変換部
１５動画像変換部
１６画像出力部
５１動画像入力部
５２復号化部
５３出力フォーマット決定部
５４マルチメディア画像生成部
５５減色動画像生成部
５６生成画像出力部
６１，７１フレーム分離部
６２符号化制御部
６３，７４フレームサンプリング部
６４フレーム内符号化部
６５フォーマット成形部
７２基準フレーム生成部
７３パレットデータ生成部
７５処理部
７６フレーム合成部
７７符号化部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a moving image conversion apparatus and method for converting a moving image into, for example, a Flash (registered trademark) format multimedia image, a moving image distribution apparatus and method for distributing a moving image to a mobile terminal device, a moving image conversion method, and the like. The present invention relates to a program for causing a computer to execute a moving image distribution method.
[0002]
[Prior art]
An image acquired by a digital camera, a scanner, or the like can express a total of 24 bits of RGB, that is, 8 bits, that is, about 16.77 million colors. However, depending on a device that reproduces an image, there may be a case where only a smaller number of colors (for example, 256 colors) can be expressed. In addition, 256 colors can be handled by image formats such as gif and png which are frequently used on websites. Therefore, when an image acquired by a digital camera or the like is displayed on a playback device with a small number of colors that can be expressed or converted to an image format such as gif or png, the number of colors of 16.77 million colors is changed to 256 colors. It is necessary to reduce the color.
[0003]
Conventionally, such subtractive color processing generates palette data composed of 256 palette colors that are optimal for expressing the image to be subtracted in 256 colors, and converts the palette data from the palette colors into individual pixels. This is done by selecting the color to be reduced and reducing the color of each pixel.
[0004]
Further, a method has been proposed in which a moving image acquired by a digital video camera is subjected to color reduction processing in real time, and a moving image (hereinafter referred to as a reduced color moving image) is generated by continuous switching of still images ( Patent Document 1). This method does not generate palette data for each frame but performs palette reduction every few frames in order to perform color reduction processing in real time without dropping frames of frames that change every 1/60 seconds included in a moving image. In this method, data is generated and color reduction processing is performed using one palette data in units of several frames.
[0005]
On the other hand, mobile terminal devices such as camera-equipped mobile phones have significantly improved functions, and coupled with the improvement in communication speed, a moving image is shot, and the shot moving image is attached to an e-mail and transmitted. There has been proposed a mobile terminal device capable of accessing a moving image distribution server to be distributed and downloading and reproducing a desired moving image content.
[0006]
In addition, a mail relay device is proposed that performs appropriate image processing on an e-mail attached with an image transmitted from a mobile terminal device with a camera, although it is a still image, according to the type of the destination terminal device. (See Patent Document 2). If such a mail relay device is used, image processing is performed on the image data so as to obtain an image suitable for the screen size, screen brightness, hue, etc. of the destination mobile terminal device, and an image-attached e-mail is transmitted. can do.
[0007]
By the way, the display screen of a mobile terminal device has been increased in pixel count, and mobile terminal devices equipped with a display screen that is twice as long as that in the past, that is, four times the number of pixels, are now on the market. If an image commensurate with the number of pixels of the display screen is prepared in such a mobile terminal device, a higher-definition image than conventional can be displayed.
[0008]
[Patent Document 1]
Japanese Patent Laid-Open No. 11-259640
[0009]
[Patent Document 2]
Japanese Patent Application No. 2002-214215
[0010]
[Problems to be solved by the invention]
However, even if the display screen has been increased in the number of pixels, the capacity of the memory for image display mounted on the portable terminal device is not high due to cost and the like. For example, even if the number of pixels on the display screen is quadrupled, the memory capacity is only doubled.
[0011]
On the other hand, in the subtractive color moving image formats such as gif and png, compression processing is performed in consideration of redundancy in one direction on the image, that is, one-dimensional direction. For this reason, when pixels having the same pixel value are arranged in one direction, the compression rate can be increased, but the compression rate cannot be increased in a direction orthogonal to the one direction.
[0012]
For this reason, when displaying a reduced color moving image having a reduced color moving image format on a mobile terminal device having a high pixel display screen, for example, the limitation is that the capacity after compression can only be doubled while the number of pixels is increased four times. Therefore, it is necessary to reduce the data capacity of the image in the reduced color moving image format by reducing the image quality, reducing the number of frames to be displayed, reducing the resolution, and the like. However, since the number of colors that can be displayed is originally 256, the image of the reduced color moving image format can be displayed when the data capacity is reduced, even though the mobile terminal device itself can display images with high definition. The image quality will be very poor.
[0013]
In addition, when moving image content is distributed to a mobile terminal device capable of reproducing a moving image, the moving image can be displayed on the mobile terminal device, but the moving image may not be displayed depending on the model. For this reason, in such a portable terminal device, even if a moving image appropriately subjected to image processing according to the model is distributed, it cannot be displayed.
[0014]
The present invention has been made in view of the above circumstances, and is capable of displaying an image displayed frame-by-frame like a subtractive color moving image with high image quality on a display device such as a portable terminal device having a high pixel display screen. Is the first purpose.
[0015]
A second object of the present invention is to enable a moving image to be displayed in a pseudo manner even in a display device that cannot display the moving image.
[0016]
[Means for Solving the Problems]
A moving image conversion apparatus according to the present invention comprises sampling means for sampling a plurality of frames from a moving image;
And a multimedia image generating means for generating a multimedia image of a multimedia format by compressing the plurality of frames in a compression format considering redundancy in a two-dimensional direction.
[0017]
“Multimedia image in multimedia format” means an image in a format that can be displayed interactively while synchronizing a plurality of frames with frame-by-frame display. For example, Flash (registered trademark) developed by Macromedia is used. Although it can be used, it is not limited to this. A format that is not synchronized with audio is also included in the “multimedia image of the multimedia format”.
[0018]
Flash is a vector graphic animation for Web display that combines animation of voice and vector graphics. It is expressed in a file format called SWF, and it synchronizes graphics animations such as graphics and pictures expressed in vector with voice. However, it can be displayed interactively on the display screen. By using such Flash, it is possible to generate a multimedia image in which a plurality of frames are displayed by frame advance.
[0019]
In addition, Flash can handle reduced color moving images such as the above-mentioned gif and png, but in the present invention, it is not a compression format considering redundancy in one-dimensional direction like the gif or png format. As in the JPEG format, a plurality of frames are compressed in a compression format considering redundancy in the two-dimensional direction.
[0020]
In the moving image conversion apparatus according to the present invention, the multimedia image generating means generates the multimedia image so that the multimedia image can be displayed on the display device according to the characteristics of the display device that displays the multimedia image. It may be a means to do.
[0021]
As the “characteristics of the display device”, the resolution of the display device, the data capacity that can be handled by the display device, the number of output colors of the display device, and the like can be used.
[0022]
“Generate a multimedia image so that it can be displayed on a display device” means the number of frames used in the multimedia image, the display interval of each frame, the display size, the number of colors to be displayed, the data capacity of the multimedia image, and the development This means that a multimedia image is generated so that the subsequent data capacity and the like match the characteristics of the display device and can be displayed without any processing on the display device side.
[0023]
The multimedia image generation means includes a size changing means for enlarging / reducing the plurality of frames according to characteristics of the display device,
Frame compression means for compressing the plurality of frames in a compression format considering redundancy in the two-dimensional direction so that the display device can handle data capacity;
And a format forming unit that forms a format of the plurality of compressed frames to generate the multimedia image.
[0024]
In this case, when the generated multimedia image does not have a data capacity that can be handled by the display device, the frame compression means changes the compression rate of the frame and / or thins out frames from the plurality of frames. May be a unit that repeats until the multimedia image reaches the data capacity.
[0025]
In the moving image conversion apparatus according to the present invention, the display device may be a mobile terminal device.
[0026]
A moving image distribution device according to the present invention is a moving image distribution device that transmits a requested moving image to a transmission requesting terminal device that has requested transmission of the moving image.
Model discrimination means for discriminating the model of the transmission request terminal device;
A moving image conversion means for converting the requested moving image into the multimedia image when the transmission requesting terminal device model cannot display a moving image but can display a multimedia image in a multimedia format;
The multimedia image is transmitted to the transmission requesting terminal device instead of the moving image.
[0027]
In the moving image distribution apparatus according to the present invention, when the model of the transmission requesting terminal device cannot display the moving image and the multimedia image but can display a reduced color moving image, the requested moving image is converted into a reduced color moving image. A subtractive color moving image converting means for converting to an image,
The subtractive color moving image may be transmitted to the transmission requesting terminal device instead of the moving image.
[0028]
In the moving image distribution apparatus according to the present invention, the moving image conversion means may be a moving image conversion apparatus according to the present invention.
[0029]
The moving image conversion method according to the present invention samples a plurality of frames from a moving image,
The plurality of frames are compressed in a compression format considering redundancy in a two-dimensional direction to generate a multimedia image in a multimedia format.
[0030]
A moving image distribution method according to the present invention is a moving image distribution method for transmitting a requested moving image to a transmission requesting terminal device that has requested transmission of the moving image.
Determine the model of the transmission request terminal device,
When the transmission request terminal device model cannot display a moving image but can display a multimedia image in a multimedia format, the requested moving image is converted into the multimedia image;
The multimedia image is transmitted to the transmission requesting terminal device instead of the moving image.
[0031]
The moving image conversion method and the moving image distribution method according to the present invention may be provided as a program for causing a computer to execute the method.
[0032]
【The invention's effect】
According to the moving image conversion apparatus and method of the present invention, a plurality of frames are sampled from a moving image, and the plurality of frames are compressed in a compression format considering redundancy in a two-dimensional direction to obtain a multimedia image in a multimedia format. Is generated. Here, the frame sampled from the moving image is not a compression format considering redundancy in the one-dimensional direction like the above-described subtractive moving image formats such as the gif and png formats, but is redundant in the two-dimensional direction like JPEG. It is compressed in a compression format that takes into account the characteristics and is included in the multimedia image. In addition, the compression method considering the redundancy in the two-dimensional direction can reduce the data capacity while maintaining the image quality than the compression method considering the redundancy in the one-dimensional direction. Therefore, according to the present invention, it is possible to generate a frame-by-frame-displayed image with high image quality while reducing the data capacity as compared with the subtractive color moving image, thereby enabling a mobile phone having a high-pixel display screen. An image displayed on a frame-by-frame display on a display device such as a terminal device can be displayed with high image quality.
[0033]
Further, by generating the multimedia image so that it can be displayed on the display device according to the characteristics of the display device that displays the multimedia image, the generated multimedia image can be reliably displayed on the display device. .
[0034]
In addition, the frame is enlarged / reduced according to the characteristics of the display device, and a plurality of frames are compressed in a compression format considering redundancy in a two-dimensional direction so as to have a data capacity that can be handled by the display device. By forming a format of multiple frames and generating a multimedia image, it is possible to generate a multimedia image in consideration of the display screen size of the display device and the data capacity that the display device can handle, Thereby, the generated multimedia image can be displayed on the display device more reliably.
[0035]
Further, the capacity of the frame after compression differs depending on whether the frame is a simple image such as consisting of only a single color or a complicated image including a fine subject. Further, the capacity of the compressed frame after expansion also varies depending on whether it is a simple image or a complex image. For this reason, depending on the complexity of the frame, the data capacity (including both before and after development) of the generated multimedia image may not be the data capacity that can be handled by the display device. Accordingly, when the generated multimedia image does not have a data capacity that can be handled by the display device, the data capacity that can be handled by the display device is to change the compression rate of the frame and / or to thin out frames from a plurality of frames. By repeating the above, it is possible to generate a multimedia image having a data capacity that can be handled by the display device.
[0036]
Moreover, a multimedia image can be displayed on a portable terminal device by using the display device as a portable terminal device.
[0037]
According to the moving image distribution apparatus and method of the present invention, the model of the transmission requesting terminal device that has requested transmission of moving images is determined, and the model of the transmission requesting terminal device cannot display moving images but is redundant in two dimensions. When a multimedia image in a multimedia format that uses a compressed image in consideration of the characteristics can be displayed, the moving image is converted into a multimedia image, and the multimedia image is transmitted to the transmission requesting terminal device instead of the moving image. The For this reason, even if the mobile terminal device cannot display the moving image, the moving image can be displayed in a pseudo manner by the multimedia image.
[0038]
In addition, when the model of the transmission requesting terminal device that has requested transmission of moving images cannot display moving images and multimedia images but can display reduced color moving images, the moving image is converted into a reduced color moving image, and the reduced color moving image is displayed. Instead of a moving image, it is transmitted to a transmission requesting terminal device. For this reason, even if the transmission request terminal device cannot display the moving image and the multimedia image, the moving image can be displayed in a pseudo manner by the reduced-color moving image.
[0039]
In addition, in the moving image distribution apparatus and method according to the present invention, a multimedia image is obtained from the moving image in the same manner as the moving image conversion apparatus and method according to the present invention, thereby reducing the data capacity compared to the subtractive moving image. In addition, the frame-by-frame display image can be generated with high image quality, whereby the frame-by-frame display image can be displayed with high image quality on a display device such as a portable terminal device having a high pixel display screen. it can.
[0040]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a schematic block diagram showing a configuration of a moving image distribution system using a moving image distribution server to which a moving image conversion apparatus and a moving image distribution apparatus according to an embodiment of the present invention are applied. As shown in FIG. 1, the moving image distribution system according to the present embodiment includes a moving image distribution server 1 and stores moving image data M0 created in a personal computer 2 or the like that is a moving image content creation device in the moving image distribution server 1. Then, the mobile terminal device 3 such as a mobile phone, PHS, PDA or the like makes a moving image distribution request to the moving image distribution server 1 via the mobile phone communication network, and the moving image distribution server 1 sends the request to the mobile terminal device 3. The moving image data M0 is distributed to.
[0041]
As shown in FIG. 1, the moving image distribution server 1 includes a moving image storage unit 11, a request receiving unit 12, a model determination unit 13, a moving image format conversion unit 14, a moving image conversion unit 15, and an image output. Part 16.
[0042]
The moving image storage unit 11 stores a plurality of moving image data M0 created by the personal computer 2. The moving image data M0 is encoded in a predetermined compression format and stored in the moving image storage unit 11.
[0043]
The request receiving unit 12 receives a moving image distribution request transmitted by the mobile terminal device 3. The moving image distribution request transmitted by the mobile terminal device 3 includes the file name of the moving image data M0 to be requested and the model information indicating the model of the mobile terminal device 3.
[0044]
The model determining unit 13 determines the model of the mobile terminal device 3 based on the model information included in the request.
[0045]
The moving image format conversion unit 14 reads out the moving image data M0 having the file name included in the request from the moving image storage unit 11, further decodes the moving image data M0, and the model determination unit 13 determines the mobile terminal device 3. The format of the read moving image data M0 is converted according to the model. At this time, the moving image format conversion unit 14 converts the format of the moving image data M0 with reference to a table representing the relationship between the model and the format.
[0046]
FIG. 2 is a diagram showing a table representing the relationship between model and format. As shown in FIG. 2, the table T1 includes whether or not to display a moving image, whether or not to display a multimedia image for each model (A001, A002, B001, etc.) when the mobile terminal device 3 is a mobile phone. The size, the number of displayable colors, the number of frames of subtractive moving images that can be displayed, and the data capacity (unit KB) that can be handled are allocated. Then, the moving image format conversion unit 14 refers to the table T1 and converts the format of the moving image data M0 so that it matches the display screen size and the number of displayable colors of the requested model, and the format has been converted. Moving image data M1 is generated. The moving image data M1 is encoded.
[0047]
When the mobile terminal device 3 that has made the request is a model that cannot display a moving image, the moving image conversion unit 15 further determines whether or not the mobile terminal device 3 that has made the request can display a multimedia image. If the multimedia image can be displayed, the formatted moving image data M1 is converted into the multimedia image data F1. If the multimedia image cannot be displayed, the formatted moving image data M1 is converted into the reduced-color moving image data R1.
[0048]
FIG. 3 is a schematic block diagram showing a detailed configuration of the moving image conversion unit 15. As shown in FIG. 3, the moving image conversion unit 15 includes a moving image input unit 51, a decoding unit 52, an output format determination unit 53, a multimedia image generation unit 54, a subtractive color moving image generation unit 55, And a generated image output unit 56.
[0049]
The moving image input unit 51 receives input of moving image data M1 whose format has been converted to the moving image conversion unit 15.
[0050]
The decoding unit 52 decodes the encoded moving image data M1 to generate raw moving image data M1 ′.
[0051]
The output format determination unit 53 refers to the table T1 and inputs the live moving image data M1 ′ to the multimedia image generation unit 54 when the mobile terminal device 3 that has made the request can display the multimedia image. . If the multimedia image cannot be displayed, the raw moving image data M1 ′ is input to the reduced color moving image generating unit 55.
[0052]
The multimedia image generation unit 54 generates multimedia image data F1 from the live moving image data M1 ′. FIG. 4 is a schematic block diagram showing a detailed configuration of the multimedia image generation unit 54. As shown in FIG. 4, the multimedia image generation unit 54 includes a frame separation unit 61, an encoding control unit 62, a frame sampling unit 63, an intraframe encoding unit 64, and a format shaping unit 65.
[0053]
The frame separation unit 61 separates the live moving image data M1 ′ into frame-unit image data (hereinafter referred to as frame data Fr0). For example, in this embodiment, one frame represents a 1/60 second moving image.
[0054]
The encoding control unit 62 makes the data capacity of the finally obtained multimedia image data F1 equal to or less than the data capacity (hereinafter referred to as data capacity K) that can be handled by the mobile terminal device 3 that has made the request. The frame sampling unit 63 and the intraframe encoding unit 64 are controlled. The data capacity K includes both a data capacity K1 that can handle the compressed multimedia image data F1 and a data capacity K2 that can handle data when it is expanded.
[0055]
The frame sampling unit 63 generates sampled frame data Fr1 by sampling frame data from the plurality of frame data Fr0 so that the data capacity of the multimedia image data F1 is equal to or less than the data capacity K.
[0056]
The intra-frame encoding unit 64 converts each of the frame data Fr1 sampled so that the data capacity of the multimedia image data F1 is equal to or less than the data capacity K into the JPEG format that is a compression method considering redundancy in the two-dimensional direction. To generate compressed frame data Fr2. Further, the intra-frame encoding unit 64 determines whether or not the data capacity of the multimedia image data F1 generated by forming the format of the compressed frame data Fr2 in the format forming unit 65 is equal to or less than the data capacity K1. It is determined whether the data capacity of the developed multimedia image data F1 is equal to or less than the data capacity K2. If this determination is affirmed, the compressed frame data Fr2 is input to the format forming unit 65. On the other hand, if this determination is negative, information to that effect is transmitted to the encoding control unit 62. Upon receiving this information, the encoding control unit 62 re-controls the frame sampling unit 63 to further reduce the number of frames to be sampled, and re-controls the intra-frame encoding unit 64 to increase the compression rate.
[0057]
In other words, the data capacity of the compressed frame data Fr2 differs depending on whether the frame is a simple image such as consisting of only a single color or a complicated image including a fine subject. Further, the data capacity after the development of the multimedia image data F1 also differs depending on whether it is a simple image or a complex image. For this reason, depending on the complexity of the frame, the data capacity of the generated multimedia image data F1 may not be less than the data capacity K. Therefore, when the multimedia image data F1 generated in the format forming unit 65 does not become the data capacity K or less, the sampling and frame data Fr1 are again sampled so that the data capacity of the multimedia image data F1 becomes the data capacity K or less. The encoding is performed.
[0058]
The format forming unit 65 forms the compressed frame data Fr2 into the Flash format to generate multimedia image data F1. Specifically, the format of the frame data Fr2 is formed by arranging the frame data Fr2 while giving the frame data Fr2 information necessary for frame-by-frame display such as the display interval of each frame data Fr2. To generate multimedia image data F1. When it is desired to add sound to the multimedia image data F1, the format forming unit 65 includes the sound data in the multimedia image data F1.
[0059]
The color-reduced moving image generating unit 55 converts the formatted moving image data M1 into the reduced-color moving image data R1 when the mobile terminal device 3 that has made the request is a model that cannot display moving images and multimedia images. FIG. 5 is a schematic block diagram showing a detailed configuration of the subtractive color moving image generating unit 55. As shown in FIG. 5, the subtractive color moving image generating unit 55 includes a frame separating unit 71, a reference frame generating unit 72, a palette data generating unit 73, a frame sampling unit 74, a processing unit 75, and a frame combining unit 76. And an encoding unit 77.
[0060]
Similar to the frame separation unit 61 of the multimedia image generation unit 54, the frame separation unit 71 separates the live moving image data M1 ′ into frame-unit image data, that is, frame data Fr0.
[0061]
The reference frame generation unit 72 generates reference frame data B0 used for generating palette data from the frame data Fr0. Here, as the reference frame data B0, the top frame data Fr0 when the frames are arranged in time series is used. Arbitrary frame data may be used as reference frame data B0, and all frame data Fr0 or a plurality of frame data Fr0 ′ selected from all frame data Fr0 are combined into one image data, and the combined frame data May be generated as the reference frame data B0. Further, the reference frame data B0 may be generated by averaging a plurality of frame data Fr0 ′ selected from all the frame data Fr or all the frame data Fr0. Note that frame data sampled by a frame sampling unit 74 described later may be used as the plurality of frame data Fr0 ′.
[0062]
The palette data generation unit 73 generates palette data P0 having the number of colors necessary for the color reduction process from the reference frame data B0. Specifically, the palette data P0 can be generated using a median cut method or the like, but is not limited thereto.
[0063]
Here, in the median cut method, each color data of RGB constituting the reference frame data B0 is plotted in the RGB three-dimensional space, and a median value in a range where the color data exists in the three-dimensional space is obtained, and this is obtained as pallet data. Is repeated until the number of colors of palette data (for example, 256 colors) is obtained by dividing the space into two by the median value and obtaining the median value in the divided space. In this way, the palette color constituting the palette data is obtained.
[0064]
The frame sampling unit 74 samples the frame data constituting the subtractive color moving image from the frame data Fr0. Specifically, referring to the table T1 shown in FIG. 2, information on the number of frames of the subtractive color moving image that can be displayed by the mobile terminal device 3 that has made the request is acquired, and the number corresponding to the number of frames. The frame data is sampled. At this time, the frame data to be sampled may be frame data at a time obtained by equally dividing the reproduction time of the moving image data M0 by the number of frames. In addition to sampling the frame data, new frame data may be generated by performing interpolation between frames.
[0065]
The processing unit 75 performs a color reduction process on the frame data Fr3 sampled by the frame sampling unit 74 using the palette data P0. An error diffusion method or the like can be used as the color reduction processing method. As a result, the reduced-color frame data Fr4 is generated.
[0066]
The frame synthesizing unit 76 arranges the frame data Fr4 generated by the processing unit 75 in chronological order so as to form a single file, and thereby the color-reduced raw moving image data R0 that the images of each frame are continuously switched and reproduced. Is generated.
[0067]
The encoding unit 77 encodes the reduced color raw moving image data R0 to generate reduced color moving image data R1. At this time, encoding is performed so that the data capacity K can be handled by the mobile terminal device 3 or less. As the file format of the subtractive color moving image data R1, mng of a format corresponding to the animation gif or animation gif of png can be used, but is not limited to this.
[0068]
The generated image output unit 56 outputs the multimedia image data F1 generated by the multimedia image generating unit 54 or the reduced color moving image data R1 generated by the reduced color moving image generating unit 55 to the image output unit 16.
[0069]
Next, processing performed in the present embodiment will be described. FIG. 6 is a flowchart showing processing performed in the present embodiment. When the request receiving unit 12 receives the moving image distribution request transmitted by the mobile terminal device 3, the process is started, and the model determining unit 13 determines the model of the mobile terminal device 3 based on the model information included in the request ( Step S1). Subsequently, the moving image format conversion unit 14 reads out the moving image data M0 having the file name included in the request from the moving image storage unit 11 (step S2), and refers to the table T1, and the mobile terminal device 3 that has made the request The format of the moving image data M0 is converted so as to conform to the model of the moving image data M1 obtained by converting the format (step S3).
[0070]
Next, the moving image conversion unit 15 receives the input of the moving image data M1 (step S4), and determines whether the mobile terminal device 3 that has made the request is a model that can display moving images (step S5). If step S5 is negative, the decoding unit 52 decodes the moving image data M1 to obtain raw moving image data M1 ′ (step S6). Then, the output format determination unit 53 refers to the table T1 to determine whether or not the mobile terminal device 3 that has made the request can display a multimedia image (step S7), and when step S7 is affirmed. The multimedia image generation unit 54 performs a multimedia image generation process on the live moving image data M1 ′ (step S8).
[0071]
If step S5 is affirmed, the process proceeds to step S10, where the generated image output unit 56 outputs the moving image data M1 to the image output unit 16, and the moving image data is transmitted to the mobile terminal device 3 to which the image output unit 16 has requested. M1 is transmitted (step S11), and the process ends.
[0072]
FIG. 7 is a flowchart of multimedia image generation processing. First, the frame separation unit 61 separates the moving image data M1 ′ into frame data Fr0 that is image data in units of frames (step S21), and the encoding controller 62 finally obtains the data capacity of the multimedia image data F1. The frame sampling unit 63 and the intra-frame encoding unit 64 are controlled so that becomes less than or equal to the data capacity K (step S22).
[0073]
Then, the frame sampling unit 63 samples the frame data Fr1 constituting the multimedia image data F1 from the frame data Fr0 (step S23). Further, the intraframe encoding unit 64 encodes the frame data Fr1 to generate compressed frame data Fr2 (step S24). Subsequently, the intraframe encoding unit 64 determines whether or not the data capacity of the multimedia image data F1 generated from the frame data Fr2 in the format forming unit 65 is equal to or less than the data capacity K (step S25). If step S25 is negative, the intraframe encoding unit 64 inputs the information to the encoding control unit 62. The encoding control unit 62 re-controls the frame sampling unit 63 and the intraframe encoding unit 64 so that the data capacity of the finally obtained multimedia image data F1 is equal to or less than the data capacity K (step S26), and step S23. Return to. The frame sampling unit 63 and the intra-frame encoding unit 64 repeat the processing from step S23 until the data capacity of the multimedia image data F1 becomes equal to or less than the data capacity K.
[0074]
If step S25 is affirmed, the format forming unit 65 forms the frame data Fr2 into the flash format to generate the multimedia image data F1 (step S27), and the multimedia image generation process is terminated.
[0075]
Returning to FIG. 6, the generated image output unit 56 outputs the multimedia image data F1 generated by the multimedia image generation process to the image output unit 16 (step S10). The image output unit 16 transmits the multimedia image data F1 to the mobile terminal device 3 that has made the request (step S11), and ends the process.
[0076]
On the other hand, if step S7 is negative, the reduced color moving image generating unit 55 performs a reduced color moving image generation process on the raw moving image data M1 ′ (step S9).
[0077]
FIG. 8 is a flowchart of the reduced color moving image generation process. First, the frame separation unit 71 separates the live moving image data M1 ′ into frame data Fr0 that is image data in units of frames (step S31), and the reference frame generation unit 72 generates reference frame data B0 from the frame data Fr0 ( Step S32). Then, the palette data generation unit 73 generates palette data P0 from the reference frame data B0 (step S33).
[0078]
On the other hand, the frame sampling unit 74 samples the frame data Fr3 constituting the subtractive color moving image from the frame data Fr0 (step S34). Note that the process of step S34 may be performed first, or the processes of steps S32, S33 and step S34 may be performed in parallel.
[0079]
Then, the processing unit 75 generates a frame data Fr4 that has been subjected to a color reduction process using the palette data P0 on the frame data Fr3 sampled by the frame sampling unit 74 (step S35). Next, the frame synthesizing unit 76 synthesizes the frame data Fr4 generated by the processing unit 75 in chronological order so as to be combined into one file to generate the subtractive color moving image data R0 (step S36), and the encoding unit 77 encodes the subtractive color moving image data R0 to generate subtractive color moving image data R1 (step S37), and ends the subtractive color processing.
[0080]
Returning to FIG. 6, the generated image output unit 56 outputs the reduced color moving image data R1 generated by the reduced color moving image generation process to the image output unit 16 (step S10). The image output unit 16 transmits the reduced-color moving image data R1 to the mobile terminal device 3 that has made the request (step S11), and ends the processing.
[0081]
The mobile terminal device 3 receives the multimedia image data F1, the subtractive color moving image data R1, or the moving image data M1. Here, when the mobile terminal device 3 can display a moving image, the moving image data M1 is transmitted, and the moving image can be displayed. On the other hand, when the mobile terminal device 3 cannot display a moving image but can display a multimedia image, the multimedia image data F1 is transmitted, and the frame sampled from the moving image data M1 is continuously switched. A high-quality image with is displayed.
[0082]
In addition, when the mobile terminal device 3 cannot display a moving image and a multimedia image, the reduced color moving image data R1 is transmitted, and frames sampled from the moving image data M1 are continuously generated based on the reduced color moving image data R1. An image with a moving motion is displayed.
[0083]
As described above, in the present embodiment, the model of the mobile terminal device 3 that has requested transmission of a moving image is determined. If the model cannot display a moving image but can display a multimedia image, The moving image data M0 is converted into multimedia image data F1 and transmitted. Here, unlike the subtractive color moving image data R1, the multimedia image data F1 includes frame data Fr2 compressed in a compression format considering redundancy in the two-dimensional direction, such as JPEG. While being reduced, it is possible to generate an image displayed in frame advance with higher image quality than the reduced color moving image data R1. Therefore, even if the mobile terminal device 3 cannot display a moving image and the data capacity that can be handled is limited, the moving image can be displayed in a pseudo and high quality by the multimedia image data F1. Thus, even when the mobile terminal device 3 has a high pixel display screen, the frame-by-frame display image can be displayed with high image quality.
[0084]
Further, since the multimedia image data F1 is generated from the moving image data M1 according to the characteristics of the mobile terminal device 3 that has made the request, the generated multimedia image data F1 is sent to the mobile terminal device 3 that has made the request. It can be displayed reliably.
[0085]
If the generated multimedia image data F1 is not less than or equal to the data capacity K, the frame data Fr1 is sampled again and the frame data Fr2 is encoded again. Since the process is repeated until it becomes K or less, it is possible to generate multimedia image data F1 having a capacity suitable for the data capacity K that can be handled by the mobile terminal device 3.
[0086]
In addition, when the mobile terminal device 3 that has made the request cannot display either a moving image or a multimedia image, the requested moving image data M0 is converted into reduced color moving image data R1 and transmitted. Even if the device 3 cannot display the moving image and the multimedia image, the moving image can be displayed in a pseudo manner by the reduced-color moving image data R1 although the image quality is lowered.
[0087]
Further, when generating the subtractive color moving image data R1 from the moving image data M1, since only one palette data P0 is generated, the palette data is obtained every several frames as in the method described in Patent Document 1 above. Therefore, it is possible to obtain the color-reduced moving image data R1 from the moving image data M0 without increasing the scale of the apparatus.
[0088]
In the above embodiment, a multimedia image having the Flash format is used. However, the present invention is not limited to this as long as it can be interactively displayed while displaying a plurality of frames.
[0089]
In the above embodiment, the multimedia image data F1 can also include the audio included in the moving image data M0.
[0090]
In the above embodiment, only one palette data P0 is generated and the color-reduced moving image data R1 is generated from the moving image data M1, but as in the method described in Patent Document 1, several frames are used. Pallet data may be generated every time, and the reduced color moving image data R1 may be generated from the moving image data M1. Further, the present invention is not limited to these methods, and any method can be applied as long as the reduced color moving image data R1 can be generated from the moving image data M1.
[0091]
Note that the multimedia image generation unit 54 in the above embodiment may be used alone as a moving image conversion device that converts a moving image into a multimedia image. In this case, in order to decode the moving image data M0 as shown in FIG. 9 and to convert the decoded moving image data M0 ′ so as to have a format suitable for a display device that displays a multimedia image, The decoding unit 52 and the moving image format conversion unit 14 are provided.
[Brief description of the drawings]
FIG. 1 is a schematic block diagram showing a configuration of a moving image distribution system using a moving image distribution server to which a moving image conversion apparatus and a moving image distribution apparatus according to an embodiment of the present invention are applied.
FIG. 2 is a diagram showing a table representing the relationship between models and formats
FIG. 3 is a schematic block diagram showing a detailed configuration of a moving image conversion unit.
FIG. 4 is a schematic block diagram showing a detailed configuration of a multimedia image generation unit.
FIG. 5 is a schematic block diagram illustrating a detailed configuration of a subtractive color moving image generation unit.
FIG. 6 is a flowchart showing processing performed in the present embodiment.
FIG. 7 is a flowchart of multimedia image generation processing.
FIG. 8 is a flowchart of reduced color moving image generation processing;
FIG. 9 is a schematic block diagram illustrating a configuration of a moving image conversion apparatus.
[Explanation of symbols]
1 Video distribution server
2 PC
3 Mobile terminal devices
11 Moving image storage unit
12 Request receiver
13 Model discrimination section
14 Video format converter
15 Moving image converter
16 Image output unit
51 Moving image input unit
52 Decryption unit
53 Output format decision section
54 Multimedia image generator
55 Reduced Color Moving Image Generation Unit
56 Generated Image Output Unit
61, 71 Frame separator
62 Coding control unit
63, 74 Frame sampling unit
64 intra-frame coding unit
65 Format molding section
72 Reference frame generator
73 Pallet data generator
75 processor
76 Frame composition part
77 Encoding section

Claims

Sampling means for sampling a plurality of frames from a moving image;
A moving image conversion apparatus comprising: a multimedia image generating means for generating a multimedia image in a multimedia format by compressing the plurality of frames in a compression format considering redundancy in a two-dimensional direction.

2. The multimedia image generating unit is a unit that generates the multimedia image so that the multimedia image can be displayed on the display device according to characteristics of the display device that displays the multimedia image. The moving image conversion apparatus described.

The multimedia image generation means includes a size changing means for enlarging / reducing the plurality of frames according to characteristics of the display device,
Frame compression means for compressing the plurality of frames in a compression format considering redundancy in the two-dimensional direction so that the display device can handle data capacity;
3. The moving image conversion apparatus according to claim 2, further comprising format forming means for forming the multimedia image by forming a format of the plurality of compressed frames.

The frame compression means may change the compression rate of the frame and / or thin the frame from the plurality of frames when the generated multimedia image does not have a data capacity that can be handled by the display device. 4. The moving image conversion apparatus according to claim 3, wherein the moving image conversion unit repeats until a multimedia image reaches the data capacity.

The moving image conversion apparatus according to claim 2, wherein the display device is a mobile terminal device.

In the moving image distribution device that transmits the requested moving image to the transmission requesting terminal device that has requested transmission of the moving image,
Model discrimination means for discriminating the model of the transmission request terminal device;
A moving image conversion means for converting the requested moving image into the multimedia image when the transmission requesting terminal device model cannot display a moving image but can display a multimedia image in a multimedia format;
A moving image distribution apparatus that transmits the multimedia image to the transmission requesting terminal device instead of the moving image.

A color-reduction moving image converting means for converting the requested moving image into a reduced-color moving image when the transmission requesting terminal device cannot display the moving image and the multimedia image but can display a reduced-color moving image; ,
7. The moving image distribution apparatus according to claim 6, wherein the reduced color moving image is transmitted to the transmission requesting terminal device instead of the moving image.

The moving image distribution device according to claim 6 or 7, wherein the moving image conversion means includes the moving image conversion device according to any one of claims 1 to 5.

Sampling multiple frames from a video,
A moving image conversion method comprising: generating a multimedia image in a multimedia format by compressing the plurality of frames in a compression format considering redundancy in a two-dimensional direction.

In a moving image distribution method for transmitting the requested moving image to a transmission requesting terminal device that has requested transmission of the moving image,
Determine the model of the transmission request terminal device,
When the transmission request terminal device model cannot display a moving image but can display a multimedia image in a multimedia format, the requested moving image is converted into the multimedia image;
A moving image distribution method, wherein the multimedia image is transmitted to the transmission requesting terminal device instead of the moving image.

A procedure for sampling multiple frames from a video,
For causing a computer to execute a moving image conversion method, comprising: a step of compressing the plurality of frames in a two-dimensional compression format in consideration of redundancy to generate a multimedia image of a multimedia format. Program.

In a program for causing a computer to execute a moving image distribution method for transmitting a requested moving image to a transmission requesting terminal device that has requested transmission of the moving image,
A procedure for determining a model of the transmission request terminal device;
A procedure for converting the requested moving image to the multimedia image when the model of the transmission requesting terminal device cannot display a moving image but can display a multimedia image in a multimedia format;
A program for transmitting the multimedia image to the transmission requesting terminal device instead of the moving image.