JP2005136566A - 動画像変換装置および方法、動画像配信装置、メール中継装置並びにプログラム - Google Patents

動画像変換装置および方法、動画像配信装置、メール中継装置並びにプログラム Download PDF

Info

Publication number
JP2005136566A
JP2005136566A JP2003368614A JP2003368614A JP2005136566A JP 2005136566 A JP2005136566 A JP 2005136566A JP 2003368614 A JP2003368614 A JP 2003368614A JP 2003368614 A JP2003368614 A JP 2003368614A JP 2005136566 A JP2005136566 A JP 2005136566A
Authority
JP
Japan
Prior art keywords
moving image
color
reduced
frames
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003368614A
Other languages
English (en)
Other versions
JP4444623B2 (ja
Inventor
Shunichiro Nonaka
俊一郎 野中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2003368614A priority Critical patent/JP4444623B2/ja
Priority to US10/975,426 priority patent/US7676083B2/en
Publication of JP2005136566A publication Critical patent/JP2005136566A/ja
Application granted granted Critical
Publication of JP4444623B2 publication Critical patent/JP4444623B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25825—Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25833—Management of client data involving client hardware characteristics, e.g. manufacturer, processing or storage capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4786—Supplemental services, e.g. displaying phone caller identification, shopping application e-mailing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6581—Reference data, e.g. a movie identifier for ordering a movie or a product identifier in a home shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Security & Cryptography (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Processing Of Color Television Signals (AREA)
  • Information Transfer Between Computers (AREA)
  • Color Television Systems (AREA)
  • Image Processing (AREA)

Abstract

【課題】 動画像からより高画質の減色動画像を生成できるようにする。
【解決手段】 誤差拡散処理のマトリクスとして、処理の対象となるフレームデータＦｒ１用のマトリクスＴ１および処理の対象となるフレームデータＦｒ１に時間的に連続する次のフレームデータＦｒ１′用のマトリクスＴ２を用意する。フレームデータＦｒ１により表されるフレーム上の画素において誤差拡散処理により生じた誤差を、フレームデータＦｒ１′により表されるフレームにおけるその画素に対応する画素にも拡散させる。
【選択図】 図５

Description

本発明は、動画像を減色動画像に変換する動画像変換装置および方法、動画像を携帯端末装置等に配信する動画像配信装置、動画像が添付された電子メールを中継して送信先に送信するメール中継装置並びに動画像変換方法をコンピュータに実行させるためのプログラムに関するものである。
デジタルカメラやスキャナ等により取得される画像は、ＲＧＢ各色８ビットの合計２４ビットの色すなわち約１６７７万色の色を表現することが可能である。しかしながら、画像を再生する装置によっては、これよりも少ない（例えば２５６色）の色数しか表現できない場合がある。また、ウェブサイトにおいて利用頻度が高いｇｉｆやｐｎｇ等の画像フォーマットが扱うことが可能な色は２５６色である。したがって、デジタルカメラ等により取得された画像を、表現可能な色数が少ない再生装置に表示したり、ｇｉｆやｐｎｇ等の画像フォーマットに変換する場合には、１６７７万色の色数を２５６色に減色する減色処理を行う必要がある。
従来よりこのような減色処理は、減色処理を行う画像を２５６色で表現するのに最適な２５６色のパレット色からなるパレットデータを生成し、パレットデータのパレット色の中から、画素毎に変換すべき色を選択して各画素を減色していくことにより行っている。
また、デジタルビデオカメラにより取得された動画像をリアルタイムで減色処理して、静止画像が連続的に切り替わることによる動きのある画像（以下減色動画像とする）を生成する方法が提案されている（特許文献１参照）。この方法は、動画像に含まれる１／６０秒毎に変化するフレームをコマ落ちさせることなくリアルタイムで減色処理するために、各フレーム毎にパレットデータを生成するのではなく、数フレーム毎にパレットデータを生成し、数フレーム単位で１つのパレットデータを用いて減色処理を行う方法である。
ここで、減色処理を行うことにより、画像に含まれる階調が失われてしまう場合がある。例えば、パレットデータにオレンジ色がなく、赤色および黄色のみが含まれる場合においては、減色処理前のオリジナルデータにより表されるオリジナル画像上のオレンジ色の部分は、赤色または黄色にしか減色することができないため、減色動画像においてはオリジナル画像のオレンジ色の部分をオレンジ色として再現することができない。
このため、オレンジ色の部分については、誤差拡散処理を用いて赤色および黄色の画素が適当な割合で出現するように減色処理を行い、画素単位で見たときには赤色および黄色しか見えないが、その部分を全体的に見たときに擬似的にオレンジ色に見えるようにしている。
以下、誤差拡散処理を用いた減色処理について説明する。図１９は誤差拡散処理を用いた減色処理を説明するための図であり、図１９（ａ）はオリジナルデータにより表されるオリジナル画像の画素配列を、図１９（ｂ）は誤差拡散処理後の処理済みデータにより表される処理済み画像の画素配列をそれぞれ示す。なお、ここでは説明を簡単にするために、オリジナル画像は５×３の画素を有し、各画素の位置を（ｘ，ｙ）座標にて表し、図１９（ａ）上左上隅の画素（０，０）を始点としてｘ方向に誤差拡散処理を行うとともに、ｙ方向に誤差拡散処理を行う画素列を移動させつつ減色処理を行い、かつパレットデータは、１０，２０，３０，４０の４つの値のみを有するものとする。
また、誤差拡散処理のマトリクスの例を図２０に示す。図２０に示すように誤差拡散処理のマトリクスＴ０は、減色処理の対象となる画素（すなわちマトリクスの要素の中心に対応する画素、Ｐ０とする）において生じた誤差を、画素Ｐ０の右、右下、下および左下に隣接する４つの画素にそれぞれ７／１６，３／１６，５／１６，１／１６の割合で拡散させるものである。なお、画素Ｐ０の左上、上、右上および左に隣接する画素はすでに誤差拡散処理が施されたものとなるため、マトリクスＴ０の中心の要素から見て左上、上、右上および左に位置する要素は値を有さないものとなっている。
図１９（ａ）に示すオリジナルデータにおいて画素（１，１）は画素値が２４であるからパレットデータを参照して、画素（１，１）の画素値をパレットデータに含まれる２４に最も近い値である２０に変更する。これにより、画素（１，１）においては４の誤差を生じる。このため、４の誤差を７／１６，３／１６，５／１６の割合で画素（２，１）、（２，２）、（１，２）に拡散させる。次いで、画素（２，１）の減色処理を行う。ここで、オリジナルデータにおいて画素（２，１）は２４の値を有するが、画素（１，１）の誤差拡散処理により、２４に７×４／１６が加算されて、画素値が２５．７５となっている。このため、画素（２，１）は２５．７５に最も近いパレットデータの値である３０に変更される。これにより生じた−４．２５の誤差は、７／１６，３／１６，５／１６、１／１６の割合で画素（３，１）、（３，２）、（２，２）、（１，２）に拡散させる。以下順次すべての画素について誤差拡散処理による減色処理を施して、処理済みデータを得ることができる。
ここで、オリジナル画像の各画素は２３〜２７の画素値を有しているが、処理済み画像の各画素は２０または３０の値しか有していない。しかしながら、誤差拡散処理により、処理済み画像には２０および３０の画素値を有する画素が適当な割合で混在することとなるため、処理済み画像を構成する画素が２０と３０の間の画素値を有していなくても、擬似的にオリジナルデータの２３〜２７の範囲の階調を再現することができる。
一方、カメラ付き携帯電話機等の携帯端末装置の機能の向上は著しく、通信速度の向上とも相まって、動画像を撮影し、撮影した動画像を電子メールに添付して送信したり、動画像コンテンツを配信する動画像配信サーバにアクセスして、所望とする動画像コンテンツをダウンロードして再生可能な携帯端末装置が提案されている。
また、静止画像ではあるが、カメラ付きの携帯端末装置から送信された画像が添付された電子メールに対して、送信先の端末装置の種類に応じて適切な画像処理を施すメール中継装置が提案されている（特許文献２参照）。このようなメール中継装置を用いれば、送信先の携帯端末装置が有する画面サイズ、画面の明るさや色合い等に適した画像となるように画像データに画像処理を施して、画像添付電子メールを送信することができる。
特開平１１−２５９６４０号公報 特願２００２−２１４２１５号
上記特許文献１に記載された方法により、動画像から減色動画像を生成することができるものの、動画像であるという特徴を生かしてより高画質の減色動画像を生成することが望まれている。
本発明は上記事情に鑑みなされたものであり、動画像からより高画質の減色動画像を生成できるようにすることを目的とする。
本発明による動画像変換装置は、複数フレームからなる動画像を所定数の色を有する減色動画像に変換する動画像変換装置において、
前記複数フレームから前記減色動画像の生成に使用する複数の減色動画像生成用フレームをサンプリングするフレームサンプリング手段と、
前記減色動画像を生成するためのパレットデータを生成するパレットデータ生成手段と、
前記パレットデータを参照した誤差拡散処理であって、前記複数の減色動画像生成用フレームのそれぞれの各画素位置において生じる前記パレットデータとの誤差を、時間的に連続する次の減色動画像生成用フレームの対応する画素位置または対応する画素位置を含むその周囲の画素位置にも拡散させる誤差拡散処理を用いた減色処理により、前記複数の減色動画像生成用フレームのそれぞれを減色動画像フレームに変換する減色処理手段と、
該減色動画像フレームを合成して前記減色動画像を生成するフレーム合成手段とを備えたことを特徴とするものである。
なお、本発明による動画像変換装置においては、前記減色処理手段は、前記複数の減色動画像生成フレームの単位時間当たりのフレーム数が多いほど、前記時間的に連続する減色動画像生成用フレームの対応する画素位置に誤差を拡散させる程度を大きくする手段としてもよい。
本発明による動画像配信装置は、動画像の送信を要求した送信要求端末装置に、該要求された動画像を送信する動画像配信装置において、
前記送信要求端末装置の機種を判別する機種判別手段と、
本発明による動画像変換装置とを備え、
前記送信要求端末装置の機種が前記動画像を表示できないが減色動画像を表示できる場合に、前記要求された動画像を減色動画像に変換し、該減色動画像を前記動画像に代えて前記送信要求端末装置に送信することを特徴とするものである。
本発明によるメール中継装置は、動画像が添付された電子メールを該電子メールの送信先である送信先端末装置に送信するメール中継装置において、
前記送信先端末装置の機種を判別する機種判別手段と、
本発明による動画像変換装置とを備え、
前記送信先端末装置の機種が前記動画像を表示できないが減色動画像を表示できる場合に、前記添付された動画像を減色動画像に変換し、該減色動画像を前記動画像に代えて前記送信先端末装置に送信することを特徴とするものである。
本発明による動画像変換方法は、複数フレームからなる動画像を所定数の色を有する減色動画像に変換する動画像変換方法において、
前記複数フレームから前記減色動画像の生成に使用する複数の減色動画像生成用フレームをサンプリングし、
前記減色動画像を生成するためのパレットデータを生成し、
前記パレットデータを参照した誤差拡散処理であって、前記複数の減色動画像生成用フレームのそれぞれの各画素位置において生じる前記パレットデータとの誤差を、時間的に連続する次の減色動画像生成用フレームの対応する画素位置または対応する画素位置を含むその周囲の画素位置にも拡散させる誤差拡散処理を用いた減色処理により、前記複数の減色動画像生成用フレームのそれぞれを減色動画像フレームに変換し、
該減色動画像フレームを合成して前記減色動画像を生成することを特徴とするものである。
なお、本発明による動画像変換方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本発明による動画像変換装置および方法によれば、動画像の複数フレームから減色動画像の生成に使用する複数の減色動画像生成用フレームがサンプリングされ、減色動画像を生成するためのパレットデータが生成される。そして、パレットデータを参照した誤差拡散処理であって、複数の減色動画像生成用フレームのそれぞれの各画素位置において生じるパレットデータとの誤差を、時間的に連続する減色動画像生成用フレームの対応する画素位置または対応する画素位置を含むその周囲の画素位置に拡散させる誤差拡散処理を用いた減色処理により、複数の減色動画像生成用フレームのそれぞれが減色動画像フレームに変換される。さらに、減色動画像フレームが合成されて減色動画像が生成される。
ここで、減色動画像は複数の減色動画像フレームから構成され、かつ各減色動画像フレーム上の相対応する画素については非常に相関が高いという動画像と同様の特性を有する。このため、誤差拡散処理を行う際に、減色動画像生成用フレーム上の各画素において生じた誤差を、時間的に連続する減色動画像生成用フレームの対応する画素位置または対応する画素位置を含むその周囲の画素位置にも拡散させることにより、減色動画像を再生した際に、フレーム間の色の不連続性を減少させる方向に減色処理を行うことができる。したがって、フレーム内においてのみ誤差拡散処理を行う場合と比較して、フレーム間の色の連続性を向上させた、より高画質の減色動画像を生成することができる。
また、減色動画像を生成するための減色動画像生成用フレーム間の時間的な間隔が短いほど、フレーム上の相対応する画素の相関が高くなる。このため、減色動画像生成用フレームの単位時間当たりのフレーム数が多いほど、時間的に連続する減色動画像生成用フレームの対応する画素位置に誤差を拡散させる程度を大きくすることにより、フレーム間の色の連続性をより向上させることができ、これにより、いっそう高画質の減色動画像を生成することができる。
本発明の動画像配信装置によれば、動画像の送信を要求した送信要求端末装置の機種が判別され、その送信要求端末装置の機種が、動画像を表示できないが減色動画像を表示できる場合に、本発明による動画像変換装置と同様に動画像が減色動画像に変換され、減色動画像が動画像に代えて送信要求端末装置に送信される。このため、動画像の送信を要求した端末装置が動画像を表示できなくても、減色動画像により高画質の動画像を擬似的に表示することができる。
本発明によるメール中継装置によれば、動画像が添付された電子メールの送信先である送信先端末装置の機種が判別され、その送信先端末装置の機種が、動画像を表示できないが減色動画像を表示できる場合には、本発明による動画像変換装置と同様に動画像が減色動画像に変換され、減色動画像が動画像に代えて送信先端末装置に送信される。このため、送信先の端末装置が動画像を表示できなくても、減色動画像により電子メールに添付されて送信された高画質の動画像を擬似的に表示することができる。
以下図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による動画像変換装置および動画像配信装置を適用した動画像配信システムの構成を示す概略ブロック図である。図１に示すように、本発明の第１の実施形態による動画像配信システムは、動画像配信サーバ１を備え、動画像コンテンツ作成装置であるパソコン２等において作成した動画像データＭ０を動画像配信サーバ１に保管し、携帯電話機、ＰＨＳ、ＰＤＡ等の携帯端末装置３から動画像の配信のリクエストを携帯電話通信網を介して動画像配信サーバ１に対して行って、動画像配信サーバ１から携帯端末装置３に動画像データＭ０を配信するものである。
図１に示すように、動画像配信サーバ１は、動画像蓄積部１１と、リクエスト受信部１２と、機種判別部１３と、動画像フォーマット変換部１４と、減色処理部１５と、画像出力部１６とを備える。
動画像蓄積部１１は、パソコン２が作成した動画像データＭ０を複数蓄積する。なお、動画像データＭ０は所定の圧縮形式により符号化されて動画像蓄積部１１に蓄積される。
リクエスト受信部１２は、携帯端末装置３が送信した動画像配信のリクエストを受信する。なお、携帯端末装置３が送信した動画像配信のリクエストには、リクエストを行う動画像データＭ０のファイル名および携帯端末装置３の機種を表す機種情報が含まれる。
機種判別部１３は、リクエストに含まれる機種情報に基づいて、携帯端末装置３の機種を判別する。
動画像フォーマット変換部１４は、リクエストに含まれるファイル名を有する動画像データＭ０を動画像蓄積部１１から読み出し、さらに動画像データＭ０を復号化して機種判別部１３が判別した携帯端末装置３の機種に応じて、読み出した動画像データＭ０のフォーマットを変換する。この際、動画像フォーマット変換部１４は、機種とフォーマットとの関係を表すテーブルを参照して動画像データＭ０のフォーマットを変換する。
図２は機種とフォーマットとの関係を表すテーブルを示す図である。図２に示すように、テーブルＬ１は、携帯端末装置３が携帯電話機である場合の機種毎に、動画像の表示の可否、画面サイズ、表示可能色数、表示可能な減色動画像のコマ数が割り当てられている。そして、動画像フォーマット変換部１４は、テーブルＬ１を参照して、リクエストを行った機種の表示画面サイズおよび表示可能色数に適合するように動画像データＭ０のフォーマットを変換してフォーマット変換済みの動画像データＭ１を生成する。なお、動画像データＭ１は符号化される。
減色処理部１５は、リクエストを行った携帯端末装置３が動画像を表示できない機種である場合に、フォーマット済みの動画像データＭ１を減色動画像データＲ１に変換する。図３は減色処理部１５の構成を示す概略ブロック図である。図３に示すように、減色処理部１５は、動画像入力部５１と、復号化部５２と、フレーム分離部５３と、パレットデータ生成部５４と、フレームサンプリング部５５と、処理部５６と、フレーム合成部５７と、符号化部５８と、減色動画像出力部５９とを備える。
動画像入力部５１は、フォーマット変換済みの動画像データＭ１の減色処理部１５への入力を受け付ける。
復号化部５２は、符号化されている動画像データＭ１を復号化して生動画像データＭ１′を生成する。
フレーム分離部５３は、生動画像データＭ１′をフレーム単位の画像データ（以下フレームデータＦｒ０とする）に分離する。例えば本実施形態においては１フレームは１／６０秒の動画像を表すものである。
パレットデータ生成部５４は、フレームデータＦｒ０からパレットデータの生成に用いられる基準フレームデータＢ０を生成する。ここで、基準フレームデータＢ０としては、各フレームを時系列順に並べた場合における先頭のフレームデータＦｒ０を用いるものとする。なお、任意のフレームデータを基準フレームデータＢ０としてもよく、全フレームデータＦｒ０または全フレームデータＦｒ０から選択した複数のフレームデータＦｒ０′を１つの画像データとなるように合成し、この合成したフレームデータを基準フレームデータＢ０として生成してもよい。また、全フレームデータＦｒまたは全フレームデータＦｒ０から選択した複数のフレームデータＦｒ０′を平均することにより基準フレームデータＢ０を生成してもよい。なお、複数のフレームデータＦｒ０′としては、後述するフレームサンプリング部５５がサンプリングしたフレームデータを用いてもよい。
また、パレットデータ生成部５４は、基準フレームデータＢ０から減色処理に必要な色数のパレットデータＰ０を生成する。具体的にはメディアンカット法等を用いてパレットデータＰ０を生成することができるが、これに限定されるものではない。
ここで、メディアンカット法は、基準フレームデータＢ０を構成するＲＧＢの各色データをＲＧＢの３次元空間にプロットし、３次元空間上の色データが存在する範囲におけるメディアン値を求め、これをパレットデータを構成する１つのパレット色とし、さらにメディアン値により空間を２つに分割して、分割された空間におけるメディアン値を求めることを、パレットデータの色数（例えば２５６色）が得られるまで繰り返すことにより、パレットデータを構成するパレット色を求める方法である。
フレームサンプリング部５５は、フレームデータＦｒ０から減色動画像を構成するフレームデータＦｒ１をサンプリングする。具体的には、図２に示すテーブルＬ１を参照して、リクエストを行った携帯端末装置３が表示することが可能な減色動画像のコマ数の情報を取得し、このコマ数に相当する数のフレームデータＦｒ１をサンプリングする。この際、サンプリングするフレームデータＦｒ１は、動画像データＭ０の再生時間をコマ数により等分した時間におけるフレームデータとすればよい。なお、フレームデータをサンプリングするのみならず、フレーム間において補間を行って新たなフレームデータを生成してもよい。
処理部５６は、フレームサンプリング部５５がサンプリングしたフレームデータＦｒ１に対して、パレットデータＰ０を用いて減色処理を施す。具体的には、誤差拡散処理を用いた減色処理を施す。以下、誤差拡散処理を用いた減色処理について説明する。
図４は誤差拡散処理に用いるマトリクスの例を示す図、図５は誤差拡散処理を説明するための図である。なお、ここでは説明を簡単にするために、フレームデータＦｒ１により表されるフレームは５×３の画素を有し、各画素の位置を（ｘ，ｙ）座標にて表し、画素（０，０）を始点としてｘ方向に順次誤差拡散処理を行うとともに、ｙ方向に誤差拡散処理を行う画素列を移動させつつ減色処理を行い、かつパレットデータは、１０，２０，３０，４０の４つの値のみを有するものとする。
図４に示すように誤差拡散処理のマトリクスは、処理の対象となるフレームデータＦｒ１用のマトリクスＴ１および処理の対象となるフレームデータＦｒ１に時間的に連続する次のフレームデータＦｒ１′用のマトリクスＴ２からなる。マトリクスＴ１，Ｔ２は３×３の要素を有し、マトリクスＴ１は減色処理の対象となる画素（すなわちマトリクスの要素の中心に対応する画素、Ｐ０とする）において生じた誤差を、画素Ｐ０の右、右下、下および左下に隣接する４つの画素にそれぞれ７／２４，３／２４，５／２４，１／２４の割合で拡散させ、マトリクスＴ２は時間的に連続する次のフレームデータＦｒ１′における画素Ｐ０に対応する画素（Ｐ０′とする）および画素Ｐ０′の上下左右にそれぞれ隣接する４つの画素に、画素Ｐ０において生じた誤差を、画素Ｐ０′ほど拡散される割合が大きくなるように、それぞれ４／２４，１／２４，１／２４，１／２４，１／２４の割合で拡散させるものである。なお、画素Ｐ０の左上、上、右上および左に隣接する画素はすでに誤差拡散処理が施されたものとなるため、マトリクスＴ１の中心の要素から見て左上、上、右上および左に位置する要素は値を有さないものとなっている。
ここで、誤差拡散処理の対象となる画素を画素（２，２）とすると、図５（ａ）に示すフレームデータＦｒ１において画素（２，２）は画素値が２４であるためパレットデータを参照して、画素（２，２）の画素値をパレットデータに含まれる２４に最も近い値である２０に変更する。これにより、画素（２，２）においては４の誤差を生じる。このため、４の誤差をマトリクスＴ１により７／２４，３／２４，５／２４，１／２４の割合で画素（３，２）、（３，３）、（２，３）、（１，３）に拡散させる。また、４の誤差をマトリクスＴ２により、４／２４，１／２４，１／２４，１／２４，１／２４の割合で、次のフレームデータＦｒ１′の画素（２，２）、（２，１）、（３，２）、（２，３）、（１，２）に拡散させる。
次いで、フレームデータＦｒ１について画素（３，２）の誤差拡散処理を行う。フレームデータＦｒ１において画素（３，２）は２６の値を有するが、画素（２，２）の誤差拡散処理により、２６に７×４／２４が加算されて、画素値が約２７．７となっている。このため、画素（３，２）は２７．７に最も近いパレットデータの値である３０に変更される。また、これにより生じた−２．３の誤差は、マトリクスＴ１，Ｔ２により画素（３，２）の周囲の画素（４，２）、（４，３）、（３，３）、（２，３）、および次のフレームデータＦｒ１′の対応する画素（３，２）および対応する画素（３，２）の周囲の画素（３，１）、（４，２）、（３，３）、（２，２）に拡散される。以下順次すべての画素について、生じた誤差を処理対象の画素の周囲の画素および次のフレームデータＦｒ１′の対応する画素に拡散させる誤差拡散処理を行って、減色されたフレームデータＦｒ２を得る。
一方、フレームデータＦｒ１の次のフレームデータＦｒ１′により表されるフレーム上の画素（２，２）においては、図５（ａ）に示すように画素値は２４であるが、前のフレームデータＦｒ１の画素（２，２）において生じた誤差４が４／２４の割合で加算されるため画素値は約２４．２となり、パレットデータを参照して画素（２，２）の画素値をパレットデータに含まれる２４．２に最も近い値である２０に変更する。そして、フレームデータＦｒ１の場合と同様に、各画素において生じた誤差を処理対象の画素の周囲の画素および次のフレームデータの対応する画素に拡散させる誤差拡散処理を行って、減色されたフレームデータＦｒ２′を得る。
以上の処理をフレームサンプリング部５５がサンプリングしたすべてのフレームデータＦｒ１に対して行うことにより、減色されたフレームデータＦｒ２を生成する。
フレーム合成部５７は、処理部５６が生成したフレームデータＦｒ２を時系列順に並べて１つのファイルとなるように合成することにより、各フレームの画像が連続的に切り替わって再生される減色生動画像データＲ０を生成する。
符号化部５８は、減色生動画像データＲ０を符号化して減色動画像データＲ１を生成する。なお、減色動画像データＲ１のファイルフォーマットとしては、アニメーションｇｉｆやｐｎｇのアニメーションｇｉｆに対応するフォーマットのｍｎｇを用いることができるが、これに限定されるものではない。
減色動画像出力部５９は、符号化部５８が生成した減色動画像データＲ１を画像出力部１６に出力する。
次いで、第１の実施形態において行われる処理について説明する。図６は、第１の実施形態において行われる処理を示すフローチャートである。携帯端末装置３が送信した動画像配信のリクエストをリクエスト受信部１２が受信すると処理が開始され、機種判別部１３がリクエストに含まれる機種情報に基づいて、携帯端末装置３の機種を判別する（ステップＳ１）。続いて、動画像フォーマット変換部１４が、リクエストに含まれるファイル名を有する動画像データＭ０を動画像蓄積部１１から読み出し（ステップＳ２）、テーブルＬ１を参照してリクエストを行った携帯端末装置３の機種に適合するように、動画像データＭ０のフォーマットを変換してフォーマット変換済みの動画像データＭ１を取得する（ステップＳ３）。
次いで、減色処理部１５は、リクエストを行った携帯端末装置３が動画像を表示できる機種であるか否かを判定し（ステップＳ４）、ステップＳ４が否定されると、動画像データＭ１に対して減色処理を行う（ステップＳ５）。
図７は減色処理のフローチャートである。まず、動画像入力部５１が動画像データＭ１の入力を受け付け（ステップＳ１１）、復号化部５２が動画像データＭ１を復号化して生動画像データＭ１′を取得する（ステップＳ１２）。続いて、フレーム分離部５３が生動画像データＭ１′をフレーム単位の画像データであるフレームデータＦｒ０に分離し（ステップＳ１３）、パレットデータ生成部５４が、フレームデータＦｒ０から基準フレームデータＢ０を生成し（ステップＳ１４）、さらに基準フレームデータＢ０からパレットデータＰ０を生成する（ステップＳ１５）。
一方、フレームサンプリング部５５が、フレームデータＦｒ０から減色動画像を構成するフレームデータＦｒ１をサンプリングする（ステップＳ１６）。なお、ステップＳ１６の処理を先に行ってもよく、ステップＳ１４，Ｓ１５およびステップＳ１６の処理を並列に行ってもよい。
そして、処理部５６が、フレームサンプリング部５５がサンプリングしたフレームデータＦｒ１に対して、パレットデータＰ０を用いて上述したように時間的に連続するフレームデータに対しても誤差を拡散する誤差拡散処理を用いた減色処理を施して減色されたフレームデータＦｒ２を生成する（ステップＳ１７）。次いで、フレーム合成部５７が、処理部５６が生成したフレームデータＦｒ２を時系列順に並べることにより１つのファイルとなるように合成して減色生動画像データＲ０を生成し（ステップＳ１８）、符号化部５８が減色生動画像データＲ０を符号化して減色動画像データＲ１を生成し（ステップＳ１９）、さらに減色動画像出力部５９が減色動画像データＲ１を出力して（ステップＳ２０）、減色処理を終了する。
図６に戻り、ステップＳ４が肯定された場合およびステップＳ５の減色処理が終了すると、画像出力部１６が減色動画像データＲ１または動画像データＭ１をリクエストを行った携帯端末装置３に送信し（ステップＳ６）、処理を終了する。
携帯端末装置３においては、減色動画像データＲ１または動画像データＭ１が受信される。ここで、携帯端末装置３が動画像を再生可能なものである場合には動画像データＭ１が送信され、動画像を表示できる。一方、携帯端末装置３が動画像を再生できない場合には減色動画像データＲ１が送信され、減色動画像データＲ１に基づいて、動画像データＭ１からサンプリングされたフレームが連続的に切り替わる動きのある画像が表示される。
ここで、減色動画像は複数のフレームから構成され、かつ各フレーム上の相対応する画素については非常に相関が高いという動画像と同様の特性を有する。このため、誤差拡散処理を行う際に、フレームデータＦｒ１により表されるフレーム上の各画素において生じた誤差を、時間的に連続する次のフレームデータＦｒ１′により表されるフレームの対応する画素位置およびその周囲の画素位置にも拡散させることにより、減色動画像データＲ１を再生した際に、フレーム間の色の不連続性を減少させる方向に減色処理を行うことができる。したがって、フレーム内においてのみ誤差拡散処理を行う場合と比較して、フレーム間の色の連続性を向上させた、より高画質の減色動画像を再生可能な減色動画像データＲ１を生成することができる。
次いで、本発明の第２の実施形態について説明する。図８は本発明の第２の実施形態による動画像変換装置およびメール中継装置を適用したメールシステムの構成を示す概略ブロック図である。図８に示すように、本実施形態によるメールシステムは、メール中継サーバ１０１を備え、動画像を撮影可能なカメラ付きの携帯電話機、ＰＨＳ、ＰＤＡ等の携帯端末装置３から送信された、動画像が添付された電子メールをメール中継サーバ１０１において中継して、電子メールの送信先に送信するものである。
図８に示すように、メール中継サーバ１０１は、メール受信部１１１と、動画像分離部１１２と、機種判別部１１３と、画像蓄積部１１４と、減色処理部１１５と、画像添付部１１６と、ＵＲＬ添付部１１７と、メール送信部１１８と、リクエスト受信部１１９と、画像読み出し部１２０と、画像送信部１２１とを備える。
メール受信部１１１は、ある携帯端末装置３が送信した動画像を表す動画像データＭ０が添付された電子メールＥ０を受信する。
動画像分離部１１２は、電子メールＥ０から動画像データＭ０を分離して、電子メールＥ０の動画像データＭ０以外の情報からなるメール本体Ｅ１を生成する。なお、メール本体Ｅ１はメール本文と送信者のメールアドレス、送信先のメールアドレス等の各種情報を含むヘッダとからなる。動画像分離部１１２はメール本体Ｅ１および動画像データＭ０を機種判別部１１３に入力する。
機種判別部１１３は、メール本体Ｅ１のヘッダに含まれる送信先の携帯端末装置３のメールアドレスに基づいて、メールアドレスと機種とを対応づけたデータベース１１３Ａを参照して、送信先の携帯端末装置３が動画像を表示可能であるか否かを判定する。また、送信先の携帯端末装置３が、画像が添付された電子メールをそのまま受信可能なものであるか否かも判定する。
ここで、機種判別部１１３の判定結果は下記に示すものとなる。
（１）送信先の携帯端末装置３が動画像を表示可能であり、画像が添付された電子メールをそのまま受信可能である。
（２）送信先の携帯端末装置３が動画像を表示可能ではなく、画像が添付された電子メールをそのまま受信可能である。
（３）送信先の携帯端末装置３が動画像を表示可能であり、画像が添付された電子メールをそのまま受信可能でない。
（４）送信先の携帯端末装置３が動画像を表示可能ではなく、画像が添付された電子メールをそのまま受信可能でない。
上記（１）のように判定された場合、機種判別部１１３は減色処理部１１５に処理を行わせることなく動画像データＭ０を画像添付部１１６に入力する。また、動画像分離部１１２はメール本体Ｅ１を画像添付部１１６に入力する。
上記（２）のように判定された場合、機種判別部１１３は動画像データＭ０を減色処理部１１５に入力し、減色処理部１１５に処理を行わせる。また、動画像分離部１１２はメール本体Ｅ１を画像添付部１１６に入力する。
上記（３）のように判定された場合、機種判別部１１３は減色処理部１１５に処理を行わせることなく動画像データＭ０を画像蓄積部１１４に入力する。また、動画像分離部１１２はメール本体Ｅ１をＵＲＬ添付部１１７に入力する。
上記（４）のように判定された場合、機種判別部１１３は動画像データＭ０を減色処理部１１５に入力し、減色処理部１１５に処理を行わせる。また、動画像分離部１１２はメール本体Ｅ１をＵＲＬ添付部１１７に入力する。
画像蓄積部１１４は、動画像データＭ０および減色処理部１１５が生成した減色動画像データＲ１を蓄積する。
減色処理部１１５は、送信先の携帯端末装置３が動画像を表示できない機種である場合に、動画像データＭ０を減色動画像データＲ１に変換する。なお、減色処理部１１５は、上記第１の実施形態における動画像配信サーバ１の減色処理部１５と同一の構成を有し、かつ同一の処理を行うため、ここでは詳細な説明は省略する。
画像添付部１１６は、送信先の携帯端末装置３が画像が添付された電子メールをそのまま受信可能である場合に、メール本体Ｅ１に動画像データＭ０または減色動画像データＲ１を添付して画像が添付された電子メールＥ２を生成する。
ＵＲＬ添付部１１７は、送信先の携帯端末装置３が画像が添付された電子メールをそのまま受信可能でない場合に、メール本体Ｅ１に動画像データＭ０または減色動画像データＲ１の画像蓄積部１１４における蓄積場所のＵＲＬを添付してＵＲＬが添付された電子メールＥ３を生成する。
メール送信部１１８は、電子メールＥ２または電子メールＥ３を送信先の携帯端末装置３に携帯電話通信網を介して送信する。
リクエスト受信部１１９は、ＵＲＬが添付された電子メールＥ３を受信した携帯端末装置３による画像のダウンロードのリクエストを受信する。なお、携帯端末装置３による動画像配信のリクエストには、動画像データＭ０または減色動画像データＲ１の蓄積先のＵＲＬが含まれる。
画像読み出し部１２０は、リクエスト受信部１１９が受信したリクエストに含まれるＵＲＬを参照して、動画像データＭ０または減色動画像データＲ１を画像蓄積部１１４から読み出す。
画像送信部１２１は、画像読み出し部１２０が読み出した動画像データＭ０または減色動画像データＲ１を、リクエストを行った携帯端末装置３に携帯電話通信網を介して送信する。
次いで、第２の実施形態において行われる処理について説明する。図９は、第２の実施形態において行われる処理を示すフローチャートである。ある携帯端末装置３が送信した動画像データＭ０が添付された電子メールＥ０をメール受信部１１１が受信すると処理が開始され、動画像分離部１１２が電子メールＥ０から動画像データＭ０を分離する（ステップＳ１０１）。次いで、機種判別部１１３がメール本体Ｅ１のヘッダに含まれる送信先携帯端末装置３のメールアドレスに基づいてデータベース１１３Ａを参照して、送信先の携帯端末装置３が上記（１）〜（４）のいずれに該当するかを判定する（ステップＳ１０２）。
（１）に該当する場合、図１０に示すフローチャートに進み、機種判別部１１３が動画像データＭ０を、動画像分離部１１２がメール本体Ｅ１をそれぞれ画像添付部１１６に入力する（ステップＳ１０３）。画像添付部１１６は、動画像データＭ０をメール本体Ｅ１に添付して画像が添付された電子メールＥ２を生成し（ステップＳ１０４）、メール送信部１１８が電子メールＥ２を送信先の携帯端末装置３に送信し（ステップＳ１０５）、処理を終了する。
電子メールＥ２を受信した携帯端末装置３は動画像を表示可能であることから、電子メールＥ２に添付された動画像データＭ０が表示される。
一方、（２）に該当する場合、図１１に示すフローチャートに進み、機種判別部１１３が動画像データＭ０を減色処理部１１５に入力し、動画像分離部１１２がメール本体Ｅ１を画像添付部１１６に入力する（ステップＳ１０６）。減色処理部１１５は、動画像データＭ０に対して減色処理を行う（ステップＳ１０７）。なお、減色処理は、上記第１の実施形態と同様に、フレームデータＦｒ１により表されるフレーム上の各画素において生じた誤差を、時間的に連続する次のフレームデータＦｒ１′により表されるフレームの対応する画素位置にも拡散させる誤差拡散処理を用いて行われる。
ステップＳ１０７に続き、画像添付部１１６は、減色動画像データＲ１をメール本体Ｅ１に添付して画像が添付された電子メールＥ２を生成し（ステップＳ１０８）、メール送信部１１８が電子メールＥ２を送信先の携帯端末装置３に送信し（ステップＳ１０９）、処理を終了する。
電子メールＥ２を受信した携帯端末装置３は動画像を表示可能ではないため、受信した電子メールＥ２に添付された減色動画像データＲ１に基づいて、動画像データＭ０からサンプリングされたフレームが連続的に切り替わる動きのある画像が表示される。
（３）に該当する場合、図１２に示すフローチャートに進み、機種判別部１１３が動画像データＭ０を画像蓄積部１１４に入力し、動画像分離部１１２がメール本体Ｅ１をＵＲＬ添付部１１７に入力する（ステップＳ１１０）。画像蓄積部１１４は動画像データＭ０を蓄積する（ステップＳ１１１）。ＵＲＬ添付部１１７は、動画像データＭ０の蓄積先のＵＲＬをメール本体Ｅ１に添付してＵＲＬが添付された電子メールＥ３を生成し（ステップＳ１１２）、メール送信部１１８が電子メールＥ３を送信先の携帯端末装置３に送信し（ステップＳ１１３）、処理を終了する。
（４）に該当する場合、図１３に示すフローチャートに進み、機種判別部１１３が動画像データＭ０を減色処理部１１５に入力し、動画像分離部１１２がメール本体Ｅ１をＵＲＬ添付部１１７に入力する（ステップＳ１１４）。減色処理部１１５は、動画像データＭ０に対して減色処理を行う（ステップＳ１１５）。画像蓄積部１１４は減色動画像データＲ１を蓄積する（ステップＳ１１６）。ＵＲＬ添付部１１７は、減色動画像データＲ１の蓄積先のＵＲＬをメール本体Ｅ１に添付してＵＲＬが添付された電子メールＥ３を生成し（ステップＳ１１７）、メール送信部１１８が電子メールＥ３を送信先の携帯端末装置３に送信し（ステップＳ１１８）、処理を終了する。
上記（３）および（４）の場合において、電子メールＥ３を受信した携帯端末装置３は、動画像データＭ０または減色動画像データＲ１のダウンロードのリクエストをメール中継サーバ１０１に対して行う。
図１４はリクエストが行われた際にメール中継サーバ１０１において行われる処理を示すフローチャートである。リクエスト受信部１１９がダウンロードのリクエストを受信すると処理が開始され、画像読み出し部１２０がリクエストに含まれるＵＲＬを参照して画像蓄積部１１４から動画像データＭ０または減色動画像データＲ１を読み出す（ステップＳ１４１）。そして、画像送信部１２１が動画像データＭ０または減色動画像データＲ１をリクエストを行った携帯端末装置３に送信し（ステップＳ１４２）、処理を終了する。
携帯端末装置３においては、減色動画像データＲ１または動画像データＭ０が受信される。ここで、携帯端末装置３が動画像を再生可能なものである場合には動画像データＭ０が送信され、動画像が表示される。一方、携帯端末装置３が動画像を再生できない場合には減色動画像データＲ１が送信され、減色動画像データＲ１に基づいて、動画像データＭ０からサンプリングされたフレームが連続的に切り替わる動きのある画像が表示される。
このように、第２の実施形態においても、第１の実施形態と同様に、フレームデータＦｒ１により表されるフレーム上の各画素において生じた誤差を、時間的に連続する次のフレームデータＦｒ１′により表されるフレームの対応する画素位置にも拡散させる誤差拡散処理を用いた減色処理を行っているため、減色動画像データＲ１を再生した際に、フレーム間の色の不連続性を減少させる方向に減色処理を行うことができる。したがって、フレーム内においてのみ誤差拡散処理を行う場合と比較して、フレーム間の色の連続性を向上させた、より高画質の減色動画像を再生可能な減色動画像データＲ１を生成することができる。
なお、上記第２の実施形態において、動画像分離部１１２において動画像データＭ０が添付された電子メールＥ０を一時的に保管しておき、機種判別部１１３が上記（１）のように判定した場合には、動画像データＭ０が添付された電子メールＥ０をそのままメール送信部１１８から送信先の携帯端末装置３に送信してもよい。
また、上記第２の実施形態においては、メール中継サーバ１０１を、送信先の携帯端末装置３が、画像が添付された電子メールをそのまま受信可能であるか否かに拘わらず電子メールを中継するものとしているが、送信先の携帯端末装置３が画像が添付された電子メールをそのまま受信可能である場合に特化したものとなるようにメール中継サーバ１０１を構成することも可能である。このように構成したメール中継サーバ（１０１Ａとする）を第３の実施形態として図１５に示す。図１５に示すメール中継サーバ１０１Ａは、図８に示すメール中継サーバ１０１と比較して、画像蓄積部１１４、ＵＲＬ添付部１１７、リクエスト受信部１１９、画像読み出し部１２０および画像送信部１２１が除かれたものとなる。
逆に、送信先の携帯端末装置３が画像が添付された電子メールをそのまま受信できない場合に特化したものとなるようにメール中継サーバ１０１を構成することも可能である。このように構成したメール中継サーバ（１０１Ｂとする）を第４の実施形態として図１６に示す。図１６に示すメール中継サーバ１０１Ｂは、図８に示すメール中継サーバ１０１と比較して、画像添付部１１６が除かれたものとなる。
なお、上記第１から第４の実施形態において、携帯端末装置３には表示可能な画像データのファイルサイズの制限があるため、携帯端末装置３に減色動画像データＲ１を送信する際にこのようなファイルサイズの制限を考慮しないと、減色動画像データＲ１を送信しても、携帯端末装置３においては減色動画像を表示できない場合がある。
このため、リクエストを行った携帯端末装置３の機種または送信先の携帯端末装置３の機種に応じたファイルサイズとなるように減色動画像データＲ１を生成することにより、減色動画像データＲ１を送信したにも拘わらず、携帯端末装置３において減色動画像を表示できないということがなくなる。
また、上記第１の実施形態における減色処理部１５および上記第２から第４の実施形態における減色処理部１１５を、動画像を減色動画像に変換する動画像変換装置として単独で用いてもよい。この場合、携帯端末装置３の機種とは関係なく、動画像データＭ０を減色動画像データＲ１に変換することもできる。
また、上記第１から第４の実施形態において、誤差拡散処理の対象であるフレームデータＦｒ１により表されるフレーム上の各画素において生じた誤差を、図５に示すマトリクスＴ２を用いて、時間的に連続する次のフレームデータＦｒ１′により表されるフレームの対応する画素位置およびその周囲の画素位置にも拡散させているが、図１７に示すようなマトリクスＴ２′を用いて、時間的に連続する次のフレームデータＦｒ１′については対応する画素位置に対してのみ誤差を拡散させるようにしてもよい。
ところで、減色動画像データＲ１を生成するためのフレームデータＦｒ１間の時間的な間隔が短いほど、フレームデータＦｒ１により表されるフレーム上の相対応する画素の相関が高くなる。このため、フレームデータＦｒ１の単位時間当たりのフレーム数が多いほど、時間的に連続する次のフレームデータの対応する画素位置に誤差を拡散させる程度を大きくすることが好ましい。例えば、図５に示すマトリクスＴ１，Ｔ２の要素を、図１８（ａ）に示すようにマトリクスＴ１については減少させ（７／２４を６／２４へ、５／２４を４／２４へ）、マトリクスＴ２については増加させる（４／２４を６／２４へ）ことにより、時間的に連続する次のフレームデータの対応する画素位置に誤差を拡散させる程度を大きくすることができる。逆に、図５に示すマトリクスＴ１，Ｔ２の要素を、図１８（ｂ）に示すようにマトリクスＴ１については増加させ（７／２４を８／２４へ、５／２４を６／２４へ）、マトリクスＴ２については減少させる（４／２４を２／２４へ）ことにより、時間的に連続する次のフレームデータの対応する画素位置に誤差を拡散させる程度を小さくすることができる。
このように、フレームデータＦｒ１の単位時間当たりのフレーム数が多いほど、時間的に連続する次のフレームデータの対応する画素位置に誤差を拡散させる程度を大きくするにより、フレーム間の色の連続性をより向上させることができ、これにより、いっそう高画質の減色動画像を表す減色動画像データＲ１を生成することができる。
また、上記第１から第４の実施形態においては、１つのパレットデータを生成して減色処理を行っているが、上記特許文献１に記載された方法を用いて、数フレーム毎に１つのパレットデータを生成し、数フレーム単位で１つのパレットデータを用いて減色処理を行うようにしてもよい。
本発明の第１の実施形態による動画像変換装置および動画像配信装置を適用した動画像配信システムの構成を示す概略ブロック図 機種とフォーマットとの関係を表すテーブルを示す図 減色処理部の詳細な構成を示す概略ブロック図 誤差拡散処理に用いるマトリクスの例を示す図 誤差拡散処理を説明するための図 第１の実施形態において行われる処理を示すフローチャート 減色処理のフローチャート 本発明の第２の実施形態によるメール中継装置を適用したメールシステムの構成を示す概略ブロック図 第２の実施形態において行われる処理を示すフローチャート（その１） 第２の実施形態において行われる処理を示すフローチャート（その２） 第２の実施形態において行われる処理を示すフローチャート（その３） 第２の実施形態において行われる処理を示すフローチャート（その４） 第２の実施形態において行われる処理を示すフローチャート（その５） リクエストが行われた際にメール中継サーバにおいて行われる処理を示すフローチャート 本発明の第３の実施形態によるメール中継装置を適用したメールシステムの構成を示す概略ブロック図 本発明の第４の実施形態によるメール中継装置を適用したメールシステムの構成を示す概略ブロック図 誤差拡散処理に用いるマトリクスの他の例を示す図 誤差拡散処理に用いるマトリクスの他の例を示す図 従来の誤差拡散処理を説明するための図 従来の誤差拡散処理に用いるマトリクスの例を示す図
符号の説明
１ 動画像配信サーバ
２ パソコン
３ 携帯端末装置
１１ 動画像蓄積部
１２ リクエスト受信部
１３ 機種判別部
１４ 動画像フォーマット変換部
１５ 減色処理部
１６ 画像出力部
５１ 動画像入力部
５２ 復号化部
５３ フレーム分離部
５４ パレットデータ生成部
５５ フレームサンプリング部
５６ 処理部
５７ フレーム合成部
５８ 符号化部
５９ 減色動画像出力部
１０１，１０１Ａ，１０１Ｂ メール中継サーバ
１１１ メール受信部
１１２ 動画像分離部
１１３ 機種判別部
１１４ 画像蓄積部
１１５ 減色処理部
１１６ 画像添付部
１１７ ＵＲＬ添付部
１１８ メール送信部
１１９ リクエスト受信部
１２０ 画像読み出し部
１２１ 画像送信部

Claims (6)

  1. 複数フレームからなる動画像を所定数の色を有する減色動画像に変換する動画像変換装置において、
    前記複数フレームから前記減色動画像の生成に使用する複数の減色動画像生成用フレームをサンプリングするフレームサンプリング手段と、
    前記減色動画像を生成するためのパレットデータを生成するパレットデータ生成手段と、
    前記パレットデータを参照した誤差拡散処理であって、前記複数の減色動画像生成用フレームのそれぞれの各画素位置において生じる前記パレットデータとの誤差を、時間的に連続する次の減色動画像生成用フレームの対応する画素位置または対応する画素位置を含むその周囲の画素位置にも拡散させる誤差拡散処理を用いた減色処理により、前記複数の減色動画像生成用フレームのそれぞれを減色動画像フレームに変換する減色処理手段と、
    該減色動画像フレームを合成して前記減色動画像を生成するフレーム合成手段とを備えたことを特徴とする動画像変換装置。
  2. 前記減色処理手段は、前記複数の減色動画像生成フレームの単位時間当たりのフレーム数が多いほど、前記時間的に連続する減色動画像生成用フレームの対応する画素位置に誤差を拡散させる程度を大きくする手段であることを特徴とする請求項１記載の動画像変換装置。
  3. 動画像の送信を要求した送信要求端末装置に、該要求された動画像を送信する動画像配信装置において、
    前記送信要求端末装置の機種を判別する機種判別手段と、
    請求項１または２記載の動画像変換装置とを備え、
    前記送信要求端末装置の機種が前記動画像を表示できないが減色動画像を表示できる場合に、前記要求された動画像を減色動画像に変換し、該減色動画像を前記動画像に代えて前記送信要求端末装置に送信することを特徴とする動画像配信装置。
  4. 動画像が添付された電子メールを該電子メールの送信先である送信先端末装置に送信するメール中継装置において、
    前記送信先端末装置の機種を判別する機種判別手段と、
    請求項１または２記載の動画像変換装置とを備え、
    前記送信先端末装置の機種が前記動画像を表示できないが減色動画像を表示できる場合に、前記添付された動画像を減色動画像に変換し、該減色動画像を前記動画像に代えて前記送信先端末装置に送信することを特徴とするメール中継装置。
  5. 複数フレームからなる動画像を所定数の色を有する減色動画像に変換する動画像変換方法において、
    前記複数フレームから前記減色動画像の生成に使用する複数の減色動画像生成用フレームをサンプリングし、
    前記減色動画像を生成するためのパレットデータを生成し、
    前記パレットデータを参照した誤差拡散処理であって、前記複数の減色動画像生成用フレームのそれぞれの各画素位置において生じる前記パレットデータとの誤差を、時間的に連続する次の減色動画像生成用フレームの対応する画素位置または対応する画素位置を含むその周囲の画素位置にも拡散させる誤差拡散処理を用いた減色処理により、前記複数の減色動画像生成用フレームのそれぞれを減色動画像フレームに変換し、
    該減色動画像フレームを合成して前記減色動画像を生成することを特徴とする動画像変換方法。
  6. 複数フレームからなる動画像を所定数の色を有する減色動画像に変換する動画像変換方法をコンピュータに実行させるためのプログラムにおいて、
    前記複数フレームから前記減色動画像の生成に使用する複数の減色動画像生成用フレームをサンプリングする手順と、
    前記減色動画像を生成するためのパレットデータを生成する手順と、
    前記パレットデータを参照した誤差拡散処理であって、前記複数の減色動画像生成用フレームのそれぞれの各画素位置において生じる前記パレットデータとの誤差を、時間的に連続する次の減色動画像生成用フレームの対応する画素位置または対応する画素位置を含むその周囲の画素位置にも拡散させる誤差拡散処理を用いた減色処理により、前記複数の減色動画像生成用フレームのそれぞれを減色動画像フレームに変換する手順と、
    該減色動画像フレームを合成して前記減色動画像を生成する手順とを有することを特徴とするプログラム。
JP2003368614A 2003-10-29 2003-10-29 動画像変換装置および方法、動画像配信装置、メール中継装置並びにプログラム Expired - Lifetime JP4444623B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003368614A JP4444623B2 (ja) 2003-10-29 2003-10-29 動画像変換装置および方法、動画像配信装置、メール中継装置並びにプログラム
US10/975,426 US7676083B2 (en) 2003-10-29 2004-10-29 Moving image conversion device, method and program, moving image distribution device, and e-mail relay device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003368614A JP4444623B2 (ja) 2003-10-29 2003-10-29 動画像変換装置および方法、動画像配信装置、メール中継装置並びにプログラム

Publications (2)

Publication Number Publication Date
JP2005136566A true JP2005136566A (ja) 2005-05-26
JP4444623B2 JP4444623B2 (ja) 2010-03-31

Family

ID=34543790

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003368614A Expired - Lifetime JP4444623B2 (ja) 2003-10-29 2003-10-29 動画像変換装置および方法、動画像配信装置、メール中継装置並びにプログラム

Country Status (2)

Country Link
US (1) US7676083B2 (ja)
JP (1) JP4444623B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010101924A (ja) * 2008-10-21 2010-05-06 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
JPWO2008108075A1 (ja) * 2007-03-01 2010-06-10 パナソニック株式会社 画像表示装置
JP5740026B1 (ja) * 2014-03-25 2015-06-24 株式会社 ディー・エヌ・エー 表示画面を表示させるサーバ及び方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005109384A2 (en) * 2004-05-06 2005-11-17 Thomson Licensing Pixel shift display with minimal noise
US7710599B2 (en) * 2005-03-22 2010-05-04 Ricoh Company, Ltd. Image processing apparatus, image processing method, and image processing program
KR100834680B1 (ko) * 2006-09-18 2008-06-02 삼성전자주식회사 이동통신 단말기에서 출력되는 동영상 및 이미지의 화질을개선하기 위한 장치 및 방법
JP4965990B2 (ja) * 2006-12-20 2012-07-04 キヤノン株式会社 再生装置及びファイル情報表示方法
CN103403790B (zh) * 2010-12-30 2016-08-31 汤姆逊许可公司 处理视频内容的方法以及视频内容接收器
US9077993B2 (en) * 2013-06-24 2015-07-07 Arcsoft (Hangzhou) Multimedia Technology Co., Ltd. Method of converting a video file to a graphics interchange format image using same palette table for consecutive frames
WO2016056411A1 (ja) * 2014-10-10 2016-04-14 ソニー株式会社 符号化装置および方法、再生装置および方法、並びにプログラム
CN117294853B (zh) * 2023-09-26 2024-06-25 小红书科技有限公司 图像压缩方法、相关方法及相关装置、电子设备和存储介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69132760T2 (de) * 1990-11-15 2002-07-11 Canon K.K., Tokio/Tokyo Farbbildverarbeitungsgerät und -verfahren
US5450098A (en) * 1992-09-19 1995-09-12 Optibase Advanced Systems (1990) Ltd. Tri-dimensional visual model
JP2804686B2 (ja) 1992-09-30 1998-09-30 三洋電機株式会社 画像情報処理方法及び画像情報処理装置
JPH07288833A (ja) 1994-04-18 1995-10-31 Canon Inc 動画像処理装置およびその方法
AUPN098895A0 (en) * 1995-02-09 1995-03-09 Canon Kabushiki Kaisha Stable error diffusion
JP4557318B2 (ja) * 1997-08-21 2010-10-06 キヤノン株式会社 電子メールによる画像ファイル通信システムおよびその制御方法
JPH11259640A (ja) 1998-03-12 1999-09-24 Namco Ltd 画像の減色処理装置、方法及び情報記憶媒体
JP2001217860A (ja) 2000-01-31 2001-08-10 Mitsubishi Electric Corp 情報受信方法、情報通信方法、情報通信装置および情報通信端末
JP2001312446A (ja) * 2000-04-28 2001-11-09 Sony Corp 情報処理装置及び方法、情報処理システム、並びに媒体
US6704027B2 (en) * 2000-08-24 2004-03-09 Hitachi Kokusai Electric Inc. Portable terminal
ATE440444T1 (de) * 2000-10-06 2009-09-15 Seiko Epson Corp Bildverarbeitungseinrichtung, bildverarbeitungs- verfahren, aufgezeichnetes medium und programm
US6710778B2 (en) * 2001-02-12 2004-03-23 Lexmark International, Inc. Method for halftoning using a difference weighting function
GB0120246D0 (en) * 2001-08-20 2001-10-10 Crabtree John C R Image processing method
JP2003076638A (ja) 2001-09-05 2003-03-14 Studio Bullterrier Co Ltd 画像データ変換装置画像データ変換方法画像データ変換プログラムおよび画像データ変換料金徴収方法
US7079684B2 (en) * 2001-12-05 2006-07-18 Oridus, Inc. Method and apparatus for color quantization of images employing a dynamic color map
US7051040B2 (en) * 2002-07-23 2006-05-23 Lightsurf Technologies, Inc. Imaging system providing dynamic viewport layering
JP3955508B2 (ja) 2002-07-23 2007-08-08 富士フイルム株式会社 画像添付メール中継装置、画像添付メール中継方法および画像添付メール中継プログラム
US7130474B2 (en) * 2002-09-27 2006-10-31 Eastman Kodak Company Method and system for generating digital image files for a limited display
JP2004304773A (ja) * 2003-03-19 2004-10-28 Ricoh Co Ltd 画像処理方法、プログラム、コンピュータ読み取り可能情報記録媒体、画像処理装置及び画像形成装置
EP1696384A1 (en) * 2005-02-23 2006-08-30 SONY DEUTSCHLAND GmbH Method for processing digital image data

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2008108075A1 (ja) * 2007-03-01 2010-06-10 パナソニック株式会社 画像表示装置
JP2010101924A (ja) * 2008-10-21 2010-05-06 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
JP5740026B1 (ja) * 2014-03-25 2015-06-24 株式会社 ディー・エヌ・エー 表示画面を表示させるサーバ及び方法

Also Published As

Publication number Publication date
US20050093981A1 (en) 2005-05-05
JP4444623B2 (ja) 2010-03-31
US7676083B2 (en) 2010-03-09

Similar Documents

Publication Publication Date Title
KR100632793B1 (ko) 동화상을 변환하는 방법 및 장치, 동화상을 전송하는 방법 및 장치, 그리고 이들을 위한 프로그램이 기록된 기록매체
KR100501173B1 (ko) 이동 통신 단말기에서 고해상도 화상을 디스플레이하기위한 방법과 이를 위한 이동 통신 단말기 및 화상 포맷변환 시스템
KR101167432B1 (ko) 통신 방법 및 통신 시스템
US20180052653A1 (en) Image/audio playback device of mobile communication terminal
KR100597458B1 (ko) 동화상 변환장치 및 방법, 동화상 전송장치 및 방법, 및 그 프로그램이 기록된 기록매체
JP4444623B2 (ja) 動画像変換装置および方法、動画像配信装置、メール中継装置並びにプログラム
US20050185000A1 (en) Representative color selection apparatus and method, reduced color image production apparatus and method, and programs
CN105430393B (zh) 一种图片处理方法、图片处理装置、图片处理平台以及存储介质
KR20220149574A (ko) 3차원 비디오의 처리 방법, 장치, 판독 가능 저장매체 및 전자기기
US7468752B2 (en) Camera output format for real time viewfinder/video image
JP4970912B2 (ja) 動画分割サーバおよびその制御方法
JP2004356998A (ja) 動画像変換装置および方法、動画像配信装置および方法並びにプログラム
JP4170150B2 (ja) メール中継装置および方法並びにプログラム
JP4723796B2 (ja) 動画像変換装置および方法、動画像配信装置および方法並びにプログラム
JP4248934B2 (ja) メール中継装置および方法並びにプログラム
WO2006033537A1 (en) A method of embodying animated cartoon on mobile terminals
JP4223940B2 (ja) 画像生成装置、携帯端末、画像生成方法、画像表示方法及びプログラム
CN111726545B (zh) 素材文件处理方法、装置、计算机设备及存储介质
JP2005136567A (ja) パレットデータ生成装置および方法、画像生成装置および方法、動画像配信装置、メール中継装置並びにプログラム
CN117857877A (zh) 视频图像处理方法、装置、电子设备和存储介质
CN115379251A (zh) 一种视频直播流的转码方法、装置、系统及可读存储介质
JP2006513629A (ja) データ送受信装置、画像処理装置、及び、画像処理方法
CN111757143A (zh) 一种基于云端流媒体切画的视频播放方法
CN113709512A (zh) 直播数据流交互方法、装置、服务器及可读存储介质
JP2008136045A (ja) 動画送信サーバおよびその制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060502

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100112

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100114

R150 Certificate of patent or registration of utility model

Ref document number: 4444623

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130122

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130122

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140122

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term