JP2003023629A

JP2003023629A - 画像処理装置及び画像処理方法

Info

Publication number: JP2003023629A
Application number: JP2001209726A
Authority: JP
Inventors: Yoshiharu Hara; 義晴原
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2001-07-10
Filing date: 2001-07-10
Publication date: 2003-01-24

Abstract

(57)【要約】【課題】ＲＯＩを強調する画像処理を行う。【解決手段】ネットワーク１９を介して、ＲＯＩ受信
部２１は、符号化ＲＯＩを受信し、非ＲＯＩ受信部２３
は、符号化非ＲＯＩを受信し、ＲＯＩ復号化部２２は、
符号化ＲＯＩを復号化し、非ＲＯＩ復号化部２４は、符
号化非ＲＯＩを復号化し、画像情報加工部２５は、画枠
の色、太さ、形状、大きさ及び位置の情報を入力した場
合、その入力した情報に基づいて、画枠を加工し、画像
情報合成部２６は、画枠が加工された復号化ＲＯＩと復
号化非ＲＯＩとを合成し、合成画像情報としてフレーム
メモリ２７に順次記憶させ、位置情報送信部３１は、合
成画像情報内のユーザが注目した領域の位置情報を入力
した場合、その領域の位置情報をネットワーク１９へ送
信する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置及び
画像処理方法に関し、詳しくは、ＭＰＥＧ（Ｍｏｖｉｎ
ｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）形
式に準拠して符号化された符号化画像情報のうちの所定
の領域を強調する処理を行う画像処理装置及び画像処理
方法に関する。

【０００２】

【従来の技術】現在、ネットワーク技術の発達によっ
て、ネットワークを介してメディアコンテンツを送受信
する、いわゆるストリーミングが行われている。このメ
ディアコンテンツは、通常、音声情報及び画像情報から
なっており、ストリーミングを行うストリーミングシス
テムは、ネットワークを介して音声情報及び画像情報を
連続的に送受信する。

【０００３】ストリーミングシステムは、音声情報及び
画像情報を送信する送信側としてのサーバーコンピュー
タと、音声情報及び画像情報を受信して再生する受信側
としてのクライアントコンピュータとから構成されるも
のである。

【０００４】一般に、サーバーコンピュータは、ネット
ワークの帯域幅が限られているため、音声情報及び画像
情報をＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘ
ｐｅｒｔｓＧｒｏｕｐ）４等の圧縮技術によって圧縮
符号化し、音声圧縮情報及び画像圧縮情報として送信し
ている。したがって、クライアントコンピュータは、ネ
ットワークを介して音声圧縮情報及び画像圧縮情報を受
信して復号化する。

【０００５】また、サーバーコンピュータは、上述のよ
うな音声圧縮情報及び画像圧縮情報以外に、２つの画像
圧縮情報を送信することができる。例えば、特開２００
０−１３４６２２公報には、画像情報を入力し、小ブロ
ックに分割して各ブロックについてそれぞれ独立に圧縮
処理を行うことで、画像情報の注目領域（以下、ＲＯ
Ｉ：ＲｅｇｉｏｎＯｆＩｎｔｅｒｅｓｔと記す）と
非注目領域（以下、非ＲＯＩと記す）との圧縮率（ビッ
トレート）が異なった画像圧縮情報を出力する技術が開
示されている。

【０００６】すなわち、サーバーコンピュータは、この
技術を用いることによって、入力した画像情報をＲＯＩ
と非ＲＯＩとに分割してそれぞれを異なったビットレー
トで圧縮符号化して送信する。このとき、サーバーコン
ピュータは、ＲＯＩに優先的にビットを多く割り当てる
ことができるので、ＲＯＩを高精細画像圧縮情報として
符号化している。したがって、クライアントコンピュー
タは、受信したＲＯＩと非ＲＯＩとを復号化し、高精細
画像情報とするＲＯＩを有する画像情報を再生すること
ができる。

【０００７】

【発明が解決しようとする課題】ところで、上述の特開
２０００−１３４６２２公報の技術では、入力した画像
情報を小ブロックに分割して各ブロックについてそれぞ
れ独立に圧縮処理を行うことで、空間方向でのシームレ
ス性を持たせている。すなわち、クライアントコンピュ
ータは、ＲＯＩと非ＲＯＩとの境界部分がぼかされた画
像情報を再生することになる。

【０００８】しかしながら、このような境界部分がぼか
された画像情報では、ユーザは、高精細画像情報とする
ＲＯＩを認識することが困難であるという問題点がる。

【０００９】そこで、本発明は、上述の実情に鑑みて提
案されたものであり、ＲＯＩを強調する画像処理を行う
ことができる画像処理装置及び画像処理方法を提供する
ことを目的としている。

【００１０】

【課題を解決するための手段】本発明に係る画像処理装
置は、上述の問題点を解決するために、所定形式で符号
化された符号化画像情報のうちのビットレートが異なる
第１の符号化領域画像情報と第２の符号化領域画像情報
とに対して画像処理を行う画像処理装置において、第１
の符号化領域画像情報を復号化して第１の領域画像情報
を生成する第１の復号化手段と、第２の符号化領域画像
情報を復号化して第２の領域画像情報を生成する第２の
復号化手段と、第１の領域画像情報の画枠に関する画枠
情報が記憶されている記憶手段と、画枠情報に基づい
て、第１の領域画像情報の画枠を加工する画像情報加工
手段と、画像情報加工手段によって画枠が加工された第
１の領域画像情報と、第２の領域画像情報とを合成する
画像情報合成手段とを備える。

【００１１】この画像処理装置は、所定形式で符号化さ
れた符号化画像情報のうちのビットレートが異なる第１
の符号化領域画像情報と第２の符号化領域画像情報とを
それぞれ復号化し、記憶している画枠情報に基づいて第
１の領域画像情報の画枠を加工し、画枠が加工された第
１の領域画像情報と第２の領域画像情報とを合成する。

【００１２】本発明に係る画像処理方法は、上述の問題
点を解決するために、所定形式で符号化された符号化画
像情報のうちのビットレートが異なる第１の符号化領域
画像情報と第２の符号化領域画像情報とに対して画像処
理を行う画像処理方法において、第１の符号化領域画像
情報を復号化して第１の領域画像情報を生成する第１の
復号化工程と、第２の符号化領域画像情報を復号化して
第２の領域画像情報を生成する第２の復号化工程と、記
憶手段に記憶されている第１の領域画像情報の画枠に関
する画枠情報に基づいて、第１の領域画像情報の画枠を
加工する画像情報加工工程と、画像情報加工工程にて画
枠が加工された第１の領域画像情報と、第２の領域画像
情報とを合成する画像情報合成工程とを有する。

【００１３】この画像処理方法では、所定形式で符号化
された符号化画像情報のうちのビットレートが異なる第
１の符号化領域画像情報と第２の符号化領域画像情報と
をそれぞれ復号化し、記憶されている画枠情報に基づい
て第１の領域画像情報の画枠を加工し、画枠が加工され
た第１の領域画像情報と第２の領域画像情報とを合成す
る。

【００１４】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して詳細に説明する。本発明の実施の形態
は、本発明を、画像情報等を受信して再生する受信側と
してのクライアントコンピュータに適用したものであ
る。

【００１５】クライアントコンピュータは、所定形式で
符号化された符号化画像情報のうちのビットレートが異
なる第１の符号化領域画像情報と第２の符号化領域画像
情報とに対して、第１の符号化領域画像情報を復号化し
て第１の領域画像情報を生成する第１の復号化手段とし
てのＲＯＩ復号化部と、第２の符号化領域画像情報を復
号化して第２の領域画像情報を生成する第２の復号化手
段としての非ＲＯＩ復号化部と、第１の領域画像情報の
画枠に関する画枠情報が記憶されている記憶手段として
の情報メモリと、画枠情報に基づいて第１の領域画像情
報の画枠を加工する画像情報加工手段としての画像情報
加工部と、画像情報加工手段によって画枠が加工された
第１の領域画像情報と第２の領域画像情報とを合成する
画像情報合成手段としての画像情報合成部とを備える。

【００１６】まず、ストリーミングによりネットワーク
を介して画像情報を連続的に送受信することができるス
トリーミングシステム１について、図１を用いて説明す
る。ストリーミングシステム１は、画像情報を連続的に
ネットワーク１９へ送信するサーバーコンピュータ１０
と、ネットワーク１９を介してサーバーコンピュータ１
０から送信される画像情報を連続的に受信するクライア
ントコンピュータ２０とからなる。

【００１７】サーバーコンピュータ１０は、画像情報を
入力する画像情報入力部１１と、画像情報が順次記憶さ
れるフレームメモリ１２と、ネットワーク１９を介して
ユーザが注目した領域の位置情報を受信する位置情報受
信部１８と、フレームメモリ１２から読み出した画像情
報の中から、位置情報受信部１８から出力された位置情
報に基づいて注目領域（以下、ＲＯＩ：Ｒｅｇｉｏｎ
ＯｆＩｎｔｅｒｅｓｔと記す）を抽出する領域抽出部
１３と、ＲＯＩをＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕ
ｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）４等の圧縮符号化
技術を用いて圧縮符号化するＲＯＩ符号化部１４と、符
号化されたＲＯＩ（以下、符号化ＲＯＩと記す）をネッ
トワーク１９へ送信するＲＯＩ送信部１５と、ＲＯＩが
除かれた画像情報（以下、非ＲＯＩと記す）をＭＰＥＧ
４等の圧縮符号化技術を用いて圧縮符号化する非ＲＯＩ
符号化部１６と、符号化された非ＲＯＩ（以下、符号化
非ＲＯＩと記す）をネットワーク１９へ送信する非ＲＯ
Ｉ送信部１７とを備えている。

【００１８】また、クライアントコンピュータ２０は、
ネットワーク１９を介して符号化ＲＯＩを受信するＲＯ
Ｉ受信部２１と、符号化ＲＯＩを復号化するＲＯＩ復号
化部２２と、ネットワーク１９を介して符号化非ＲＯＩ
を受信する非ＲＯＩ受信部２３と、符号化非ＲＯＩを復
号化する非ＲＯＩ復号化部２４と、画枠情報が記憶され
ている情報メモリ２８と、情報メモリ２８に記憶されて
いる画枠情報に基づいて復号化されたＲＯＩ（以下、復
号化ＲＯＩと記す）の画枠を加工する画像情報加工部２
５と、復号化ＲＯＩと復号化された非ＲＯＩ（以下、復
号化非ＲＯＩと記す）とを合成する画像情報合成部２６
と、合成された画像情報（以下、合成画像情報と記す）
が順次記憶されるフレームメモリ２７と、フレームメモ
リ２７に記憶された合成画像情報が表示される表示部２
９と、位置情報を入力する入力部３０と、位置情報をネ
ットワーク１９へ送信する位置情報送信部３１とを備え
ている。

【００１９】次に、サーバーコンピュータ１０を構成す
る各部の機能について説明する。画像情報入力部１１
は、例えばデジタルスチルカメラであり、動画像情報を
キャプチャし、フレーム単位で画像情報をフレームメモ
リ１２へ出力する。フレームメモリ１２には、画像情報
入力部１１から出力された画像情報が順次記憶される。
位置情報受信部１８は、ネットワーク１９を介して位置
情報送信部３１から送信された合成画像情報内のユーザ
が注目した領域の位置情報を受信し、領域抽出部１３へ
出力する。領域抽出部１３は、フレームメモリ１２から
読み出した画像情報の中から、位置情報受信部１８から
出力された合成画像情報内のユーザが注目した領域の位
置情報に基づいてＲＯＩを抽出し、ＲＯＩと非ＲＯＩと
に分割し、ＲＯＩをＲＯＩ符号化部１４へ、非ＲＯＩを
非ＲＯＩ符号化部１６へ出力する。

【００２０】ＲＯＩ符号化部１４は、ＭＰＥＧ４等の圧
縮符号化技術を用いてＲＯＩを圧縮符号化し、任意の画
枠の形状情報を有する符号化ＲＯＩをＲＯＩ送信部１５
へ出力する。このとき、ＲＯＩ符号化部１４は、非ＲＯ
Ｉと比べてより多くビットをＲＯＩに割り当てて圧縮符
号化することにより、高精細画像圧縮情報とする符号化
ＲＯＩを出力する。ＲＯＩ送信部１５は、符号化ＲＯＩ
をネットワーク１９へ送信する。

【００２１】非ＲＯＩ符号化部１６は、ＭＰＥＧ４等の
圧縮符号化技術を用いて非ＲＯＩを圧縮符号化し、任意
の画枠の形状情報を有する符号化ＲＯＩを非ＲＯＩ送信
部１７へ出力する。このとき、非ＲＯＩ符号化部１６
は、ＲＯＩと比べてより少ないビットを非ＲＯＩに割り
当てて圧縮符号化することにより、低精細画像圧縮情報
とする符号化非ＲＯＩを出力する。非ＲＯＩ送信部１７
は、符号化非ＲＯＩをネットワーク１９へ送信する。

【００２２】続いて、クライアントコンピュータ２０を
構成する各部の機能について説明する。ＲＯＩ受信部２
１は、ネットワーク１９を介してＲＯＩ送信部１５から
送信された符号化ＲＯＩを受信し、ＲＯＩ復号化部２２
へ出力する。ＲＯＩ復号化部２２は、符号化ＲＯＩを復
号化し、高精細画像情報とする復号化ＲＯＩとして画像
情報加工部２５へ出力する。ここで、復号化ＲＯＩは、
任意の形状情報を有している。

【００２３】非ＲＯＩ受信部２３は、ネットワーク１９
を介して非ＲＯＩ送信部１７から送信された符号化非Ｒ
ＯＩを受信し、非ＲＯＩ復号化部２４へ出力する。非Ｒ
ＯＩ復号化部２４は、符号化非ＲＯＩを復号化し、低精
細画像情報とする復号化非ＲＯＩとして画像情報合成部
２６へ出力する。ここで、復号化非ＲＯＩは、任意の形
状情報を有している。

【００２４】情報メモリ２８には、画枠の色、太さ、形
状、大きさ及び位置等の画枠情報が記憶されている。こ
こで、情報メモリ２８に記憶されている画枠の形状情報
は、例えば星やハート等である。

【００２５】画像情報加工部２５は、任意の画枠の形状
情報を有する復号化ＲＯＩを入力し、情報メモリ２８に
記憶されている画枠情報に基づいて、復号化ＲＯＩの画
枠を加工し、画像情報合成部２６へ出力する。具体的に
は、画像情報加工部２５は、情報メモリ２８に記憶され
ている画枠の色及び太さの情報が予め入力している場
合、復号化ＲＯＩの画枠の形状に沿って、入力した画枠
の色及び太さで加工する。また、画像情報加工部２５
は、情報メモリ２８に記憶されている画枠の色及び太さ
の他に、例えば星を示す形状、大きさ及び位置の情報が
予め入力している場合、入力した位置と大きさで星を付
加し、入力した画枠の色及び太さで加工する。また、画
像情報加工部２５は、復号化ＲＯＩの画枠の形状から大
きさを決定し、予め入力した画枠の色、太さ及び形状で
加工する。例えば、画像情報加工部２５は、画枠の形状
を、画枠に入る最大の星、複数並べられた小さな星、フ
レーム毎に回転する星、フレーム毎に小さく又は大きく
なる星、又はフレーム毎に例えば星からハート等へ変化
させる。

【００２６】画像情報合成部２６は、画像情報加工部２
５から出力された復号化ＲＯＩと、非ＲＯＩ復号化部２
４から出力された復号化非ＲＯＩとを重ね合わせて合成
し、合成画像情報としてフレームメモリ２７へ出力す
る。フレームメモリ２７には、画像情報合成部２６から
出力された合成画像情報が順次記憶される。表示部２９
は、フレームメモリ２７に記憶された合成画像情報が表
示される。

【００２７】入力部３０は、マウス等のポインティング
デバイスであって、表示部２９に表示された合成画像情
報内のユーザが注目した領域の位置情報を入力して送信
部３１へ出力する。また、入力部３０は、表示部２９に
表示された合成画像情報内のＲＯＩの画枠の位置情報を
入力して情報メモリ２８に記憶させる。位置情報送信部
３１は、合成画像情報内のユーザが注目した領域の位置
情報をネットワーク１９へ送信する。

【００２８】次に、クライアントコンピュータ２０がネ
ットワーク１９を介してサーバーコンピュータ１０から
連続的に送信されている画像情報を受信し、この画像情
報のうちのＲＯＩを強調する画像処理について、図２に
示すフローチャートを用いて説明する。このとき、サー
バーコンピュータ１０は、高精細画像圧縮情報としての
符号化ＲＯＩと、低精細画像圧縮情報としての符号化非
ＲＯＩとをネットワーク１９へ送信しているものとす
る。

【００２９】ステップＳ１において、ＲＯＩ受信部２１
は、ネットワーク１９を介してＲＯＩ送信部１５から任
意の画枠の形状情報を有する符号化ＲＯＩを受信し、Ｒ
ＯＩ復号化部２２へ出力する。ステップＳ２において、
非ＲＯＩ受信部２３は、ネットワーク１９を介して非Ｒ
ＯＩ送信部１７から任意の画枠の形状情報を有する符号
化非ＲＯＩを受信し、非ＲＯＩ復号化部２４へ出力す
る。

【００３０】ステップＳ３において、ＲＯＩ復号化部２
２は、符号化ＲＯＩを復号化し、任意の画枠の形状情報
を有する復号化ＲＯＩとして画像情報加工部２５へ出力
する。ステップＳ４において、非ＲＯＩ復号化部２４
は、符号化非ＲＯＩを復号化し、任意の画枠の形状情報
を有する復号化非ＲＯＩとして画像情報合成部２６へ出
力する。

【００３１】ステップＳ５において、画像情報加工部２
５は、情報メモリ２８に記憶されている画枠の色及び太
さの情報を入力したか否かを判断する。画枠の色及び太
さの情報を入力した場合、ステップＳ６へ進んで処理が
行われる。一方、画枠の色及び太さの情報を入力してい
ない場合、ステップＳ９へ進んで処理が行われる。

【００３２】ステップＳ６において、画像情報加工部２
５は、情報メモリ２８に記憶されている画枠の形状、大
きさ及び位置の情報を入力したか否かを判断する。画枠
の形状、大きさ及び位置の情報を入力した場合、ステッ
プＳ７へ進んで処理が行われる。一方、画枠の形状、大
きさ及び位置の情報を入力していない場合、ステップＳ
８へ進んで処理が行われる。

【００３３】ステップＳ７において、画像情報加工部２
５は、入力した画枠の色、太さ、形状、大きさ及び位置
の情報に基づいて、復号化ＲＯＩの画枠を加工する。

【００３４】ステップＳ８において、画像情報加工部２
５は、復号化ＲＯＩの画枠の形状に沿って、入力した画
枠の色及び太さで加工する。

【００３５】ステップＳ９において、画像情報合成部２
６は、画像情報加工部２５から出力された復号化ＲＯＩ
と、非ＲＯＩ復号化部２４から出力された復号化非ＲＯ
Ｉとを合成し、合成画像情報としてフレームメモリ２７
に順次記憶させる。

【００３６】ステップＳ１０において、位置情報送信部
３１は、フレームメモリ２７に記憶された合成画像情報
が表示部２９に表示されているときに、入力部３０から
の合成画像情報内のユーザが注目した領域の位置情報を
入力したか否かを判断する。ユーザが注目した領域の位
置情報を入力していない場合、上述のステップＳ１に戻
って処理が行われる。一方、ユーザが注目した領域の位
置情報を入力した場合、ステップＳ１１へ進んで処理が
行われる。

【００３７】ステップＳ１１において、位置情報送信部
３１は、ユーザが注目した領域の位置情報をネットワー
ク１９へ送信する。

【００３８】クライアントコンピュータ２０は、上述の
一連の処理を行った後に、ステップＳ１に戻って処理を
続ける。

【００３９】以上、詳細に説明したように、本発明の実
施の形態に係るクライアントコンピュータ２０は、予め
入力した画枠情報に基づいて、高精細画像情報とする復
号化ＲＯＩの画枠を加工することにより、この復号化Ｒ
ＯＩと低精細画像情報とする復号化非ＲＯＩとを合成し
たときに、復号化ＲＯＩを強調した合成画像情報を表示
することができる。

【００４０】また、クライアントコンピュータ２０は、
合成画像情報の全体的な動きや色によって復号化ＲＯＩ
の画枠が明確になっていない場合においても、画枠の色
や太さを変更することにより、ユーザが容易に認識する
ことができる画枠にすることができる。

【００４１】また、クライアントコンピュータ２０は、
予め画枠の形状の情報を入力することにより、復号化Ｒ
ＯＩの画枠を加工する際の処理量を軽減することができ
る。

【００４２】さらに、クライアントコンピュータ２０
は、画枠の形状に星やハートを用いることにより、ユー
ザに対して視覚的効果を与えることができる。

【００４３】なお、本発明は上述した実施の形態のみに
限定されるものではなく、本発明の要旨を逸脱しない範
囲において種々の変更が可能であることはもちろんであ
る。

【００４４】例えば、本発明の実施の形態では、クライ
アントコンピュータ２０は、合成画像情報が順次記憶さ
れるフレームメモリ２７と、画枠情報が記憶されている
情報メモリ２８とを備えているが、それぞれの情報が記
憶される１つのメモリを備えるようにしてもよい。

【００４５】

【発明の効果】以上詳細に説明したように、本発明に係
る画像処理装置は、所定形式で符号化された符号化画像
情報のうちのビットレートが異なる第１の符号化領域画
像情報と第２の符号化領域画像情報とをそれぞれ復号化
し、記憶している画枠情報に基づいて第１の領域画像情
報の画枠を加工し、画枠が加工された第１の領域画像情
報と第２の領域画像情報とを合成する。

【００４６】これにより、画像処理装置は、第１の領域
画像情報を強調した合成画像情報を生成することができ
る。

【００４７】また、本発明に係る画像処理方法では、所
定形式で符号化された符号化画像情報のうちのビットレ
ートが異なる第１の符号化領域画像情報と第２の符号化
領域画像情報とをそれぞれ復号化し、記憶されている画
枠情報に基づいて第１の領域画像情報の画枠を加工し、
画枠が加工された第１の領域画像情報と第２の領域画像
情報とを合成する。

【００４８】これにより、画像処理方法では、第１の領
域画像情報を強調した合成画像情報を生成することがで
きる。

【図面の簡単な説明】

【図１】本発明の実施の形態に係るクライアントコンピ
ュータ２０を含むストリーミングシステム１の概略構成
を説明する図である。

【図２】同クライアントコンピュータ２０が受信した画
像情報のうちのＲＯＩを強調する処理を説明するフロー
チャートである。

【符号の説明】

１ストリーミングシステム、１０サーバーコンピュ
ータ、１１画像情報入力部、１２フレームメモリ、
１３領域抽出部、１４ＲＯＩ符号化部、１５ＲＯ
Ｉ送信部、１６非ＲＯＩ符号化部、１７非ＲＯＩ送
信部、１８位置情報受信部、１９ネットワーク、２
０クライアントコンピュータ、２１ＲＯＩ受信部、２
２ＲＯＩ復号化部、２３非ＲＯＩ受信部、２４非
ＲＯＩ復号化部、２５画像情報加工部、２６画像情
報合成部、２７フレームメモリ、２８情報メモリ、
２９表示部、３０入力部、３１位置情報送信部

Claims

【特許請求の範囲】

【請求項１】所定形式で符号化された符号化画像情報
のうちのビットレートが異なる第１の符号化領域画像情
報と第２の符号化領域画像情報とに対して画像処理を行
う画像処理装置において、上記第１の符号化領域画像情報を復号化して第１の領域
画像情報を生成する第１の復号化手段と、上記第２の符号化領域画像情報を復号化して第２の領域
画像情報を生成する第２の復号化手段と、上記第１の領域画像情報の画枠に関する画枠情報が記憶
されている記憶手段と、上記画枠情報に基づいて、上記第１の領域画像情報の画
枠を加工する画像情報加工手段と、上記画像情報加工手段によって画枠が加工された第１の
領域画像情報と、上記第２の領域画像情報とを合成する
画像情報合成手段とを備えることを特徴とする画像処理
装置。
【請求項２】上記第１の符号化領域画像情報は、上記
第２の符号化領域画像情報よりもビットが多く割り当て
られていることを特徴とする請求項１記載の画像処理装
置。
【請求項３】上記画像情報合成手段によって合成され
た画像情報が表示される表示手段を備えることを特徴と
する請求項１記載の画像処理装置。
【請求項４】上記画枠情報は、画枠の色、太さ、形
状、大きさ及び位置を示す情報からなることを特徴とす
る請求項１記載の画像処理装置。
【請求項５】上記画像情報加工手段は、上記画枠の
色、太さ、形状、大きさ及び位置を示す情報に基づい
て、上記第１の領域画像情報の画枠を加工することを特
徴とする請求項４記載の画像処理装置。
【請求項６】上記所定形式で符号化された符号化画像
情報は、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥ
ｘｐｅｒｔｓＧｒｏｕｐ）形式に準拠していることを
特徴とする請求項１記載の画像処理装置。
【請求項７】所定形式で符号化された符号化画像情報
のうちのビットレートが異なる第１の符号化領域画像情
報と第２の符号化領域画像情報とに対して画像処理を行
う画像処理方法において、上記第１の符号化領域画像情報を復号化して第１の領域
画像情報を生成する第１の復号化工程と、上記第２の符号化領域画像情報を復号化して第２の領域
画像情報を生成する第２の復号化工程と、記憶手段に記憶されている上記第１の領域画像情報の画
枠に関する画枠情報に基づいて、上記第１の領域画像情
報の画枠を加工する画像情報加工工程と、上記画像情報加工工程にて画枠が加工された第１の領域
画像情報と、上記第２の領域画像情報とを合成する画像
情報合成工程とを有することを特徴とする画像処理方
法。
【請求項８】上記第１の符号化領域画像情報は、上記
第２の符号化領域画像情報よりもビットが多く割り当て
られていることを特徴とする請求項７記載の画像処理方
法。
【請求項９】上記画像情報合成工程にて合成された画
像情報を表示手段に表示させる表示制御工程を有するこ
とを特徴とする請求項７記載の画像処理方法。
【請求項１０】上記画枠情報は、画枠の色、太さ、形
状、大きさ及び位置を示す情報からなることを特徴とす
る請求項７記載の画像処理方法。
【請求項１１】上記画像情報加工工程では、上記画枠
の色、太さ、形状、大きさ及び位置を示す情報に基づい
て、上記第１の領域画像情報の画枠を加工することを特
徴とする請求項１０記載の画像処理方法。
【請求項１２】上記所定形式で符号化された符号化画
像情報は、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅ
ＥｘｐｅｒｔｓＧｒｏｕｐ）形式に準拠していること
を特徴とする請求項７記載の画像処理方法。