JP2001242848A - 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体 - Google Patents

画像処理装置、画像処理システム、画像処理方法、及び記憶媒体

Info

Publication number
JP2001242848A
JP2001242848A JP2000052992A JP2000052992A JP2001242848A JP 2001242848 A JP2001242848 A JP 2001242848A JP 2000052992 A JP2000052992 A JP 2000052992A JP 2000052992 A JP2000052992 A JP 2000052992A JP 2001242848 A JP2001242848 A JP 2001242848A
Authority
JP
Japan
Prior art keywords
screen
area
image
image processing
chroma
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000052992A
Other languages
English (en)
Other versions
JP2001242848A5 (ja
JP4541482B2 (ja
Inventor
Hideaki Yui
秀明 由井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2000052992A priority Critical patent/JP4541482B2/ja
Priority to US09/790,599 priority patent/US6859236B2/en
Priority to EP01301773A priority patent/EP1143745B1/en
Priority to DE60135265T priority patent/DE60135265D1/de
Priority to KR10-2001-0010308A priority patent/KR100412763B1/ko
Publication of JP2001242848A publication Critical patent/JP2001242848A/ja
Priority to US10/916,401 priority patent/US6961097B2/en
Priority to US11/171,384 priority patent/US20050237431A1/en
Priority to US11/609,250 priority patent/US7375769B2/en
Publication of JP2001242848A5 publication Critical patent/JP2001242848A5/ja
Application granted granted Critical
Publication of JP4541482B2 publication Critical patent/JP4541482B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/74Circuits for processing colour signals for obtaining special effects
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39Control of the bit-mapped memory
    • G09G5/395Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
    • G09G5/397Arrangements specially adapted for transferring the contents of two or more bit-mapped memories to the screen simultaneously, e.g. for mixing or overlay
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348Demultiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4435Memory management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438Window management, e.g. event handling following interaction with the user interface
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/641Multi-purpose receivers, e.g. for auxiliary information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/74Circuits for processing colour signals for obtaining special effects
    • H04N9/75Chroma key
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)

Abstract

(57)【要約】 【課題】 マルチ画面とGUI画面のクロマキ合成を、
メモリを有効に使用しながら精度良く行える画像処理装
置を提供する。 【解決手段】 制御部10(識別手段、定義手段)は、
表示画面16でのGUI描画領域に展開するオブジェク
トの属性を識別し、その結果、当該オブジェクトの属性
が管理外の色を有すると判断した場合、当該オブジェク
トの矩形描画領域をクロマキーマスク領域として定義す
る。合成手段18は、制御部10にて定義されたクロマ
キーマスク領域以外の領域のみに対して、クロマキ合成
処理を行う。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、例えば、マルチ画
面とGUI画面を合成して統合表示する装置やシステム
に用いられる、画像処理装置、画像処理システム、画像
処理方法、及びそれを実施するための処理ステップをコ
ンピュータが読出可能に格納した記憶媒体に関するもの
である。
【0002】
【従来の技術】近年では、例えば、DTV(ディジタル
テレビジョン装置)、DVD(ディジタルビデオディス
ク装置)、或いはPC(パーソナルコンピュータ)等で
の画像データ(映像メディア)を、液晶プロジェクタや
プラズマディスプレイ等の大型の表示装置(表示デバイ
ス)にて、マルチ画面表示させることが多く行われてき
ている。これを受けて将来的な家庭では、大型の表示デ
バイスをマルチメディアの中心デバイスと位置づけ、様
々な映像メディアを表示デバイスに統合表示した形での
用途が望まれている。
【0003】上述のような背景から、DTVをターゲッ
トにしたアプリケーションを実現する画像表示システム
では、一度に複数の画像データ(ビデオ画像)を同時に
表示させるだけではなく、データ放送、WWWブラウ
ザ、E−mail、EPG(電子プログラムガイド)、
1394周辺機器のユーザ支援画面等の所謂GUI(G
raphical User lnterface)画面
等を、上述したマルチ画面と合成し統合表示する機能も
必要となっている。
【0004】上記機能を実現させるためには、マルチ入
力されるビデオ画像やGUI画像を展開するためのメモ
リが必要となるが、このメモリ構成は、ビデオ画像プレ
ーンと、GUI画像プレーンと、GUI画像及びビデオ
画像の合成を制御するためのアルファプレーンとで構成
する方式が取られている。そして、上記アルファプレー
ンに書き込まれたアルファ値により、ビデオ画像の画面
(ビデオ画面)選択、GUI画像の画面(GUI画面)
選択、ビデオ画面及びGUI画面のアルファブレンディ
ンク等の合成が、ビット単位で操作可能となっている。
【0005】
【発明が解決しようとする課題】しかしながら、上述し
たような従来の画像表示システムにおいて、マルチ入力
されるビデオ画像やGUI画像を展開するためのメモリ
の構成を、GUI画像とビデオ画像の合成を制御するた
めのアルファプレーンを専用に構成した場合、通常、ア
ルファプレーンは、1画素当たり8ビット用意され、さ
らに、表示解像度分のメモリ容量が必要となる。
【0006】したがって、例えば、DTV分野ではHD
TV対応が必要となるが、将来的に1080Pのような
高解像度のプログレッシブディスプレイが使用されるよ
うになった場合は、1920×1080×8=2MBも
のメモリ容量が必要となる。これは、単純にメモリ容量
が増加することだけではなく、GUI画像プレーンへア
ルファ値を展開するCPU、或いはグラフィックスアク
セラレータの負荷を増大させる要因ともなり得ることを
示唆している。
【0007】そこで、上述のような問題を解決するため
に、アルファプレーンをなくし、GUI画像データに特
定のキーカラーを挿入することで、マルチ入力されるビ
デオ画像とGUI画像の合成を実現するクロマキ合成方
式がある。
【0008】しかしながら、クロマキ合成方式では、C
PUが、キーカラーに当たらないようにGUI画面の色
を管理できることが前提であり、CPUの管理外のデー
タ(BSディジタルのデータ放送から抽出した静止画デ
ータや、インターネットのイメージデータ、或いはディ
ジタルカメラにて得られた自然画像データ等)がGUI
画面に展開された場合、キーカラーにヒットする確率が
上がることで、意図した合成結果が得られない可能性が
あった。
【0009】そこで、本発明は、上記の欠点を除去する
ために成されたもので、マルチ画面とGUI画面の合成
を、メモリを有効に使用しながら精度良く行える、画像
処理装置、画像処理システム、画像処理方法、及びそれ
を実施するための処理ステップをコンピュータが読出可
能に格納した記憶媒体を提供することを目的とする。
【0010】
【課題を解決するための手段】斯かる目的下において、
第1の発明は、マルチ画面とGUI画面を、当該GUI
画面内の特定のキーカラーに基づいたクロマキ合成処理
によって合成して表示するための画像処理装置であっ
て、上記GUI画面上に存在するオブジェクトの属性を
識別する識別手段と、上記識別手段の識別結果に基づい
て、上記オブジェクトの領域をクロマキマスク領域と定
義する定義手段と、上記定義手段により定義されたクロ
マキマスク領域外の領域に対して、上記クロマキ合成処
理を施す合成手段とを備えることを特徴とする。
【0011】第2の発明は、マルチ画面とGUI画面
を、当該GUI画面内の特定のキーカラーに基づいたク
ロマキ合成処理によって合成して表示するための画像処
理装置であって、上記GUI画面上に存在するオブジェ
クトの属性を識別する識別手段と、上記識別手段の識別
結果に基づいて、上記オブジェクトの領域外の領域をク
ロマキイネーブル領域と定義する定義手段と、上記定義
手段により定義されたクロマキイネーブル領域に対し
て、上記クロマキ合成処理を施す合成手段とを備えるこ
とを特徴とする。
【0012】第3の発明は、上記第1又は2の発明にお
いて、上記マルチ画面は、少なくとも1つ以上の画像ソ
ースから入力された画像を含む画面であり、 上記GU
I画面は、GUI生成制御手段により制御されるグラフ
ィックアクセラレータにより描画された画像を含む画面
であることを特徴とする。
【0013】第4の発明は、上記第1の発明において、
上記定義手段は、上記識別手段により上記GUI画面を
生成するためのGUI生成制御手段の管理外の色を有す
るオブジェクトと識別された当該オブジェクトの領域
を、上記クロマキマスク領域と定義することを特徴とす
る。
【0014】第5の発明は、上記第2の発明において、
上記定義手段は、上記識別手段により管理外の色を有す
るオブジェクトと識別された当該オブジェクトの領域外
の領域を、上記クロマキイネーブル領域と定義すること
を特徴とする。
【0015】第6の発明は、上記第1又は2の発明にお
いて、上記識別手段は、上記GUI画面を構成する画像
データに予め付加された情報から、上記オブジェクトの
属性を識別することを特徴とする。
【0016】第7の発明は、上記第6の発明において、
上記付加情報は、マルチメディア記述言語のタグに記述
されている自然画属性の情報を含むことを特徴とする。
【0017】第8の発明は、上記第6の発明において、
上記付加情報は、始点及び終点により示されるオブジェ
クトの位置情報を含むことを特徴とする。
【0018】第9の発明は、上記第1又は2の発明にお
いて、上記定義手段は、定義した領域の数が所定数を超
えた場合、再度領域の定義を行い、上記合成手段は、上
記定義手段により再定義された領域に基づき、上記クロ
マキ合成処理を行うことを特徴とする。
【0019】第10の発明は、上記第9の発明におい
て、上記定義手段は、定義した領域のうち、所定の画像
の領域を、上記合成手段での対象領域から除くことを特
徴とする。
【0020】第11の発明は、上記第10の発明におい
て、上記所定の画像は、動画又は静止画を含むことを特
徴とする。
【0021】第12の発明は、複数の機器が互いに通信
可能に接続されてなる画像処理システムであって、上記
複数の機器のうち少なくとも1つの機器は、請求項1〜
11の何れかに記載の画像処理装置の機能を有すること
を特徴とする。
【0022】第13の発明は、少なくとも1つ以上の画
像ソースから入力画像データを受け取り、当該入力画像
データによるマルチ画面と、グラフィックアクセラレー
タにより描画されたGUI画面とを、当該GUI画面内
の特定のキーカラーに基づいてクロマキ合成処理を行う
ことで、1つの表示画面を生成するための画像処理方法
であって、 上記表示画面のGUI描画領域に展開する
オブジェクトの属性を識別する識別ステップと、 上記
識別ステップにより、上記オブジェクトの属性が上記グ
ラフィックアクセラレータを制御するGUI生成制御手
段の管理外の色を有すると判断した場合、上記オブジェ
クトの矩形描画領域をクロマキーマスク領域として定義
する定義ステップと、 上記定義ステップにより定義さ
れたクロマキーマスク領域以外の領域のみに対して、上
記クロマキ合成処理を行う合成ステップとを含むことを
特徴とする。
【0023】第14の発明は、少なくとも1つ以上の画
像ソースから入力画像データを受け取り、当該入力画像
データによるマルチ画面と、グラフィックアクセラレー
タにより描画されたGUI画面とを、当該GUI画面内
の特定のキーカラーに基づいてクロマキ合成処理を行う
ことで、1つの表示画面を生成するための画像処理方法
であって、 上記表示画面のGUI描画領域に展開する
オブジェクトの属性を識別する識別ステップと、 上記
識別ステップにより、上記オブジェクトの属性が上記グ
ラフィックアクセラレータを制御するGUI生成制御手
段の管理外の色を有すると判断した場合、上記オブジェ
クトの矩形描画領域外の領域をクロマキーイネーブル領
域として定義する定義ステップと、 上記定義ステップ
により定義されたクロマキーイネーブル領域のみに対し
て、上記クロマキ合成処理を行う合成ステップとを含む
ことを特徴とする。
【0024】第15の発明は、上記第13又は14の発
明において、上記識別ステップは、上記GUI描画領域
に展開するオブジェクトの属性を、当該オブジェクトデ
ータに付加された情報から識別するステップを含むこと
を特徴とする。
【0025】第16の発明は、上記第15の発明におい
て、上記付加情報は、マルチメディア記述言語のタグに
記述されている自然画属性の情報を含むことを特徴とす
る。
【0026】第17の発明は、上記第15の発明におい
て、上記付加情報は、始点及び終点により示されるオブ
ジェクトの位置情報を含むことを特徴とする。
【0027】第18の発明は、上記第13又は14の発
明において、上記定義ステップにより定義された領域の
数が所定数を超えた場合、上記定義領域の数が上記所定
数を超えないように、上記定義領域の数を最適化する最
適化ステップを含むことを特徴とする。
【0028】第19の発明は、上記第18の発明におい
て、上記最適化ステップは、上記定義領域の数を、上記
所定数を超えないように最適化できない場合、上記定義
領域の中で、動画属性を有するオブジェクトの領域を、
上記定義領域から除くステップを含むことを特徴とす
る。
【0029】第20の発明は、上記第18の発明におい
て、上記最適化ステップは、上記定義領域の数を、上記
所定数を超えないように最適化できない場合、上記定義
領域の中で、静止画属性を有するオブジェクトの領域
を、上記定義領域から除くステップを含むことを特徴と
する。
【0030】第21の発明は、請求項1〜11の何れか
に記載の画像処理装置の機能、又は請求項12記載の画
像処理システムの機能を実施するための処理プログラム
を、コンピュータが読出可能に格納した記憶媒体である
ことを特徴とする。
【0031】第22の発明は、請求項13〜20の何れ
かに記載の画像処理方法の処理ステップを、コンピュー
タが読出可能に格納した記憶媒体であることを特徴とす
る。
【0032】
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を用いて説明する。
【0033】(第1の実施の形態)本発明は、例えば、
図1に示すような画像表示システム100に適用され
る。この画像表示システム100は、クロマキ合成方式
によって、マルチ入力されるビデオ画像ソースやGUI
画像を合成し統合表示する機能を有するシステムであ
る。特に、画像表示システム100は、グラフィックス
アクセラレータを制御するCPUの管理外の色を有する
画像を、表示用のメモリへ展開する際、その管理外の色
を有する画像のデータ種別及び属性を識別する手段を備
え、当該手段によって識別された画像が、クロマキ合成
処理時にキーカラーにヒットする確率が高いと判断され
た場合は、上記画像領域のクロマキ合成処理をマスクす
ることにより、メモリ容量を低減させ、且つ、クロマキ
合成処理の精度を向上させることを可能にしたものであ
る。
【0034】<画像表示システム100の構成>本実施
の形態では、画像表示システム100は、2つの独立し
た画像ソースを1つの表示モニタに表示するものとする
が、表示モニタにて表示する画像ソースの数は2つに限
られることはなく、2つよりさらに多い数でも、或いは
少ない数でもよい。
【0035】上記図1において、まず、DTV受信フロ
ントエンド部(以下、「画像ソース」とも言う)1a
は、チューナ部2、復調部3、多重化分離部4、オーデ
ィオ復号部5、画像復号部6、及びデータ復号部7を含
んでいる。
【0036】チューナ部2は、放送信号(ディジタルテ
レビジョン信号)を、地上波や衛星波等から受信し、そ
の受信信号を、帯域フィルタやダウンコンバータ等を通
過させた後、復調部3へ供給する。
【0037】復調部3は、チューナ部2からの信号に対
して、伝送形態に合致した復調処理を施すと共に、誤り
訂正処理等をも施し、その処理後の信号を、所望のMP
EG2トランスポートストリームとして多重化分離部4
へ供給する。
【0038】多重化分離部4は、復調部3からのトラン
スポートストリームを、所望のプログラムのMPEG2
のビデオデータ、MPEG2のオーディオデータ、及び
付加情報に分離する。
【0039】オーディオ復号部5は、多重化分離部4に
て得られたMPEG2のオーディオデータを復号して、
オーディオ信号として出力する。したがって、オーディ
オ復号部5の出力へアンプやスピーカを接続すれば、チ
ューナ部2で受信された放送信号(番組)の音声を聞く
ことができる。
【0040】画像復号部6は、多重化分離部4にて得ら
れたMPEG2のビデオデータを復号して、ラスタース
キャン形式の表示フォーマットのデータに変換した後、
それを放送画像データとして、動画入力部8aへ供給す
る。
【0041】データ復号部7は、多重化分離部4にて得
られた付加情報を復号して、マルチ画面制御部10へ供
給する。
【0042】尚、ここでの「復号」とは、例えば、チュ
ーナ部2にてBSディジタル放送が受信された場合、M
HEG−5やHTML、或いはXML等のシナリオ記述
言語で記述されたオブジェクトから、マルチメディア情
報サービス提供者のシナリオを得ることを意味する。こ
のシナリオは、構造化されたコンテンツの属性(大きさ
や位置、画像の種別、符号化方式)からなり、マルチ画
面制御部10が、当該シナリオを解釈し、グラフィック
アクセラレータ21や画像復号化部6と連動して、デー
タ放送画面を構成する。また、例えば、チューナ部2に
てCSデジタル放送が受信された場合、主に番組情報を
得ることを意味する。この番組情報は、マルチ画面制御
部10により解釈され、グラフィックアクセラレータ2
1への描画命令により、EPG(電子プログラムガイ
ド)等のGUI画面へと構成される。
【0043】DVDドライブ装置(以下、「画像ソー
ス」とも言う)1bは、アナログコンポジット信号又は
ディジタル信号を、YUVラスタ形式の形の画像データ
として、動画入力部8bへ供給する。
【0044】動画入力部8aは、DTV受信フロントエ
ンド部1aの画像復号部6からの画像データを受け取
り、動画入力部8bは、DVDドライブ装置1bからの
画像データを受け取る。
【0045】これらの動画入力部8a及び動画入力部8
bはそれぞれ同様の構成としているが、それぞれ独立し
たタイミングで、対応する画像ソースから画像データを
受け取る。このとき、動画入力部8a及び動画入力部8
bはそれぞれ、対応する画像ソースから、画像データ
と、画像データを受け取るための制御信号(例えば、1
ラインの同期を取る水平同期信号、1フレーム又は1フ
ィールドの同期を取る垂直同期信号、1画素をサンプル
するクロック信号、有効画像データの転送期間を示すデ
ィスプレイイネーブル信号等)も場合によっては同時に
受け取る。
【0046】また、動画入力部8a及び動画入力部8b
はそれぞれ、例えば、受け取った画像データがコンピュ
ータのアナログ信号である場合、そのアナログ信号を、
ディジタル化するA/Dコンバータや、画像データをサ
ンプリングするためのPLL(Phase Locke
d Loop)回路によって処理する。或いは、LVD
S(Low Voltage Differential
Signaling)等のディジタル信号である場
合、そのディジタル信号を、復号器や差動バッファによ
って処理する。或いは、テレビジョンやDVDのコンポ
ジット信号である場合、そのコンポジット信号を、コン
ポジット信号をYUVからRGB信号に変換する色変換
回路や、走査方式をインタレースからプログレッシブに
変換するI−P変換回路等によって処理する。
【0047】解像度変換部9aは、マルチ画面制御部1
0からの制御に従って、動画入力部8aで受け取られた
画像データの表示フォーマット(表示ライン数やドット
数、色数)を変換する。また、解像度変換部9bも同様
に、マルチ画面制御部10からの制御に従って、動画入
力部8bで受け取られた画像データの表示フォーマット
を変換する。
【0048】さらに、解像度変換部9a及び解像度変換
部9bはそれぞれ、解像度変換部9a及び解像度変換部
9bでの独立した2つの画像データを、1つの共通した
グラフィックバス22に対して出力するためのバスイン
タフェースの機能を有している。
【0049】したがって、解像度変換部9a及び解像度
変換部9bのそれぞれから出力される画像データは、グ
ラフィックバス22を経由して、メモリ制御部13の制
御のもとで、メモリ14へ格納される。このメモリ14
は、少なくとも表示画像1面分の容量を有する。本実施
の形態では、グラフィックアクセラレータ21から出力
されるデータ用をも含めて、少なくとも表示画像3画面
分の容量を有するものとしている。
【0050】出力合成部18は、マルチ画面制御部10
からのマルチウィンドウ管理指示に基づき、表示すべき
画像データがストアされているメモリアドレスを、メモ
リ制御部13に対して発行することにより、メモリ部1
4から表示画像データを読み出し、最終的なマルチ画面
合成を実現する。
【0051】出力変換部15は、出力合成部18にて選
られたマルチ画面を表示デバイス16で表示するため
に、表示デバイス16のフレームレートに同期して、表
示デバイス16の特性に応じた表示駆動の制御や、表示
フォーマット変換処理を行う。
【0052】表示デバイス16は、出力変換部15から
のマルチ画面を表示する。この表示デバイス16として
は、マトリクス電極構造を持つフラットパネル(液晶、
プラズマ等)であっても、CRTであっても、画像を表
示するデバイスであれば限定されることはない。本実施
の形態では、テレビジョン装置であればハイビジョンの
表示装置、PCであればSXGA以上の高精細画像を表
示できる大画面ディスプレイをターゲットにしている。
【0053】バス調停部12は、グラフィックスバス2
2に対する非同期で起こるメモリ部14ヘのアクセス
を、優先順位に基づきスケーラブルに管理する。
【0054】マルチ画面制御部10は、本システム10
0全体の動作制御を司るものであり、演算能力を持つC
PU(図示せず)、データを一時格納するRAM11、
制御プログラム等を格納するROM17、時間を計測す
るカウンタ、及び周辺入出カインタフェース等を有して
いる。
【0055】尚、マルチ画面制御部10は、論理ロジッ
クのみで構成されていても、CPUや並列演算が可能な
メディアプロセッサであってもよい。また、マルチ画面
制御部10での制御のためのプログラムは、ROM17
へ内蔵されていてもよいし、周辺入出カインタフェース
を介して外部から転送されるものとしてもよい。
【0056】ROM17には、必要に応じて文字フォン
ト等の情報も格納されており、この情報は、WWWやデ
ータ放送の文字情報を画面に展開するときに使用され
る。
【0057】マルチ画面制御部10には、リモコン制御
部19が接続されている。したがって、マルチ画面制御
部10は、リモコン制御部19に接続されたリモコン
(リモートコントローラ)23からのコマンド(赤外線
を用いたコマンド)を、リモコン制御部19を介して受
け付けることができる。
【0058】グラフィックアクセラレータ21は、マル
チ画面制御部10が、表示デバイス16の画面(ディス
プレイ)上にOSD(On Screen Displa
y)画面<GUI画面>や、EPG(電子プログラムガ
イド)画面、データ放送画面等のCUI(Graphi
cal User lnterface)画面を構成する
際に、描画命令や、BitB1tやDMA等のアクセラ
レーション機能を用いるときに動作する。
【0059】モデム部24は、インターネットとの接続
の際に動作し、IEEE1394制御部25は、IEE
E1394バスとの接続の際に動作し、PCMCIA2
6は、ディジタルカメラ等により得られた画像データを
COMPACT FLASH等を通じて取り込む際に動
作する。これらの周辺デバイスは、CPUバス27を介
してマルチ画面制御部10に接続されている。
【0060】<画像表示システム100の動作>画像表
示システム100は、例えば、図2に示すフローチャー
トに従って動作する。この動作は、マルチ画面制御部1
0の動作制御によって実施される。
【0061】ステップS101、ステップS102:マ
ルチ画面制御部10は、本システム100の電源オンを
検知すると(ステップS101)、表示の初期化処理を
行う(ステップS102)。ステップS102での表示
の初期化処理は、例えば、図3のフローチャートにより
示される。
【0062】すなわち、上記図3に示すように、先ず、
マルチ画面制御部10は、接続入力検知を行う(ステッ
プS201)。これは、本システム100に対して、い
くつの画像ソースが接続されているかを識別する処理で
ある。
【0063】具体的には、動画入力部8a及び8bは、
対応する画像ソースからの接続識別信号を常に監視して
いる。この接続識別信号は、画像ソース1a及び1bか
ら出力される論理的な“1”又は“0”の2値信号であ
る。例えば、接続ケーブルが抜かれたり、画像ソースの
電源が切れた場合、動画入力部8a及び8bでは抵抗終
端しているため上記接続識別信号の論理は“0”とな
り、当該画像ソースから画像データが入力されないこと
を認識できる。
【0064】したがって、マルチ画面制御部10は、一
定期間毎に制御線S1−a及びbを介して動画入力部8
a及び8bから送られてくる監視情報により、画像ソー
ス1a及び1bから出力される接続認識信号を検知し、
接続認識信号が“1”である場合には、接続されている
と見なし、次のステップS202の動画入力パラメータ
の設定処理へと進む。一方、接続認識信号が“0”であ
る場合には、“1”の接続認識信号の入力が検知される
まで当該信号の監視を継続する。
【0065】上述のようなステップS201の処理後、
マルチ画面制御部10は、制御線S1−a及びbを介し
て動画入力部8a及び8bから送られてくる情報によ
り、接続検知した画像ソースからの画像データ(動画)
入力のためのパラメータ(表示ドット数、表示ライン数
の情報、水平垂直タイミング等)を検知し、そのパラメ
ータを、制御線S1−a及びbを介して、動画入力部8
a及び8bへ設定する(ステップS202)。
【0066】尚、上記パラメータは、動画入力部8a及
び8bが、1ラインの同期を取る水平同期信号、1フレ
ーム又は1フィールドの同期を取る垂直同期信号、1画
素をサンプルするクロック信号等を用いて、クロック数
や水平同期信号数を直接カウントすることによって知る
ことも可能である。
【0067】次に、マルチ画面制御部10は、接続検知
した1つ以上の画像ソースからの画像データを表示デバ
イス16で表示する際の表示レイアウトを決定する(ス
テップS203)。尚、デフォルトの表示レイアウトと
しては、予めROM17にプリセットされたレイアウト
が使用される。
【0068】次に、マルチ画面制御部10は、ステップ
S203にて決定した表示レイアウトにおいて、画像の
重なりがあるか否かを判別する(ステップS204)。
この判別の結果、画像の重なりがある場合には、ステッ
プS205を介してステップS206へと進み、画像の
重なりがない場合には、そのままステップS206へと
進む。
【0069】ステップS204の判別の結果、画像の重
なりがある場合、マルチ画面制御部10は、その重なり
のレイヤ優先度(最上位の画像ほど優先度が高い)を決
定し、その情報をRAM11へ書き込む(ステップS2
05)。
【0070】ステップS206では、マルチ画面制御部
10は、各画像の表示デバイス16上の表示開始位置、
表示終了位置、水平垂直の拡大率或いは縮小倍率を決定
し、それらの決定した情報を解像度変換パラメータとし
て、RAM11へ書き込む。また、マルチ画面制御部1
0は、上記解像度変換パラメータを、制御線S2−a及
びbを介して、解像度変換部9a及び9bへ設定する。
【0071】次に、マルチ画面制御部10は、解像度変
換部9a及び9bの出力をメモリ部4へ書き込む際に必
要な書き込み用のメモリアドレスを設定する(ステップ
S207)。このメモリアドレスは、書き込みアドレス
生成処理でのメモリアドレスのオフセット値として使用
される。
【0072】例えば、本実施の形態では、図4に示すよ
うに、メモリ部14は、動画用2画面分の領域14a及
び14bと、GUI画面用1画面の領域14cとの計3
画面分の領域で構成されている。したがって、メモリ部
14へにデータ書き込み時点ではオンスクリーン状態の
形式ではない。この場合、マルチ画面制御部10は、領
域14a〜14cのそれぞれの開始アドレス0〜2を、
制御線S2−a及びbを介して、解像度変換部9a及び
9bへ設定すると共に、グラフィックアクセラレータ2
1へも設定する。
【0073】次に、マルチ画面制御部10は、表示デバ
イス16でのマルチウィンドウ表示時の背景色(パター
ン)を設定する(ステップS208)。具体的には、出
力合成部18は、詳細は後述するが、図5に示すような
構成としており、マルチ画面制御部10は、上記背景色
(パターン)を、出力合成部18の背景レジスタ37へ
設定する。
【0074】次に、マルチ画面制御部10は、マルチ画
面制御用GUI画面の表示設定を行う(ステップS20
9)。
【0075】具体的には、まず、GUI画面は、マルチ
画面制御用画面だけではなく、Web画面やEPG画面
としても用いられる。マルチ画面制御部10は、GUI
画面を描画するための命令をグラフィックアクセラレー
タ21に対して発行したり、グラフィックアクセラレー
タ21のDMA機能を用いてビットマップ形式に展開し
た文字やその他のデータをメモリ部14に書き込むこと
で、GUI画面作成を行う。また、マルチ画面制御部1
0は、GUI画面のマルチ画面上での表示レイアウトも
決定する。このときの優先度は最上位である。
【0076】そして、マルチ画面制御部10は、出力合
成部18を動作させるための各種設定を行う(ステップ
S210)。
【0077】ここで、ステップS210での設定に従っ
て動作する出力合成部18の概要について、上記図5を
用いて説明する。
【0078】合成制御部30は、表示デバイス16の同
期信号(Hsync、Vsync)を基準として動作す
る表示の水平画素数カウンタ及び垂直ライン数カウンタ
のカウンタ値と、後述するパラメータとの比較条件によ
って、各種制御信号を生成する処理部である。
【0079】合成制御部30は、マルチ画面制御部10
からの信号S3により、水平カウントスタート値(Hs
yncから有効画素が始まる期間)、垂直ラインズター
ト値(Vsyncから有効ラインが始まる期間)、水平
画素数、及び垂直ライン数を取得することで、表示デバ
イス16での表示期間のラスタースキャン走査をカウン
トする。
【0080】また、合成制御部30は、マルチ画面制御
部10からの信号S3により、各画像のレイアウト情報
を反映した、合成スタートアドレス(合成制御部30の
有効カウントの開始からのオフセット値)と、水平画素
数及び垂直ライン数(アドレス生成部31〜33へセッ
トされた情報)とを画面数分取得する。そして、合成制
御部30は、上記取得情報と、合成制御部30のカウン
ト値とを比較した結果、それらが一致した場合、データ
線S5−a〜cを介して、アドレス生成部31〜33の
計数動作をキックする。これにより、3種類のアドレス
生成部31〜33が独立にカウント動作をすることにな
る。
【0081】上述のカウンタのリセットは、通常の場合
Vsync毎になされる。
【0082】アドレス生成部31〜33のカウンタ出力
は、そのまま読み出しアドレスとなり、データ線S6−
a〜cから出力される。
【0083】本実施の形態では、画面構成に独立に異な
る画像ソースを管理しているので、これらの画像ソース
の画像合成は、アドレス切替えにより行うことになる。
すなわち、アドレス選択部35の切替制御によって、上
記画像合成を実現する。この切替制御は、合成制御部3
0が、マルチ画面制御部10からの信号S3により、レ
イアウト情報と優先度情報に基づいた、合成切替えカウ
ント数を取得し、そのカウント数と、合成制御部30の
カウンタの計数動作との比較一致を行い、アドレス切替
信号S7を生成することでになされる。これにより、メ
モリ部14からデータが読み出され、そのデータは、リ
ード/ライト制御信号S9に従って、データバッファ3
6へ書き込まれる。また、データバッファ36のデータ
は、リード/ライト制御信号S9に従って、データ選択
部40に対して出力される。
【0084】合成制御部30は、合成すべき画像がない
と判断した場合、データ切替信号S8を、データ選択部
40に対して出力する。
【0085】ステップS103:上述したようなステッ
プS102での初期化処理後、マルチ画面制御部10
は、表示デバイス16の表示をイネーブルにする。これ
により、表示デバイス16での画面表示状態は、例え
ば、図6に示すような状態(マルチ画面合成の初期化時
のイメージ)となる。
【0086】ステップS104:マルチ画面制御部10
は、表示デバイス16での初期化後の画面上から、ユー
ザからリモコン23を用いて拡大縮小アクションがなさ
れたか否かを判別する。
【0087】ステップS105:ステップS104での
判別の結果、拡大縮小アクションがなされた場合、マル
チ画面制御部10は、表示デバイス16での表示の拡大
縮小変更処理を行う。この処理は、上記図3に示したス
テップS203〜S206(図中“”で示すの区間の
ステップ)の処理と同様の処理である。その後、再びス
テップS104へと戻り、以降の処理ステップを繰り返
し実行する。
【0088】ステップS106:ステップS104での
判別の結果、拡大縮小アクションがなされなかった場
合、 マルチ画面制御部10は、表示デバイス16での
初期化後の画面上から、ユーザからリモコン23を用い
て位置変更アクションがなされたか否かを判別する。
【0089】ステップS107:ステップS106での
判別の結果、位置変更アクションがなされた場合、マル
チ画面制御部10は、表示デバイス16での表示の位置
変更処理を行う。この処理は、上記図3に示したステッ
プS203〜S205(図中“”で示すの区間のステ
ップ)の処理と同様の処理である。その後、再びステッ
プS106へと戻り、以降の処理ステップを繰り返し実
行する。
【0090】ステップS108:ステップS106での
判別の結果、位置変更アクションがなされなかった場
合、マルチ画面制御部10は、表示デバイス16での初
期化後の画面上から、ユーザからリモコン23を用いて
マルチ画面補正アクションがなされたか否かを判別す
る。
【0091】ステップS109:ステップS108での
判別の結果、マルチ画面補正アクションがなされた場
合、マルチ画面制御部10は、表示デバイス16でのマ
ルチ画面の補正処理を行う。その後、再びステップS1
08へと戻り、以降の処理ステップを繰り返し実行す
る。
【0092】ステップS110:ステップS108での
判別の結果、マルチ画面補正アクションがなされなかっ
た場合、マルチ画面制御部10は、本システム100の
電源がオフされたか否かを判別する。この判別の結果、
電源オフでない場合には、再びステップS104へと戻
り、以降の処理ステップを繰り返し実行する。一方、電
源オフの場合には、本処理終了となる。
【0093】<画像表示システム100でのマルチ画面
とGUI画面のクロマキ合成方法>ここでは、本実施の
形態での、2つの画像(動画)の画面(マルチ画面)
と、GUI画像の画面(GUI画面)とを合成する方法
について説明する。
【0094】まず、本実施の形態では、マルチ画面とG
UI画面の合成方法として、クロマキ合成方式を用いて
いる。この方式では、グラフィックアクセラレータ21
が、GUI画面をメモリ部14に展開する際に、マルチ
画面上にオーバーレイ表示するGUI画面以外の領域
を、特定のクロマキーカラーで塗りつぶす処理をも同時
に行う。例えば、上記図6に示したような画面では、図
7に示すようなGUIイメージ以外の領域を、特定のク
ロマキーカラー(クロマキーデータ、以下、単に「キー
カラー」とも言う)で塗りつぶす。
【0095】上記クロマキーカラーは、マルチ画面制御
部10が、GUI画面描画時にほとんど使用する可能性
がないと判断した色(例えば、マゼンタ色等)を決定す
る。したがって、上記図4に示したメモリ部14におい
て、GUI画面用1画面の領域14cには、GUI画面
データと、キーカラーのデータとが展開される。
【0096】この場合、上記図5に示した出力合成部1
8は、メモリ部14のGUI画面用1画面の領域14c
内のデータの読み込みを行い、そのデータにキーカラー
のデータを認識した場合、そのデータに対応する部分
へ、マルチ画面の任意の画面(動画面)を選択して合成
する。
【0097】図8は、出力合成部18での上記合成処理
のタイミングを示したものである。上記図8において、
“T1”は、メモリ14のメモリアドレス生成のタイミ
ングを示している。また、同じ表示ラインのGUI画面
のアドレスに続いて、選択動画面のアドレスを1サイク
ルとし、これを合成制御部30の制御のもとで、上述し
たようにしてアドレス生成部31〜33及びアドレス選
択部35により繰り返し発生させている。
【0098】“T1”に示したメモリアドレス生成の周
期によってメモリ部14から読み出されたGUI画面デ
ータは、“T2”で示すタイミング(GUI画面用1画
面の領域14cのデータ読出タイミング)に従って、デ
ータバッファ36へ書き込まれる。
【0099】また、選択動画面データについても同様
に、“T3”で示すタイミング(動画用2画面分の領域
14a及び14bのデータ読出タイミング)に従って、
データバッファ36へ書き込まれる。
【0100】尚、データバッファ36は、GUI画面と
選択動画面を個々に記憶できるダブルバッファ構成とな
っている。
【0101】“T2”で示したタイミングでデータバッ
ファ36へ書き込まれたGUI画面データは、合成制御
部30に対しても入力される。
【0102】これにより、合成制御部30は、上記GU
I画面データと、キーカラーレジスタ39へ設定された
キーカラーデータとを逐次比較し、それらの一致があれ
ば、クロマキーヒットフラグをセットし、そのフラグ
を、合成制御部30内部のクロマキーフラクバッファへ
書き込む。
【0103】その後、合成制御部30は、“Ta”〜
“Td”で示す(図中丸囲みで示す)タイミングで、上
記クロマキーフラクバッファ内のクロマキーヒットフラ
グを読み出し、そのフラグの内容がクロマキーヒットで
あれば、データバッファ36から動画面データを読み出
す。また、クロマキーヒットでなければ(クロマキーミ
スヒット)、データバッファ36からGUI画面データ
を、リード制御信号S9によって読み出す。これによ
り、“T4”で示す合成データタイミングで、動画面と
GUI画面を合成した画面データ(クロマキ合成デー
タ)が生成される。
【0104】<画像表示システム100での最も特徴と
する構成>ところで、上述したようなクロマキ合成方式
は、CPU(ここでは、マルチ画面制御部10等)が、
キーカラーに当たらないようにGUI画面の色を管理で
きることが前提であり、CPUの管理外のデータ(BS
ディジタルのデータ放送から抽出した静止画データ、イ
ンターネットのイメージデータ、ディジタルカメラによ
り得られた自然画像データ等)がGUI画面に展開され
た場合、キーカラーにヒットする確率が上がることで意
図した合成結果が得られない可能性がある。そこで、こ
の問題を解決するために、本実施の形態では、ディジタ
ルテレビジョンのデータ放送受信時のGUI画面の描画
展開を、次のように構成する。
【0105】図9は、本実施の形態での、ディジタルテ
レビジョンのデータ放送受信時のGUI画面の描画展開
を示したものである。
【0106】ステップS301:マルチ画面制御部10
は、データ復号部7で復号された付加情報(データ放送
の複合後の付加情報)を検知する。このステップS30
1にて、付加情報が検知されない場合は、付加情報が検
知されるまで、待機状態となる。
【0107】ステップS302:ステップS301にて
付加情報が検知されると、マルチ画面制御部10は、そ
の付加情報の内容に基づき、画面レイアウト情報の認識
を行う。尚、データ復号部7で復号では、上述したよう
に、MHEG−5やHTML、或いはXML等のシナリ
オ記述言語で記述されたオブジェクトから、マルチメデ
ィア情報サービス提供者のシナリオ(構造化されたコン
テンツの属性(大きさや位置、画像の種別、符号化方
式))が得られているため、このシナリオを、マルチ画
面制御部10が解釈することで、上記画面レイアウト情
報の認識を行うことができる。
【0108】ステップS303:マルチ画面制御部10
は、ステップS302での画面レイアウト情報の認識の
結果により、GUI画面とマルチ画面(動画画面)の合
成(クロマキ合成)が必要であるか否かを判別する。
【0109】ステップS304:ステップS303の判
別の結果、クロマキ合成が必要でない場合、マルチ画面
制御部10は、ステップS302での画面レイアウト情
報に従って、グラフィックアクセレレーダ21に対して
描画命令を発行することで、メモリ部14へGUI画面
を展開する。
【0110】ステップS305:ステップS303の判
別の結果、クロマキ合成が必要である場合、例えば、例
えば、マルチメディア情報サービス提供者が、図10に
示すようなGUI画面とマルチ画面の合成画面55を表
示させようとする場合、マルチ画面制御部10は、次の
ようなクロマキ処理を実行する。
【0111】図11は、ステップS305でのクロマキ
処理を示したものである。
【0112】ステップS401:マルチ画面制御部10
は、メモリ部14のGUI画面用1画面の領域14cへ
展開するGUI画面のオブジェクトの属性を識別する。
このオブジェクトの属性とは、GUI画面を構成するオ
ブジェクトの表示位置座標(始点及び終点)、テキスト
情報、色管理情報、及び動画/静止画等のソース属性等
を意味する。
【0113】ステップS402:マルチ画面制御部10
は、ステップS401にて識別したオブジェクトの属性
が、そのオブジェクトの属性の全てが管理できる色で構
成されるオブジェクトの属性であるか否か、すなわち管
理外の色を持たない属性であるか否かを判別する。
【0114】ステップS405:ステップS402での
判別の結果、管理外の色を持たない属性である場合、マ
ルチ画面制御部10は、マルチ画面をGUI画面にはめ
込むために、上記図10に示すように、GUI画面57
において、マルチ画面(ビデオ合成画面)56のビデオ
領域(2つの動画が表示される領域)50a及び50b
の位置と同じ位置の領域へキーカラー51を描画展開す
る。
【0115】ステップS406:そして、マルチ画面制
御部10は、GUI画面の描画展開を行う。
【0116】ステップS403:一方、ステップS40
2での判別の結果、管理外の色を持つ属性である場合
(オブジェクトの全て管理できる色で構成されるオブジ
ェクトの属性でない場合)、例えば、上記図10に示す
ように、GUI画面57において、自然画のような色管
理外のオブジェクトデータ52が含まれている場合、そ
のオブジェクトデータ52が含まれている領域(自然画
領域)でのキーカラーヒットによるクロマキー合成ミス
の不具合が起きないように、マルチ画面制御部10は、
クロマキ合成をする矩形の領域(矩形マスク領域)の設
定を行う。具体的には、上記図10では、矩形マスク領
域として、クロマキー合成処理をしても問題のない領
域、すなわち自然画領域外の、始点53及び終点54に
より決定される矩形領域58に設定する。
【0117】ステップS404:そして、マルチ画面制
御部10は、ステップS403にて設定した矩形マスク
領域58の始点53及び終点54の座標と、クロマキ合
成方式(例えば、矩形マスク領域58内をクロマキ合成
する方式)とを、信号S3(上記図1参照)によって、
出力合成部18へ通知する。
【0118】尚、上述した矩形マスク領域の設定方法と
しては、例えば、自然画領域を矩形領域とし、この領域
以外を、クロマキ合成する矩形マスク領域として定義し
て、出力合成部18へ通知する方法を用いるようにして
もよい。
【0119】ステップS404にて、出力合成部18へ
の通知が行われた後、上述したステップS405及びS
406を実行する。但し、この場合、ステップS406
でのGUI画面の描画展開は、自然画領域を主にDMA
<Direct Memory Access>を用いた
メモリヘ展開を行う。
【0120】ステップS404にて、マルチ画面制御部
10からの通知を受けた出力合成部18は、上述した合
成制御部30により、指定された矩形マスク領域のみク
ロマキーデコードを行い、その領域内でキーカラービッ
トがあれば、クロマキーヒットフラグを立てる。
【0121】上述のように、ディジタルテレビのデータ
放送の受信時に、クロマキ合成が必要な場合、GUI画
面上のオブジェクトの識別を行い、その結果、マルチ画
面制御部10が色管理できないオブジェクトが存在する
と判断した場合、そのオブジェクトの存在する領域外の
矩形で定義される領域を、クロマキ合成する矩形マスク
領域として扱うことにより、クロマキ合成ミスを防ぐこ
とが可能となる。
【0122】(第2の実施の形態)第1の実施の形態で
は、クロマキ合成する領域として、1つの矩形領域を設
定するようにしたが、画面レイアウトによっては、1つ
の矩形領域では設定できない場合が生じる可能性があ
る。そこで、本実施の形態では、このような状況におけ
るクロマキ合成のための構成を、次のようにする。
【0123】まず、本実施の形態では、例えば、図12
に示すように、4つの画像ソースから入力された画像
(ビデオ0〜ビデオ3)から構成されたマルチ画面61
と、2つの自然画領域63a及び63bが存在するGU
I画面62とをクロマキ合成する。
【0124】この場合のクロマキ合成処理は、例えば、
図13のフローチャートにより示される。
【0125】ステップS501:マルチ画面制御部10
は、矩形マスク領域の指定数(m)の判断を行う。例え
ば、上記図12に示すように、マルチ画面61上でのビ
デオ0〜ビデオ3の領域に対応する4つの領域64a〜
64cを、図14に示すように、領域64aに対応する
領域71と、領域64bに対応する領域71と、領域6
4c及び64dに対応する領域73との3つの領域に振
り分けるものとする。この状態は、3つの領域(矩形領
域)71〜73のみに、クロマキ合成することを意味し
ている。すなわち、矩形領域71〜73は、矩形マスク
領域として扱われることになる。この場合、本ステップ
501での指定数(m)は“3”となる。
【0126】ステップS502:マルチ画面制御部10
は、ステップS501にて判断した指定数(m)が、本
システム100にてサポートしている矩形領域の最大指
定数N以下であるか否かを判別する。ここでは、矩形領
域の最大指定数Nを、“2”とする。尚、矩形領域の最
大指定数Nは、矩形領域の水平垂直カウンタを増やすこ
とにより、その数分増やすことが可能であるが、コスト
の面から言うと、1〜2程度とするのが好ましい。
【0127】ステップS503:ステップS502の判
別の結果、指定数(m)が、矩形領域の最大指定数Nを
超えている場合、マルチ画面制御部10は、矩形マスク
領域の最適化処理を行う。
【0128】具体的には、マルチ画面制御部10は、指
定数(m)が、矩形領域の最大指定数Nを超えないよう
に、上記図14に示したような矩形マスク領域71〜7
3を、再検討する。例えば、図15に示すように、自然
画領域63a及び63b(マルチ画面制御部10が色管
理できないオブジェクトが存在する領域)に対応する矩
形領域81及び82の2つの領域以外の領域を、クロマ
キ合成の対象の矩形マスク領域と定義する。これによ
り、指定数(m)を、最大指定数Nを超えないような設
定に最適化することができる。
【0129】ステップS504:マルチ画面制御部10
は、ステップS503での最適化処理後の矩形マスク領
域のマージが可能であるか否かを判別する。
【0130】ステップS507:ステップS504での
判別の結果、矩形マスク領域のマージ可能である場合、
マルチ画面制御部10は、マージ後の指定数(m)を判
断する。ここでは、指定数(m)は“2”となる。その
後、ステップS502へ戻り、以降の処理ステップを繰
り返し実行する。
【0131】尚、ステップで504の判別の結果、矩形
マスク領域のマージ可能でない場合、ステップS506
での処理(矩形マスク領域数削減処理)を実行した後、
ステップS507へ進むことになるが、このステップS
506での処理(矩形マスク領域数削減処理)について
の詳細は後述する。
【0132】ステップS505:ステップS502の判
別の結果、指定数(m)が、矩形領域の最大指定数Nを
超えていない場合、マルチ画面制御部10は、上述した
ように、クロマキ合成する矩形マスク領域の始点及び終
点、及びその合成方式(自然画領域外をクロマキ合成す
る矩形マスク領域とする方式等)と共に、指定数(m)
を、出力合成部18へ通知する。
【0133】上述のように、画面レイアウトと、本シス
テム100での矩形マスク領域の最大指定数Nに基づ
き、矩形マスク領域の指定数(m)を最適化すること
で、より柔軟性の高い、低コストな、マルチ画面とGU
I画面を合成する装置或いはシステムを提供することが
できる。
【0134】(第3の実施の形態)本実施の形態では、
上述したステップで504の判別の結果、矩形マスク領
域のマージ可能でない場合、矩形マスク領域の最適化だ
けでは、その指定数(m)を、最大指定数Nを超えない
ような設定にすることが不可能であると判断された場合
に実行される、ステップS506での処理(矩形マスク
領域数削減処理)を、次のような処理とする。
【0135】図16は、矩形マスク領域数削減処理を示
したものである。
【0136】ステップS601:マルチ画面制御部10
は、ステップS503での最適化の結果である矩形マス
ク領域が、色管理外のオブジェクト(自然画等)が動画
属性を持っているか否かを判別する。
【0137】ステップS604:ステップS601での
判別の結果、動画属性を持っている場合、マルチ画面制
御部10は、その動画属性を持っている矩形マスク領域
を、クロマキ合成する対象となる矩形マスク領域から除
く。これは、クロマキ合成ミスによる表示上の不具合
は、静止画に比べて動画の方が目立たないことが、ある
実験により分かっていることが大きな理由である。その
後、本処理終了となる。
【0138】ステップS602:ステップS601での
判別の結果、動画属性を持っていない場合、すなわち静
止画である場合、マルチ画面制御部10は、その静止画
である矩形マスク領域内での静止画オブジェクトの描画
展開面積を算出する。
【0139】ステップS603:そして、マルチ画面制
御部10は、ステップS602にて算出した面積が最小
である矩形マスク領域を認識する。この結果、ステップ
S602にて算出した面積が最小であると認識した矩形
マスク領域については、上述したステップS604の処
理を実行する。これは、静止画の中でも優先度の一番低
いものを、クロマキ合成する対象となる矩形マスク領域
から除いた方が、クロマキ合成ミスによる表示上の不具
合が目立たないことが、ある実験により分かっているこ
とが大きな理由である。
【0140】上述のように、クロマキ合成ミスによる表
示上の不具合がより少ないオブジェクトを、矩形マスク
領域の指定から除くことにより、指定数(m)の削減を
行って最適化を図ることで、より柔軟性の高い、低コス
トな、マルチ画面とGUI画面を合成する装置或いはシ
ステムを提供することができる。
【0141】尚、本発明の目的は、第1〜第3の実施の
形態のホスト及び端末の機能を実現するソフトウェアの
プログラムコードを記憶した記憶媒体を、システム或い
は装置に供給し、そのシステム或いは装置のコンピュー
タ(又はCPUやMPU)が記憶媒体に格納されたプロ
グラムコードを読みだして実行することによっても、達
成されることは言うまでもない。この場合、記憶媒体か
ら読み出されたプログラムコード自体が第1〜第3の実
施の形態の機能を実現することとなり、そのプログラム
コードを記憶した記憶媒体は本発明を構成することとな
る。プログラムコードを供給するための記憶媒体として
は、ROM、フロッピーディスク、ハードディスク、光
ディスク、光磁気ディスク、CD−ROM、CD−R、
磁気テープ、不揮発性のメモリカード等を用いることが
できる。また、コンピュータが読みだしたプログラムコ
ードを実行することにより、第1〜第3の実施の形態の
機能が実現されるだけでなく、そのプログラムコードの
指示に基づき、コンピュータ上で稼動しているOS等が
実際の処理の一部又は全部を行い、その処理によって第
1〜第3の実施の形態の機能が実現される場合も含まれ
ることは言うまでもない。さらに、記憶媒体から読み出
されたプログラムコードが、コンピュータに挿入された
拡張機能ボードやコンピュータに接続された機能拡張ユ
ニットに備わるメモリに書き込まれた後、そのプログラ
ムコードの指示に基づき、その機能拡張ボードや機能拡
張ユニットに備わるCPUなどが実際の処理の一部又は
全部を行い、その処理によって第1〜第3の実施の形態
の機能が実現される場合も含まれることは言うまでもな
い。
【0142】
【発明の効果】以上説明したように本発明によれば、グ
ラフィックスアクセラレータを制御する手段(CPU等
のGUI生成制御手段)の管理外の色を有する画像を、
表示用メモリへ展開する際、その画像が、クロマキ合成
処理時にキーカラーにヒットする確率が高い場合には、
その画像領域のクロマキ合成処理をマスクすることがで
きるため、マルチ画面とGUI画面の合成用のメモリ容
量を低減させ、且つ、クロマキ合成処理の精度を向上す
ることができる。これにより、ディジタル化により機能
向上が望まれるユーザヘの利便性の向上と、コスト的制
約が厳しい家電製品という背反的な事象のトレードオフ
に対して、両者をバランス良く実現する好適な装置或い
はシステムを提供することができる。
【図面の簡単な説明】
【図1】第1の実施の形態において、本発明を適用した
画像表示システムの構成を示すブロック図である。
【図2】上記画像表示システムでのマルチ画面表示動作
を説明するためのフローチャートである。
【図3】上記マルチ画面表示動作の表示の初期化処理を
説明するためフローチャートである。
【図4】上記画像表示システムのメモリ部のメモリアド
レスマップを説明するための図である。
【図5】上記画像表示システムの出力合成部の構成を示
すブロック図である。
【図6】上記初期化処理時のマルチ画面とGUI画面の
合成(クロマキ合成)結果を説明するための図である。
【図7】上記クロマキ合成時の、上記GUI画面でのク
ロマキーパターンを説明するための図である。
【図8】上記クロマキ合成のタイミングを説明するため
の図である。
【図9】上記画像表示システムにおいて、データ放送受
信時のGUI画面の描画処理を説明するためのフローチ
ャートである。
【図10】上記GUI画面の描画処理のクロマキ処理を
説明するための図である。
【図11】上記クロマキ処理を説明するためのフローチ
ャートである。
【図12】第2の実施の形態において、矩形マスク領域
の最適化が必要な場合のクロマキ処理を説明するための
図である。
【図13】上記クロマキ処理を説明するためのフローチ
ャートである。
【図14】上記最適化前の矩形マスク領域を説明するた
めの図である。
【図15】上記最適化後の矩形マスク領域を説明するた
めの図である。
【図16】第3の実施の形態において、上記クロマキ処
理での矩形マスク領域数削減処理を説明するためのフロ
ーチャートである。
【符号の説明】
1a DTV受信フロントエンド部 1b DVD 2 チューナー部 3 復調部 4 多重化分離部 5 オーディオ復号部 6 画像復号部 7 データ復号部 8a,8b 動画入力部 9a,9b 解像度変換部 10 マルチ画面制御部 11 RAM 12 バス調停部 13 メモリ制御部 14 メモリ部 15 出力変換部 16 表示デバイス 17 ROM 18 出力合成部 19 リモコン制御部 21 グラフィックアクセラレータ 22 グラフィックバス 23 リモコン 24 モデム部 25 IEEE1394制御部 26 PCMCIAインタフェース 27 CPUバス 100 画像表示システム

Claims (22)

    【特許請求の範囲】
  1. 【請求項1】 マルチ画面とGUI画面を、当該GUI
    画面内の特定のキーカラーに基づいたクロマキ合成処理
    によって合成して表示するための画像処理装置であっ
    て、 上記GUI画面上に存在するオブジェクトの属性を識別
    する識別手段と、 上記識別手段の識別結果に基づいて、上記オブジェクト
    の領域をクロマキマスク領域と定義する定義手段と、 上記定義手段により定義されたクロマキマスク領域外の
    領域に対して、上記クロマキ合成処理を施す合成手段と
    を備えることを特徴とする画像処理装置。
  2. 【請求項2】 マルチ画面とGUI画面を、当該GUI
    画面内の特定のキーカラーに基づいたクロマキ合成処理
    によって合成して表示するための画像処理装置であっ
    て、 上記GUI画面上に存在するオブジェクトの属性を識別
    する識別手段と、 上記識別手段の識別結果に基づいて、上記オブジェクト
    の領域外の領域をクロマキイネーブル領域と定義する定
    義手段と、 上記定義手段により定義されたクロマキイネーブル領域
    に対して、上記クロマキ合成処理を施す合成手段とを備
    えることを特徴とする画像処理装置。
  3. 【請求項3】 上記マルチ画面は、少なくとも1つ以上
    の画像ソースから入力された画像を含む画面であり、 上記GUI画面は、GUI生成制御手段により制御され
    るグラフィックアクセラレータにより描画された画像を
    含む画面であることを特徴とする請求項1又は2記載の
    画像処理装置。
  4. 【請求項4】 上記定義手段は、上記識別手段により上
    記GUI画面を生成するためのGUI生成制御手段の管
    理外の色を有するオブジェクトと識別された当該オブジ
    ェクトの領域を、上記クロマキマスク領域と定義するこ
    とを特徴とする請求項1記載の画像処理装置。
  5. 【請求項5】 上記定義手段は、上記識別手段により上
    記GUI画面を生成するためのGUI生成制御手段の管
    理外の色を有するオブジェクトと識別された当該オブジ
    ェクトの領域外の領域を、上記クロマキイネーブル領域
    と定義することを特徴とする請求項2記載の画像処理装
    置。
  6. 【請求項6】 上記識別手段は、上記GUI画面を構成
    する画像データに予め付加された情報から、上記オブジ
    ェクトの属性を識別することを特徴とする請求項1又は
    2記載の画像処理装置。
  7. 【請求項7】 上記付加情報は、マルチメディア記述言
    語のタグに記述されている自然画属性の情報を含むこと
    を特徴とする請求項6記載の画像処理装置。
  8. 【請求項8】 上記付加情報は、始点及び終点により示
    されるオブジェクトの位置情報を含むことを特徴とする
    請求項6記載の画像処理装置。
  9. 【請求項9】 上記定義手段は、定義した領域の数が所
    定数を超えた場合、再度領域の定義を行い、 上記合成手段は、上記定義手段により再定義された領域
    に基づき、上記クロマキ合成処理を行うことを特徴とす
    る請求項1又は2記載の画像処理装置。
  10. 【請求項10】 上記定義手段は、定義した領域のう
    ち、所定の画像の領域を、上記合成手段での対象領域か
    ら除くことを特徴とする請求項9記載の画像処理装置。
  11. 【請求項11】 上記所定の画像は、動画又は静止画を
    含むことを特徴とする請求項10記載の画像処理装置。
  12. 【請求項12】 複数の機器が互いに通信可能に接続さ
    れてなる画像処理システムであって、 上記複数の機器のうち少なくとも1つの機器は、請求項
    1〜11の何れかに記載の画像処理装置の機能を有する
    ことを特徴とする画像処理システム。
  13. 【請求項13】 少なくとも1つ以上の画像ソースから
    入力画像データを受け取り、当該入力画像データによる
    マルチ画面と、グラフィックアクセラレータにより描画
    されたGUI画面とを、当該GUI画面内の特定のキー
    カラーに基づいてクロマキ合成処理を行うことで、1つ
    の表示画面を生成するための画像処理方法であって、 上記表示画面のGUI描画領域に展開するオブジェクト
    の属性を識別する識別ステップと、 上記識別ステップにより、上記オブジェクトの属性が上
    記グラフィックアクセラレータを制御するGUI生成制
    御手段の管理外の色を有すると判断した場合、上記オブ
    ジェクトの矩形描画領域をクロマキーマスク領域として
    定義する定義ステップと、 上記定義ステップにより定義されたクロマキーマスク領
    域以外の領域のみに対して、上記クロマキ合成処理を行
    う合成ステップとを含むことを特徴とする画像処理方
    法。
  14. 【請求項14】 少なくとも1つ以上の画像ソースから
    入力画像データを受け取り、当該入力画像データによる
    マルチ画面と、グラフィックアクセラレータにより描画
    されたGUI画面とを、当該GUI画面内の特定のキー
    カラーに基づいてクロマキ合成処理を行うことで、1つ
    の表示画面を生成するための画像処理方法であって、 上記表示画面のGUI描画領域に展開するオブジェクト
    の属性を識別する識別ステップと、 上記識別ステップにより、上記オブジェクトの属性が上
    記グラフィックアクセラレータを制御するGUI生成制
    御手段の管理外の色を有すると判断した場合、上記オブ
    ジェクトの矩形描画領域外の領域をクロマキーイネーブ
    ル領域として定義する定義ステップと、 上記定義ステップにより定義されたクロマキーイネーブ
    ル領域のみに対して、上記クロマキ合成処理を行う合成
    ステップとを含むことを特徴とする画像処理方法。
  15. 【請求項15】 上記識別ステップは、上記GUI描画
    領域に展開するオブジェクトの属性を、当該オブジェク
    トデータに付加された情報から識別するステップを含む
    ことを特徴とする請求項13又は14記載の画像処理方
    法。
  16. 【請求項16】 上記付加情報は、マルチメディア記述
    言語のタグに記述されている自然画属性の情報を含むこ
    とを特徴とする請求項15記載の画像処理方法。
  17. 【請求項17】 上記付加情報は、始点及び終点により
    示されるオブジェクトの位置情報を含むことを特徴とす
    る請求項15記載の画像処理方法。
  18. 【請求項18】 上記定義ステップにより定義された領
    域の数が所定数を超えた場合、上記定義領域の数が上記
    所定数を超えないように、上記定義領域の数を最適化す
    る最適化ステップを含むことを特徴とする請求項13又
    は14記載の画像処理方法。
  19. 【請求項19】 上記最適化ステップは、上記定義領域
    の数を、上記所定数を超えないように最適化できない場
    合、上記定義領域の中で、動画属性を有するオブジェク
    トの領域を、上記定義領域から除くステップを含むこと
    を特徴とする請求項18記載の画像処理方法。
  20. 【請求項20】 上記最適化ステップは、上記定義領域
    の数を、上記所定数を超えないように最適化できない場
    合、上記定義領域の中で、静止画属性を有するオブジェ
    クトの領域を、上記定義領域から除くステップを含むこ
    とを特徴とする請求項18記載の画像処理方法。
  21. 【請求項21】 請求項1〜11の何れかに記載の画像
    処理装置の機能、又は請求項12記載の画像処理システ
    ムの機能を実施するための処理プログラムを、コンピュ
    ータが読出可能に格納したことを特徴とする記憶媒体。
  22. 【請求項22】 請求項13〜20の何れかに記載の画
    像処理方法の処理ステップを、コンピュータが読出可能
    に格納したことを特徴とする記憶媒体。
JP2000052992A 2000-02-29 2000-02-29 画像処理装置及び画像処理方法 Expired - Fee Related JP4541482B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2000052992A JP4541482B2 (ja) 2000-02-29 2000-02-29 画像処理装置及び画像処理方法
US09/790,599 US6859236B2 (en) 2000-02-29 2001-02-23 Image processing apparatus
DE60135265T DE60135265D1 (de) 2000-02-29 2001-02-27 Bildverarbeitungsvorrichtung
EP01301773A EP1143745B1 (en) 2000-02-29 2001-02-27 Image processing apparatus
KR10-2001-0010308A KR100412763B1 (ko) 2000-02-29 2001-02-28 화상 처리 장치
US10/916,401 US6961097B2 (en) 2000-02-29 2004-08-12 Image processing apparatus
US11/171,384 US20050237431A1 (en) 2000-02-29 2005-07-01 Image processing apparatus
US11/609,250 US7375769B2 (en) 2000-02-29 2006-12-11 Image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000052992A JP4541482B2 (ja) 2000-02-29 2000-02-29 画像処理装置及び画像処理方法

Publications (3)

Publication Number Publication Date
JP2001242848A true JP2001242848A (ja) 2001-09-07
JP2001242848A5 JP2001242848A5 (ja) 2007-04-05
JP4541482B2 JP4541482B2 (ja) 2010-09-08

Family

ID=18574434

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000052992A Expired - Fee Related JP4541482B2 (ja) 2000-02-29 2000-02-29 画像処理装置及び画像処理方法

Country Status (5)

Country Link
US (4) US6859236B2 (ja)
EP (1) EP1143745B1 (ja)
JP (1) JP4541482B2 (ja)
KR (1) KR100412763B1 (ja)
DE (1) DE60135265D1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002374508A (ja) * 2001-06-14 2002-12-26 Canon Inc 通信装置、通信システム、映像通信処理方法、記憶媒体、及びプログラム
JP2009239528A (ja) * 2008-03-26 2009-10-15 Sharp Corp デジタル放送受信装置
JP2010014899A (ja) * 2008-07-02 2010-01-21 Toshiba Corp 情報処理装置
JP2012073463A (ja) * 2010-09-29 2012-04-12 Casio Comput Co Ltd 投影装置およびプログラム
JP2014137431A (ja) * 2013-01-16 2014-07-28 Mitsubishi Electric Corp 画像表示システム
WO2014192044A1 (ja) * 2013-05-31 2014-12-04 三菱電機株式会社 画像処理装置、画像処理システム及び画像処理方法
US9805283B2 (en) 2015-08-05 2017-10-31 Ricoh Company, Ltd. Image processing apparatus, image processing method and storage medium
KR20210028980A (ko) * 2019-09-05 2021-03-15 라인플러스 주식회사 합성 영상 생성 방법, 사용자 디바이스, 서버 및 기록 매체

Families Citing this family (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4541482B2 (ja) * 2000-02-29 2010-09-08 キヤノン株式会社 画像処理装置及び画像処理方法
KR100370248B1 (ko) * 2000-08-08 2003-01-30 엘지전자 주식회사 디지털 텔레비젼
JP4018332B2 (ja) * 2000-11-17 2007-12-05 キヤノン株式会社 データ放送受信装置並びにデータ放送受信装置の印刷処理方法
US7213230B2 (en) * 2000-12-28 2007-05-01 Yeda Research And Development Co. Ltd. Playing scenarios of system behavior
US20040205703A1 (en) * 2000-12-28 2004-10-14 Yeda Research And Development Co . , Ltd. , Playing in scenarios of system behavior
GB0105561D0 (en) * 2001-03-07 2001-04-25 Segmentis Ltd Improvements in and relating to image signal processing and printing of picture therefrom
JP2002354367A (ja) * 2001-05-25 2002-12-06 Canon Inc マルチ画面表示装置、マルチ画面表示方法、記録媒体、及びプログラム
JP2003153080A (ja) * 2001-11-09 2003-05-23 Matsushita Electric Ind Co Ltd 映像合成装置
US7196733B2 (en) * 2002-01-28 2007-03-27 Canon Kabushiki Kaisha Apparatus for receiving broadcast data, method for displaying broadcast program, and computer program
US6970595B1 (en) * 2002-03-12 2005-11-29 Sonic Solutions, Inc. Method and system for chroma key masking
JP2003288065A (ja) * 2002-03-28 2003-10-10 Seiko Epson Corp 画像表示装置
US20030189581A1 (en) * 2002-04-08 2003-10-09 Nasoff David G. Content based window filtering for simultaneous display of multiple high-quality video and graphics windows
US7027101B1 (en) * 2002-05-13 2006-04-11 Microsoft Corporation Selectively overlaying a user interface atop a video signal
US8737810B2 (en) * 2002-11-15 2014-05-27 Thomson Licensing Method and apparatus for cropping of subtitle elements
CA2506521C (en) 2002-11-15 2010-04-27 Thomson Licensing S.A. Method and apparatus for composition of subtitles
KR100873437B1 (ko) * 2002-11-28 2008-12-11 삼성전자주식회사 Pip화면을 이용한 듀얼모드 신호처리장치
US7364313B2 (en) * 2002-12-27 2008-04-29 Barco N.V. Multiple image projection system and method for projecting multiple selected images adjacent each other
JP4161770B2 (ja) * 2003-04-01 2008-10-08 ソニー株式会社 データ合成装置およびデータ合成方法
JP4357239B2 (ja) * 2003-08-27 2009-11-04 三洋電機株式会社 映像信号処理装置及び映像表示装置
US7400360B2 (en) * 2003-09-22 2008-07-15 Lsi Corporation Device for simultaneous display of video at two resolutions with different fractions of active regions
JP4095530B2 (ja) * 2003-10-01 2008-06-04 キヤノン株式会社 画像処理装置及び方法
US7894520B2 (en) * 2003-12-23 2011-02-22 Tamiras Per Pte. Ltd., Llc Apparatus and method for generating patterns of forward and backward vectors for frame conversion
KR20050069828A (ko) * 2003-12-31 2005-07-05 엘지전자 주식회사 고해상도 투사 장치
US8253750B1 (en) * 2004-02-14 2012-08-28 Nvidia Corporation Digital media processor
US20050206751A1 (en) * 2004-03-19 2005-09-22 East Kodak Company Digital video system for assembling video sequences
US20050259105A1 (en) * 2004-05-19 2005-11-24 Juraj Bystricky System and method for detecting memory location modifications to initiate image data transfers
JP4161944B2 (ja) * 2004-07-01 2008-10-08 セイコーエプソン株式会社 表示コントローラ及び電子機器
US20060020878A1 (en) * 2004-07-22 2006-01-26 Juraj Bystricky System and method for efficiently performing manual frame transfers of image data
US7375768B2 (en) * 2004-08-24 2008-05-20 Magix Ag System and method for automatic creation of device specific high definition material
TWI248764B (en) * 2004-09-01 2006-02-01 Realtek Semiconductor Corp Method and apparatus for generating visual effect
KR100595034B1 (ko) * 2004-12-14 2006-06-30 삼성전자주식회사 방송수신장치 및 방송수신장치의 화면전환 제어방법
KR100743520B1 (ko) * 2005-01-04 2007-07-27 삼성전자주식회사 비디오 스케일러 및 스케일링 방법
US20090231320A1 (en) * 2005-07-06 2009-09-17 Ken Kumakura Plasma Display Device
WO2007072449A2 (en) * 2005-12-21 2007-06-28 Nxp B.V. Mobile display interface
US7844661B2 (en) * 2006-06-15 2010-11-30 Microsoft Corporation Composition of local media playback with remotely generated user interface
US8793303B2 (en) * 2006-06-29 2014-07-29 Microsoft Corporation Composition of local user interface with remotely generated user interface and media
US8098330B2 (en) * 2006-07-28 2012-01-17 International Business Machines Corporation Mapping of presentation material
JP2008048364A (ja) * 2006-08-21 2008-02-28 Toshiba Corp 画像表示装置
JP5127187B2 (ja) * 2006-09-06 2013-01-23 株式会社ソニー・コンピュータエンタテインメント 復号化装置、放送波再生システム、およびテレビ受像支援方法
CN101155314B (zh) * 2006-09-13 2011-06-01 富士通天株式会社 视频显示装置
US7961946B2 (en) * 2007-05-15 2011-06-14 Digisensory Technologies Pty Ltd Method and system for background estimation in localization and tracking of objects in a smart video camera
JP2009027552A (ja) * 2007-07-20 2009-02-05 Funai Electric Co Ltd 光ディスク再生装置
US8599315B2 (en) * 2007-07-25 2013-12-03 Silicon Image, Inc. On screen displays associated with remote video source devices
JP5219501B2 (ja) * 2007-12-27 2013-06-26 三菱電機株式会社 画面生成装置および画面レイアウト共有システム
US8355041B2 (en) 2008-02-14 2013-01-15 Cisco Technology, Inc. Telepresence system for 360 degree video conferencing
US8797377B2 (en) 2008-02-14 2014-08-05 Cisco Technology, Inc. Method and system for videoconference configuration
US8121409B2 (en) 2008-02-26 2012-02-21 Cyberlink Corp. Method for handling static text and logos in stabilized images
US8390667B2 (en) 2008-04-15 2013-03-05 Cisco Technology, Inc. Pop-up PIP for people not in picture
AU2008202672B2 (en) * 2008-06-17 2011-04-28 Canon Kabushiki Kaisha Automatic layout based on visual context
US8694658B2 (en) 2008-09-19 2014-04-08 Cisco Technology, Inc. System and method for enabling communication sessions in a network environment
US20100225815A1 (en) * 2009-03-05 2010-09-09 Vishal Vincent Khatri Systems methods and apparatuses for rendering user customizable multimedia signals on a display device
US8477175B2 (en) 2009-03-09 2013-07-02 Cisco Technology, Inc. System and method for providing three dimensional imaging in a network environment
US8659637B2 (en) 2009-03-09 2014-02-25 Cisco Technology, Inc. System and method for providing three dimensional video conferencing in a network environment
US8659639B2 (en) 2009-05-29 2014-02-25 Cisco Technology, Inc. System and method for extending communications between participants in a conferencing environment
TWI407776B (zh) * 2009-06-30 2013-09-01 Silicon Integrated Sys Corp 影像產生裝置、靜態文字偵測裝置及相關方法
RU2566975C2 (ru) * 2009-07-14 2015-10-27 Конинклейке Филипс Электроникс Н.В. Система, способ и компьютерная программа для функционирования множества вычислительных устройств
US9082297B2 (en) 2009-08-11 2015-07-14 Cisco Technology, Inc. System and method for verifying parameters in an audiovisual environment
JP2011048040A (ja) * 2009-08-26 2011-03-10 Sony Corp 映像信号処理装置、映像信号処理方法およびプログラム
US8264612B2 (en) * 2009-09-10 2012-09-11 Ali Corporation Method of raster-scan search for multi-region on-screen display and system using the same
US8448210B2 (en) 2009-09-30 2013-05-21 Echostar Technologies L.L.C. Apparatus, systems and methods for rich media electronic program guides
JP2011158804A (ja) * 2010-02-03 2011-08-18 Canon Inc 画像表示装置、および、画像表示装置の制御方法
US9225916B2 (en) 2010-03-18 2015-12-29 Cisco Technology, Inc. System and method for enhancing video images in a conferencing environment
US9313452B2 (en) 2010-05-17 2016-04-12 Cisco Technology, Inc. System and method for providing retracting optics in a video conferencing environment
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
US8599934B2 (en) 2010-09-08 2013-12-03 Cisco Technology, Inc. System and method for skip coding during video conferencing in a network environment
US8599865B2 (en) 2010-10-26 2013-12-03 Cisco Technology, Inc. System and method for provisioning flows in a mobile network environment
US8699457B2 (en) 2010-11-03 2014-04-15 Cisco Technology, Inc. System and method for managing flows in a mobile network environment
US8730297B2 (en) 2010-11-15 2014-05-20 Cisco Technology, Inc. System and method for providing camera functions in a video environment
US9338394B2 (en) 2010-11-15 2016-05-10 Cisco Technology, Inc. System and method for providing enhanced audio in a video environment
US8902244B2 (en) 2010-11-15 2014-12-02 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US8542264B2 (en) 2010-11-18 2013-09-24 Cisco Technology, Inc. System and method for managing optics in a video environment
US8723914B2 (en) 2010-11-19 2014-05-13 Cisco Technology, Inc. System and method for providing enhanced video processing in a network environment
US8692862B2 (en) 2011-02-28 2014-04-08 Cisco Technology, Inc. System and method for selection of video data in a video conference environment
US8670019B2 (en) 2011-04-28 2014-03-11 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment
US8786631B1 (en) 2011-04-30 2014-07-22 Cisco Technology, Inc. System and method for transferring transparency information in a video environment
US8934026B2 (en) 2011-05-12 2015-01-13 Cisco Technology, Inc. System and method for video coding in a dynamic environment
US8947493B2 (en) 2011-11-16 2015-02-03 Cisco Technology, Inc. System and method for alerting a participant in a video conference
US8682087B2 (en) 2011-12-19 2014-03-25 Cisco Technology, Inc. System and method for depth-guided image filtering in a video conference environment
US9293152B2 (en) * 2012-01-25 2016-03-22 International Business Machines Corporation Abrasion test methods and devices
US9497405B2 (en) * 2012-07-17 2016-11-15 Nec Display Solutions, Ltd. Display device for displaying videos side by side without overlapping each other and method for the same
US9681154B2 (en) 2012-12-06 2017-06-13 Patent Capital Group System and method for depth-guided filtering in a video conference environment
US8724028B1 (en) * 2012-12-20 2014-05-13 Kabushiki Kaisha Toshiba Electronic device and display control method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05101178A (ja) * 1991-10-09 1993-04-23 Canon Inc 画像処理装置
JPH05207368A (ja) * 1992-01-27 1993-08-13 Hitachi Ltd 重ね合わせ表示装置
JPH06215127A (ja) * 1993-01-13 1994-08-05 Matsushita Electric Ind Co Ltd 画像合成表示システム
JPH06308938A (ja) * 1992-10-06 1994-11-04 Seiko Epson Corp 画像処理装置

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US566251A (en) * 1896-08-18 Poison-distributer
JPS60194696A (ja) * 1984-03-15 1985-10-03 Toshiba Corp デイジタルクロマキ−装置
US4811084A (en) * 1984-04-09 1989-03-07 Corporate Communications Consultants, Inc. Video color detector and chroma key device and method
GB2158320A (en) * 1984-04-26 1985-11-06 Philips Electronic Associated Generating a chroma keying signal
US4652903A (en) * 1984-09-21 1987-03-24 Scientific Atlanta, Inc. Frequency generation for multiplexed analog component color television encoding and decoding
JPH01264378A (ja) * 1988-04-15 1989-10-20 Hitachi Ltd ビデオカメラ装置
US5220312A (en) * 1989-09-29 1993-06-15 International Business Machines Corporation Pixel protection mechanism for mixed graphics/video display adaptors
JP2999501B2 (ja) * 1990-02-26 2000-01-17 パイオニア株式会社 記録媒体演奏装置
US5170246A (en) * 1991-03-28 1992-12-08 Abekas Video Systems, Inc. Video processing system having improved synchronization
GB9107851D0 (en) * 1991-04-12 1991-05-29 Alpha Image Ltd Combining digital video key signals
JPH0548969A (ja) * 1991-08-09 1993-02-26 Nippon Telegr & Teleph Corp <Ntt> 複数画像表示装置
GB9119964D0 (en) * 1991-09-18 1991-10-30 Sarnoff David Res Center Pattern-key video insertion
JPH05145735A (ja) * 1991-10-16 1993-06-11 Fuji Xerox Co Ltd はめ込み合成機能を備えた画像処理装置
JPH05316425A (ja) 1992-05-11 1993-11-26 Sony Corp クロマキー装置におけるキー信号発生装置
JP2528446B2 (ja) * 1992-09-30 1996-08-28 株式会社ハドソン 音声画像処理装置
JPH06231275A (ja) * 1993-01-29 1994-08-19 Hitachi Ltd 画像シミュレーション方法
US5398075A (en) * 1993-11-19 1995-03-14 Intel Corporation Analog chroma keying on color data
JP3731212B2 (ja) * 1994-04-28 2006-01-05 ソニー株式会社 画像特殊効果装置
IL109487A (en) * 1994-04-29 1996-09-12 Orad Hi Tec Systems Ltd Chromakeying system
EP0719049B1 (en) * 1994-12-20 2003-05-28 Matsushita Electric Industries Co., Ltd. Method and apparatus for image coding
JPH08278486A (ja) * 1995-04-05 1996-10-22 Canon Inc 表示制御装置及び方法及び表示装置
JPH11509064A (ja) * 1995-07-10 1999-08-03 サーノフ コーポレイション 画像を表現し組み合わせる方法とシステム
US5969767A (en) * 1995-09-08 1999-10-19 Matsushita Electric Industrial Co., Ltd. Multipicture video signal display apparatus with modified picture indication
US5737031A (en) * 1996-07-30 1998-04-07 Rt-Set System for producing a shadow of an object in a chroma key environment
ES2241034T3 (es) * 1996-02-07 2005-10-16 Sharp Kabushiki Kaisha Dispositivo de codificacion de decodificacion de imagenes en movimiento.
US5982951A (en) * 1996-05-28 1999-11-09 Canon Kabushiki Kaisha Apparatus and method for combining a plurality of images
US5914748A (en) 1996-08-30 1999-06-22 Eastman Kodak Company Method and apparatus for generating a composite image using the difference of two images
JP3263807B2 (ja) * 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
US6745391B1 (en) * 1997-12-10 2004-06-01 E Guide, Inc. Premium channel promotion system and method
US5900916A (en) * 1996-12-30 1999-05-04 Mitsubishi Consumer Electronics America, Inc. Apparatus for control of images from multiple sources
US6233356B1 (en) * 1997-07-08 2001-05-15 At&T Corp. Generalized scalability for video coder based on video objects
JP3890715B2 (ja) * 1997-12-04 2007-03-07 ソニー株式会社 信号処理装置および方法
US6750919B1 (en) * 1998-01-23 2004-06-15 Princeton Video Image, Inc. Event linked insertion of indicia into video
US6538675B2 (en) * 1998-04-17 2003-03-25 Canon Kabushiki Kaisha Display control apparatus and display control system for switching control of two position indication marks
JPH11313339A (ja) * 1998-04-30 1999-11-09 Toshiba Corp 表示制御装置および動画/グラフィクス合成表示方法
US6473088B1 (en) * 1998-06-16 2002-10-29 Canon Kabushiki Kaisha System for displaying multiple images and display method therefor
US6599194B1 (en) * 1998-09-08 2003-07-29 Darren Smith Home video game system with hard disk drive and internet access capability
US6853385B1 (en) * 1999-11-09 2005-02-08 Broadcom Corporation Video, audio and graphics decode, composite and display system
US6573905B1 (en) * 1999-11-09 2003-06-03 Broadcom Corporation Video and graphics system with parallel processing of graphics windows
JP4541476B2 (ja) * 1999-02-19 2010-09-08 キヤノン株式会社 マルチ画像表示システムおよびマルチ画像表示方法
US6707505B2 (en) * 1999-03-26 2004-03-16 Tvia, Inc. Method and apparatus for combining video and graphics
JP4541482B2 (ja) * 2000-02-29 2010-09-08 キヤノン株式会社 画像処理装置及び画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05101178A (ja) * 1991-10-09 1993-04-23 Canon Inc 画像処理装置
JPH05207368A (ja) * 1992-01-27 1993-08-13 Hitachi Ltd 重ね合わせ表示装置
JPH06308938A (ja) * 1992-10-06 1994-11-04 Seiko Epson Corp 画像処理装置
JPH06215127A (ja) * 1993-01-13 1994-08-05 Matsushita Electric Ind Co Ltd 画像合成表示システム

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002374508A (ja) * 2001-06-14 2002-12-26 Canon Inc 通信装置、通信システム、映像通信処理方法、記憶媒体、及びプログラム
JP4612779B2 (ja) * 2001-06-14 2011-01-12 キヤノン株式会社 通信装置及び通信装置の映像表示制御方法
JP2009239528A (ja) * 2008-03-26 2009-10-15 Sharp Corp デジタル放送受信装置
JP2010014899A (ja) * 2008-07-02 2010-01-21 Toshiba Corp 情報処理装置
JP2012073463A (ja) * 2010-09-29 2012-04-12 Casio Comput Co Ltd 投影装置およびプログラム
JP2014137431A (ja) * 2013-01-16 2014-07-28 Mitsubishi Electric Corp 画像表示システム
WO2014192044A1 (ja) * 2013-05-31 2014-12-04 三菱電機株式会社 画像処理装置、画像処理システム及び画像処理方法
JP5968533B2 (ja) * 2013-05-31 2016-08-10 三菱電機株式会社 画像処理装置、画像処理システム及び画像処理方法
US9898837B2 (en) 2013-05-31 2018-02-20 Mitsubishi Electric Corporation Image processing system
US9805283B2 (en) 2015-08-05 2017-10-31 Ricoh Company, Ltd. Image processing apparatus, image processing method and storage medium
KR20210028980A (ko) * 2019-09-05 2021-03-15 라인플러스 주식회사 합성 영상 생성 방법, 사용자 디바이스, 서버 및 기록 매체
KR102354918B1 (ko) 2019-09-05 2022-01-21 라인플러스 주식회사 합성 영상 생성 방법, 사용자 디바이스, 서버 및 기록 매체

Also Published As

Publication number Publication date
KR100412763B1 (ko) 2003-12-31
US20050237431A1 (en) 2005-10-27
DE60135265D1 (de) 2008-09-25
EP1143745A2 (en) 2001-10-10
US7375769B2 (en) 2008-05-20
US20010033340A1 (en) 2001-10-25
US6961097B2 (en) 2005-11-01
EP1143745A3 (en) 2005-03-23
US6859236B2 (en) 2005-02-22
US20070081100A1 (en) 2007-04-12
KR20010085702A (ko) 2001-09-07
EP1143745B1 (en) 2008-08-13
US20050012863A1 (en) 2005-01-20
JP4541482B2 (ja) 2010-09-08

Similar Documents

Publication Publication Date Title
JP2001242848A (ja) 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体
JP4541476B2 (ja) マルチ画像表示システムおよびマルチ画像表示方法
JP4672856B2 (ja) マルチ画面表示装置及びマルチ画面表示方法
US20020008780A1 (en) Apparatus and method for converting multi-source input images
US20050149967A1 (en) System and method for managing software alert messages on televisions
US20020157094A1 (en) Display control apparatus and method, receiving apparatus and recording medium
US7821575B2 (en) Image processing apparatus, receiver, and display device
EP1802106A1 (en) Image processing apparatus and method
JP2001175239A (ja) マルチ画面表示装置、マルチ画面表示システム、マルチ画面表示方法、及び記憶媒体
JP2007089110A (ja) テレビウォール用画像分割方法
US9013633B2 (en) Displaying data on lower resolution displays
US20060017850A1 (en) Video combining apparatus and method thereof
CN111899175A (zh) 图像转换方法及显示设备
CN114415864B (zh) 触摸区域的确定方法与显示设备
CN114979773A (zh) 显示设备、视频处理方法及存储介质
CN114173187A (zh) 动态对比度的确定方法与显示设备
JP2010130701A (ja) 画像処理装置、受信装置および表示装置
JP2001034248A (ja) グラフィックス表示装置
JP2000175114A (ja) 映像表示装置およびプログラム格納媒体
JP2008028952A (ja) 表示制御装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070220

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100413

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100602

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100622

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100624

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130702

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees