JP2006157916A - 端末機の画像合成装置及び画像合成方法 - Google Patents

Abstract

【課題】放送画像受信機能を備えた端末機において、放送画像をキャプチャして端末機に保存されている他の画像と多様な方式で合成し得る画像合成装置及び画像合成方法を提供する。
【解決手段】放送画像信号を受信する端末機において、端末機の画像合成装置は、放送画像の特定場面をキャプチャして保存する第１モジュールと、前記端末機に保存されている画像から第１画像を選択して、該第１画像を半透明画像に変換し、該第１画像を縮小し、又は該第１画像からオブジェクト画像を抽出する第２モジュールと、前記端末機に保存された画像から第２画像を選択して、該第２画像上に前記透明な画像、前記縮小された画像、又は前記オブジェクト画像をオーバーラップさせる第３モジュールとを含む。
【選択図】図１

Description

本発明は、端末機の画像合成装置及び画像合成方法に関し、特に、端末機が受信した放送画像（映像）をキャプチャして合成する端末機の画像合成装置及び画像合成方法に関する。

移動通信端末機は、加入登録したシステムに属する基地局が形成するサービス領域内で自由に移動しながら、移動交換局（Mobile Switching Center；ＭＳＣ）により設定された通信経路を介して、相手と無線で通信し得る先端無線通信装置である。

一般に、端末機は、通信のために待機又は携帯する時間は長いが、通信に使用される時間は短いため利用率が低い。このような端末機の低利用率と使用の利便性とを高めるために、多様な付加サービスが開発されて提供されている。

付加サービスのうち、システムに無線接続されてサービス事業者から提供されるものとしては、例えば、無線インターネット、ショートメッセージ、マルチメディアメッセージ、モバイルオンラインゲームなどがある。また、端末機メーカにより、端末機に内蔵されて提供されるものとしては、例えば、電話帳、メッセージ作成、電卓、ゲーム、カメラ、赤外線通信、ブルートゥース、着信音の設定などがあり、現在、さらに新しい機能の付加サービスが開発中である。

デジタルマルチメディア放送（Digital Multimedia Broadcasting、以下、「ＤＭＢ」ともいう）サービスは、前述したような付加サービスの１つである。ＤＭＢは、「移動テレビ」として商用化されたＤＡＢ（Digital Audio Broadcasting）の新しい名称であって、該ＤＡＢがオーディオ中心のデジタルラジオ放送を示す概念であれば、ＤＭＢは、デジタルラジオ放送の概念を「見て聞く」マルチメディア放送に拡張したものである。ＤＭＢは、最近、マルチメディア放送の特徴を生かすためにＤＡＢを改名したもので、放送信号を地上から送信する地上波ＤＭＢ（Terrestrial DMB；ＴＤＭＢ）と、人工衛星から放送信号を送信する衛星ＤＭＢ（Satellite DMB；ＳＤＭＢ）とに区分される。

地上波ＤＭＢは、高品質の音声及び画像（動画、静止画を含む）サービスをいつどこでも提供し得る移動マルチメディア放送であって、「聞く放送」から「見て聞く放送」にラジオ放送の概念を拡張させることができ、優れた移動受信特性により、音楽、メッセージ及び動画などの多様なコンテンツを小型テレビ及びＰＤＡなどの携帯用端末機に伝送することができる。

衛星ＤＭＢは、衛星を利用して固定及び携帯用受信機にオーディオ、付加データ、又は動画を含むマルチメディア放送サービスを提供することができる。また、衛星ＤＭＢは、多様な種類のオーディオ放送サービスを低コストで提供する。さらに、衛星を利用するため、広い地域をカバーして既存放送の受信範囲を画期的に拡大し得る次世代サービスである。従って、衛星ＤＭＢは、通信及び放送の融合時代、すなわち、「デジタルコンバージェンス」の代表的なサービスとして注目されている。

ＤＭＢサービスを受けるための器機（端末機）としては、ＤＭＢ受信機能を備えた移動通信端末機、車両に装着されてＤＭＢ信号を受信する車載端末機、及び家庭に固定で設けられてＤＭＢ信号を受信する家庭用端末機などがある。

ＤＭＢシステムは、与えられた周波数帯域を符号分割多元接続（Code Division Multiple Access；ＣＤＭＡ）方式で分割して音声信号をデジタル方式で放送するもので、ラジオチャネル、マルチメディア信号を放送するＴＶチャネル、及びデータ信号を放送するデータチャネルを含む。

このようなＤＭＢシステムの各チャネルは、それぞれ設定されたテーマによって放送する内容に差がある。例えば、ニュースチャネル、スポーツチャネル、釣りチャネル、登山チャネル、音楽チャネル、娯楽チャネル、演劇チャネル、映画チャネル、宗教チャネル、教養チャネル、ショッピングチャネル、教育チャネルなどのように多様である。

図８は、一般的なデジタルマルチメディア放送システムを示す構成図である。

図８に示すように、一般的なデジタルマルチメディア放送システムは、放送信号を受信する車載端末機１０、移動通信端末機（ＭＳ）２０、及び家庭用端末機（ＴＶ）３０と、放送信号を送信するＴＶ放送局４０と、放送コンテンツが保存されているサービス事業者のインターネットサーバ５０と、ＤＭＢサービスのための映像（放送画像）及び放送資料を生成するサービス事業者７０と、ＴＶ放送局４０、インターネットサーバ５０、及びサービス事業者７０を接続する公衆網６０と、から構成される。

ＴＶ放送局４０は、各放送チャネル別に多様な内容のテーマをコンテンツにしてＤＭＢ方式で放送する。各チャネルで放送される放送信号は、車載端末機１０、移動通信端末機２０、又は家庭用端末機３０などで受信される。

また、ＴＶ放送局４０は、放送信号を公衆網６０を介して有線で放送することができる。例えば、ＴＶ放送局４０は、公衆網６０に接続されたインターネットサーバ５０に既に放送されたコンテンツをファイル単位で保存して、有線接続された端末機が、その既に放送されたコンテンツを所望の時間に有線で視聴し得るようにする。

サービス事業者７０は、各チャネルの放送番組表、各番組の内容又はあらすじなどを文字データで作成して、公衆網６０を介してＴＶ放送局４０に伝送する。ＴＶ放送局４０は、固定的に割り当てられたＥＰＧ（Electronic Program Guide）チャネルでデータ放送を行う。

車載端末機１０、移動通信端末機２０、又は家庭用端末機３０は、ＴＶ放送局４０のＥＰＧチャネルでデータ伝送される番組表を受信し、該番組表によって放送番組を選択して受信することができる。

以下、従来の端末機の画像記録方法を図９に基づいて説明する。端末機は、ＴＶ放送受信機能及びカメラ機能を備えており、このような機能により取得した画像を記録する方法は次のとおりである。

まず、端末機のＴＶ放送受信機能が選択されると（Ｓ１０）、複数の放送チャネルのいずれか１つのチャネルが選択され、該選択されたチャネルで受信される放送画像を画面に出力する（Ｓ２０）。このとき、端末機の画面に出力される放送画像中の特定場面をキャプチャして保存することができる（Ｓ３０）。また、端末機の画面に出力される放送画像を所定時間録画して動画を保存することもできる。

次に、カメラ撮影機能が選択されると（Ｓ４０）、撮影しようとする被写体を選択してプレビュー画像（映像）を画面に表示する（Ｓ５０）。その後、撮影選択ボタンが押されると、選択された被写体を撮影して保存する（Ｓ６０）。もし、カメラ機能に動画の録画機能が含まれていると、選択された被写体を所定時間録画して保存することができる。

このように、端末機は、ＴＶ放送受信機能により受信した動画又は静止画を保存することができ、カメラ機能により撮影された動画又は静止画も保存することができる。

しかしながら、ＴＶ放送受信機能により保存された画像とカメラ機能により保存された画像とは別の画像であり、従来の端末機は、これら２つの画像を合成する機能はサポートしていなかった。

本発明は、このような従来技術の問題を解決するためになされたもので、放送画像受信機能を備えた端末機において、放送画像をキャプチャして端末機に保存されている他の画像と多様な方式で合成し得る画像合成装置及び画像合成方法を提供することを目的とする。

また、本発明の他の目的は、受信中の放送画像と撮影のために提供されるプレビュー画像とを合成して、これら２つの画像を１つの画面で同時に確認し得る画像合成装置及び画像合成方法を提供することにある。

さらに、本発明の他の目的は、放送画像とプレビュー画像との合成画像を１つの画面に表示することにより、ＴＶ放送受信機能及び撮影機能を同時に実行し得る画像合成装置及び画像合成方法を提供することにある。

このような目的を達成するために、本発明に係る放送画像信号を受信する端末機の画像合成装置は、放送画像の特定場面をキャプチャして保存する第１モジュールと、前記端末機に保存されている画像から第１画像を選択して半透明画像に変換する第２モジュールと、前記端末機に保存されている画像から第２画像を選択し、該第２画像上に前記第１画像をオーバーラップさせる第３モジュールと、を含むことを特徴とする。

また、本発明に係る放送画像信号を受信する端末機の画像合成装置は、放送画像の特定場面をキャプチャして保存する第１モジュールと、前記端末機に保存されている画像から第１画像及び第２画像を選択して半透明画像に変換する第２モジュールと、前記第２画像上に前記第１画像をオーバーラップさせる第３モジュールと、を含むことを特徴とする。

さらに、本発明に係る放送画像信号を受信する端末機の画像合成装置は、放送画像の特定場面をキャプチャして保存する第１モジュールと、前記端末機に保存されている画像から第１画像を選択して縮小する第２モジュールと、前記端末機に保存されている画像から第２画像を選択し、該第２画像上に前記第１画像をオーバーラップさせる第３モジュールと、を含むことを特徴とする。

さらにまた、本発明に係る放送画像信号を受信する端末機の画像合成装置は、放送画像の特定場面をキャプチャして保存する第１モジュールと、前記端末機に保存されている画像から第１画像を選択し、該第１画像からオブジェクト画像を抽出する第２モジュールと、前記端末機に保存されている画像から第２画像を選択し、該第２画像上に前記オブジェクト画像をオーバーラップさせる第３モジュールと、を含むことを特徴とする。

さらにまた、本発明に係る放送画像信号を受信する端末機の画像合成装置は、放送画像の特定場面をキャプチャして保存する第１モジュールと、前記端末機に保存されている画像から第１画像を選択して、該第１画像を、半透明画像に変換し、該第１画像を縮小し、又は該第１画像からオブジェクト画像を抽出する第２モジュールと、前記端末機に保存されている画像から第２画像を選択し、該第２画像上に前記半透明画像、前記縮小された画像、又は前記オブジェクト画像をオーバーラップさせる第３モジュールと、を含むことを特徴とする。

さらにまた、本発明に係る放送画像受信機能を備えた端末機の画像合成方法は、放送画像をキャプチャして保存する段階と、前記端末機に保存されている画像から第１画像及び第２画像を選択する段階と、前記端末機に設定された画像合成モードに従って前記第１画像を変換する段階と、前記第２画像に前記第１画像をオーバーラップさせる段階と、を含むことを特徴とする。

本発明に係る端末機の画像合成装置及び画像合成方法は、放送画像（映像）をキャプチャして、他の画像とＰＩＰ方式、ＯＳＤ方式、又はオブジェクト抽出方式で合成する機能を端末機に付加することにより、端末機使用者の多様な要求を満たし得るという効果がある。

また、本発明は、カメラ撮影のためのプレビュー画像（映像）と放送受信部で受信した放送画像とを１つの画面に合成して表示することにより、カメラ撮影機能及び放送受信機能を同時に実現し得るという効果がある。

以下、本発明に係る端末機の画像合成装置及び画像合成方法の好ましい実施形態を添付の図面に基づいて説明する。

図１は本発明に係る端末機の画像合成装置の構成を示すブロック図である。

図１に示すように、本発明に係る端末機は、デジタルマルチメディア放送を受信する放送受信部１２０と、静止画又は動画を撮影するカメラ１３０と、端末機に入力される画像信号を加工する画像処理部１４０と、画像を視覚的に出力する表示部１５０と、使用者の命令が入力される入力部１６０と、画像データを含む各種データを保存する保存部１７０と、これら各構成要素を制御する制御部１１０と、を含んで構成される。

カメラ１３０は、被写体を撮影し、撮影した光信号を電気信号に変換するカメラセンサを備える。ここで、該カメラセンサは、ＣＣＤセンサで実現することができる。また、本発明においては、カメラ１３０を内蔵型カメラと仮定しているが、携帯用端末機に外部接続したカメラも同様に適用することができる。カメラ１３０により撮影された画像は、保存部１７０の割り当てられた領域に保存される。

画像処理部１４０は、合成モジュール１４１と、アルファブレンディングモジュール１４２と、オブジェクト抽出モジュール１４３と、キャプチャモジュール１４４と、を含んで構成される。

アルファブレンディングモジュール１４２は、放送画像及び撮影画像から選択された画像を半透明画像に変換するもので、制御部１１０の制御により、選択された画像が、背景画像上に合成されても該背景画像を確認し得るように、その選択された画像を半透明に画像処理する。

オブジェクト抽出モジュール１４３は、放送受信部１２０が受信した放送画像、又はカメラ１３０により撮影された撮影画像から、指定されたオブジェクトの輪郭を抽出する。

キャプチャモジュール１４４は、受信中の放送画像の特定場面をキャプチャするか、端末機に保存された放送画像又は撮影された動画の再生時に特定場面をキャプチャする。キャプチャモジュール１４４によりキャプチャされた画像は、保存部１７０に保存される。

合成モジュール１４１は、アルファブレンディング処理された対象画像を背景画像とＯＳＤ（On Screen Display）合成するか、対象画像を縮小して背景画像とＰＩＰ（Picture In Picture）合成するか、又はオブジェクト抽出された対象画像を背景画像上にオーバーラップさせる。

制御部１１０は、放送受信部１２０、カメラ１３０、画像処理部１４０、表示部１５０、入力部１６０、及び保存部１７０を次のように制御する。

制御部１１０は、放送受信部１２０により受信された映像（放送画像）の選択された区間、カメラ１３０により撮影された画像、及び放送画像をキャプチャした場面のデータを保存部１７０に保存する。

また、制御部１１０は、入力部１６０から受信した命令信号により、対象画像信号を、オブジェクト抽出モジュール１４３に出力して、指定されたオブジェクトの輪郭を抽出させるか、アルファブレンディングモジュール１４２に出力して、背景画像が見えるように半透明画像に変換させるか、又は信号処理していない状態で合成モジュール１４１に出力する。

さらに、制御部１１０は、合成モジュール１４１を制御して、対象画像を縮小して背景画像の指定された位置にＰＩＰ合成させて出力するか、アルファブレンディングされた対象画像を背景画像上にＯＳＤ合成させて出力するか、又はオブジェクト抽出された対象画像を背景画像上にオーバーラップさせて出力する。また、入力部１６０により入力された命令信号により、対象画像と背景画像とを切り換えて（入れ替えて）合成することができる。

以下、合成モジュール１４１の構成を図２に基づいて説明する。

合成モジュール１４１は、選択された放送画像と撮影画像とを合成して出力するもので、制御部１１０の制御により、受信された放送画像及びカメラ撮影された画像から選択された画像のサイズを縮小して、背景画像の指定された位置に出力するＰＩＰモジュール１４１ａと、制御部１１０の制御により、受信された放送画像及びカメラ撮影された画像から選択された画像をアルファブレンディング処理して背景画像上にオーバーラップさせて出力するＯＳＤモジュール１４１ｂと、制御部１１０の制御により、受信された放送画像又はカメラ撮影された画像のうち選択された画像から特定オブジェクトを抽出して、背景画像上にオーバーラップさせて出力するオブジェクト合成モジュール１４１ｃと、から構成される。

すなわち、合成モジュール１４１は、制御部１１０の制御により、入力される放送画像と撮影画像とを、対象画像と背景画像とに区分し、対象画像をＰＩＰ処理、ＯＳＤ処理、又はオブジェクト抽出して、背景画像上にオーバーラップさせて出力する。よって、端末機使用者は、１つの画面で放送画像と撮影画像とを同時に見ることができる。

以下、このように構成された端末機の画像合成装置の動作について説明する。ここで、本発明に係る端末機は、基本的な通信機能の他に、ＴＶ放送受信機能及びカメラ機能を備えていることを前提とする。

端末機の保存部１７０には、撮影画像及び放送画像が保存され、これら撮影画像及び放送画像からキャプチャされた部分、又は、オブジェクト抽出された部分も、別途に保存される。画像処理部１４０は、保存部１７０に保存された撮影画像及び放送画像を使用して合成処理過程を行う。

制御部１１０は、入力部１６０から受信した命令信号を分析して該当機能を行う。制御部１１０は、ＴＶ放送信号を受信することを指示する命令信号が入力された場合、放送受信部１２０を制御して、該当ＴＶチャネルが放送するコンテンツを受信し、該受信した放送画像を表示部１５０に出力する。また、表示部１５０に放送画像を出力しているときに、入力部１６０からキャプチャ命令信号を受信すると、その瞬間の画像（又は、映像）をキャプチャし、該キャプチャした画像（動画又は静止画）を保存部１７０に保存する。

また、制御部１１０は、入力部１６０に被写体を撮影することを指示する命令信号が入力された場合、カメラ１３０を制御して該当被写体を撮影し、該撮影した画像を保存部１７０に保存する。さらに、制御部１１０は、保存部１７０に保存された撮影画像と放送画像とを、ＰＩＰ方式で合成するか、ＯＳＤ方式で合成するか、又はオブジェクト抽出方式で合成するかを判断する。

一例として、ＰＩＰ方式で合成する場合を説明する。まず、編集する対象画像信号が合成モジュール１４１のＰＩＰモジュール１４１ａに出力される。次に、ＰＩＰモジュール１４１ａは、縮小サイズが指定されると、対象画像を指定されたサイズに縮小し、背景画像に合成される位置が指定されると、縮小した対象画像を指定された位置に合成する。このように合成された画像は、保存部１７０に保存されると共に表示部１５０に出力される。

なお、ＰＩＰモジュールとは別途のモジュールを用いて、対象画像を指定されたサイズに縮小するようにしてもよい。この場合、別途のモジュールにより縮小された対象画像が、背景画像信号と共に、ＰＩＰモジュール１４１ａに出力されるようにする。ＰＩＰモジュール１４１ａは、縮小された対象画像を、指定された背景画像の位置にオーバーラップさせて（又は、挿入して）合成する。このように合成された画像は、保存部１７０に保存されると共に表示部１５０に出力される。

ＰＩＰ機能を用いて、ＴＶ放送を視聴している状態でカメラ１３０により選択された被写体を撮影することができる。また、合成される対象画像のサイズをリアルタイムに調整することができるため、所望画像の編集及び合成が容易である。

他の例として、ＯＳＤ方式で合成する場合を説明する。アルファブレンディングモジュール１４２により半透明画像に変換された対象画像信号が、背景画像信号と共に、合成モジュール１４１のＯＳＤモジュール１４１ｂに出力される。ＯＳＤモジュール１４１ｂは、半透明画像に変換された対象画像を背景画像にオーバーラップする。このように合成された画像は、保存部１７０に保存されると共に表示部１５０に出力される。

さらに他の例として、オブジェクト抽出方式で合成する場合を説明する。まず、オブジェクト抽出モジュール１４３により抽出されたオブジェクト画像が、背景画像信号と共に、オブジェクト合成モジュール１４１ｃに出力される。オブジェクト合成モジュール１４１ｃは、オブジェクト画像の合成される位置が指定されると、背景画像の指定された位置にオブジェクト画像をオーバーラップして、表示部１４０に出力する。なお、オブジェクト合成モジュール１４１ｃは、背景画像にオーバーラップするオブジェクト画像のサイズを調整することができる。

このように、端末機は、対象画像を、縮小して背景画像の指定された位置に合成するＰＩＰ方式、対象画像を、アルファブレンディング処理して半透明画像に変換した後に合成するＯＳＤ方式、及び対象画像から指定されたオブジェクトの輪郭線に沿ってオブジェクトを抽出して背景画像にオーバーラップさせるオブジェクト合成方式をサポートしており、対象画像と背景画像とを、選択によって切り換えたり又は入れ替えることができる。

以下、本発明に係る端末機の画像合成方法の一実施形態を図３に基づいて説明する。ここで、本発明に係る端末機は、ＴＶ放送受信機能及びカメラ機能を備えていることを前提とする。

まず、ＴＶ放送受信機能が動作すると、端末機の画面に放送画像が出力される（Ｓ１０１）。該端末機の画面に放送画像が出力されているときに、キャプチャ命令信号を受信すると、キャプチャ命令を受信した瞬間に出力されている画像（動画又は静止画）を保存する（Ｓ１０２）。

その後、カメラ機能を動作させて撮影された画像（動画又は静止画）を保存する（Ｓ１０３）。ここでは、段階Ｓ１０１、Ｓ１０２の後に段階Ｓ１０３を実行するフローを説明したが、この順序は変更することができる。例えば、段階Ｓ１０３を、段階Ｓ１０１、Ｓ１０２よりも先に実行するようにしてもよい。

本発明は、放送画像と撮影画像とを合成するためのものであり、ＰＩＰ合成モード、ＯＳＤ合成モード、及びオブジェクト合成モードを提案する。従って、端末機は、画像を合成する前に、該端末機に設定された合成モードを確認する（Ｓ１０４）。

合成モードがＰＩＰ合成モードの場合、ＰＩＰ対象画像を選択する（Ｓ１０５）。ここで、ＰＩＰ対象画像は、ＴＶ放送画像からキャプチャした画像（動画又は静止画）、カメラ撮影のためのプレビュー画像（映像）、又はカメラ撮影により得られた画像であり得る。

次いで、ＰＩＰ対象画像のサイズ、及びＰＩＰ対象画像を挿入する画面の位置を指定する（Ｓ１０６）。ここで、ＰＩＰ対象画像は、画面の一部分に挿入される画像であるので、背景画像全体を遮蔽しないように縮小しなければならない。ＰＩＰ対象画像のサイズは、使用者の命令により設定することができ、ＰＩＰ対象画像のサイズ変更は、直ちに画面に反映されて出力される。ＰＩＰ対象画像が挿入される位置は、単に、左側上端、左側下端、右側上端、右側下端にすることもでき、ドラッグツールによりＰＩＰ対象画像を表示する位置を設定することもできる。

ＰＩＰ対象画像のサイズ及び位置が指定されると、該ＰＩＰ対象画像と背景画像とを合成する（Ｓ１１１）。ここで、背景画像は、メモリに保存されている放送画像（動画又は静止画）又は撮影画像（動画又は静止画）のいずれか一方である。その後、合成された画像は、端末機の画面に表示され、一時的又は半永久的にメモリに保存される（Ｓ１１２）。

合成モードがＯＳＤ合成モードの場合、ＯＳＤ対象画像を選択する（Ｓ１０７）。ここで、ＯＳＤ対象画像は、ＴＶ放送画像からキャプチャした画像（動画又は静止画）、カメラ撮影のためのプレビュー画像（映像）、又はカメラ撮影により得られた画像であり得る。

次いで、ＯＳＤ対象画像である不透明画像をアルファブレンディング処理して半透明画像に変換する（Ｓ１０８）。ここで、アルファブレンディング処理における透明度は調整可能である。

ＯＳＤ対象画像が半透明画像に変換されると、該ＯＳＤ対象画像と背景画像とを合成する（Ｓ１１１）。ここで、背景画像は、メモリに保存されている放送画像（動画又は静止画）又は撮影画像（動画又は静止画）のいずれか一方である。その後、合成された画像は、端末機の画面に表示され、一時的又は半永久的にメモリに保存される（Ｓ１１２）。

ここでは、ＯＳＤ対象画像をアルファブレンディング処理して半透明画像に変換し、背景画像は不透明画像をそのまま使用して、これら２つの画像を合成するように設定したが、合成する２つの画像を全てアルファブレンディング処理により半透明画像に変換して合成するように設定することもできる。

合成モードがオブジェクト合成モードの場合、メモリに保存された撮影画像及び放送画像からオブジェクトを抽出する画像を選択する（Ｓ１０９）。次に、選択された画像から、指定されたオブジェクトの輪郭線に沿って該当オブジェクト画像を抽出する（Ｓ１１０）。次いで、抽出されたオブジェクト画像を背景画像と合成する（Ｓ１１１）。ここで、背景画像は、メモリに保存されている放送画像（動画又は静止画）又は撮影画像（動画又は静止画）のいずれか一方である。その後、合成された画像は、端末機の画面に表示され、一時的又は半永久的にメモリに保存される（Ｓ１１２）。

以上では、図３に基づいて、放送画像（動画又は静止画）と撮影画像（動画又静止画）とが既にメモリに保存されていることを前提とする、本発明に係る端末機の画像合成方法の一実施形態を説明したが、以下では、リアルタイムで合成画像を提供する画像合成方法を図４に基づいて説明する。

図４は本発明に係る端末機の画像合成方法の他の実施形態を示すフローチャートである。本発明に係る端末機は、カメラ機能及びＴＶ放送受信機能のマルチタスキングをサポートする。

まず、端末機のＴＶ放送受信機能を動作させた後にカメラ機能を動作させるか、又はカメラ機能を動作させた後にＴＶ放送受信機能を動作させる（Ｓ２０１、Ｓ２０２）。ＴＶ放送受信機能を用いる場合、画面に放送画像を出力しなければならず、カメラ機能を用いる場合、画面にプレビュー画像（映像）又は撮影された画像を出力しなければならない。従って、２つの機能を同時に用いる場合は、ＴＶ放送受信機能のために割り当てられる画面領域とカメラ機能のために割り当てられる画面領域とが区分されなければならない。或いは、ある１つの画像を半透明画像に変換して、他の不透明画像にオーバーラップさせて表示させなければならない。

このように、端末機でカメラ機能及びＴＶ放送受信機能が同時に動作するとき、各機能の画像（動画又は静止画）を、１つの画面に合成して表示させなければならない。そこで、本発明に係る合成方法では、ＰＩＰ合成モード及びＯＳＤ合成モードを提供する。

ＰＩＰ合成モードの場合、ＰＩＰ対象画像が、放送画像（動画又は静止画）であるか、又はプレビュー画像（映像）であるかを判別する（Ｓ２０３、Ｓ２０４）。

ＰＩＰ対象画像が放送画像であると、選択された放送画像を設定されたサイズに縮小する（Ｓ２０５）。ここで、ＰＩＰ対象画像は、画面の一部分に挿入される画像であるため、背景画像全体を遮蔽しないように縮小されなければならない。ＰＩＰ対象画像のサイズは、使用者の命令により設定されることができる。ＰＩＰ対象画像のサイズ変更は、直ちに画面に反映されて出力される。次いで、縮小されたＰＩＰ対象画像を挿入する画面の位置が指定される（Ｓ２０６）。ＰＩＰ対象画像が挿入される位置は、単に、左側上端、左側下端、右側上端、右側下端にすることもでき、ドラッグツールによりＰＩＰ対象画像の表示位置を設定することもできる。ＰＩＰ対象画像のサイズ及び位置が指定されると、該ＰＩＰ対象画像と背景画像とを合成する（Ｓ２１２）。

これに対して、ＰＩＰ対象画像がカメラ撮影のためのプレビュー画像であると、該プレビュー画像を縮小し、この縮小したプレビュー画像を挿入する画面の位置が指定されて、背景画像と合成する（Ｓ２０７〜Ｓ２０８）。

すなわち、背景画面に放送画像を出力すると共にＰＩＰ画面にカメラ撮影のためのプレビュー画像を表示するか、又は、背景画面にカメラ撮影のためのプレビュー画像を表示すると共にＰＩＰ画面に放送画像を出力して表示することができる。なお、背景画面とＰＩＰ画面とは、端末機に割り当てられた画面切換キーの切換操作により切り換える（入れ替える）ことができる。

このように合成された画像は、画面に表示されると共に、動画又は静止画としてメモリに保存される（Ｓ２１３）。

一方、ＯＳＤ合成モードの場合、ＯＳＤ対象画像が放送画像（動画又は静止画）であるか、又はプレビュー画像（映像）であるかを判別する（Ｓ２０９）。

ＯＳＤ対象画像が放送画像であると、不透明映像である放送画像をアルファブレンディング処理して半透明画像に変換する（Ｓ２１０）。ここで、アルファブレンディング処理のための透明度は調整可能である。ＯＳＤ対象画像が半透明画像に変換されると、該ＯＳＤ対象画像と背景画像とを合成する（Ｓ２１２）。

これに対して、ＯＳＤ対象画像がプレビュー画像であると、該プレビュー画像をアルファブレンディング処理して半透明画像に変換し（Ｓ２１１）、この変換された画像を背景画像と合成する（Ｓ２１２）。

すなわち、本発明に係る端末機は、不透明な放送画像上に半透明処理されたプレビュー画像を表示するか、又は、不透明なプレビュー画像上に半透明処理された放送画像を表示することができる。

ここで、ＯＳＤ対象画像をアルファブレンディング処理により半透明画像に変換し、背景画像は不透明画像をそのまま使用して、これら２つの画像を合成するように設定したが、合成する２つの画像を全てアルファブレンディング処理して半透明画像に変換し、合成するように設定することもできる。なお、カメラ機能により被写体が撮影された場合、撮影された画像は、プレビュー画像と同様の方式で画像処理されて、プレビュー画像が表示される位置に表示される。

図４には示していないが、オブジェクト抽出モードに設定されている場合、放送画像（動画又は静止画）又はプレビュー画像（映像）（又は、撮影画像）を背景画像とし、該背景画像に、既にメモリに保存されている抽出されたオブジェクト画像をオーバーラップさせることができる。このとき、背景画像は動画又は静止画であり、オーバーラップしたオブジェクト画像は静止画である。

以下、各合成モードにおける画像合成方法をより詳しく説明する。

まず、図５に基づいてＰＩＰ合成モードにおける画像合成方法を説明する。ここでは、放送画像（画像１）が背景画像に選択されており、撮影画像（画像２）がＰＩＰ対象画像に選択されている。

本発明に係る端末機は、マルチタスキングをサポートする端末機であって、放送受信部を動作させてＴＶ放送を受信しながら、カメラにより被写体を撮影することができる。このとき、カメラにより撮影するために画像をプレビューするプレビュー画像（映像）は、ＰＩＰ対象画像（画像２）であり、放送画像（画像１）の一部領域に表示される。

ＰＩＰ対象画像（画像２）のサイズ及び位置は調整可能であり、端末機の画面に表示される全体画像（画像３）を保存するか、又はＰＩＰ対象画像（画像２）のみを保存することもできる。すなわち、放送画像と撮影画像とが合成された画像（画像３）を保存することもでき、ＴＶ放送受信機能及びカメラ機能のマルチタスキングをサポートするために、放送画像（画像１）及び撮影画像（画像２）を全て画面に表示して、撮影画像（画像２）のみを保存することもできる。

ここでは、説明の便宜のために、放送画像を背景画像に設定し、撮影画像をＰＩＰ対象画像に設定したが、これらを逆に設定することもできる。従って、本発明は、カメラにより撮影しながらＰＩＰ画面でＴＶ放送を視聴する機能、及びＴＶ放送を視聴しながらＰＩＰ画面を使用して撮影する機能を実現することができる。

次に、図６に基づいてＯＳＤ合成モードにおける画像合成方法を説明する。ここでは、放送画像（画像１）がＯＳＤ対象画像に選択され、撮影画像（画像２）が背景画像に選択される。ＯＳＤ対象画像（画像１）はアルファブレンディング処理された半透明画像であり、不透明な背景画像（画像２）上に合成される。

本発明に係る端末機は、ＴＶ放送受信機能を動作させて放送画像（画像１）を画面に表示させた状態で、カメラ機能を動作させることができる。このとき、プレビュー画像を生成するための画像信号がアルファブレンディングモジュール１４２に出力されて、半透明なプレビュー画像が生成される。アルファブレンディングモジュール１４２が画像を半透明画像に変換するときの透明度は調整可能であり、入力部１６０により入力された使用者命令により決定することができる。

アルファブレンディングモジュール１４２が生成した半透明画像は、背景画像上にオーバーラップした状態で画面に表示され、該画面に表示された全体画像（画像３）が保存されるが、設定された動作モードによって、対象画像（画像１）又は撮影画像（画像２）を別途に保存することもできる。

ここでは、放送画像をＯＳＤ対象画像に設定し、撮影画像を背景画像に設定して、不透明な撮影画像上に半透明な放送画像を合成する場合について説明したが、逆に、不透明な放送画像上に半透明な撮影画像を合成することもできる。また、放送画像と撮影画像の両方を半透明な画像に変換してこれら２つの画像をオーバーラップさせるように実現することもできる。

次に、オブジェクト抽出方式で合成された画像を示す図７に基づいて、オブジェクト合成モードにおける画像合成方法を説明する。ここで、放送画像がオブジェクト抽出対象画像（画像１）に選択され、撮影画像が背景画像（画像２）に選択される。

放送受信部１２０がＴＶ放送信号を受信すると、表示部１５０に放送画像が出力され、キャプチャモジュール１４４は、表示部１５０に表示された放送画像をキャプチャする。また、オブジェクト抽出モジュール１４３は、キャプチャされた放送画像から指定されたオブジェクトの輪郭線に沿って該当オブジェクトを抽出する。ここで、オブジェクト抽出モジュール１４３は、放送画像以外の他の動画から、又は端末機に保存されている静止画から、オブジェクト画像を抽出することができる。

オブジェクト抽出モジュール１４３により抽出されたオブジェクト画像は、保存部１７０に保存され、合成モードでカメラ機能を動作させた場合、オブジェクト合成モジュール１４１ｃに出力される。また、オブジェクト合成モジュール１４１ｃは、撮影のために提供されるプレビュー画面（画像２）上に、抽出されたオブジェクト抽出対象画像（画像１の一部）をオーバーラップさせて、表示部１５０に出力する。また、オブジェクト合成モジュール１４１ｃにより合成された画像（画像３）は、表示部１５０に出力されると共に保存部１７０に保存される。

本発明に係る端末機の画像合成方法に関する説明において、ＴＶ放送受信機能による放送画像とカメラ機能による撮影画像とを合成する場合を例に挙げて説明したが、端末機が基地局から無線インターネットでダウンロードした画像、他の端末機から有無線通信でダウンロードした画像など、端末機に保存された全ての画像（動画、静止画）を使用して合成することができる。また、本発明に係る端末機の画像合成装置は、端末機に保存された放送画像と撮影画像以外の画像とを、ＰＩＰ合成モード、ＯＳＤ合成モード、及びオブジェクト合成モードにより合成することができる。

本発明に係る端末機の画像合成装置の構成を示すブロック図である。 図１の合成モジュールの構成を示すブロック図である。 本発明に係る端末機の画像合成方法の一実施形態を示すフローチャートである。 本発明に係る端末機の画像合成方法の他の実施形態を示すフローチャートである。 本発明に係る端末機のＰＩＰ合成画像を示す図である。 本発明に係る端末機のＯＳＤ合成画像を示す図である。 本発明に係る端末機のオブジェクト合成画像を示す図である。 一般のデジタルマルチメディア放送システムを示す構成図である。 従来の端末機の画像記録方法を示すフローチャートである。

符号の説明

１１０ 制御部
１２０ 放送受信部
１３０ カメラ
１５０ 表示部
１６０ 入力部
１７０ 保存部
１４０ 画像処理部
１４１ 合成モジュール
１４２ アルファブレンディングモジュール
１４３ オブジェクト抽出モジュール
１４４ キャプチャモジュール
１４１ａ ＰＩＰモジュール
１４１ｂ ＯＳＤモジュール
１４１ｃ オブジェクト合成モジュール

Claims (29)

1. 放送画像信号を受信する端末機において、
   放送画像の特定場面をキャプチャして保存する第１モジュールと、
   前記端末機に保存されている画像から第１画像を選択して半透明画像に変換する第２モジュールと、
   前記端末機に保存されている画像から第２画像を選択し、該第２画像上に前記第１画像をオーバーラップさせる第３モジュールと、
   を含むことを特徴とする端末機の画像合成装置。
2. 放送画像信号を受信する端末機において、
   放送画像の特定場面をキャプチャして保存する第１モジュールと、
   前記端末機に保存されている画像から第１画像及び第２画像を選択して、これらを半透明画像に変換する第２モジュールと、
   前記第２画像上に前記第１画像をオーバーラップさせる第３モジュールと、
   を含むことを特徴とする端末機の画像合成装置。
3. 前記第２モジュールに設定された透明度を調整する信号を入力する入力部をさらに含むことを特徴とする請求項１又は請求項２に記載の端末機の画像合成装置。
4. 前記端末機に保存されている画像は、前記端末機が無線インターネットでダウンロードした画像を含むことを特徴とする請求項１又は請求項２に記載の端末機の画像合成装置。
5. 前記端末機に保存されている画像は、前記端末機のカメラ機能により撮影された画像を含むことを特徴とする請求項１又は請求項２に記載の端末機の画像合成装置。
6. 放送画像信号を受信する端末機において、
   放送画像の特定場面をキャプチャして保存する第１モジュールと、
   前記端末機に保存されている画像から第１画像を選択して縮小する第２モジュールと、
   前記端末機に保存されている画像から第２画像を選択して、該第２画像上に前記第１画像をオーバーラップさせる第３モジュールと、
   を含むことを特徴とする端末機の画像合成装置。
7. 前記第３モジュールに前記第１画像と前記第２画像とを切り換える命令を入力する入力部をさらに含むことを特徴とする請求項６に記載の端末機の画像合成装置。
8. 前記第３モジュールは、指定された位置に前記縮小された画像をオーバーラップすることを特徴とする請求項６に記載の端末機の画像合成装置。
9. 前記端末機に保存されている画像は、前記端末機が無線インターネットでダウンロードした画像を含むことを特徴とする請求項６に記載の端末機の画像合成装置。
10. 前記端末機に保存されている画像は、前記端末機のカメラ機能により撮影された画像を含むことを特徴とする請求項６に記載の端末機の画像合成装置。
11. 放送画像信号を受信する端末機において、
    放送画像の特定場面をキャプチャして保存する第１モジュールと、
    前記端末機に保存されている画像から第１画像を選択し、該第１画像からオブジェクト画像を抽出する第２モジュールと、
    前記端末機に保存されている画像から第２画像を選択し、該第２画像上に前記オブジェクト画像をオーバーラップさせる第３モジュールと、
    を含むことを特徴とする端末機の画像合成装置。
12. 前記第３モジュールに前記オブジェクト画像のサイズを調整する命令を入力する入力部をさらに含むことを特徴とする請求項１１に記載の端末機の画像合成装置。
13. 前記端末機に保存されている画像は、前記端末機が無線インターネットでダウンロードした画像を含むことを特徴とする請求項１１に記載の端末機の画像合成装置。
14. 前記端末機に保存されている画像は、前記端末機のカメラ機能により撮影された画像を含むことを特徴とする請求項１１に記載の端末機の画像合成装置。
15. 放送画像信号を受信する端末機において、
    放送画像の特定場面をキャプチャして保存する第１モジュールと、
    前記端末機に保存されている画像から第１画像を選択して、該第１画像を、半透明画像に変換し、該第１画像を縮小し、又は該第１画像からオブジェクト画像を抽出する第２モジュールと、
    前記端末機に保存されている画像から第２画像を選択し、該第２画像上に、前記半透明画像、前記縮小された画像、又は前記オブジェクト画像をオーバーラップさせる第３モジュールと、
    を含むことを特徴とする端末機の画像合成装置。
16. 前記第３モジュールは、指定された位置に前記縮小された画像をオーバーラップするすることを特徴とする請求項１５に記載の端末機の画像合成装置。
17. 前記第３モジュールに前記縮小された第１画像と前記第２画像とを切り換える命令を入力する入力部をさらに含むことを特徴とする請求項１５に記載の端末機の画像合成装置。
18. 前記第２モジュールに設定される透明度を調整する信号が、前記入力部に入力されることを特徴とする請求項１７に記載の端末機の画像合成装置。
19. 前記端末機に保存されている画像は、前記端末機が無線インターネットでダウンロードした画像を含むことを特徴とする請求項１５に記載の端末機の画像合成装置。
20. 前記端末機に保存されている画像は、前記端末機のカメラ機能により撮影された画像を含むことを特徴とする請求項１５に記載の端末機の画像合成装置。
21. 放送画像受信機能を備えた端末機の画像合成方法において、
    放送画像をキャプチャして保存する段階と、
    前記端末機に保存されている画像から第１画像及び第２画像を選択する段階と、
    前記端末機に設定されている画像合成モードに従って前記第１画像を変換する段階と、
    前記第２画像に前記第１画像をオーバーラップさせる段階と、
    を含むことを特徴とする端末機の画像合成方法。
22. 前記画像合成モードが、前記第１画像を縮小して、該縮小した前記第１画像を前記第２画像上にオーバーラップさせて合成するＰＩＰ合成モードを含むことを特徴とする請求項２１に記載の端末機の画像合成方法。
23. 前記ＰＩＰ合成モードは、
    前記第１画像を縮小する段階と、
    指定された位置に前記縮小された第１画像を前記第２画像上にオーバーラップする段階と、
    をさらに含むことを特徴とする請求項２２に記載の端末機の画像合成方法。
24. 前記画像合成モードが、前記第１画像を半透明画像に変換して前記第２画像上にオーバーラップさせるＯＳＤ合成モードを含むことを特徴とする請求項２１に記載の端末機の画像合成方法。
25. 前記画像合成モードが、前記第１画像及び前記第２画像を半透明画像に変換し、前記第２画像上に前記第１画像をオーバーラップさせるＯＳＤ合成モードを含むことを特徴とする請求項２１に記載の端末機の画像合成方法。
26. 前記画像合成モードが、前記第１画像から選択されたオブジェクト画像を抽出して前記第２画像上にオーバーラップさせるオブジェクト抽出モードを含むことを特徴とする請求項２１に記載の端末機の画像合成方法。
27. 前記オーバーラップした画像を表示する段階と、
    前記第１画像と前記第２画像とを切り換える段階と、
    をさらに含むことを特徴とする請求項２１に記載の端末機の画像合成方法。
28. 前記端末機に保存されている画像は、前記端末機が無線インターネットでダウンロードした画像を含むことを特徴とする請求項２１に記載の端末機の画像合成方法。
29. 前記端末機に保存されている画像は、前記端末機のカメラ機能により撮影された画像を含むことを特徴とする請求項２１に記載の端末機の画像合成方法。