JP2004140670A - 画像処理装置および方法、画像表示装置および方法、画像配信装置および方法、並びにプログラム - Google Patents
画像処理装置および方法、画像表示装置および方法、画像配信装置および方法、並びにプログラム Download PDFInfo
- Publication number
- JP2004140670A JP2004140670A JP2002304517A JP2002304517A JP2004140670A JP 2004140670 A JP2004140670 A JP 2004140670A JP 2002304517 A JP2002304517 A JP 2002304517A JP 2002304517 A JP2002304517 A JP 2002304517A JP 2004140670 A JP2004140670 A JP 2004140670A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- data
- user
- attention target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
【課題】小さな若しくは解像度の低い表示デバイスに対しても、ユーザが所望するオブジェクトを、ユーザが視認可能な状態で常時表示させることができるようにする。
【解決手段】ユーザ注目対象抽出モジュール７３は、画像入力モジュール７１に入力された原画像データの中から、ユーザ注目対象設定モジュール７２により設定されたユーザ注目対象に対応するオブジェクトデータを抽出する。ユーザ注目対象調整モジュール７４、ユーザ注目対象合成モジュール７５、およびダウンコンバートモジュール７６は、ユーザ注目対象が他のオブジェクトよりも相対的に強調されるように、ユーザ注目対象のオブジェクトデータに基づいて原画像データを調整して、画像出力モジュール７７を介して出力する。本発明は、小さな若しくは解像度の低い表示デバイスを有する表示機器に適用可能である。
【選択図】 図１５
【解決手段】ユーザ注目対象抽出モジュール７３は、画像入力モジュール７１に入力された原画像データの中から、ユーザ注目対象設定モジュール７２により設定されたユーザ注目対象に対応するオブジェクトデータを抽出する。ユーザ注目対象調整モジュール７４、ユーザ注目対象合成モジュール７５、およびダウンコンバートモジュール７６は、ユーザ注目対象が他のオブジェクトよりも相対的に強調されるように、ユーザ注目対象のオブジェクトデータに基づいて原画像データを調整して、画像出力モジュール７７を介して出力する。本発明は、小さな若しくは解像度の低い表示デバイスを有する表示機器に適用可能である。
【選択図】 図１５
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、画像表示装置および方法、画像配信装置および方法、並びにプログラムに関し、特に、小さな若しくは解像度の低い表示デバイスに対しても、ユーザが所望するオブジェクトを、ユーザが視認可能な状態で常時表示させることができるようにした画像処理装置および方法、画像表示装置および方法、画像配信装置および方法、並びにプログラムに関する。
【０００２】
【従来の技術】
近年、地上波、衛星、または、ケーブル等を介したテレビジョン放送用の映像（例えば、ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ）方式、若しくはＰＡＬ（Ｐｈａｓｅ Ａｌｔｅｒｎａｔｉｎｇ ｂｙ ｌｉｎｅ）方式のＳＤ（ｓｔａｎｄａｒｄ ｄｅｆｉｎｉｔｉｏｎ）映像、または、ハイビジョンと一般的に称されるＨＤ（ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ）映像）は、据置型のテレビジョン受像機に代表される、ある程度の大きさをもった表示機器（以下、そのような表示機器を、据置型表示機器と称する）のみならず、携帯電話機や携帯型のテレビジョン受像機に代表される、動画像の表示が可能であるとともに、携帯可能な小型の表示機器（以下、そのような表示機器を、携帯型表示機器と称する）でも利用可能とされている。
【０００３】
据置型表示機器が、高精細画像であるＨＤ画像を標準的な画像であるＳＤ画像に変換して表示する場合、表示されるＳＤ画像は、ＨＤ画像であるが故に表現可能な精細さを多少失うことになるが、その画像の価値が著しく失われることはあまりない。これは、ＳＤ画像自体が、動画像を楽しむために必要な画素数を有しているとともに、ある一定以上の大きさの表示部を有する据置型表示機器が、ＳＤ画像を、解像度を落とさずに、その表示部に表示させることが可能なためである。
【０００４】
【発明が解決しようとする課題】
しかしながら、携帯型表示機器は、携帯可能が前提とされていることから、その表示部は、据置型表示機器に比較して遥かに小さなものが要求され、据置型表示機器に比較して画素数が少なくされたり、画素そのものが小さくされて構成される。従って、携帯型表示機器においては、もともとＨＤ画像やＳＤ画像であった画像がその小さな表示部に表示される場合、その画像に含まれる複数のオブジェクトのうちの小さなオブジェクトは、表示されないか、または、たとえ表示されたとしても、ユーザが視認することが困難な状態で表示されるという課題があった。
【０００５】
具体的には、例えば、いま、図１に示されるように、据置型表示機器１の表示部１−１に、野球の様子を表す画像１１が表示されるとともに、携帯型表示機器２の表示部２−１に、画像１１に対応する画像１２が表示されているとする。
【０００６】
この場合、図１に示されるように、据置型表示機器１の表示部１−１に表示される画像１１を構成するオブジェクト、即ち、バッター１１−１、ピッチャー１１−２、および、ボール１１−３のそれぞれは、全て明確に表示されている。従って、ユーザ（視聴者）は、画像１１が、ピッチャー１１−２がバッター１１−１に向かってボール１１−３を投げた状態を表した画像であることを視認できる。
【０００７】
これに対して、携帯型表示機器２の表示部１２には、バッター１１−１に対応するバッター１２−１と、ピッチャー１１−２に対応するピッチャー１２−２は小さいながら表示されているものの、ボール１１−３に対応するものは表示されていないか、若しくは、ユーザがそれを認識し辛い状態で表示されている。従って、ユーザは、携帯型表示機器２の表示部２−１に表示された画像１２が何を表しているのかを判断する場合、ピッチャー１２−２とバッター１２−１のみから想像しなければならず、その判断は困難である。
【０００８】
なお、実際には、画像１２だけではなく音声によっても状況が解説されるので、ユーザは、その音声によって、ピッチャー１２−２がバッター１２−１に対してボールを投げた状態であることをある程度は想像できる。
【０００９】
しかしながら、ユーザは、その投げられたボールを視認できないか、または、視認し辛いため、その後の状況を画像で把握することは困難であり、ラジオ放送のような音声のみの放送に対して、テレビジョン放送のような画像と音声の両者の放送が有しているメリットを享受できないことになってしまう。また、携帯型表示機器２は、音声を出せないような場所で利用されることも多く、そのような場合、ユーザは、野球の状況を、携帯型表示機器２の表示部２−１に表示される画像１２のみから判断しなければならないが、上述したように、その判断は困難である。
【００１０】
以下、図面を参照して、このように、図１の携帯型表示機器２の表示部２−１にボールが表示されない理由の３つの例を説明する。
【００１１】
はじめに、図２乃至図５を参照して、図１の携帯型表示機器２の表示部２−１にボールが表示されない理由の第１の例を説明する。
【００１２】
なお、第１の例では、例えば、図２に示されるように、据置型表示機器１の表示部１−１の解像度が、ＮＴＳＣ方式に規定される解像度（水平７２０画素、および垂直４８０画素の解像度であり、以下、このような解像度を、７２０×４８０画素と称する）とされている。また、携帯型表示機器２の表示部２−１の解像度が、水平１８０画素、および垂直１２０画素の解像度（以下、このような解像度を、１８０×１２０画素と称する）とされている。さらに、第１の例では、説明の都合上、据置型表示機器１の表示部１−１と携帯型表示機器２の表示部２−１の画素は同じ大きさとされている。
【００１３】
即ち、第１の例では、解像度だけが下げられる場合の例について説明する。具体的には、図２に示されるように、７２０×４８０画素の画像１１から１８０×１２０画素の画像１２に変換される場合の、変換前のボール１１−３と変換後のボール１２−３の様子の違いについて説明する。
【００１４】
なお、図３乃至図５のそれぞれに示されている１つの四角は１画素を表しており、それらの四角（画素）のうちの黒い四角（斜線が描画されている四角）はボールの１部を、白い四角は背景の１部を、それぞれ表しているとする。
【００１５】
図３は、８×８画素程度のボール１１−３（据置型表示機器１に表示される変換前のボール１１−３）が、２×２画素程度のボール１２−３（携帯型表示機器２に表示される変換後のボール１２−３）に変換されることを表している。
【００１６】
図４は、４×４画素程度のボール１１−３が、１×１画素程度のボール１２−３に変換されることを表している。
【００１７】
図５は、２×２画素程度のボール１１−３が、０×０画素のボール１２−３（即ち、表示されない）に変換されることを表している。
【００１８】
このように、７２０×４８０画素の画像１１から１８０×１２０画素の画像１２に変換される場合、変換後のボール１２−３の解像度は、画像１１に対する画像１２の解像度と同様に、変換前のボール１１−３に対して１／４の解像度となってしまう。
【００１９】
従って、図４と図５に示されるように、据置型表示機器１の表示部１−１に表示されるボール１１−３が４×４画素よりも少ない画素で構成されている場合、変換後のボール１２−３は消滅してしまい（携帯型表示機器２の表示部２−１には表示されず）、ユーザはそのボール１２−３を認識することはできない。
【００２０】
次に、図６乃至図９を参照して、図１の携帯型表示機器２の表示部２−１にボールが表示されない理由の第２の例について説明する。
【００２１】
なお、第２の例では、例えば、図６に示されるように、据置型表示機器１の表示部１−１の解像度と、携帯型表示機器２の表示部２−１の解像度のそれぞれが、同一の７２０×４８０画素とされている。さらに、第２の例では、説明の都合上、据置型表示機器１の表示部１−１の水平寸法が５０ｃｍとされ、また、携帯型表示機器２の表示部２−１の水平寸法が５ｃｍとされている。
【００２２】
即ち、第２の例では、解像度に変化はなく、画素の大きさが１０分の１になる場合の例について説明する。具体的には、図６に示されるように、７２０×４８０画素の水平寸法が５０ｃｍである画像１１から、７２０×４８０画素の水平寸法が５ｃｍである画像１２に変換される場合の、変換前のボール１１−３と変換後のボール１２−３の様子の違いについて説明する。
【００２３】
なお、図７乃至図９のそれぞれに示されている１つの四角（黒い四角）は、ボールを構成する１画素（ボールの一部）を表しているとする。
【００２４】
図７は、直径５．６ｍｍ程度のボール１１−３（据置型表示機器１に表示される変換前のボール１１−３）が、直径０．５６ｍｍ程度のボール１２−３（携帯型表示機器２に表示される変換後のボール１２−３）に変換されることを表している。
【００２５】
図８は、直径２．８ｍｍ程度のボール１１−３が、直径０．２８ｍｍ程度のボール１２−３に変換されることを表している。
【００２６】
図９は、直径１．４ｍｍ程度のボール１１−３が、直径０．１４ｍｍ程度のボール１２−３に変換されることを表している。
【００２７】
このように、画像１１から、画像１１と同一解像度であるものの水平寸法が１／１０になる画像１２に変換される場合、変換後のボール１２−３の直径（大きさ）も、変換前のボール１１−３のそれに対して１／１０（即ち、画像１２の水平寸法／画像１１の水平寸法）に縮小されてしまう。
【００２８】
従って、携帯型表示機器２は据置型表示機器１よりもユーザと接近して使用されるため、小さいものが比較的見易くなるものの、携帯型表示機器２に表示されているボール１２−３の直径が、図７乃至図９に示されるような１ｍｍにも満たない場合、ユーザは、画像１２のうちのボール１２−３の周辺をよほど凝視しなければ、ボール１２−３を視認することはできない。換言すると、そのような場合、ユーザは、ボール１２−３の位置を想像することができなければ、ボール１２−３を視認することは実質上不可能となってしまう。
【００２９】
次に、図１０乃至図１３を参照して、図１の携帯型表示機器２の表示部２−１にボールが表示されない理由の第３の例について説明する。
【００３０】
なお、第３の例では、例えば、図１０に示されるように、据置型表示機器１の表示部１−１の解像度が７２０×４８０画素とされ、また、携帯型表示機器２の表示部２−１の解像度が、１８０×１２０画素とされている。さらに、第３の例では、説明の都合上、据置型表示機器１の表示部１−１の水平寸法が５０ｃｍとされ、また、携帯型表示機器２の表示部２−１の水平寸法が５ｃｍとされている。
【００３１】
即ち、第３の例では、解像度が下がるとともに、画素の大きさも小さくなる（画素の大きさが５分の２になる）場合の例について説明する。具体的には、図１０に示されるように、７２０×４８０画素の水平寸法が５０ｃｍである画像１１から、１８０×１２０画素の水平寸法が５ｃｍである画像１２に変換される場合の、変換前のボール１１−３と変換後のボール１２−３の様子の違いについて説明する。
【００３２】
なお、図１１乃至図１３のそれぞれに示されている１つの四角は１画素を表しており、それらの四角（画素）のうちの黒い四角はボールの１部を、白い四角は背景の１部を、それぞれ表しているとする。
【００３３】
図１１は、８×８画素、かつ直径５．６ｍｍ程度のボール１１−３（据置型表示機器１に表示される変換前のボール１１−３）が、２×２画素、かつ直径０．５６ｍｍ程度のボール１２−３（携帯型表示機器２に表示される変換後のボール１２−３）に変換されることを表している。
【００３４】
図１２は、４×４画素、かつ直径２．８ｍｍ程度のボール１１−３が、１×１画素、かつ直径０．２８ｍｍ程度のボール１２−３に変換されることを表している。
【００３５】
図１３は、２×２画素、かつ直径１．４ｍｍ程度のボール１１−３が、０×０画素（直径０ｍｍ）のボール１２−３（即ち、表示されない）に変換されることを表している。
【００３６】
このように、７２０×４８０画素、かつ水平寸法５０ｃｍの画像１１から、１８０×１２０画素、かつ水平寸法５ｃｍの画像１２に変換される場合、変換後のボール１２−３の解像度が低下するとともに、変換後のボール１２−３の直径（大きさ）も縮小されてしまう。
【００３７】
従って、上述したように、ユーザは、直径が１ｍｍにも満たないボール１２−３を視認することは困難であるし、そもそも、図１３に示されるように、ボール１２−３自体が消滅してしまった場合（携帯型表示機器２の表示部２−１に表示されない場合）、そのボール１２−３を視認することは不可能である。
【００３８】
そこで、従来、上述した課題を解決すべく、例えば、配信されるコンテンツ（映像）が野球である場合、撮影者側（放送者側）が、撮影カメラを増やし、ピッチャーがボールを投げるまでの間、ピッチャーのみを大きく撮影し、ボールが投げられた後、バッターのみを大きく撮影するという手法を利用することで、ボールが小さくなり過ぎることを避けている。
【００３９】
しかしながら、この手法では、撮影に費やされるコストが増大するとともに、一度に見える範囲が限定されるため（画像に含まれるオブジェクトが限定されるため）、ユーザがその画像を見ても全体の状況を把握することが困難になるという新たな課題が発生してしまう。
【００４０】
或いは、例えば、据置型表示機器１に表示される画像に対して、何らかの画像処理（例えば、特許文献１参照）が施された画像を、携帯型表示機器２に表示させることも考えられるが、特許文献１に開示されているような、従来の画像処理が単に施されただけでは、上述した課題を解決することは困難である。即ち、携帯型表示機器２が、従来の画像処理が施された画像をたとえ表示させたとしても、ユーザが所望するオブジェクトを、ユーザが視認可能な状態で常時表示させることは困難である。
【００４１】
本発明は、このような状況に鑑みてなされたものであり、小さな若しくは解像度の低い表示デバイスに対しても、ユーザが所望するオブジェクトを、ユーザが視認可能な状態で常時表示させることができるようにするものである。
【００４２】
【特許文献１】
特開２００２−２３２７８２号公報
【００４３】
【課題を解決するための手段】
本発明の画像処理装置は、入力された第１の画像データの中から、予め設定されたオブジェクトに対応するオブジェクトデータを抽出する抽出手段と、抽出手段により抽出されたオブジェクトデータに対応するオブジェクトが、第１の画像データに対応する画像に含まれる他のオブジェクトよりも相対的に強調されるように、オブジェクトデータに基づいて第１の画像データを調整して第２の画像データを生成する生成手段と、生成手段により生成された第２の画像データに対応する画像の表示を制御する表示制御手段とを備えることを特徴とする。
【００４４】
生成手段は、抽出手段により抽出されたオブジェクトデータに対応するオブジェクトの、他のオブジェクトに対する相対的なサイズを変化させるサイズ変化手段と、サイズ変化手段によりサイズが変化されたオブジェクトを、第１の画像データに対応する画像のうちの、元のサイズのオブジェクトが配置されていた位置の上に配置させるように、オブジェクトデータを第１の画像データに合成して第２の画像データを生成する合成手段とを有するようにすることができる。
【００４５】
生成手段は、第１の画像データに対応する画像に対して、抽出手段により抽出されたオブジェクトデータに対応するオブジェクトの色が調整された画像に対応する第２の画像データを生成するようにすることができる。
【００４６】
生成手段は、第１の画像データのうちの、抽出手段により抽出されたオブジェクトデータ以外のデータが調整された第２の画像データを生成するようにすることができる。
【００４７】
生成手段は、抽出手段により抽出されたオブジェクトデータに対応するシンボルを生成し、第１の画像データに対応する画像に対して、生成したシンボルがさらに付加された画像に対応する第２の画像データを生成するようにすることができる。
【００４８】
生成手段は、抽出手段により抽出されたオブジェクトデータに対応するシンボルを生成し、第１の画像データに対応する画像に対して、オブジェクトの代わりに、生成したシンボルが配置された画像に対応する第２の画像データを生成するようにすることができる。
【００４９】
オブジェクトを設定する設定手段をさらに設け、抽出手段は、第１の画像データの中から、設定手段により設定されたオブジェクトに対応するオブジェクトデータを抽出するようにすることができる。
【００５０】
設定手段は、第１の画像データの特徴に基づいて、自分自身の判断でオブジェクトを設定するようにすることができる。
【００５１】
ユーザの操作により、ユーザが所望するオブジェクトを指示する情報を入力する入力手段をさらに設け、設定手段は、入力手段より入力された情報に基づいてオブジェクトを設定するようにすることができる。
【００５２】
オブジェクトの候補となるオブジェクト候補が複数個存在し、入力手段は、複数のオブジェクト候補のうちのユーザにより選択された所定の１つを、オブジェクトとして指示する情報を入力するようにすることができる。
【００５３】
第１の画像データは、動画像のうちの第１のアクセスユニットを構成する画像データであり、抽出手段は、第１のアクセスユニットよりも前の第２のアクセスユニット、若しくは後の第３のアクセスユニット、または第２のアクセスユニットと第３のアクセスユニットの両方に基づいて、第１のアクセスユニット内のオブジェクトの位置を推定し、推定した位置に基づいて、第１のアクセスユニット内のオブジェクトに対応するオブジェクトデータを抽出するようにすることができる。
【００５４】
本発明の画像処理方法は、画像の表示を制御する画像処理装置の画像処理方法であって、入力された第１の画像データの中から、予め設定されたオブジェクトに対応するオブジェクトデータを抽出する抽出ステップと、抽出ステップの処理により抽出されたオブジェクトデータに対応するオブジェクトが、第１の画像データに対応する画像に含まれる他のオブジェクトよりも相対的に強調されるように、オブジェクトデータに基づいて第１の画像データを調整して第２の画像データを生成する生成ステップと、生成ステップの処理により生成された第２の画像データに対応する画像の表示を制御する表示制御ステップとを含むことを特徴とする。
【００５５】
本発明の第１のプログラムは、画像の表示を制御する処理をコンピュータに実行させるプログラムであって、入力された第１の画像データの中から、予め設定されたオブジェクトに対応するオブジェクトデータを抽出する抽出ステップと、抽出ステップの処理により抽出されたオブジェクトデータに対応するオブジェクトが、第１の画像データに対応する画像に含まれる他のオブジェクトよりも相対的に強調されるように、オブジェクトデータに基づいて第１の画像データを調整して第２の画像データを生成する生成ステップと、生成ステップの処理により生成された第２の画像データに対応する画像の表示を制御する表示制御ステップとを含むことを特徴とする。
【００５６】
本発明の画像処理装置および方法、並びに第１のプログラムにおいては、入力された第１の画像データの中から、予め設定されたオブジェクトに対応するオブジェクトデータが抽出され、抽出されたオブジェクトデータに対応するオブジェクトが、第１の画像データに対応する画像に含まれる他のオブジェクトよりも相対的に強調されるように、オブジェクトデータに基づいて第１の画像データが調整されて第２の画像データが生成され、生成された第２の画像データに対応する画像の表示が制御される。
【００５７】
本発明の画像処理装置は、内蔵する表示デバイスに対して表示の制御を行ってもよいし、外部の表示デバイスに対して表示の制御を行ってもよい。
【００５８】
また、第１の画像データは、他の装置より配信または放送されてくるリアルタイムの画像データであってもよいし、記録媒体や画像処理装置に内蔵するメモリに一度記憶された画像データであってもよい。
【００５９】
本発明の画像表示装置は、画像を表示する表示手段と、入力された第１の画像データの中から、予め設定されたオブジェクトに対応するオブジェクトデータを抽出する抽出手段と、抽出手段により抽出されたオブジェクトデータに対応するオブジェクトが、第１の画像データに対応する画像に含まれる他のオブジェクトよりも相対的に強調されるように、オブジェクトデータに基づいて第１の画像データを調整して第２の画像データを生成する生成手段と、生成手段により生成された第２の画像データに対応する画像を、表示手段に表示させるように制御する表示制御手段とを備えることを特徴とする。
【００６０】
本発明の画像表示方法は、画像を表示する表示デバイスを備える画像表示装置の画像表示方法であって、入力された第１の画像データの中から、予め設定されたオブジェクトに対応するオブジェクトデータを抽出する抽出ステップと、抽出ステップの処理により抽出されたオブジェクトデータに対応するオブジェクトが、第１の画像データに対応する画像に含まれる他のオブジェクトよりも相対的に強調されるように、オブジェクトデータに基づいて第１の画像データを調整して第２の画像データを生成する生成ステップと、生成ステップの処理により生成された第２の画像データに対応する画像を、表示デバイスに表示させるように制御する表示制御ステップとを含むことを特徴とする。
【００６１】
本発明の第２のプログラムは、表示デバイスに対する画像の表示を制御する処理を、コンピュータに実行させるプログラムであって、入力された第１の画像データの中から、予め設定されたオブジェクトに対応するオブジェクトデータを抽出する抽出ステップと、抽出ステップの処理により抽出されたオブジェクトデータに対応するオブジェクトが、第１の画像データに対応する画像に含まれる他のオブジェクトよりも相対的に強調されるように、オブジェクトデータに基づいて第１の画像データを調整して第２の画像データを生成する生成ステップと、生成ステップの処理により生成された第２の画像データに対応する画像を、表示デバイスに表示させるように制御する表示制御ステップとを含むことを特徴とする。
【００６２】
本発明の画像表示装置および方法、並びに第２のプログラムにおいては、入力された第１の画像データの中から、予め設定されたオブジェクトに対応するオブジェクトデータが抽出され、抽出されたオブジェクトデータに対応するオブジェクトが、第１の画像データに対応する画像に含まれる他のオブジェクトよりも相対的に強調されるように、オブジェクトデータに基づいて第１の画像データが調整されて第２の画像データが生成され、生成された第２の画像データに対応する画像が、表示デバイスに表示される。
【００６３】
画像表示装置は、他の装置より配信または放送されてくるリアルタイムの画像データに対応する画像を表示してもよいし、記録媒体や画像処理装置に内蔵するメモリに一度記憶された画像データに対応する画像を表示してもよい。
【００６４】
本発明の画像配信装置は、配信すべき第１の画像データの中から、予め設定されたオブジェクトに対応するオブジェクトデータを抽出する抽出手段と、抽出手段により抽出されたオブジェクトデータに対応するオブジェクトが、第１の画像データに対応する画像に含まれる他のオブジェクトよりも相対的に強調されるように、オブジェクトデータに基づいて第１の画像データを調整して第２の画像データを生成する生成手段と、生成手段により生成された第２の画像データを配信する配信手段とを備えることを特徴とする。
【００６５】
本発明の画像配信方法は、画像データを配信する画像配信装置の画像配信方法であって、配信すべき第１の画像データの中から、予め設定されたオブジェクトに対応するオブジェクトデータを抽出する抽出ステップと、抽出ステップの処理により抽出されたオブジェクトデータに対応するオブジェクトが、第１の画像データに対応する画像に含まれる他のオブジェクトよりも相対的に強調されるように、オブジェクトデータに基づいて第１の画像データを調整して第２の画像データを生成する生成ステップと、生成ステップの処理により生成された第２の画像データを配信する配信ステップとを含むことを特徴とする。
【００６６】
本発明の第３のプログラムは、画像データの配信を制御する処理をコンピュータに実行させるプログラムであって、配信すべき第１の画像データの中から、予め設定されたオブジェクトに対応するオブジェクトデータを抽出する抽出ステップと、抽出ステップの処理により抽出されたオブジェクトデータに対応するオブジェクトが、第１の画像データに対応する画像に含まれる他のオブジェクトよりも相対的に強調されるように、オブジェクトデータに基づいて第１の画像データを調整して第２の画像データを生成する生成ステップと、生成ステップの処理により生成された第２の画像データの配信を制御する配信制御ステップとを含むことを特徴とする。
【００６７】
本発明の画像配信装置は、画像データを有線で配信してもよいし、無線で配信してもよい。或いは、本発明の画像配信装置は、画像データを、有線および無線の両方の通信方法で配信してもよい。
【００６８】
また、本発明の画像配信装置は、画像データのみを配信してもよいし、画像データとともに他のコンテンツを配信してもよい。
【００６９】
【発明の実施の形態】
図１４は、本発明が適用される画像処理装置または画像表示装置としての携帯型表示機器の構成例を表している。
【００７０】
図１４の携帯型表示機器２１において、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３２に記録されているプログラム、または記憶部３９からＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３３にロードしたプログラムに従って各種の処理を実行する。ＲＡＭ３３にはまた、ＣＰＵ３１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００７１】
ＣＰＵ３１、ＲＯＭ３２、およびＲＡＭ３３は、バス３４を介して相互に接続されている。このバス３４にはまた、入出力インタフェース３５も接続されている。
【００７２】
入出力インタフェース３５には、キーボード、マウスなどよりなる入力部３６、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）５１などよりなる出力部３７、デジタルビデオカメラ６１等の外部機器とのインタフェースとなる外部機器接続部３８、ハードディスクなどより構成される記憶部３９、および、アンテナ４１を介する他の無線通信装置（図示せず）との無線通信処理を実行する無線通信部４０が接続されている。
【００７３】
無線通信部４０の無線通信方式は、特に限定されず、例えば、ＩＥＥＥ８０２．１１ａ、若しくは８０２．１１ｂの無線ＬＡＮ、または、ブルートゥース等の汎用的な無線通信方式が使用可能である。或いは、携帯型表示機器２１が携帯電話機として機能する場合、無線通信部４０は、中継基地（図示せず）を介して他の携帯電話機（図示せず）と無線通信を行うための無線通信処理を実行する。さらにまた、携帯型表示機器２１がテレビジョン受像機として機能する場合、無線通信部４０は、放送事業者の情報処理装置より放送されるテレビジョン信号を受信するチューナとして機能する。
【００７４】
入出力インタフェース３５にはまた、必要に応じてドライブ４２が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブル記録媒体５２が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３９にインストールされる。
【００７５】
なお、本発明が適用される画像処理装置または画像表示装置の実施の形態は、図１４に示されるような携帯型のパーソナルコンピュータ２１に限定されず、様々な実施の形態が可能である。具体的には、例えば、ゲーム専用装置、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、携帯電話機、または、デジタル電化製品（例えば、携帯型のテレビジョン受像機）等様々な実施の形態が可能である。或いは、携帯型でなくとも、据置型の装置でもよい。例えば、大型の画面を有するテレビジョン受像機の中には、その表示部（画面）内の所定の小さな領域に、その領域以外の画面全体に表示されている画像とは異なる画像を縮小させて表示させる機能を有するものもある。そのような機能が利用される場合に、本発明が適用されてもよい。
【００７６】
図１５は、携帯型表示機器２１（図１４）が有している機能のうちの、後述する図１６のフローチャートに示されるユーザ注目対象調整処理を行う機能を実現するソフトウエアプログラムの構成例を表している。
【００７７】
図１５に示されるように、このソフトウエアプログラムは、画像入力モジュール７１、ユーザ注目対象設定モジュール７２、ユーザ注目対象抽出モジュール７３、ユーザ注目対象調整モジュール７４、ユーザ注目対象合成モジュール７５、ダウンコンバートモジュール７６、および、画像出力モジュール７７といった複数のモジュールにより構成されている。
【００７８】
これらの各モジュールのそれぞれは、１つの独立したアルゴリズムを持ち、かつ、そのアルゴリズムに従って固有の動作を実行する。即ち、各モジュールのそれぞれは、ＣＰＵ３１（図１４）により適宜読み出され、実行される。なお、後述する他のモジュールについても同様とされる。
【００７９】
画像入力モジュール７１は、原画像に対応する画像データを入力する。
【００８０】
なお、以下、画像データであることを強調する必要がない場合（画像データと画像を区別する必要がない場合）、単に、画像と称することもある。即ち、原画像に対応する画像データを、以下、単に原画像と称することもある。
【００８１】
画像入力モジュール７１は、原画像として、デジタルビデオカメラ６１が撮影している画像を、外部機器接続部３８を介して入力してもよいし、記憶部３９に予め記憶されている画像を入力してもよいし、或いは、他の無線通信装置（図示せず）から配信される画像を、アンテナ４１および無線通信部４０を介して入力してもよい。即ち、画像入力モジュール７１が原画像を入力する入力元は特に限定されず、その他、例えば、図１５には図示されていないが、図１４のドライブ４２に接続されたリムーバブル記録媒体５２が入力元とされてもよい。なお、後述する他の画像入力モジュールについても同様とされる。
【００８２】
ユーザ注目対象設定モジュール７２は、画像入力モジュール７１が入力した原画像の中から、ユーザが着目するオブジェクト（後述するように、他のオブジェクトに対して相対的に強調されて表示されるオブジェクト）を設定する。なお、以下、このようなユーザが着目するオブジェクトを、ユーザ注目対象と称する。
【００８３】
ユーザ注目対象抽出モジュール７３は、画像入力モジュール７１が入力した原画像の中から、ユーザ注目対象設定モジュール７２により設定されたユーザ注目対象に対応するデータを画像認識により抽出する。なお、所定のオブジェクト（この例では、ユーザ注目対象）に対応するデータを、画像データから画像認識により抽出する方法は、一般に多数知られており、ユーザ注目対象抽出モジュール７３は、このような方法のうちのいずれの方法を用いても構わない。
【００８４】
この例においては、例えば、画像入力モジュール７１が入力する原画像が動画像とされた場合、ユーザ注目対象抽出モジュール７３は、動きベクトルなど前後のフレームの抽出結果を利用して、ユーザ注目対象のデータを抽出する。このように、原画像が動画像とされた場合、ユーザ注目対象抽出モジュール７３は、動きベクトルなど前後のフレームの抽出結果を利用することで、容易にユーザ注目対象を特定することが可能になる。
【００８５】
ユーザ注目対象調整モジュール７４は、ユーザ注目対象抽出モジュール７３により抽出されたユーザ注目対象のデータを調整する。即ち、ユーザ注目対象調整モジュール７４は、原画像に含まれる他のオブジェクトに対してユーザ注目対象を相対的に強調させて表示させるために、ユーザ注目対象のデータに所定の画像処理を施す。この画像処理の方法は、特に限定されないが、この例においては、例えば、ユーザ注目対象調整モジュール７４は、ユーザ注目対象の画像サイズを他のオブジェクトに対して相対的に拡大する画像処理を、ユーザ注目対象のデータに行うとする。なお、画像を拡大または縮小する方法も一般に多数知られており、ユーザ注目対象調整モジュール７４は、このような方法のうちのいずれの方法を用いても構わない。
【００８６】
ユーザ注目対象合成モジュール７５は、ユーザ注目対象調整モジュール７４により調整されたユーザ注目対象のデータを、画像入力モジュール７１が入力した原画像（データ）に合成する。これにより、他のオブジェクトに対してユーザ注目対象が強調された画像（以下、このような画像を、ユーザ注目対象強調画像と称する）のデータが生成される。
【００８７】
ダウンコンバートモジュール７６は、ユーザ注目対象強調画像のデータのうちの、ダウンコンバート処理を施す必要があると判断したものに対して、ダウンコンバートを行なう。
【００８８】
具体的には、例えば、上述した図２乃至図５に示されるように、原画像の解像度（ダウンコンバートモジュール７６に入力された時点のユーザ注目対象強調画像の解像度）よりも表示部（この例では、ＬＣＤ５１）の解像度が低い場合、ダウンコンバートモジュール７６は、ダウンコンバート処理が必要であると判断し、ユーザ注目対象強調画像のデータに対して、ダウンコンバート処理を施した後、ダウンコンバートされたユーザ注目対象強調画像のデータを画像出力モジュール７７に供給する。
【００８９】
これに対して、上述した図６乃至図９に示されるように、原画像と表示部の解像度が同じである場合、ダウンコンバートモジュール７６は、ダウンコンバート処理が不要であると判断し、ユーザ注目対象強調画像のデータをそのまま（ダウンコンバート処理を行わず）画像出力モジュール７７に供給する。
【００９０】
画像出力モジュール７７は、ダウンコンバートモジュール７６より供給されたユーザ注目対象強調画像のデータを出力先のフォーマットに変換した後、出力先に対して出力する。出力先は、入力元と同様に特に限定されず、例えば、ＬＣＤ５１であってもよいし、記憶部３９であってもよいし、外部機器接続部３８に接続されたデジタルビデオカメラ６１であってもよいし、或いは、無線通信部４０であってもよい。出力先が無線通信部４０の場合、出力されたユーザ注目対象強調画像に対応する画像信号は、アンテナ４１を介して他の無線通信装置（図示せず）に送信される。なお、後述する他の画像出力モジュールについても同様とされる。
【００９１】
次に、図１６のフローチャートを参照して、図１５の携帯型表示機器２１のユーザ注目対象調整処理について説明する。
【００９２】
はじめに、ステップＳ１において、画像入力モジュール７１は、原画像を入力する。
【００９３】
なお、上述したように、原画像は、様々な入力元から入力が可能であるが、この例においては、例えば、画像入力モジュール７１は、原画像として、記憶部３９に予め記憶されていた図１７に示される画像８１−１に対応する画像データ（以下、単に原画像８１−１と称する）を入力するとする。
【００９４】
原画像８１−１は、従来の例で説明した野球の様子を表す画像１１（図１）に対応する画像とされている。即ち、原画像８１−１は、ピッチャー９２−１がバッター９１−１に向かってボール９３−１を投げた状態を表している。
【００９５】
ステップＳ２において、ユーザ注目対象設定モジュール７２は、ユーザ注目対象を設定する。
【００９６】
設定されるユーザ注目対象は、特に限定されないが、この例においては、例えば、ユーザ注目対象設定モジュール７２は、ユーザ注目対象としてボールを設定するとする。即ち、上述したように、野球を表している画像が携帯型表示機器（この例では、携帯型表示機器２１）に表示される場合、ユーザはボールの視認が困難になるという課題があった。そこで、この例においては、ユーザがボールを視認できるように、ユーザ注目対象としてボールが設定される。
【００９７】
なお、ユーザ注目対象設定モジュール７２におけるユーザ注目対象の設定方法は、特に限定されず、例えば、ユーザが入力部３６（図１４）を操作して、ユーザ注目対象としてボールを指定する情報をユーザ注目対象設定モジュール７２（図１４のＣＰＵ３１）に入力させ、ユーザ注目対象設定モジュール７２が、その入力された情報に基づいて、ユーザ注目対象としてボールを設定してもよい。或いは、ユーザ注目対象設定モジュール７２が、原画像８１−１を解析し、それが野球を表した画像であることを認識した後、自分自身の総合的な判断で、ユーザ注目対象としてボールを設定してもよい。
【００９８】
ステップＳ３において、ユーザ注目対象抽出モジュール７３は、ユーザ注目対象のデータを抽出する。即ち、この例においては、例えば、ユーザ注目対象抽出モジュール７３は、原画像８１−１の中から、ユーザ注目対象としてボール９３−１に対応する画像データ（以下、単にボール９３−１と称する）を抽出する。
【００９９】
ステップＳ４において、ユーザ注目対象調整モジュール７４は、ユーザ注目対象のデータを調整する。即ち、この例においては、例えば、ユーザ注目対象調整モジュール７４は、ユーザ注目対象抽出モジュール７３により抽出されたボール９３−１に対して拡大処理８２を施して、その画像サイズを大きくした画像データ９３−２（以下、そのような画像データを、単にボール９３−２と称する）を生成する。
【０１００】
ステップＳ５において、ユーザ注目対象合成モジュール７５は、ユーザ注目対象（データ）を原画像（データ）に合成する。即ち、この例においては、例えば、ユーザ注目対象合成モジュール７５は、画像入力モジュール７１が入力した原画像８１−１に、ユーザ注目対象調整モジュール７４により調整された（画像サイズが大きくされた）ボール９３−２を合成して、ユーザ注目対象強調画像８１−２に対応する画像データ（以下、単に、ユーザ注目対象強調画像８１−２と称する）を生成する。
【０１０１】
ステップＳ６において、ダウンコンバートモジュール７６は、ダウンコンバートの必要があるか否かを判定する。
【０１０２】
ステップＳ６において、ダウンコンバートの必要がないと判定された場合、ステップＳ８において、画像出力モジュール７７は、ユーザ注目対象強調画像８１−２を出力する。上述したように、様々な出力先が可能であるが、この例においては、例えば、出力先はＬＣＤ５１とされる。即ち、画像出力モジュール７７は、ユーザ注目対象強調画像８１−２に対応する画像データをＬＣＤ５１のフォーマットの画像信号に変換させてＬＣＤ５１に出力する。ＬＣＤ５１は、画像出力モジュール７７より出力された画像信号に対応するユーザ注目対象強調画像８１−２を表示する。
【０１０３】
この場合、図１７において、例えば、原画像８１−１が、上述した図６の画像１−１と同様に、７２０×４８０画素、かつ水平寸法５０ｃｍの画像とされ、ＬＣＤ５１が、７２０×４８０画素、かつ水平寸法５ｃｍとされると、ＬＣＤ５１には、７２０×４８０画素、かつ水平寸法５ｃｍのユーザ注目対象強調画像８１−２が表示される。ＬＣＤ５１に表示されるユーザ注目対象強調画像８１−２は、その全体の画像サイズが、原画像８１−１に比べて小さくなるものの、ユーザ注目対象強調画像８１−２に対するボール９３−２の相対的なサイズ（ボール９３−２の占める割合）は、原画像８１−１に対するボール９３−１の相対的なサイズよりも大きくなる。
【０１０４】
従って、ユーザは、ＬＣＤ５１に表示されたユーザ注目対象強調画像８１−２を見て、ピッチャー９２−１がボール９３−２をバッター９１−１に対して投げている状況であることを確実に視認することが可能になる。換言すると、上述した第２の例（解像度に変化はなく、画素の大きさが小さくなる例）に対する従来の課題を解決することが可能になる。
【０１０５】
これに対して、ステップＳ６において、ダウンコンバートの必要があると判定した場合、ダウンコンバートモジュール７６は、ステップＳ７において、ダウンコンバートを実行する。即ち、この例においては、例えば、ダウンコンバートモジュール７６は、ユーザ注目対象合成モジュール７５により生成されたユーザ注目対象強調画像８１−２に対してダウンコンバート処理を施し、ユーザ注目対象強調画像８１−３に対応する画像データとし、画像出力モジュール７７に供給する。
【０１０６】
そして、ステップＳ８において、画像出力モジュール７７は、ユーザ注目対象強調画像８１−３に対応する画像データをＬＣＤ５１のフォーマットの画像信号に変換させてＬＣＤ５１に出力する。ＬＣＤ５１は、画像出力モジュール７７より出力された画像信号に対応するユーザ注目対象強調画像８１−３を表示する。
【０１０７】
この場合、図１７において、例えば、原画像８１−１が、上述した図２の画像１−１と同様に、７２０×４８０画素の画像とされ、ＬＣＤ５１が、１８０×１２０画素とされると、ＬＣＤ５１には、１８０×１２０画素の解像度にダウンコンバートされたユーザ注目対象強調画像８１−３が表示される。
【０１０８】
このように、ＬＣＤ５１に表示されるユーザ注目対象強調画像８１−３は、原画像８１−１が単にダウンコンバートされたものではなく、原画像８１−１のボール９３−１よりも大きいボール９３−２が合成されたユーザ注目強調画像８１−２がダウンコンバートされたものである。その結果、ユーザ注目対象強調画像８１−３に対するボール９３−３の相対的なサイズ（ボール９３−３の占める割合）は、原画像８１−１に対するボール９３−１の相対的なサイズよりも大きくなっている。
【０１０９】
従って、ユーザは、ＬＣＤ５１に表示されたユーザ注目対象強調画像８１−３を見て、ピッチャー９２−２がボール９３−３をバッター９１−２に対して投げている状況であることを確実に視認することが可能になる。換言すると、上述した第１の例（解像度が低くなる例）および第３の例（解像度が低くなるとともに、画像の大きさが小さくなる例）に対する従来の課題を解決することが可能になる。
【０１１０】
このように、図１５のソフトウエアプログロムが搭載された図１４の携帯型表示機器２１は、ユーザ注目対象が他のオブジェクトよりも相対的に強調されたユーザ注目対象強調画像８１−２、またはユーザ注目対象強調画像８１−３を表示（または出力）することができるので、上述した従来の課題を解決することができるという効果を奏することが可能になる。
【０１１１】
ところで、上述した例では、ユーザ注目対象調整処理は、静止画像に対する処理とされたが、動画像とされても基本的に同様の処理が施される。ただし、動画像の場合、ユーザ注目対象抽出モジュール７３は、例えば、以下のようにしてユーザ注目対象のデータを抽出する。
【０１１２】
即ち、図１８は、動画像の場合、ユーザ注目対象抽出モジュール７３が、ユーザ注目対象（ボール）のデータを、その動きに追従させて抽出する様子を表している。
【０１１３】
画像１０１−１は、動画像を構成するフレームのうちの所定のフレームであり、原画像８１−１（図１７）と同様に、野球の様子を表している。即ち、画像１０１−１は、ピッチャー１１２−１がバッター１１１−１に向かってボール１１３−１を投げた状態を表している。
【０１１４】
画像１０１−２は、画像１０１−１の次（後）のフレームであり、ボール１１３−２が、画像１０１−１のボール１１３−１の位置に対して、ピッチャー１１２−２よりもバッター１１１−２側に進んでいることを表している（実際の画像１０１−２には、ボール１１３−１と点線の矢印は含まれない）。
【０１１５】
画像１０１−３は、画像１０１−２の次（後）のフレームであり、ボール１１３−３が、画像１０１−２のボール１１３−２の位置に対して、ピッチャー１１２−３よりもバッター１１１−３側にさらに進んでいることを表している（実際の画像１０１−３には、ボール１１３−２と点線の矢印は含まれない）。
【０１１６】
この場合、画像１０１−１が仮に動画像の最初のフレームとされ、画像入力モジュール７１が、原画像として画像１０１−１を入力すると、ユーザ注目対象抽出モジュール７３は、画像認識によりボール１１３−１を探索し、そのデータを抽出する。この探索処理は、画像１０１−１の全ての範囲に及ぶため大きな処理となり、それだけ処理時間もかかることになる。
【０１１７】
これに対して、動画像においては前後のフレームにおける差分は一般に小さいものであるため、画像入力モジュール７１が、原画像として、画像１０１−１の次のフレームである画像１０１−２を入力した場合、ユーザ注目対象抽出モジュール７３は、画像１０１−１におけるボール１１３−１の付近の領域を探索するだけで、ボール１１３−２のデータを抽出することが可能となる。即ち、この場合の探索処理は最初のフレーム（いまの場合、画像１０１−１）に対して小さな処理となり、その分、処理時間も短縮される。
【０１１８】
画像入力モジュール７１が、原画像として、画像１０１−２の次のフレームである画像１０１−３を入力した場合、ユーザ注目対象抽出モジュール７３は、画像１０１−２が原画像である場合と同様な方法によって、ボール１１３−３を探索できる。さらに、ユーザ注目対象抽出モジュール７３は、画像１０１−１から画像１０１−２への切り替わり時にボール１１３−１の位置とボール１１３−２の位置の間の距離（ボールの移動距離）を計測して、画像１０１−３におけるボール１１３−３の位置を予め推定することができるため、更に効率の良い探索が可能になる。
【０１１９】
このように、動画像においては、ユーザ注目対象抽出モジュール７３は、前後のフレームから、ユーザ注目対象設定モジュール７２により設定されたユーザ注目対象（この例では、ボール）の動きに追従した探索を行なうことで、画像認識による探索よりも効率のよい探索を行うことが可能になる。即ち、処理量が少なくかつ処理時間の短い探索が可能になる。
【０１２０】
さらに、ユーザ注目対象抽出モジュール７３は、画像認識により探索を行う場合、ユーザ注目対象と似たものが同じ画像内に含まれていると、誤った認識（探索）を行なう恐れもあるが、ユーザ注目対象（この例では、ボール）の動きに追従した探索を行う場合、ユーザ注目対象の前後のフレーム間の関係に基づいて探索を行うので、正しいユーザ注目対象をより正確かつより早く探索することが可能になる。
【０１２１】
なお、上述した例では、ユーザ注目対象（ボール）の位置が着目された探索が行われたが、位置以外の変化が利用される探索でも同様の効果がある。例えば、カメラが、画像１０１−１の状況をバッター１１１−１の後方から撮影した場合、ピッチャー１１２−１によって投げられたボール１１３−１は時々刻々と近づいて来ることになる。換言すると、ボールの大きさ（画像に対する相対的な大きさ）が時々刻々と大きくなる。ユーザ注目対象抽出モジュール７３は、この大きさの変化に追従することで、より効率良く、かつより正確に画像内のボールを特定することが可能になる。
【０１２２】
このように動画像においては、ユーザ注目対象抽出モジュール７３は、今回の処理の前に探索したユーザ注目対象の変化に追従して、処理対象の画像内のユーザ注目対象の探索を行なうことで、そのデータを抽出する。従って、ユーザ注目対象が効率良く探索されるとともに、誤った探索が行われる可能性も少なくなる。
【０１２３】
以上、携帯型表示機器２１のユーザ注目対象調整処理を実現するソフトウエアプログラムとして、図１５と図１６の例に基づいて説明したが、このソフトウエアプログラムは、図１５と図１６の例に限定されず、様々な実施の形態が可能である。
【０１２４】
そこで、以下、図１５と図１６の例とは異なるソフトウエアプログラムの例について説明する。
【０１２５】
具体的には、例えば、図１９は、携帯型表示機器２１（図１４）が有している機能のうちの、後述する図２０のフローチャートに示されるユーザ注目対象調整処理を行う機能を実現するソフトウエアプログラムの構成例を表している。
【０１２６】
図１９に示されるように、このソフトウエアプログラムは、図１５の画像入力モジュール７１乃至画像出力モジュール７７のそれぞれと同様の機能を有する画像入力モジュール１２１乃至画像出力モジュール１２７のそれぞれより構成されている。
【０１２７】
ただし、図１５の例では、ダウンコンバートモジュール７６は、ユーザ注目対象合成モジュール７５の後に配置されていたが、図１９の例では、ダウンコンバートモジュール１２６は、ユーザ注目対象合成モジュール１２５の前に配置されている。
【０１２８】
即ち、図１５の例では、先に、ユーザ注目対象合成モジュール７５が、画像入力モジュール７１が入力した原画像と、ユーザ注目対象調整モジュール７４により調整されたユーザ注目対象を合成して、ユーザ注目対象強調画像を生成した後、ダウンコンバートモジュール７６が、ユーザ注目対象強調画像のダウンコンバートを実行する。
【０１２９】
これに対して、図１９の例では、先に、ダウンコンバートモジュール１２６が、画像入力モジュール１２１が入力した原画像のダウンコンバートを実行し、その後、ユーザ注目対象合成モジュール１２５が、ダウンコンバートモジュール１２６によりダウンコンバートされた原画像と、ユーザ注目対象調整モジュール１２４により調整されたユーザ注目対象を合成して、ユーザ注目対象強調画像を生成する。
【０１３０】
次に、図２０のフローチャートを参照して、図１９の携帯型表示機器２１のユーザ注目対象調整処理について説明する。
【０１３１】
はじめに、ステップＳ２１において、画像入力モジュール１２１は、原画像を入力する。
【０１３２】
なお、上述したように、原画像は、様々な入力元から入力が可能であるが、この例においては、例えば、画像入力モジュール１２１は、原画像として、デジタルビデオカメラ６１が撮影した図２１に示される画像１３１−１に対応する画像データ（以下、単に原画像１３１−１と称する）を、外部機器接続部３８を介して入力するとする。
【０１３３】
原画像１３１−１は、従来の例で説明した野球の様子を表す画像１１（図１）に対応する画像とされている。即ち、原画像１３１−１は、ピッチャー１４２−１がバッター１４１−１に向かってボール１４３−１を投げた状態を表している。
【０１３４】
また、この例においては、例えば、デジタルビデオカメラ６１の表示部（図示せず）は、解像度が７２０×４８０画素とされている。即ち、画像１３１−１の解像度が７２０×４８０画素とされている。これに対して、携帯型表示機器２１のＬＣＤ５１の解像度が１８０×１２０画素とされている。
【０１３５】
さらに、説明の都合上、デジタルビデオカメラ６１の表示部の画素と携帯型表示機器２１のＬＣＤ５１の画素の大きさは、同じ大きさとされている。
【０１３６】
即ち、この例は、図２１に示されるように、解像度だけが下げられる場合の例である。換言すると、この例は、上述した図２乃至図５に示される従来の課題が発生する第１の例（７２０×４８０画素の画像から１８０×１２０画素の画像に変換される場合の第１の例）に対応する例であって、その第１の例の課題を解決することが可能な例である。
【０１３７】
次に、ステップＳ２２において、ユーザ注目対象設定モジュール１２２は、ユーザ注目対象を設定する。なお、この例においても、上述した例と同様に、ユーザ注目対象設定モジュール１２２は、ユーザ注目対象としてボールを設定するとする。
【０１３８】
ステップＳ２３において、ユーザ注目対象抽出モジュール１２３は、ユーザ注目対象のデータを抽出する。即ち、この例においては、例えば、ユーザ注目対象抽出モジュール１２３は、原画像１３１−１の中から、ユーザ注目対象としてボール１４３−１に対応する画像データ（以下、単にボール１４３−１と称する）を抽出する。
【０１３９】
ステップＳ２４において、ユーザ注目対象調整モジュール１２４は、ユーザ注目対象のデータを調整する。即ち、この例においては、例えば、ユーザ注目対象調整モジュール１２４は、ユーザ注目対象抽出モジュール１２３により抽出されたボール１４３−１に対してサイズ変換処理１３２を施して、その画像サイズを元のｎ倍の大きさにする。
【０１４０】
このサイズの変換率ｎは、特に限定されないが、この例においては、例えば、後述するように、原画像１３１−１が１／４倍ダウンコンバートされた画像１３１−２に対して、ボール１４３−１のｎ倍のサイズのボール１４３−５が合成されることになるので、少なくとも１／４よりも大きい値とされる。即ち、変換率ｎが１／４以下とされた場合、ボール１４３−５の画像１３１−３に対する相対的な大きさ（ボール１４３−５の占める割合）は、ボール１４３−１の画像１３１−１に対する相対的な大きさ（元の大きさ）よりも小さくなってしまう。そこで、この例においては、変換率ｎは、１／４よりも大きな値とされる。
【０１４１】
具体的には、変換率ｎが、１／４＜ｎ＜１とされた場合、ユーザ注目対象調整モジュール１２４は、処理１３２としてサイズ縮小処理を施して、ボール１４３−１に対して、その画像サイズがｎ（１／４＜ｎ＜１）倍縮小された画像データ１４３−３（以下、そのような画像データを、単にボール１４３−３と称する）を生成する。
【０１４２】
変換率ｎが１とされた場合、ユーザ注目対象調整モジュール１２４は、処理１３２として特に何の処理も施さず、ボール１４３−１をそのまま使用する。
【０１４３】
変換率ｎが、１＞ｎとされた場合、ユーザ注目対象調整モジュール１２４は、処理１３２としてサイズ拡大処理を施して、ボール１４３−１に対して、その画像サイズがｎ（１＞ｎ）倍拡大された画像データ１４３−４（以下、そのような画像データを、単にボール１４３−４と称する）を生成する。
【０１４４】
ステップＳ２５において、ダウンコンバートモジュール１２６は、ダウンコンバートの必要があるか否かを判定する。
【０１４５】
ステップＳ２５において、ダウンコンバートの必要がないと判定した場合、ダウンコンバートモジュール１２６は、特に何の処理も施さない。即ち、処理は、ステップＳ２７に進められる。
【０１４６】
これに対して、この例においては、ダウンコンバートモジュール１２６は、ステップＳ２５において、ダウンコンバートの必要があると判定し、ステップＳ２６において、画像入力モジュール１２１が入力した７２０×４８０画素の原画像１３１−１に対して、１／４のダウンコンバートを実行し、１８０×１２０画素の原画像１３１−２に対応する画像データ（以下、単に原画像１３１−２と称する）を生成する。
【０１４７】
この原画像１３１−２がＬＣＤ５１にそのまま表示された場合、上述した第１の例に対する従来の課題が発生する。そこで、この例においては、ステップＳ２７において、ユーザ注目対象合成モジュール１２５が、ダウンコンバートモジュール１２６によりダウンコンバートされた原画像１３１−２（１８０×１２０画素の原画像１３１−２）に、ユーザ注目対象調整モジュール１２４により調整されたボール１４３−５（ボール１４３−５は、変換率ｎが１／４＜ｎ＜１であった場合、ボール１４３−３であり、変換率ｎが１であった場合、ボール１４３−１であり、また、変換率ｎが１＞ｎであった場合、ボール１４３−４である）を合成して、ユーザ注目対象強調画像１３１−３に対応する画像データ（以下、単に、ユーザ注目対象強調画像１３１−３と称する）を生成する。
【０１４８】
ステップＳ２８において、画像出力モジュール１２７は、ユーザ注目対象強調画像１３１−３を出力する。なお、この例においても、上述した例と同様に、出力先はＬＣＤ５１とされる。即ち、画像出力モジュール１２７は、ユーザ注目対象強調画像１３１−３に対応する画像データをＬＣＤ５１のフォーマットの画像信号に変換させてＬＣＤ５１に出力する。ＬＣＤ５１は、画像出力モジュール１２７より出力された画像信号に対応するユーザ注目対象強調画像１３１−３を表示する。
【０１４９】
このように、ユーザ注目対象強調画像１３１−３の全体は、原画像１３１−１に対して１／４にダウンコンバートされているが、ユーザ注目対象強調画像１３１−３に含まれるボール１４３−５は、少なくとも１／４倍よりも大きなサイズにコンバートされている。換言すると、ユーザ注目対象強調画像１３１−３に対するボール１４３−５の相対的なサイズ（ボール１４３−５の占める割合）は、原画像１３１−１に対するボール１４３−１の相対的なサイズよりも大きくなっている。従って、ユーザは、ＬＣＤ５１に表示されたユーザ注目対象強調画像１３１−３を見て、ピッチャー１４２−２がボール１４３−５をバッター１４１−２に対して投げている状況であることを確実に視認することが可能になる。
【０１５０】
このように、図１９のソフトウエアプログロムが搭載された携帯型表示機器２１は、ユーザ注目対象が他のオブジェクトよりも強調されたユーザ注目対象強調画像１３１−３を表示（または出力）することができるので、上述した従来の課題を解決することができるという効果を奏することが可能になる。
【０１５１】
なお、上述した図１９の例の説明として、携帯型表示機器２１のＬＣＤ５１の解像度が不十分な場合（原画像１３１−１の解像度より低い場合）、即ち、上述した第１の例に対する従来の課題を解決する説明を行ったが、勿論、図１９の例においても、第２の例（解像度に変化はなく、画素の大きさが小さくなる例）や第３の例（解像度が低くなるとともに、画像の大きさが小さくなる例）に対する課題も解決することが可能である。
【０１５２】
さらに、図１５と図１６の例、および、図１９と図２０の例とは異なるソフトウエアプログラムの例が、図２２と図２３に示されている。
【０１５３】
即ち、図２２は、例えば、携帯型表示機器２１（図１４）が有している機能のうちの、後述する図２３のフローチャートに示されるユーザ注目対象調整処理を行う機能を実現するソフトウエアプログラムの構成例を表している。
【０１５４】
図２２に示されるように、このソフトウエアプログラムは、図１５の画像入力モジュール７１乃至画像出力モジュール７７のそれぞれと同様の機能を有する画像入力モジュール１５１乃至画像出力モジュール１５７のそれぞれより構成されている。
【０１５５】
ただし、図１５の例では、ダウンコンバートモジュール７６は、ユーザ注目対象合成モジュール７５の後に配置されていたが、図２２の例では、ダウンコンバートモジュール１５６は、画像入力モジュール１５１の直後に配置されている。
【０１５６】
即ち、図１５の例では、ユーザ注目対象合成モジュール７５が、画像入力モジュール７１が入力した原画像と、ユーザ注目対象調整モジュール７４により調整されたユーザ注目対象を合成して、ユーザ注目対象強調画像を生成した後、ダウンコンバートモジュール７６が、ユーザ注目対象強調画像に対してダウンコンバートを実行する。
【０１５７】
これに対して、図２２の例では、先に、ダウンコンバートモジュール１５６が、画像入力モジュール１５１が入力した原画像に対してダウンコンバートを実行する。その後、ユーザ注目対象抽出モジュール１５３が、そのダウンコンバートされた原画像の中から、ユーザ注目対象設定モジュール１５２により設定されたユーザ注目対象を抽出し、ユーザ注目対象調整モジュール１５４が、抽出されたユーザ注目対象を調整する。そして、ユーザ注目対象合成モジュール１５５が、ダウンコンバートモジュール１５６によりダウンコンバートされた原画像と、ユーザ注目対象調整モジュール１５４により調整されたユーザ注目対象を合成して、ユーザ注目対象強調画像を生成する。
【０１５８】
次に、図２３のフローチャートを参照して、図２２の携帯型表示機器２１のユーザ注目対象調整処理について説明する。
【０１５９】
はじめに、ステップＳ４１において、画像入力モジュール１５１は、原画像を入力する。
【０１６０】
なお、上述したように、原画像は、様々な入力元から入力が可能であるが、この例においては、例えば、画像入力モジュール１５１は、原画像として、他の装置（図示せず）より配信された図２４に示される画像１６１−１に対応する画像データ（以下、単に原画像１６１−１と称する）を、アンテナ４１および無線通信部４０を介して入力するとする。
【０１６１】
原画像１６１−１も、従来の例で説明した野球の様子を表す画像１１（図１）に対応する画像とされている。即ち、原画像１６１−１は、ピッチャー１７２−１がバッター１７１−１に向かってボール１７３−１を投げた状態を表している。
【０１６２】
ステップＳ４２において、ダウンコンバートモジュール１５６は、ダウンコンバートの必要があるか否かを判定する。
【０１６３】
ステップＳ４２において、ダウンコンバートの必要がないと判定した場合、ダウンコンバートモジュール１５６は、特に何の処理も施さない。即ち、処理は、ステップＳ４４に進められる。
【０１６４】
これに対して、この例においては、ダウンコンバートモジュール１５６は、ステップＳ４２において、ダウンコンバートの必要があると判定し、ステップＳ４３において、画像入力モジュール１５１が入力した原画像１６１−１に対して、１／４のダウンコンバートを実行し、原画像１６１−２に対応する画像データ（以下、単に原画像１６１−２と称する）を生成する。
【０１６５】
この原画像１６１−２がＬＣＤ５１にそのまま表示された場合、上述した従来の課題が発生する。そこで、この例においては、ステップＳ４４において、ユーザ注目対象設定モジュール１５２が、ユーザ注目対象を設定する。なお、この例においても、上述した例と同様に、ユーザ注目対象設定モジュール１５２は、ユーザ注目対象としてボールを設定するとする。
【０１６６】
ステップＳ４５において、ユーザ注目対象抽出モジュール１５３は、ユーザ注目対象のデータを抽出する。即ち、この例においては、例えば、ユーザ注目対象抽出モジュール１５３は、原画像１６１−２の中から、ユーザ注目対象としてボール１７３−２に対応する画像データ（以下、単にボール１７３−２と称する）を抽出する。
【０１６７】
このように、この例（図２２と図２３の例）においては、ユーザ注目対象抽出モジュール１５３が、ダウンコンバートされた原画像１６１−２の中から、ボール１７３−２を探索するので、上述した他の例のように、ダウンコンバートされていない元の原画像の中からボールを探索する場合の処理量に比較して、処理量の軽減が可能になる。
【０１６８】
ステップＳ４６において、ユーザ注目対象調整モジュール１５４は、ユーザ注目対象のデータを調整する。即ち、この例においては、例えば、ユーザ注目対象調整モジュール１５４は、ユーザ注目対象抽出モジュール１５３により抽出されたボール１７３−２に対してサイズ拡大処理１６２を施して、その画像サイズが拡大されたボールに対応する画像データ１７３−３（以下、そのような画像データを、単にボール１７３−３と称する）を生成する。
【０１６９】
ステップＳ４７において、ユーザ注目対象合成モジュール１５５は、ダウンコンバートモジュール１５６によりダウンコンバートされた原画像１６１−２に、ユーザ注目対象調整モジュール１５４により調整されたボール１７３−３を合成して、ユーザ注目対象強調画像１６１−３に対応する画像データ（以下、単に、ユーザ注目対象強調画像１６１−３と称する）を生成する。
【０１７０】
ステップＳ４８において、画像出力モジュール１５７は、ユーザ注目対象強調画像１６１−３を出力する。なお、この例においても、上述した例と同様に、出力先はＬＣＤ５１とされる。即ち、画像出力モジュール１５７は、ユーザ注目対象強調画像１６１−３に対応する画像データを、ＬＣＤ５１のフォーマットの画像信号に変換させてＬＣＤ５１に出力する。ＬＣＤ５１は、画像出力モジュール１５７より出力された画像信号に対応するユーザ注目対象強調画像１６１−３を表示する。
【０１７１】
このように、原画像１６１−１が１／４にダウンコンバートされた後、そのダウンコンバートされた原画像１６１−２の中からボール１７３−２が抽出され、抽出されたボール１７３−２が拡大されてボール１７３−３となり、その拡大されたボール１７３−３が、原画像１６１−２に合成されてユーザ注目対象強調画像１６１−３が生成される。従って、ユーザ注目対象強調画像１６１−３に対するボール１７３−３の相対的なサイズ（ボール１７３−３の占める割合）は、ダウンコンバートされる前の元の原画像１６１−１に対するボール１７３−１の相対的なサイズよりも大きくなる。これにより、ユーザは、ＬＣＤ５１に表示されたユーザ注目対象強調画像１６１−３を見て、ピッチャー１７２−２がボール１７３−３をバッター１７１−２に対して投げている状況であることを確実に視認することが可能になる。
【０１７２】
このように、図２２のソフトウエアプログロムが搭載された携帯型表示機器２１も、ユーザ注目対象が他のオブジェクトよりも強調されたユーザ注目対象強調画像１６１−３を表示（または出力）することができるので、他の例と同様に、上述した従来の課題を解決することができるという効果を奏することが可能になる。
【０１７３】
以上、図１４の携帯型表示機器２１が、ユーザ注目対象調整処理を行う例として、ユーザ注目対象を元の画像から抽出し調整してから、元の画像に合成することで、ユーザ注目対象を相対的に拡大する処理を行う３つの例（図１５と図１６の例、図１９と図２０の例、および、図２２と図２３の例）について説明した。
【０１７４】
勿論、ユーザ注目対象調整処理は、上述した３つの例に限定されず、様々な処理が可能である。即ち、ユーザ注目対象調整処理は、単に、ユーザ注目対象を他のオブジェクトに対して相対的に強調させて表示させることが可能な処理であればよい。
【０１７５】
例えば、携帯型表示機器２１は、ユーザ注目対象を拡大しその周辺部を縮小することで、ユーザ注目対象を強調して表示させてもよい。
【０１７６】
図２５乃至図２７を参照して、このようなユーザ注目対象調整処理の具体的な例について説明する。
【０１７７】
即ち、この例では、例えば、図２５の画像１８１−１が、オセロゲームの１場面を表す原画像とされている。また、原画像１８１−１のうちの、左から５升目、上から５升目の黒の駒１８２がユーザ注目対象として設定されている。
【０１７８】
この場合、上述した他の例と同様に、携帯型表示機器２１が、ユーザ注目対象である駒１８２を、原画像１８１−１から抽出し調整してから原画像１８１−１に合成するユーザ注目対象調整処理を実行した場合、図２６に示されるようなユーザ注目対象強調画像１８１−２が生成される。このように、オセロゲームのようなものに対して上述したユーザ注目対象調整処理の他の例が適用されると、拡大されたユーザ注目対象（駒）１８２が、その周辺部を隠してしまうユーザ注目対象強調画像１８１−２が生成されるという課題が発生する。
【０１７９】
そこで、このような場合、携帯型表示機器２１は、ユーザ注目対象調整処理として、図２７に示されるように、ユーザ注目対象（駒）１８２を拡大するとともに、その周辺部を逆に縮小した注目対象強調画像１８１−３を生成する処理を実行するとよい。図２７の注目対象強調画像１８１−３に示されるように、携帯型表示機器２１がこのようなユーザ注目対象調整処理を行うことで、ユーザ注目対象（駒）１８２の周辺部が隠れてしまうという課題（図２６に示されるような課題）を解決することが可能になる。
【０１８０】
このように、携帯型表示機器２１は、ユーザ注目対象を他のオブジェクトよりも強調して表示させるために、ユーザ注目対象そのものを調整してユーザ注目対象強調画像を生成するばかりではなく、ユーザ注目対象以外のオブジェクト（図２７の例では、ユーザ注目対象（駒）１８２の周辺部のオブジェクト）を調整してユーザ注目対象強調画像を生成してもよい。
【０１８１】
以上、携帯型表示機器２１のユーザ注目対象調整処理として、ユーザ注目対象を相対的に拡大する処理の例について説明したが、ユーザ注目対象調整処理は、これら上述した例に限定されない。即ち、ユーザ注目対象調整処理は、上述したように、単に、ユーザがユーザ注目対象を容易に認識できるような画像（ユーザ注目対象強調画像）の生成が可能な処理であればよい。
【０１８２】
具体的には、例えば、携帯型表示機器２１は、ユーザ注目対象調整処理として、図２８に示されるユーザ注目対象強調画像１９１−１、または、図２９に示されるユーザ注目対象強調画像１９１−２を生成する処理を実行してもよい。
【０１８３】
即ち、図２８のユーザ注目対象強調画像１９１−１は、上述した例と同様に、ピッチャー２０２−１がバッター２０１−１に向かってボール２０３−１を投げた状態を表す原画像から生成された画像である。ユーザ注目対象強調画像１９１−１においては、ユーザ注目対象であるボール２０３−１に対して矢印２０４が付加されることで、ボール２０３−１が強調されている（ユーザがボール２０３−１を容易に視認可能な画像とされている）。
【０１８４】
また、図２９のユーザ注目対象強調画像１９１−２も、図２８と同様に、ピッチャー２０２−１がバッター２０１−１に向かってボール２０３−１を投げた状態を表す原画像から生成された画像である。ユーザ注目対象強調画像１９１−２においては、図２８の矢印２０４に対して、ボール２０３−１の周りを囲む円２０５が付加されることで、ボール２０３−１が強調されている（ユーザがボール２０３−１を容易に視認可能な画像とされている）。
【０１８５】
このように、携帯型表示機器２１は、ユーザ注目対象を他のオブジェクトよりも強調して表示させるために、ユーザ注目対象そのものを調整したユーザ注目対象強調画像を生成するばかりではなく、ユーザ注目対象に対応するシンボルを新たに生成し、そのシンボルを原画像に付加した（合成した）ユーザ注目対象強調画像を生成してもよい。
【０１８６】
このようなシンボルが利用されるユーザ注目対象調整処理は、その他、例えば、競馬のような、ユーザ注目対象が複数個設定される場合に適用されると好適である。
【０１８７】
具体的には、例えば、競馬において、図３０に示されるように、出走する馬が、馬２２１と馬２２２の２頭である場合、馬２２１と馬２２２は、ＬＣＤ５１に大きく映し出され、ユーザは馬２２１と馬２２２のそれぞれを容易に視認することが可能である。
【０１８８】
しかしながら、実際の競馬においては、図３１に示されるように、出走する馬がさらに多くなる（図３１の例では、馬２２１乃至馬２２７の７頭である）。従って、これらの沢山の馬２２１乃至馬２２７がＬＣＤ５１に一度に映し出されると、馬２２１乃至馬２２７のそれぞれは非常に小さく映し出されることになり、ユーザは、馬２２１乃至馬２２７の中から、ユーザ自身が注目する馬を視認することが困難になる。さらに、一般的に、ユーザが注目する馬は、１頭ではなく複数の馬であることが多いため、ユーザ自身が注目する複数の馬を視認することがさらに困難になる。
【０１８９】
そこで、このような場合、携帯型表示機器２１は、例えば、ユーザ注目対象調整処理として、図３２に示されるようなユーザ注目対象強調画像を生成する処理を実行してもよい。即ち、携帯型表示機器２１は、ユーザ注目対象として設定された馬２２２および馬２２６のゼッケン（番号）のそれぞれに対応するシンボル２３２およびシンボル２３６のそれぞれを生成し、生成したシンボル２３２およびシンボル２３６のそれぞれを、馬２２２および馬２２６のそれぞれの周辺であって、馬２２１乃至馬２２７が隠れない位置に配置するようなユーザ注目対象強調画像を生成する処理を実行してもよい。
【０１９０】
また、例えば、ユーザ注目対象が馬２２１乃至馬２２７の全頭であるような場合、携帯型表示機器２１は、ユーザ注目対象調整処理として、図３３に示されるようなユーザ注目対象強調画像を生成する処理を実行してもよい。即ち、携帯型表示機器２１は、ユーザ注目対象として設定された馬２２１乃至馬２２７のゼッケン（番号）のそれぞれに対応するシンボル２３１乃至シンボル２３７のそれぞれを生成し、生成したシンボル２３１乃至シンボル２３７のそれぞれを、馬２２１乃至馬２２７のそれぞれの上に配置するような（合成するような）ユーザ注目対象強調画像を生成する処理を実行してもよい。
【０１９１】
或いは、携帯型表示機器２１は、例えば、ユーザ注目対象調整処理として、図３４に示されるようなユーザ注目対象強調画像を生成する処理を実行してもよい。即ち、携帯型表示機器２１は、ユーザ注目対象として設定された馬２２１乃至馬２２７のゼッケン（番号）のそれぞれに対応するシンボル２３１乃至シンボル２３７のそれぞれを生成し、生成したシンボル２３１乃至シンボル２３７のそれぞれを、馬２２１乃至馬２２７のそれぞれの代わりに配置するような（馬２２１乃至馬２２７のそれぞれを消去し、消去したそれぞれの位置にシンボル２３１乃至シンボル２３７のそれぞれを合成するような）ユーザ注目対象強調画像を生成する処理を実行してもよい。
【０１９２】
さらにまた、図示はしないが、携帯型表示機器２１は、例えば、ユーザ注目対象調整処理として、シンボルを生成するのではなく、ユーザ注目対象の色を調整した（ユーザ注目対象の色を、他のオブジェクトに対して強調できるような所定の色に変換した）ユーザ注目対象強調画像を生成する処理を実行してもよい。具体的には、例えば、上述したような競馬の場合、ユーザ注目対象に設定された馬だけをカラー表示し、他のオブジェクト、即ち、他の馬を白黒で表示するようなユーザ注目対象強調画像が生成されてもよい。
【０１９３】
なお、ユーザ注目対象が複数の場合、例えば、複数のユーザ注目対象のそれぞれに対して予め優先順位が設定されるとともに、その優先順位のそれぞれに対して所定の色（相互に異なる色）が予め設定されていれば、携帯型表示機器２１は、ユーザ注目対象調整処理として、複数のユーザ注目対象のそれぞれの色を、それぞれの優先順位に対応する色に変換したユーザ注目対象強調画像を生成する処理を実行してもよい。
【０１９４】
このように、ユーザ注目対象調整処理は、ユーザ注目対象を他のオブジェクト（他の部分）よりも相対的に目立つように原画像を調整して、ユーザ注目対象強調画像を生成する処理であればよい。即ち、ユーザ注目対象調整処理は、ＬＣＤ５１のような小さな若しくは解像度の低い表示デバイスであっても、ユーザが、ユーザ注目対象を容易に視認できるようなユーザ注目対象強調画像を生成する処理であれば、その処理の内容は特に限定されない。
【０１９５】
また、ユーザ注目対象は、上述したような野球のボール、オセロの駒、または、競馬の馬に限定されず、基本的に原画像に含まれるオブジェクトであれば、いずれのオブジェクトがユーザ注目対象とされてもよい。例えば、テニス、ゴルフ、または、サッカーのボールは勿論、これら競技の選手が、ユーザ注目対象として設定可能であるし、競技やゲーム以外の原画像の中からユーザ注目対象が設定されてもよい。
【０１９６】
さらにまた、ユーザ注目対象調整処理は、画像データのみならず、他のデータ（例えば、音声データ）に対しても適用可能である。
【０１９７】
ところで、上述したように、図１４の携帯型表示機器２１は、他の装置から配信される動画像や静止画像といったコンテンツを、アンテナ４１および無線通信部４０を介して受信し、ＬＣＤ５１に表示させることが可能である。
【０１９８】
また、例えば、図３５に示されるように、このようなコンテンツが、放送事業者が利用する情報処理装置２５２（以下、放送事業者装置２５２と称する）より配信される場合、コンテンツの配信経路（伝送経路）は、一般的に、放送事業者装置２５２から携帯型表示機器２１−１までの第１の経路と、放送事業者装置２５２から携帯型表示機器２１−２までの第２の経路の２つに大別される。
【０１９９】
即ち、第１の経路は、放送事業者装置２５２から送信されたコンテンツが、放送アンテナ２５４を介して無線２５５で携帯型表示機器２１−１まで到達する経路である。これに対して、第２の経路は、放送事業者装置２５２から送信されたコンテンツが、コンテンツ配信事業者が利用する情報処理装置２５１（以下、コンテンツ配信事業者装置２５１と称する）、専用線網またはインターネット網といったネットワーク２５３、および通信アンテナ２５６を介して無線２５７で携帯型表示機器２１−２まで到達する経路である。
【０２００】
なお、コンテンツ配信事業者装置２５１は、放送事業者装置２５２とは独立に、携帯型表示機器２１−２に対してコンテンツを伝送することも可能である。
【０２０１】
また、この例においては、例えば、携帯型表示機器２１−１と携帯型表示機器２１−２のハードウエア構成は、上述した図１４に示される構成とされる。
【０２０２】
具体的には、コンテンツの放送が、例えば、地上波アナログ放送、地上波デジタル放送、または、衛星放送等である場合、第１の経路が利用される。第１の経路においては、画像等のコンテンツの流れは一方向（放送事業者装置２５２から携帯型表示機器２１−１方向）であり、放送事業者装置２５２から放送されたコンテンツは、携帯型表示機器２１−１を利用するユーザを含む多数のユーザに同時に利用される。従って、従来のテレビジョン放送のようにフィールド単位やフレーム単位で伝送する方式では、放送事業者装置２５２側で、複数のユーザそれぞれに対してユーザ注目対象を設定し、設定した複数のユーザ注目対象を処理することは容易でない。
【０２０３】
そこで、このような場合、例えば、上述した野球のボールのように誰もが注目する対象がユーザ注目対象として設定されることが現実的であり、上述したユーザ注目対象調整処理は、放送事業者装置２５２側で行われて、放送事業者装置２５２から、図３６に示されるユーザ注目対象強調画像２６１−１（データ）が放送されることになる。
【０２０４】
なお、ユーザ注目対象強調画像２６１−１は、上述した他の例と同様に、ピッチャー２７２−１がバッター２７１−１に向かってボール２７３−１を投げた状態を表す画像であり、ユーザ注目対象であるボール２７３−１が、他のオブジェクト（ピッチャー２７２−１とバッター２７１−１）に対して相対的に強調されている。即ち、ユーザ注目対象強調画像２６１−１は、ユーザがボール２７３−１を容易に視認可能なように、ボール２７３−１が他のオブジェクトに対して大きくされた画像とされている。
【０２０５】
しかしながら、この場合、ボールを注目する大多数のユーザにとって満足のいく画像の放送が容易に可能となるという特長を有するものの、ボール以外のオブジェクトを注目したいユーザにとっては、不満が残る画像が放送されるという課題も有している。
【０２０６】
そこで、この課題を解決するために、放送事業者装置２５２が、コンテンツの伝送方式として、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−４のようなオブジェクト単位で画像の伝送が可能な方式を利用することが考えられる。この場合、放送事業者装置２５２は、図３７に示されるように、原画像２６１−２に対応するデータ（以下、単に原画像２６１−２と称する）の他に、ユーザが注目する可能性が高いオブジェクトのデータ２６２（このようなオブジェクトのデータは、ユーザ注目対象の候補となるデータとなるので、以下、ユーザ注目対象候補２６２と称する）として個別に伝送することが可能になる。
【０２０７】
なお、原画像２６１−２は、図３６のユーザ注目対象強調画像２６１−１と同様に、ピッチャー２７２−２がバッター２７１−２に向かってボール２７３−２を投げた状態を表す画像の画像データである。ただし、原画像２６１−２においては、ボール２７３−２が、他のオブジェクト（ピッチャー２７２−２とバッター２７１−２）に対して特に強調されていない。また、ユーザ注目対象候補２６２は、バッター２７１−２に対応する画像データ２７１−３（以下、単にバッター２７１−３と称する）、ピッチャー２７２−２に対応する画像データ２７２−３（以下、単にピッチャー２７２−３と称する）、および、ボール２７３−２に対応する画像データ２７３−３（以下、単にボール２７３−３と称する）とされている。
【０２０８】
このように、放送事業者装置２５２が、原画像２６１−２の他にユーザ注目対象候補２６２（バッター２７１−３、ピッチャー２７２−３、および、ボール２７３−３）を、放送アンテナ２５４を介して無線２５５で携帯型表示機器２１−１に送信してきた場合、携帯型表示機器２１−１は、このユーザ注目対象候補２６２の中からユーザ注目対象を自由に選択することが可能になる。従って、携帯型表示機器２１−１は、選択したユーザ注目対象が他のオブジェクトに対して相対的に強調されたユーザ注目対象強調画像（図示せず）を生成し、ＬＣＤ５１（図１４）等に表示させることが可能になる。
【０２０９】
このような放送事業者装置２５２が、携帯型表示機器２１−１に対して複数のユーザ注目対象候補を送信してくる場合における、ユーザ注目対象調整処理を行う機能を実現するソフトウエアプログラムの例が、図３８と図３９に示されている。
【０２１０】
即ち、図３８は、例えば、携帯型表示機器２１−１（図３５）が有している機能のうちの、後述する図３９のフローチャートに示されるユーザ注目対象調整処理を行う機能を実現するソフトウエアプログラムの構成例を表している。
【０２１１】
図３８に示されるように、このソフトウエアプログラムには、図１５の画像入力モジュール７１と同様の機能を有する画像入力モジュール２８１、図１５のユーザ注目対象調整モジュール７４と同様の機能を有するユーザ注目対象調整モジュール２８３、図１５のユーザ注目対象合成モジュール７４と同様の機能を有するユーザ注目対象合成モジュール２８４、図１５のダウンコンバートモジュール７６と同様の機能を有するダウンコンバートモジュール２８５、および、図１５の画像出力モジュール７７と同様の機能を有する画像出力モジュール２８６が設けられている。
【０２１２】
さらに、図３８の例のソフトウエアプログラムには、図１５のユーザ注目対象設定モジュール７２とユーザ注目対象抽出モジュール７３に対応するユーザ注目対象選択モジュール２８２が設けられている。
【０２１３】
ただし、図１５の例では、先にユーザ注目対象が設定された後、その設定されたユーザ注目対象が抽出された。これに対して、図３８の例では、画像入力モジュール２８１が、原画像（図３７の例では、原画像２６１−２）を入力するとともに、放送事業者装置２５２（図３５）側で原画像の中から予め抽出されたユーザ注目対象候補（図３７の例では、ユーザ注目対象候補２６２）を入力する。そして、ユーザ注目対象選択モジュール２８２が、複数のユーザ注目対象候補のうちの、入力部３６より入力された情報に対応するオブジェクト（ユーザにより指示されたオブジェクト）を、ユーザ注目対象として選択し、ユーザ注目対象調整モジュール２８３に供給する。
【０２１４】
次に、図３９のフローチャートを参照して、図３８の携帯型表示機器２１−１のユーザ注目対象調整処理について説明する。
【０２１５】
例えば、いま、図３５において、上述した図３７に示される原画像２６１−２とユーザ注目対象候補２６２が、放送事業者装置２５２より放送アンテナ２５４を介して無線２５５で携帯型表示機器２１−１に送信されてきたとする。
【０２１６】
そこで、図３９のステップＳ６１において、図３８の画像入力モジュール２８１が、原画像２６１−２とユーザ注目対象候補２６２を入力する。なお、この入力は、この例においては、アンテナ４１とされているが、アンテナ４１に限定されず、その他、例えば、図３８には図示されていないが、図１４のドライブ４２に装着されたリムーバブル記録媒体５２、または、図１４にも図示されていないが、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などより入力されても構わない。
【０２１７】
ステップＳ６２において、ユーザ注目対象選択モジュール２８２は、画像入力モジュール２８１に入力されたユーザ注目対象候補２６２の中からユーザ注目対象となるものを選択する。
【０２１８】
ステップＳ６２におけるユーザ注目対象の選択方法は、特に限定されないが、この例においては、例えば、次の通りとする。即ち、ユーザ注目対象選択モジュール２８２は、画像入力モジュール２８１に入力されたユーザ注目対象候補２６２をＬＣＤ５１に表示させ、ユーザが、入力部３６を操作して、ＬＣＤ５１に表示されたユーザ注目対象候補２６２の中からユーザ注目対象にしたいオブジェクトを指示する。ユーザ注目対象選択モジュール２８２は、入力部３６より入力されたユーザの指示に基づいてユーザ注目対象を選択し、ユーザ注目対象調整モジュール２８３に供給する。
【０２１９】
なお、ユーザがユーザ注目対象を指示しない場合、ユーザ注目対象調整モジュール２８３は、自分自身の判断で、一般的に選択されることが多いオブジェクト、例えば、いまの場合、ボール２７３−３をユーザ注目対象として選択する。
【０２２０】
また、ユーザ注目対象選択モジュール２８２がＬＣＤ５１に表示させるものは、上述したように、ユーザ注目対象候補２６２に対応する画像そのものでもよいが、それに限定されず、例えば、ユーザ注目対象候補２６２のリストでもよい。この場合、リストは、必ずしも原画像２６１−２やユーザ注目対象候補２６２とともに配信される必要はないが、それらとともに配信されたほうが使い勝手が良い。
【０２２１】
ステップＳ６３において、ユーザ注目対象調整モジュール２８３は、ユーザ注目対象選択モジュール２８２により選択されたユーザ注目対象のデータ（例えば、ボール２７３−３）を調整する。
【０２２２】
ステップＳ６４において、ユーザ注目対象合成モジュール２８４は、ユーザ注目対象調整モジュール２８３により調整されたボール２７３−３（ユーザ注目対象のデータ）を、画像入力モジュール２８１が入力した原画像２６１−２に合成して、ユーザ注目対象強調画像（図示はしないが、例えば、図３６に示される画像２６１−１のような画像）に対応する画像データ（以下、単に、ユーザ注目対象強調画像と称する）を生成する。
【０２２３】
ステップＳ６５において、ダウンコンバートモジュール２８５は、ダウンコンバートの必要があるか否かを判定する。
【０２２４】
ステップＳ６５において、ダウンコンバートの必要がないと判定した場合、ダウンコンバートモジュール２８５は、特に何の処理も施さない。即ち、処理は、ステップＳ６７に進められる。
【０２２５】
これに対して、ステップＳ６５において、ダウンコンバートの必要があると判定した場合、ダウンコンバートモジュール２８５は、ステップＳ６６において、ユーザ注目対象強調画像に対して、ダウンコンバートを行う。
【０２２６】
ステップＳ６７において、画像出力モジュール２８６は、ユーザ注目対象強調画像を出力する。なお、この例においても、上述した例と同様に、出力先はＬＣＤ５１とされる。即ち、画像出力モジュール２８６は、ユーザ注目対象強調画像に対応する画像データを、ＬＣＤ５１のフォーマットの画像信号に変換させてＬＣＤ５１に出力する。ＬＣＤ５１は、画像出力モジュール２８６より出力された画像信号に対応する画像（ユーザ注目対象強調画像）を表示する。
【０２２７】
出力先は、上述した例と同様に、ＬＣＤ５１に限定されず、例えば、図３８に図示はされていないが、図１４の記憶部３９、無線通信部４０とアンテナ４１を介する他の装置（図１４にも図示せず）、または、ドライブ４２に装着されたリムーバブル記録媒体５２等様々な出力先が可能である。
【０２２８】
このように、ＭＰＥＧ−４等のコンテンツの個別配信が可能な方式で、コンテンツが配信されてくる場合、携帯型表示機器２１−１は、図３８に示されるようなソフトウエアプログラムを実装することで、たとえ上述した第１の経路のような１方向のみの通信であっても、ユーザ（携帯型表示機器２１−１側）がユーザ注目対象をある程度自由に設定することが可能になる。
【０２２９】
さらに、図３５の携帯型表示機器２１−２も、図３８と同様の構成を有するソフトウエアプログラムを実装すれば、携帯型表示機器２１−１と同様に、第１の経路により配信されたコンテンツの表示（ユーザ注目対象強調画像の表示）が可能になるとともに、さらに、上述した第２の経路により配信されたコンテンツの表示（ユーザ注目対象強調画像の表示）も可能になる。
【０２３０】
具体的には、例えば、インターネットにおけるダウンロード（ｄｏｗｎ ｌｏａｄ）やストリーミング（ｓｔｒｅａｍｉｎｇ）などの場合、第２の経路が利用される。第２の経路においては、双方向の通信が可能であり、ユーザ個別の情報に基づく、各ユーザのそれぞれに適した画像等のコンテンツ伝送が可能である。従って、上述した図３６または図３７に示されるような方法のみならず、コンテンツ配信事業者装置２５１や放送事業者装置２５２に対して、ユーザ（携帯型表示機器２１−２）がユーザ注目対象を伝えることにより、コンテンツ配信事業者装置２５１や放送事業者装置２５２が、複数のユーザのそれぞれのユーザ注目対象を反映した画像コンテンツを伝送するといった方法の利用が可能になる。
【０２３１】
例えば、上述した例と同様に、コンテンツが野球を表す画像である場合、携帯型表示機器２１−２が、ユーザ注目対象としてボールを指定し、それをコンテンツ配信事業者装置２５１に対して通知すると、コンテンツ配信事業者装置２５１は、ユーザ注目対象調整処理を行い、図４０に示されるユーザ注目対象強調画像３０１−１（データ）を携帯型表示機器２１−２に配信することが可能になる。
【０２３２】
なお、ユーザ注目対象強調画像３０１−１は、上述した他の例と同様に、ピッチャー３１２−１がバッター３１１−１に向かってボール３１３−１を投げた状態を表す画像であり、ユーザ注目対象であるボール３１３−１が、他のオブジェクト（ピッチャー３１２−１とバッター３１１−１）に対して相対的に強調されている。即ち、ユーザ注目対象強調画像３０１−１は、ユーザがボール３１３−１を容易に視認可能なように、ボール３１３−１が他のオブジェクトに対して大きくされた画像とされている。図４０に示されるこの方法は、各ユーザのそれぞれの好みに合わせた画像コンテンツの提供が可能になるという特長がある。
【０２３３】
或いは、例えば、携帯型表示機器２１−２が、ユーザ注目対象としてボールを指定し、それをコンテンツ配信事業者装置２５１に対して通知すると、図４１に示されるように、コンテンツ配信事業者装置２５１が、原画像３０１−２に対応するデータ（以下、単に原画像３０１−２と称する）の他に、ユーザ注目対象であるボールのデータ３１３−３（以下、ユーザ注目対象（ボール）３１３−３と記述する）を携帯型表示機器２１−２に配信することも可能である。
【０２３４】
なお、原画像３０１−２は、図４０のユーザ注目対象強調画像３０１−１と同様に、ピッチャー３１２−２がバッター３１１−２に向かってボール３１３−２を投げた状態を表す画像の画像データである。ただし、原画像３０１−２においては、ボール３１３−２が、他のオブジェクト（ピッチャー３１２−２とバッター３１１−２）に対して強調されていない。
【０２３５】
このように、図３５の第１の経路のような１方向通信の場合、図３７の例に示されるように、ユーザが利用するか否かが定かでないオブジェクトの伝送が必要とされる（バッター２７１−３、ピッチャー２７２−３、およびボール２７３−３といった複数のオブジェクトの伝送が必要とされる）。これに対して、図３５の第２の経路のような双方向通信が可能な場合、図４１の例に示されるように、伝送対象は、原画像３０１−２と、ユーザ注目対象調整処理に確実に必要となるユーザ注目対象（ボール）３１３−３のみでよい。図４１に示されるこの方法は、伝送するデータ量を抑えつつ、複数のユーザのそれぞれの好みに合わせた画像コンテンツの配信が可能になるという特長がある。
【０２３６】
上述した図４０と図４１に示される方法に対応する、ユーザ端末２１−２のユーザ注目対象調整処理が、図４２のフローチャートに示されている。そこで、図４２のフローチャートを参照して、図４０と図４１に示される方法に対応する、ユーザ端末２１−２のユーザ注目対象処理について説明する。なお、ここでは、上述したように、ユーザ端末２１−２のソフトウエア構成は、図３８の構成とされている。
【０２３７】
例えば、いま、図３５において、コンテンツ配信事業者２５１より、コンテンツ（この例では、野球の画像）の配信前に、そのコンテンツのユーザ注目対象候補（例えば、ボール、ピッチャー、バッター等）のリスト（図示せず）が、ネットワーク２５３、および通信アンテナ２５６を介して無線２５７で携帯型表示機器２１−２に送信されてきたとする。
【０２３８】
そこで、図４２のステップＳ８１において、図３８のユーザ注目対象選択モジュール２８２が、ユーザ注目対象候補のリストを受信し、ＬＣＤ５１に表示させる。
【０２３９】
そして、ステップＳ８２において、ユーザ注目対象選択モジュール２８２が、表示されたリストの中からユーザ注目対象を選択する。
【０２４０】
ステップＳ８２におけるユーザ注目対象の選択方法は、特に限定されないが、ステップＳ６２（図３９）のそれと同様に、この例においては、例えば、次の通りとする。即ち、ユーザ注目対象選択モジュール２８２が、受信したユーザ注目対象候補のリストをＬＣＤ５１に表示させると、ユーザは、入力部３６を操作して、ＬＣＤ５１に表示されたリストの中からユーザ注目対象にしたいオブジェクトを指示する。ユーザ注目対象選択モジュール２８２は、入力部３６より入力されたユーザの指示に基づいてユーザ注目対象を選択する。
【０２４１】
なお、ユーザがユーザ注目対象を指示しない場合、ユーザ注目対象選択モジュール２８２は、自分自身の判断で、一般的に選択されることが多いオブジェクト、例えば、いまの場合、ボールをユーザ注目対象として選択する。
【０２４２】
ステップＳ８３において、ユーザ注目対象選択モジュール２８２は、選択されたユーザ注目対象（いまの場合、例えば、ボール）をコンテンツ配信事業者に通知する情報（以下、通知情報と称する）を、無線通信部４０およびアンテナ４１を介して送信する。
【０２４３】
図３５において、携帯型表示機器２１−２より送信された通知情報が、通信アンテナ２５６、および、ネットワーク２５３を介してコンテンツ配信事業者装置２５１に受信されると、コンテンツ配信事業者装置２５１は、コンテンツ（この例では、図４０、または図４１に示されるような画像データ）をネットワーク２５３、および通信アンテナ２５６を介して無線２５７で携帯型表示機器２１−２に送信（配信）してくる。
【０２４４】
そこで、図４２のステップＳ８４において、図３８の画像入力モジュール２８１は、コンテンツ配信事業者装置２５１から配信されたコンテンツを入力する。
【０２４５】
ステップＳ８５において、ユーザ注目対象調整モジュール２８３は、画像入力モジュール２８１が入力したコンテンツのユーザ注目対象が既に強調されているか否かを判定する。
【０２４６】
例えば、画像入力モジュール２８１が、コンテンツとして、図４０のユーザ注目対象強調画像３０１−１を入力した場合、ユーザ注目対象調整モジュール２８３は、ステップＳ８５において、ユーザ注目対象が既に強調されていると判定し、特に何の処理も施さない。即ち、その処理は、ステップＳ８８に進められる。
【０２４７】
これに対して、画像入力モジュール２８１が、コンテンツとして、図４１の原画像３０１−２とユーザ注目対象（ボール）３１３−３を入力した場合、ユーザ注目対象調整モジュール２８３は、ステップＳ８５において、ユーザ注目対象がまだ強調されていないと判定し、ステップＳ８６において、入力されたユーザ注目対象（ボール）３１３−３を調整する。
【０２４８】
ステップＳ８７において、ユーザ注目対象合成モジュール２８４は、ユーザ注目対象調整モジュール２８３により調整されたユーザ注目対象（ボール）３１３−３を、画像入力モジュール２８１が入力した原画像３０１−２に合成して、ユーザ注目対象強調画像（図示はしないが、例えば、図４０の画像３０１−１のような画像）に対応する画像データ（以下、単に、ユーザ注目対象強調画像と称する）を生成する。
【０２４９】
ステップＳ８８において、ダウンコンバートモジュール２８５は、ダウンコンバートの必要があるか否かを判定する。
【０２５０】
ステップＳ８８において、ダウンコンバートの必要がないと判定した場合、ダウンコンバートモジュール２８５は、特に何の処理も施さない。即ち、処理は、ステップＳ９０に進められる。
【０２５１】
これに対して、ステップＳ８８において、ダウンコンバートの必要があると判定した場合、ダウンコンバートモジュール２８５は、ステップＳ８９において、ユーザ注目対象強調画像に対して、ダウンコンバートを行う。
【０２５２】
ステップＳ９０において、画像出力モジュール２８６は、ユーザ注目対象強調画像を出力する。なお、この例においても、上述した例と同様に、出力先はＬＣＤ５１とされる。即ち、画像出力モジュール２８６は、ユーザ注目対象強調画像に対応する画像データを、ＬＣＤ５１のフォーマットの画像信号に変換させてＬＣＤ５１に出力する。ＬＣＤ５１は、画像出力モジュール２８６より出力された画像信号に対応する画像（ユーザ注目対象強調画像）を表示する。
【０２５３】
なお、上述した例では、ユーザ注目対象は、コンテンツ配信事業者（または、放送事業者）側で抽出されたが、携帯型表示機器２１−１または携帯型表示機器２１−２が抽出しても良い。この場合、ユーザのユーザ注目対象の設定の自由度がより大きくなることが可能になる。
【０２５４】
以上のように、本発明の携帯型表示機器２１（図１４）は、入力された原画像の画像データの中から、予め設定されたユーザ注目対象に対応するオブジェクトデータを抽出し、ユーザ注目対象が、原画像に含まれる他のオブジェクトよりも相対的に強調されるように、ユーザ注目対象のオブジェクトデータに基づいて原画像の画像データを調整して、ユーザ注目対象強調画像に対応する画像データを生成し、生成した画像データを出力する（例えば、ユーザ注目対象強調画像をＬＣＤ５１に表示させる）。
【０２５５】
従って、上述した携帯型表示機器２１のような本発明の画像処理装置、または画像表示装置は、以下のような効果を奏することが可能になる。
【０２５６】
即ち、第１の効果として、ＬＣＤ５１のような、小さい若しくは解像度の低い表示デバイスであっても、ユーザは、その表示デバイスに表示された様々な動画像または静止画像（ユーザ注目対象強調画像）の内容を容易に把握することが可能になる。
【０２５７】
第２の効果として、第１の効果により、ユーザは、これまで小さな表示デバイスでは楽しむことが困難であったコンテンツも楽しむことができるようになる。
【０２５８】
第３の効果として、ユーザ注目対象は、画像認識により自動的に抽出されることができるので、ユーザやコンテンツ制作者が、ユーザ注目対象の位置や領域を指定する必要がなくなる。
【０２５９】
第４の効果として、動画像の場合、前後のフレームとの比較により、ユーザ注目対象の変化に追従した処理が行なえるので、より効率良く、かつより精度良くユーザ注目対象が探索され、抽出されることが可能になる。
【０２６０】
第５の効果として、ユーザ注目対象として処理可能なオブジェクトのリストがユーザに提示され、ユーザがその中から好みに沿った対象を選択することができるので、複数のユーザのそれぞれの趣向に合わせた処理が可能になる。
【０２６１】
第６の効果として、双方向通信が可能な通信路においては、ユーザが注目する対象をコンテンツ配信事業者や放送事業者に伝え、コンテンツ配信事業者や放送事業者はそれに沿った処理を施した画像をユーザに提供するという方法が採れる。従って、これにより伝送データ量を抑えつつユーザ個別の好みに合ったコンテンツの提供が可能になる。
【０２６２】
また、上述した図３６や図４０の例のように、受信側の携帯型表示機器２１のみならず、送信側（配信側）の画像配信装置（例えば、図３５の放送事業者装置２５２、またはコンテンツ配信事業者装置２５１）も、本発明が適用されるユーザ注目対象調整処理を実行することが可能である。即ち、本発明は、画像配信装置にも適用可能であり、本発明が適用された画像配信装置も、上述した第１乃至第６の効果を奏することが可能になる。
【０２６３】
具体的には、画像配信装置は、配信すべき原画像の画像データの中から、予め設定されたユーザ注目対象に対応するオブジェクトデータを抽出し、ユーザ注目対象が、原画像に含まれる他のオブジェクトよりも相対的に強調されるように、ユーザ注目対象のオブジェクトデータに基づいて原画像の画像データを調整して、ユーザ注目対象強調画像（例えば、図３６の画像２６１−１や、図４０の画像３０１−１等）に対応する画像データを生成し、携帯型表示機器２１等の受信側に配信する。
【０２６４】
なお、本発明の画像配信装置の構成は、特に限定されないが、例えば、図１４の携帯型表示機器２１と同様の構成を取ることが可能である。ただし、画像配信装置が、図３５の放送事業者装置２５２である場合、アンテナ４１に相当するアンテナは、放送アンテナ２５４であるので、無線通信部４０は、放送アンテナ２５４を介してコンテンツ（ユーザ注目対象強調画像の画像データ）を送信する送信処理を実行する。また、画像配信装置が、図３５のコンテンツ配信事業者装置２５１である場合、図１４には図示されていない、ネットワーク２５３と接続可能な通信部がさらに設けられる。
【０２６５】
ところで、上述したユーザ注目対象調整処理等の一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０２６６】
この記録媒体は、図１４に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）を含む）、光磁気ディスク（ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）を含む）、もしくは半導体メモリなどよりなるリムーバブル記録媒体（パッケージメディア）５２により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているＲＯＭ３２や、記憶部３９に含まれるハードディスクなどで構成される。
【０２６７】
また、上述した一連の処理は、ソフトウエアにより実行させることもできるが、ハードウエアにより実行させることもできる。
【０２６８】
即ち、上述したユーザ注目対象調整処理を実現するソフトウエアプログラムを構成する各モジュールのそれぞれは、対応する機能を果たすものであれば、その形態は限定されず、例えば、ハードウエアなどでモジュールが構成されてもよい。この場合、例えば、製造者等は、上述した各モジュールのそれぞれに対応する装置（ハードウエア）を製作し、それらを、図１５、図１９、図２２、または、図３８に示されるようにそれぞれ接続することで、本発明が適用される画像処理装置、画像表示装置、または画像配信装置を、図１４とは異なる構成で実現することも可能である。
【０２６９】
さらに、上述した例においては、動画像はフレームとして処理されたが、フィールドとしても処理可能である。そこで、本明細書においては、フィールドやフレームといった単位を、アクセスユニットとも称する。
【０２７０】
さらにまた、本明細書において、媒体により提供されるプログラムを記述するステップは、記載された順序に従って、時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２７１】
【発明の効果】
以上のごとく、本発明によれば、ユーザが所望するオブジェクトを含む画像の表示を制御することができる。特に、小さな若しくは解像度の低い表示デバイスに対しても、ユーザが所望するオブジェクトを、ユーザが視認可能な状態で常時表示させるように制御することができる。
【０２７２】
また、本発明によれば、ユーザが所望するオブジェクトを含む画像を表示することができる。特に、小さな若しくは解像度の低い表示デバイスに対しても、ユーザが所望するオブジェクトを、ユーザが視認可能な状態で常時表示させることができる。
【０２７３】
さらに、本発明によれば、ユーザが所望するオブジェクトを含む画像を、ユーザが所望する携帯型表示機器に対して配信することができる。特に、携帯型表示機器の表示デバイスが小さな若しくは解像度の低い表示デバイスであっても、その表示デバイスに対して、ユーザが所望するオブジェクトを、ユーザが視認可能な状態で常時表示可能なように、画像を配信することができる。
【図面の簡単な説明】
【図１】据置型表示機器に表示される画像を、従来の携帯型表示機器に表示させた場合の課題を説明する図である。
【図２】図１の据置型表示機器に表示される第１の画像から、図１の携帯型表示機器に表示される第２の画像に変換する変換方法の例を説明する図である。
【図３】図２の第１の画像に含まれるボールを、図２の変換方法で変換する例を説明する図である。
【図４】図２の第１の画像に含まれるボールを、図２の変換方法で変換する他の例を説明する図である。
【図５】図２の第１の画像に含まれるボールを、図２の変換方法で変換するさらに他の例を説明する図である。
【図６】図１の据置型表示機器に表示される第１の画像から、図１の携帯型表示機器に表示される第２の画像に変換する変換方法の他の例を説明する図である。
【図７】図６の第１の画像に含まれるボールを、図６の変換方法で変換する例を説明する図である。
【図８】図６の第１の画像に含まれるボールを、図６の変換方法で変換する他の例を説明する図である。
【図９】図６の第１の画像に含まれるボールを、図６の変換方法で変換するさらに他の例を説明する図である。
【図１０】図１の据置型表示機器に表示される第１の画像から、図１の携帯型表示機器に表示される第２の画像に変換する変換方法の他の例を説明する図である。
【図１１】図１０の第１の画像に含まれるボールを、図１０の変換方法で変換する例を説明する図である。
【図１２】図１０の第１の画像に含まれるボールを、図１０の変換方法で変換する他の例を説明する図である。
【図１３】図１０の第１の画像に含まれるボールを、図１０の変換方法で変換するさらに他の例を説明する図である。
【図１４】本発明が適用される携帯型表示機器のハードウエアの構成例を示すブロック図である。
【図１５】図１４の携帯型表示機器のソフトウエアの構成例を示すブロック図である。
【図１６】図１５の携帯型表示機器のユーザ注目対象調整処理例を説明するフローチャートである。
【図１７】図１６のユーザ注目対象調整処理の具体的な例を説明する図である。
【図１８】動画像に対して、図１６のユーザ注目対象調整処理を施した場合の具体的な例を説明する図である。
【図１９】図１４の携帯型表示機器のソフトウエアの構成の他の例を示すブロック図である。
【図２０】図１９の携帯型表示機器のユーザ注目対象調整処理例を説明するフローチャートである。
【図２１】図２０のユーザ注目対象調整処理の具体的な例を説明する図である。
【図２２】図１４の携帯型表示機器のソフトウエアの構成の他の例を示すブロック図である。
【図２３】図２２の携帯型表示機器のユーザ注目対象調整処理例を説明するフローチャートである。
【図２４】図２３のユーザ注目対象調整処理の具体的な例を説明する図である。
【図２５】オセロゲームを表す画像に対して、ユーザ注目対象調整処理を施した場合の具体的な例を説明する図である。
【図２６】オセロゲームを表す画像に対して、ユーザ注目対象調整処理を施した場合の具体的な例を説明する図である。
【図２７】オセロゲームを表す画像に対して、ユーザ注目対象調整処理を施した場合の具体的な例を説明する図である。
【図２８】野球を表す画像に対して、ユーザ注目対象調整処理を施した場合の具体的な例を説明する図である。
【図２９】野球を表す画像に対して、図２８とは異なるユーザ注目対象調整処理を施した場合の具体的な例を説明する図である。
【図３０】競馬を表す画像の例を説明する図である。
【図３１】図３０とは異なる例の競馬を表す画像を説明する図である。
【図３２】図３１の競馬を表す画像に対して、ユーザ注目対象調整処理を施した場合の具体的な例を説明する図である。
【図３３】図３１の競馬を表す画像に対して、ユーザ注目対象調整処理を施した場合の具体的な例を説明する図である。
【図３４】図３１の競馬を表す画像に対して、ユーザ注目対象調整処理を施した場合の具体的な例を説明する図である。
【図３５】図１４の携帯型表示機器に対して、放送事業者装置またはコンテンツ配信事業者装置からコンテンツが配信される例を説明する図である。
【図３６】図３５の携帯型表示機器のユーザ注目対象調整処理の具体的な例を説明する図である。
【図３７】図３５の携帯型表示機器のユーザ注目対象調整処理の具体的な他の例を説明する図である。
【図３８】図３５の携帯型表示機器のソフトウエアの構成例を示すブロック図である。
【図３９】図３５の携帯型表示機器のユーザ注目対象調整処理例を説明するフローチャートである。
【図４０】図３５の携帯型表示機器のユーザ注目対象調整処理の具体的な他の例を説明する図である。
【図４１】図３５の携帯型表示機器のユーザ注目対象調整処理の具体的なさらに他の例を説明する図である。
【図４２】図３５の携帯型表示機器のユーザ注目対象調整処理の他の例を説明するフローチャートである。
【符号の説明】
２１，２１−１，２１−２ 携帯型表示機器， ３１ ＣＰＵ， ７１ 画像入力モジュール， ７２ ユーザ注目対象設定モジュール， ７３ ユーザ注目対象抽出モジュール， ７４ ユーザ注目対象調整モジュール， ７５ ユーザ注目対象合成モジュール， ７６ ダウンコンバートモジュール， ７７ 画像出力モジュール， ９３−１乃至９３−５ ユーザ注目対象（ボール）， １１３−１乃至１１３−３ ユーザ注目対象（ボール）， １２１ 画像入力モジュール， １２２ ユーザ注目対象設定モジュール， １２３ ユーザ注目対象抽出モジュール， １２４ ユーザ注目対象調整モジュール， １２５ ユーザ注目対象合成モジュール， １２６ ダウンコンバートモジュール， １２７ 画像出力モジュール， １４３−１乃至１４３−７ ユーザ注目対象（ボール）， １５１ 画像入力モジュール， １５２ ユーザ注目対象設定モジュール， １５３ ユーザ注目対象抽出モジュール， １５４ ユーザ注目対象調整モジュール， １５５ ユーザ注目対象合成モジュール， １５６ ダウンコンバートモジュール， １５７ 画像出力モジュール， １７３−１乃至１７３−５ ユーザ注目対象（ボール）， １８１−１乃至１８１−３ ユーザ注目対象（オセロのコマ）， ２０３−１，２０３−２ ユーザ注目対象（ボール）， ２０４，２０５ ユーザ注目対象指示シンボル， ２２１乃至２２７ ユーザ注目対象（競馬の馬）， ２３１乃至２３７ ユーザ注目対象指示シンボル， ２５１ コンテンツ配信事業者装置２５１， ２５２ 放送事業者装置２５２， ２６１−１乃至２６１−３ ユーザ注目対象（ボール）， ２８１ 画像入力モジュール， ２８２ ユーザ注目対象選択モジュール， ２８３ ユーザ注目対象調整モジュール， ２８４ ユーザ注目対象合成モジュール， ２８５ ダウンコンバートモジュール， ３１３−１，３１３−２ ユーザ注目対象（ボール）
【発明の属する技術分野】
本発明は、画像処理装置および方法、画像表示装置および方法、画像配信装置および方法、並びにプログラムに関し、特に、小さな若しくは解像度の低い表示デバイスに対しても、ユーザが所望するオブジェクトを、ユーザが視認可能な状態で常時表示させることができるようにした画像処理装置および方法、画像表示装置および方法、画像配信装置および方法、並びにプログラムに関する。
【０００２】
【従来の技術】
近年、地上波、衛星、または、ケーブル等を介したテレビジョン放送用の映像（例えば、ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ）方式、若しくはＰＡＬ（Ｐｈａｓｅ Ａｌｔｅｒｎａｔｉｎｇ ｂｙ ｌｉｎｅ）方式のＳＤ（ｓｔａｎｄａｒｄ ｄｅｆｉｎｉｔｉｏｎ）映像、または、ハイビジョンと一般的に称されるＨＤ（ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ）映像）は、据置型のテレビジョン受像機に代表される、ある程度の大きさをもった表示機器（以下、そのような表示機器を、据置型表示機器と称する）のみならず、携帯電話機や携帯型のテレビジョン受像機に代表される、動画像の表示が可能であるとともに、携帯可能な小型の表示機器（以下、そのような表示機器を、携帯型表示機器と称する）でも利用可能とされている。
【０００３】
据置型表示機器が、高精細画像であるＨＤ画像を標準的な画像であるＳＤ画像に変換して表示する場合、表示されるＳＤ画像は、ＨＤ画像であるが故に表現可能な精細さを多少失うことになるが、その画像の価値が著しく失われることはあまりない。これは、ＳＤ画像自体が、動画像を楽しむために必要な画素数を有しているとともに、ある一定以上の大きさの表示部を有する据置型表示機器が、ＳＤ画像を、解像度を落とさずに、その表示部に表示させることが可能なためである。
【０００４】
【発明が解決しようとする課題】
しかしながら、携帯型表示機器は、携帯可能が前提とされていることから、その表示部は、据置型表示機器に比較して遥かに小さなものが要求され、据置型表示機器に比較して画素数が少なくされたり、画素そのものが小さくされて構成される。従って、携帯型表示機器においては、もともとＨＤ画像やＳＤ画像であった画像がその小さな表示部に表示される場合、その画像に含まれる複数のオブジェクトのうちの小さなオブジェクトは、表示されないか、または、たとえ表示されたとしても、ユーザが視認することが困難な状態で表示されるという課題があった。
【０００５】
具体的には、例えば、いま、図１に示されるように、据置型表示機器１の表示部１−１に、野球の様子を表す画像１１が表示されるとともに、携帯型表示機器２の表示部２−１に、画像１１に対応する画像１２が表示されているとする。
【０００６】
この場合、図１に示されるように、据置型表示機器１の表示部１−１に表示される画像１１を構成するオブジェクト、即ち、バッター１１−１、ピッチャー１１−２、および、ボール１１−３のそれぞれは、全て明確に表示されている。従って、ユーザ（視聴者）は、画像１１が、ピッチャー１１−２がバッター１１−１に向かってボール１１−３を投げた状態を表した画像であることを視認できる。
【０００７】
これに対して、携帯型表示機器２の表示部１２には、バッター１１−１に対応するバッター１２−１と、ピッチャー１１−２に対応するピッチャー１２−２は小さいながら表示されているものの、ボール１１−３に対応するものは表示されていないか、若しくは、ユーザがそれを認識し辛い状態で表示されている。従って、ユーザは、携帯型表示機器２の表示部２−１に表示された画像１２が何を表しているのかを判断する場合、ピッチャー１２−２とバッター１２−１のみから想像しなければならず、その判断は困難である。
【０００８】
なお、実際には、画像１２だけではなく音声によっても状況が解説されるので、ユーザは、その音声によって、ピッチャー１２−２がバッター１２−１に対してボールを投げた状態であることをある程度は想像できる。
【０００９】
しかしながら、ユーザは、その投げられたボールを視認できないか、または、視認し辛いため、その後の状況を画像で把握することは困難であり、ラジオ放送のような音声のみの放送に対して、テレビジョン放送のような画像と音声の両者の放送が有しているメリットを享受できないことになってしまう。また、携帯型表示機器２は、音声を出せないような場所で利用されることも多く、そのような場合、ユーザは、野球の状況を、携帯型表示機器２の表示部２−１に表示される画像１２のみから判断しなければならないが、上述したように、その判断は困難である。
【００１０】
以下、図面を参照して、このように、図１の携帯型表示機器２の表示部２−１にボールが表示されない理由の３つの例を説明する。
【００１１】
はじめに、図２乃至図５を参照して、図１の携帯型表示機器２の表示部２−１にボールが表示されない理由の第１の例を説明する。
【００１２】
なお、第１の例では、例えば、図２に示されるように、据置型表示機器１の表示部１−１の解像度が、ＮＴＳＣ方式に規定される解像度（水平７２０画素、および垂直４８０画素の解像度であり、以下、このような解像度を、７２０×４８０画素と称する）とされている。また、携帯型表示機器２の表示部２−１の解像度が、水平１８０画素、および垂直１２０画素の解像度（以下、このような解像度を、１８０×１２０画素と称する）とされている。さらに、第１の例では、説明の都合上、据置型表示機器１の表示部１−１と携帯型表示機器２の表示部２−１の画素は同じ大きさとされている。
【００１３】
即ち、第１の例では、解像度だけが下げられる場合の例について説明する。具体的には、図２に示されるように、７２０×４８０画素の画像１１から１８０×１２０画素の画像１２に変換される場合の、変換前のボール１１−３と変換後のボール１２−３の様子の違いについて説明する。
【００１４】
なお、図３乃至図５のそれぞれに示されている１つの四角は１画素を表しており、それらの四角（画素）のうちの黒い四角（斜線が描画されている四角）はボールの１部を、白い四角は背景の１部を、それぞれ表しているとする。
【００１５】
図３は、８×８画素程度のボール１１−３（据置型表示機器１に表示される変換前のボール１１−３）が、２×２画素程度のボール１２−３（携帯型表示機器２に表示される変換後のボール１２−３）に変換されることを表している。
【００１６】
図４は、４×４画素程度のボール１１−３が、１×１画素程度のボール１２−３に変換されることを表している。
【００１７】
図５は、２×２画素程度のボール１１−３が、０×０画素のボール１２−３（即ち、表示されない）に変換されることを表している。
【００１８】
このように、７２０×４８０画素の画像１１から１８０×１２０画素の画像１２に変換される場合、変換後のボール１２−３の解像度は、画像１１に対する画像１２の解像度と同様に、変換前のボール１１−３に対して１／４の解像度となってしまう。
【００１９】
従って、図４と図５に示されるように、据置型表示機器１の表示部１−１に表示されるボール１１−３が４×４画素よりも少ない画素で構成されている場合、変換後のボール１２−３は消滅してしまい（携帯型表示機器２の表示部２−１には表示されず）、ユーザはそのボール１２−３を認識することはできない。
【００２０】
次に、図６乃至図９を参照して、図１の携帯型表示機器２の表示部２−１にボールが表示されない理由の第２の例について説明する。
【００２１】
なお、第２の例では、例えば、図６に示されるように、据置型表示機器１の表示部１−１の解像度と、携帯型表示機器２の表示部２−１の解像度のそれぞれが、同一の７２０×４８０画素とされている。さらに、第２の例では、説明の都合上、据置型表示機器１の表示部１−１の水平寸法が５０ｃｍとされ、また、携帯型表示機器２の表示部２−１の水平寸法が５ｃｍとされている。
【００２２】
即ち、第２の例では、解像度に変化はなく、画素の大きさが１０分の１になる場合の例について説明する。具体的には、図６に示されるように、７２０×４８０画素の水平寸法が５０ｃｍである画像１１から、７２０×４８０画素の水平寸法が５ｃｍである画像１２に変換される場合の、変換前のボール１１−３と変換後のボール１２−３の様子の違いについて説明する。
【００２３】
なお、図７乃至図９のそれぞれに示されている１つの四角（黒い四角）は、ボールを構成する１画素（ボールの一部）を表しているとする。
【００２４】
図７は、直径５．６ｍｍ程度のボール１１−３（据置型表示機器１に表示される変換前のボール１１−３）が、直径０．５６ｍｍ程度のボール１２−３（携帯型表示機器２に表示される変換後のボール１２−３）に変換されることを表している。
【００２５】
図８は、直径２．８ｍｍ程度のボール１１−３が、直径０．２８ｍｍ程度のボール１２−３に変換されることを表している。
【００２６】
図９は、直径１．４ｍｍ程度のボール１１−３が、直径０．１４ｍｍ程度のボール１２−３に変換されることを表している。
【００２７】
このように、画像１１から、画像１１と同一解像度であるものの水平寸法が１／１０になる画像１２に変換される場合、変換後のボール１２−３の直径（大きさ）も、変換前のボール１１−３のそれに対して１／１０（即ち、画像１２の水平寸法／画像１１の水平寸法）に縮小されてしまう。
【００２８】
従って、携帯型表示機器２は据置型表示機器１よりもユーザと接近して使用されるため、小さいものが比較的見易くなるものの、携帯型表示機器２に表示されているボール１２−３の直径が、図７乃至図９に示されるような１ｍｍにも満たない場合、ユーザは、画像１２のうちのボール１２−３の周辺をよほど凝視しなければ、ボール１２−３を視認することはできない。換言すると、そのような場合、ユーザは、ボール１２−３の位置を想像することができなければ、ボール１２−３を視認することは実質上不可能となってしまう。
【００２９】
次に、図１０乃至図１３を参照して、図１の携帯型表示機器２の表示部２−１にボールが表示されない理由の第３の例について説明する。
【００３０】
なお、第３の例では、例えば、図１０に示されるように、据置型表示機器１の表示部１−１の解像度が７２０×４８０画素とされ、また、携帯型表示機器２の表示部２−１の解像度が、１８０×１２０画素とされている。さらに、第３の例では、説明の都合上、据置型表示機器１の表示部１−１の水平寸法が５０ｃｍとされ、また、携帯型表示機器２の表示部２−１の水平寸法が５ｃｍとされている。
【００３１】
即ち、第３の例では、解像度が下がるとともに、画素の大きさも小さくなる（画素の大きさが５分の２になる）場合の例について説明する。具体的には、図１０に示されるように、７２０×４８０画素の水平寸法が５０ｃｍである画像１１から、１８０×１２０画素の水平寸法が５ｃｍである画像１２に変換される場合の、変換前のボール１１−３と変換後のボール１２−３の様子の違いについて説明する。
【００３２】
なお、図１１乃至図１３のそれぞれに示されている１つの四角は１画素を表しており、それらの四角（画素）のうちの黒い四角はボールの１部を、白い四角は背景の１部を、それぞれ表しているとする。
【００３３】
図１１は、８×８画素、かつ直径５．６ｍｍ程度のボール１１−３（据置型表示機器１に表示される変換前のボール１１−３）が、２×２画素、かつ直径０．５６ｍｍ程度のボール１２−３（携帯型表示機器２に表示される変換後のボール１２−３）に変換されることを表している。
【００３４】
図１２は、４×４画素、かつ直径２．８ｍｍ程度のボール１１−３が、１×１画素、かつ直径０．２８ｍｍ程度のボール１２−３に変換されることを表している。
【００３５】
図１３は、２×２画素、かつ直径１．４ｍｍ程度のボール１１−３が、０×０画素（直径０ｍｍ）のボール１２−３（即ち、表示されない）に変換されることを表している。
【００３６】
このように、７２０×４８０画素、かつ水平寸法５０ｃｍの画像１１から、１８０×１２０画素、かつ水平寸法５ｃｍの画像１２に変換される場合、変換後のボール１２−３の解像度が低下するとともに、変換後のボール１２−３の直径（大きさ）も縮小されてしまう。
【００３７】
従って、上述したように、ユーザは、直径が１ｍｍにも満たないボール１２−３を視認することは困難であるし、そもそも、図１３に示されるように、ボール１２−３自体が消滅してしまった場合（携帯型表示機器２の表示部２−１に表示されない場合）、そのボール１２−３を視認することは不可能である。
【００３８】
そこで、従来、上述した課題を解決すべく、例えば、配信されるコンテンツ（映像）が野球である場合、撮影者側（放送者側）が、撮影カメラを増やし、ピッチャーがボールを投げるまでの間、ピッチャーのみを大きく撮影し、ボールが投げられた後、バッターのみを大きく撮影するという手法を利用することで、ボールが小さくなり過ぎることを避けている。
【００３９】
しかしながら、この手法では、撮影に費やされるコストが増大するとともに、一度に見える範囲が限定されるため（画像に含まれるオブジェクトが限定されるため）、ユーザがその画像を見ても全体の状況を把握することが困難になるという新たな課題が発生してしまう。
【００４０】
或いは、例えば、据置型表示機器１に表示される画像に対して、何らかの画像処理（例えば、特許文献１参照）が施された画像を、携帯型表示機器２に表示させることも考えられるが、特許文献１に開示されているような、従来の画像処理が単に施されただけでは、上述した課題を解決することは困難である。即ち、携帯型表示機器２が、従来の画像処理が施された画像をたとえ表示させたとしても、ユーザが所望するオブジェクトを、ユーザが視認可能な状態で常時表示させることは困難である。
【００４１】
本発明は、このような状況に鑑みてなされたものであり、小さな若しくは解像度の低い表示デバイスに対しても、ユーザが所望するオブジェクトを、ユーザが視認可能な状態で常時表示させることができるようにするものである。
【００４２】
【特許文献１】
特開２００２−２３２７８２号公報
【００４３】
【課題を解決するための手段】
本発明の画像処理装置は、入力された第１の画像データの中から、予め設定されたオブジェクトに対応するオブジェクトデータを抽出する抽出手段と、抽出手段により抽出されたオブジェクトデータに対応するオブジェクトが、第１の画像データに対応する画像に含まれる他のオブジェクトよりも相対的に強調されるように、オブジェクトデータに基づいて第１の画像データを調整して第２の画像データを生成する生成手段と、生成手段により生成された第２の画像データに対応する画像の表示を制御する表示制御手段とを備えることを特徴とする。
【００４４】
生成手段は、抽出手段により抽出されたオブジェクトデータに対応するオブジェクトの、他のオブジェクトに対する相対的なサイズを変化させるサイズ変化手段と、サイズ変化手段によりサイズが変化されたオブジェクトを、第１の画像データに対応する画像のうちの、元のサイズのオブジェクトが配置されていた位置の上に配置させるように、オブジェクトデータを第１の画像データに合成して第２の画像データを生成する合成手段とを有するようにすることができる。
【００４５】
生成手段は、第１の画像データに対応する画像に対して、抽出手段により抽出されたオブジェクトデータに対応するオブジェクトの色が調整された画像に対応する第２の画像データを生成するようにすることができる。
【００４６】
生成手段は、第１の画像データのうちの、抽出手段により抽出されたオブジェクトデータ以外のデータが調整された第２の画像データを生成するようにすることができる。
【００４７】
生成手段は、抽出手段により抽出されたオブジェクトデータに対応するシンボルを生成し、第１の画像データに対応する画像に対して、生成したシンボルがさらに付加された画像に対応する第２の画像データを生成するようにすることができる。
【００４８】
生成手段は、抽出手段により抽出されたオブジェクトデータに対応するシンボルを生成し、第１の画像データに対応する画像に対して、オブジェクトの代わりに、生成したシンボルが配置された画像に対応する第２の画像データを生成するようにすることができる。
【００４９】
オブジェクトを設定する設定手段をさらに設け、抽出手段は、第１の画像データの中から、設定手段により設定されたオブジェクトに対応するオブジェクトデータを抽出するようにすることができる。
【００５０】
設定手段は、第１の画像データの特徴に基づいて、自分自身の判断でオブジェクトを設定するようにすることができる。
【００５１】
ユーザの操作により、ユーザが所望するオブジェクトを指示する情報を入力する入力手段をさらに設け、設定手段は、入力手段より入力された情報に基づいてオブジェクトを設定するようにすることができる。
【００５２】
オブジェクトの候補となるオブジェクト候補が複数個存在し、入力手段は、複数のオブジェクト候補のうちのユーザにより選択された所定の１つを、オブジェクトとして指示する情報を入力するようにすることができる。
【００５３】
第１の画像データは、動画像のうちの第１のアクセスユニットを構成する画像データであり、抽出手段は、第１のアクセスユニットよりも前の第２のアクセスユニット、若しくは後の第３のアクセスユニット、または第２のアクセスユニットと第３のアクセスユニットの両方に基づいて、第１のアクセスユニット内のオブジェクトの位置を推定し、推定した位置に基づいて、第１のアクセスユニット内のオブジェクトに対応するオブジェクトデータを抽出するようにすることができる。
【００５４】
本発明の画像処理方法は、画像の表示を制御する画像処理装置の画像処理方法であって、入力された第１の画像データの中から、予め設定されたオブジェクトに対応するオブジェクトデータを抽出する抽出ステップと、抽出ステップの処理により抽出されたオブジェクトデータに対応するオブジェクトが、第１の画像データに対応する画像に含まれる他のオブジェクトよりも相対的に強調されるように、オブジェクトデータに基づいて第１の画像データを調整して第２の画像データを生成する生成ステップと、生成ステップの処理により生成された第２の画像データに対応する画像の表示を制御する表示制御ステップとを含むことを特徴とする。
【００５５】
本発明の第１のプログラムは、画像の表示を制御する処理をコンピュータに実行させるプログラムであって、入力された第１の画像データの中から、予め設定されたオブジェクトに対応するオブジェクトデータを抽出する抽出ステップと、抽出ステップの処理により抽出されたオブジェクトデータに対応するオブジェクトが、第１の画像データに対応する画像に含まれる他のオブジェクトよりも相対的に強調されるように、オブジェクトデータに基づいて第１の画像データを調整して第２の画像データを生成する生成ステップと、生成ステップの処理により生成された第２の画像データに対応する画像の表示を制御する表示制御ステップとを含むことを特徴とする。
【００５６】
本発明の画像処理装置および方法、並びに第１のプログラムにおいては、入力された第１の画像データの中から、予め設定されたオブジェクトに対応するオブジェクトデータが抽出され、抽出されたオブジェクトデータに対応するオブジェクトが、第１の画像データに対応する画像に含まれる他のオブジェクトよりも相対的に強調されるように、オブジェクトデータに基づいて第１の画像データが調整されて第２の画像データが生成され、生成された第２の画像データに対応する画像の表示が制御される。
【００５７】
本発明の画像処理装置は、内蔵する表示デバイスに対して表示の制御を行ってもよいし、外部の表示デバイスに対して表示の制御を行ってもよい。
【００５８】
また、第１の画像データは、他の装置より配信または放送されてくるリアルタイムの画像データであってもよいし、記録媒体や画像処理装置に内蔵するメモリに一度記憶された画像データであってもよい。
【００５９】
本発明の画像表示装置は、画像を表示する表示手段と、入力された第１の画像データの中から、予め設定されたオブジェクトに対応するオブジェクトデータを抽出する抽出手段と、抽出手段により抽出されたオブジェクトデータに対応するオブジェクトが、第１の画像データに対応する画像に含まれる他のオブジェクトよりも相対的に強調されるように、オブジェクトデータに基づいて第１の画像データを調整して第２の画像データを生成する生成手段と、生成手段により生成された第２の画像データに対応する画像を、表示手段に表示させるように制御する表示制御手段とを備えることを特徴とする。
【００６０】
本発明の画像表示方法は、画像を表示する表示デバイスを備える画像表示装置の画像表示方法であって、入力された第１の画像データの中から、予め設定されたオブジェクトに対応するオブジェクトデータを抽出する抽出ステップと、抽出ステップの処理により抽出されたオブジェクトデータに対応するオブジェクトが、第１の画像データに対応する画像に含まれる他のオブジェクトよりも相対的に強調されるように、オブジェクトデータに基づいて第１の画像データを調整して第２の画像データを生成する生成ステップと、生成ステップの処理により生成された第２の画像データに対応する画像を、表示デバイスに表示させるように制御する表示制御ステップとを含むことを特徴とする。
【００６１】
本発明の第２のプログラムは、表示デバイスに対する画像の表示を制御する処理を、コンピュータに実行させるプログラムであって、入力された第１の画像データの中から、予め設定されたオブジェクトに対応するオブジェクトデータを抽出する抽出ステップと、抽出ステップの処理により抽出されたオブジェクトデータに対応するオブジェクトが、第１の画像データに対応する画像に含まれる他のオブジェクトよりも相対的に強調されるように、オブジェクトデータに基づいて第１の画像データを調整して第２の画像データを生成する生成ステップと、生成ステップの処理により生成された第２の画像データに対応する画像を、表示デバイスに表示させるように制御する表示制御ステップとを含むことを特徴とする。
【００６２】
本発明の画像表示装置および方法、並びに第２のプログラムにおいては、入力された第１の画像データの中から、予め設定されたオブジェクトに対応するオブジェクトデータが抽出され、抽出されたオブジェクトデータに対応するオブジェクトが、第１の画像データに対応する画像に含まれる他のオブジェクトよりも相対的に強調されるように、オブジェクトデータに基づいて第１の画像データが調整されて第２の画像データが生成され、生成された第２の画像データに対応する画像が、表示デバイスに表示される。
【００６３】
画像表示装置は、他の装置より配信または放送されてくるリアルタイムの画像データに対応する画像を表示してもよいし、記録媒体や画像処理装置に内蔵するメモリに一度記憶された画像データに対応する画像を表示してもよい。
【００６４】
本発明の画像配信装置は、配信すべき第１の画像データの中から、予め設定されたオブジェクトに対応するオブジェクトデータを抽出する抽出手段と、抽出手段により抽出されたオブジェクトデータに対応するオブジェクトが、第１の画像データに対応する画像に含まれる他のオブジェクトよりも相対的に強調されるように、オブジェクトデータに基づいて第１の画像データを調整して第２の画像データを生成する生成手段と、生成手段により生成された第２の画像データを配信する配信手段とを備えることを特徴とする。
【００６５】
本発明の画像配信方法は、画像データを配信する画像配信装置の画像配信方法であって、配信すべき第１の画像データの中から、予め設定されたオブジェクトに対応するオブジェクトデータを抽出する抽出ステップと、抽出ステップの処理により抽出されたオブジェクトデータに対応するオブジェクトが、第１の画像データに対応する画像に含まれる他のオブジェクトよりも相対的に強調されるように、オブジェクトデータに基づいて第１の画像データを調整して第２の画像データを生成する生成ステップと、生成ステップの処理により生成された第２の画像データを配信する配信ステップとを含むことを特徴とする。
【００６６】
本発明の第３のプログラムは、画像データの配信を制御する処理をコンピュータに実行させるプログラムであって、配信すべき第１の画像データの中から、予め設定されたオブジェクトに対応するオブジェクトデータを抽出する抽出ステップと、抽出ステップの処理により抽出されたオブジェクトデータに対応するオブジェクトが、第１の画像データに対応する画像に含まれる他のオブジェクトよりも相対的に強調されるように、オブジェクトデータに基づいて第１の画像データを調整して第２の画像データを生成する生成ステップと、生成ステップの処理により生成された第２の画像データの配信を制御する配信制御ステップとを含むことを特徴とする。
【００６７】
本発明の画像配信装置は、画像データを有線で配信してもよいし、無線で配信してもよい。或いは、本発明の画像配信装置は、画像データを、有線および無線の両方の通信方法で配信してもよい。
【００６８】
また、本発明の画像配信装置は、画像データのみを配信してもよいし、画像データとともに他のコンテンツを配信してもよい。
【００６９】
【発明の実施の形態】
図１４は、本発明が適用される画像処理装置または画像表示装置としての携帯型表示機器の構成例を表している。
【００７０】
図１４の携帯型表示機器２１において、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３２に記録されているプログラム、または記憶部３９からＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３３にロードしたプログラムに従って各種の処理を実行する。ＲＡＭ３３にはまた、ＣＰＵ３１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００７１】
ＣＰＵ３１、ＲＯＭ３２、およびＲＡＭ３３は、バス３４を介して相互に接続されている。このバス３４にはまた、入出力インタフェース３５も接続されている。
【００７２】
入出力インタフェース３５には、キーボード、マウスなどよりなる入力部３６、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）５１などよりなる出力部３７、デジタルビデオカメラ６１等の外部機器とのインタフェースとなる外部機器接続部３８、ハードディスクなどより構成される記憶部３９、および、アンテナ４１を介する他の無線通信装置（図示せず）との無線通信処理を実行する無線通信部４０が接続されている。
【００７３】
無線通信部４０の無線通信方式は、特に限定されず、例えば、ＩＥＥＥ８０２．１１ａ、若しくは８０２．１１ｂの無線ＬＡＮ、または、ブルートゥース等の汎用的な無線通信方式が使用可能である。或いは、携帯型表示機器２１が携帯電話機として機能する場合、無線通信部４０は、中継基地（図示せず）を介して他の携帯電話機（図示せず）と無線通信を行うための無線通信処理を実行する。さらにまた、携帯型表示機器２１がテレビジョン受像機として機能する場合、無線通信部４０は、放送事業者の情報処理装置より放送されるテレビジョン信号を受信するチューナとして機能する。
【００７４】
入出力インタフェース３５にはまた、必要に応じてドライブ４２が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブル記録媒体５２が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３９にインストールされる。
【００７５】
なお、本発明が適用される画像処理装置または画像表示装置の実施の形態は、図１４に示されるような携帯型のパーソナルコンピュータ２１に限定されず、様々な実施の形態が可能である。具体的には、例えば、ゲーム専用装置、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、携帯電話機、または、デジタル電化製品（例えば、携帯型のテレビジョン受像機）等様々な実施の形態が可能である。或いは、携帯型でなくとも、据置型の装置でもよい。例えば、大型の画面を有するテレビジョン受像機の中には、その表示部（画面）内の所定の小さな領域に、その領域以外の画面全体に表示されている画像とは異なる画像を縮小させて表示させる機能を有するものもある。そのような機能が利用される場合に、本発明が適用されてもよい。
【００７６】
図１５は、携帯型表示機器２１（図１４）が有している機能のうちの、後述する図１６のフローチャートに示されるユーザ注目対象調整処理を行う機能を実現するソフトウエアプログラムの構成例を表している。
【００７７】
図１５に示されるように、このソフトウエアプログラムは、画像入力モジュール７１、ユーザ注目対象設定モジュール７２、ユーザ注目対象抽出モジュール７３、ユーザ注目対象調整モジュール７４、ユーザ注目対象合成モジュール７５、ダウンコンバートモジュール７６、および、画像出力モジュール７７といった複数のモジュールにより構成されている。
【００７８】
これらの各モジュールのそれぞれは、１つの独立したアルゴリズムを持ち、かつ、そのアルゴリズムに従って固有の動作を実行する。即ち、各モジュールのそれぞれは、ＣＰＵ３１（図１４）により適宜読み出され、実行される。なお、後述する他のモジュールについても同様とされる。
【００７９】
画像入力モジュール７１は、原画像に対応する画像データを入力する。
【００８０】
なお、以下、画像データであることを強調する必要がない場合（画像データと画像を区別する必要がない場合）、単に、画像と称することもある。即ち、原画像に対応する画像データを、以下、単に原画像と称することもある。
【００８１】
画像入力モジュール７１は、原画像として、デジタルビデオカメラ６１が撮影している画像を、外部機器接続部３８を介して入力してもよいし、記憶部３９に予め記憶されている画像を入力してもよいし、或いは、他の無線通信装置（図示せず）から配信される画像を、アンテナ４１および無線通信部４０を介して入力してもよい。即ち、画像入力モジュール７１が原画像を入力する入力元は特に限定されず、その他、例えば、図１５には図示されていないが、図１４のドライブ４２に接続されたリムーバブル記録媒体５２が入力元とされてもよい。なお、後述する他の画像入力モジュールについても同様とされる。
【００８２】
ユーザ注目対象設定モジュール７２は、画像入力モジュール７１が入力した原画像の中から、ユーザが着目するオブジェクト（後述するように、他のオブジェクトに対して相対的に強調されて表示されるオブジェクト）を設定する。なお、以下、このようなユーザが着目するオブジェクトを、ユーザ注目対象と称する。
【００８３】
ユーザ注目対象抽出モジュール７３は、画像入力モジュール７１が入力した原画像の中から、ユーザ注目対象設定モジュール７２により設定されたユーザ注目対象に対応するデータを画像認識により抽出する。なお、所定のオブジェクト（この例では、ユーザ注目対象）に対応するデータを、画像データから画像認識により抽出する方法は、一般に多数知られており、ユーザ注目対象抽出モジュール７３は、このような方法のうちのいずれの方法を用いても構わない。
【００８４】
この例においては、例えば、画像入力モジュール７１が入力する原画像が動画像とされた場合、ユーザ注目対象抽出モジュール７３は、動きベクトルなど前後のフレームの抽出結果を利用して、ユーザ注目対象のデータを抽出する。このように、原画像が動画像とされた場合、ユーザ注目対象抽出モジュール７３は、動きベクトルなど前後のフレームの抽出結果を利用することで、容易にユーザ注目対象を特定することが可能になる。
【００８５】
ユーザ注目対象調整モジュール７４は、ユーザ注目対象抽出モジュール７３により抽出されたユーザ注目対象のデータを調整する。即ち、ユーザ注目対象調整モジュール７４は、原画像に含まれる他のオブジェクトに対してユーザ注目対象を相対的に強調させて表示させるために、ユーザ注目対象のデータに所定の画像処理を施す。この画像処理の方法は、特に限定されないが、この例においては、例えば、ユーザ注目対象調整モジュール７４は、ユーザ注目対象の画像サイズを他のオブジェクトに対して相対的に拡大する画像処理を、ユーザ注目対象のデータに行うとする。なお、画像を拡大または縮小する方法も一般に多数知られており、ユーザ注目対象調整モジュール７４は、このような方法のうちのいずれの方法を用いても構わない。
【００８６】
ユーザ注目対象合成モジュール７５は、ユーザ注目対象調整モジュール７４により調整されたユーザ注目対象のデータを、画像入力モジュール７１が入力した原画像（データ）に合成する。これにより、他のオブジェクトに対してユーザ注目対象が強調された画像（以下、このような画像を、ユーザ注目対象強調画像と称する）のデータが生成される。
【００８７】
ダウンコンバートモジュール７６は、ユーザ注目対象強調画像のデータのうちの、ダウンコンバート処理を施す必要があると判断したものに対して、ダウンコンバートを行なう。
【００８８】
具体的には、例えば、上述した図２乃至図５に示されるように、原画像の解像度（ダウンコンバートモジュール７６に入力された時点のユーザ注目対象強調画像の解像度）よりも表示部（この例では、ＬＣＤ５１）の解像度が低い場合、ダウンコンバートモジュール７６は、ダウンコンバート処理が必要であると判断し、ユーザ注目対象強調画像のデータに対して、ダウンコンバート処理を施した後、ダウンコンバートされたユーザ注目対象強調画像のデータを画像出力モジュール７７に供給する。
【００８９】
これに対して、上述した図６乃至図９に示されるように、原画像と表示部の解像度が同じである場合、ダウンコンバートモジュール７６は、ダウンコンバート処理が不要であると判断し、ユーザ注目対象強調画像のデータをそのまま（ダウンコンバート処理を行わず）画像出力モジュール７７に供給する。
【００９０】
画像出力モジュール７７は、ダウンコンバートモジュール７６より供給されたユーザ注目対象強調画像のデータを出力先のフォーマットに変換した後、出力先に対して出力する。出力先は、入力元と同様に特に限定されず、例えば、ＬＣＤ５１であってもよいし、記憶部３９であってもよいし、外部機器接続部３８に接続されたデジタルビデオカメラ６１であってもよいし、或いは、無線通信部４０であってもよい。出力先が無線通信部４０の場合、出力されたユーザ注目対象強調画像に対応する画像信号は、アンテナ４１を介して他の無線通信装置（図示せず）に送信される。なお、後述する他の画像出力モジュールについても同様とされる。
【００９１】
次に、図１６のフローチャートを参照して、図１５の携帯型表示機器２１のユーザ注目対象調整処理について説明する。
【００９２】
はじめに、ステップＳ１において、画像入力モジュール７１は、原画像を入力する。
【００９３】
なお、上述したように、原画像は、様々な入力元から入力が可能であるが、この例においては、例えば、画像入力モジュール７１は、原画像として、記憶部３９に予め記憶されていた図１７に示される画像８１−１に対応する画像データ（以下、単に原画像８１−１と称する）を入力するとする。
【００９４】
原画像８１−１は、従来の例で説明した野球の様子を表す画像１１（図１）に対応する画像とされている。即ち、原画像８１−１は、ピッチャー９２−１がバッター９１−１に向かってボール９３−１を投げた状態を表している。
【００９５】
ステップＳ２において、ユーザ注目対象設定モジュール７２は、ユーザ注目対象を設定する。
【００９６】
設定されるユーザ注目対象は、特に限定されないが、この例においては、例えば、ユーザ注目対象設定モジュール７２は、ユーザ注目対象としてボールを設定するとする。即ち、上述したように、野球を表している画像が携帯型表示機器（この例では、携帯型表示機器２１）に表示される場合、ユーザはボールの視認が困難になるという課題があった。そこで、この例においては、ユーザがボールを視認できるように、ユーザ注目対象としてボールが設定される。
【００９７】
なお、ユーザ注目対象設定モジュール７２におけるユーザ注目対象の設定方法は、特に限定されず、例えば、ユーザが入力部３６（図１４）を操作して、ユーザ注目対象としてボールを指定する情報をユーザ注目対象設定モジュール７２（図１４のＣＰＵ３１）に入力させ、ユーザ注目対象設定モジュール７２が、その入力された情報に基づいて、ユーザ注目対象としてボールを設定してもよい。或いは、ユーザ注目対象設定モジュール７２が、原画像８１−１を解析し、それが野球を表した画像であることを認識した後、自分自身の総合的な判断で、ユーザ注目対象としてボールを設定してもよい。
【００９８】
ステップＳ３において、ユーザ注目対象抽出モジュール７３は、ユーザ注目対象のデータを抽出する。即ち、この例においては、例えば、ユーザ注目対象抽出モジュール７３は、原画像８１−１の中から、ユーザ注目対象としてボール９３−１に対応する画像データ（以下、単にボール９３−１と称する）を抽出する。
【００９９】
ステップＳ４において、ユーザ注目対象調整モジュール７４は、ユーザ注目対象のデータを調整する。即ち、この例においては、例えば、ユーザ注目対象調整モジュール７４は、ユーザ注目対象抽出モジュール７３により抽出されたボール９３−１に対して拡大処理８２を施して、その画像サイズを大きくした画像データ９３−２（以下、そのような画像データを、単にボール９３−２と称する）を生成する。
【０１００】
ステップＳ５において、ユーザ注目対象合成モジュール７５は、ユーザ注目対象（データ）を原画像（データ）に合成する。即ち、この例においては、例えば、ユーザ注目対象合成モジュール７５は、画像入力モジュール７１が入力した原画像８１−１に、ユーザ注目対象調整モジュール７４により調整された（画像サイズが大きくされた）ボール９３−２を合成して、ユーザ注目対象強調画像８１−２に対応する画像データ（以下、単に、ユーザ注目対象強調画像８１−２と称する）を生成する。
【０１０１】
ステップＳ６において、ダウンコンバートモジュール７６は、ダウンコンバートの必要があるか否かを判定する。
【０１０２】
ステップＳ６において、ダウンコンバートの必要がないと判定された場合、ステップＳ８において、画像出力モジュール７７は、ユーザ注目対象強調画像８１−２を出力する。上述したように、様々な出力先が可能であるが、この例においては、例えば、出力先はＬＣＤ５１とされる。即ち、画像出力モジュール７７は、ユーザ注目対象強調画像８１−２に対応する画像データをＬＣＤ５１のフォーマットの画像信号に変換させてＬＣＤ５１に出力する。ＬＣＤ５１は、画像出力モジュール７７より出力された画像信号に対応するユーザ注目対象強調画像８１−２を表示する。
【０１０３】
この場合、図１７において、例えば、原画像８１−１が、上述した図６の画像１−１と同様に、７２０×４８０画素、かつ水平寸法５０ｃｍの画像とされ、ＬＣＤ５１が、７２０×４８０画素、かつ水平寸法５ｃｍとされると、ＬＣＤ５１には、７２０×４８０画素、かつ水平寸法５ｃｍのユーザ注目対象強調画像８１−２が表示される。ＬＣＤ５１に表示されるユーザ注目対象強調画像８１−２は、その全体の画像サイズが、原画像８１−１に比べて小さくなるものの、ユーザ注目対象強調画像８１−２に対するボール９３−２の相対的なサイズ（ボール９３−２の占める割合）は、原画像８１−１に対するボール９３−１の相対的なサイズよりも大きくなる。
【０１０４】
従って、ユーザは、ＬＣＤ５１に表示されたユーザ注目対象強調画像８１−２を見て、ピッチャー９２−１がボール９３−２をバッター９１−１に対して投げている状況であることを確実に視認することが可能になる。換言すると、上述した第２の例（解像度に変化はなく、画素の大きさが小さくなる例）に対する従来の課題を解決することが可能になる。
【０１０５】
これに対して、ステップＳ６において、ダウンコンバートの必要があると判定した場合、ダウンコンバートモジュール７６は、ステップＳ７において、ダウンコンバートを実行する。即ち、この例においては、例えば、ダウンコンバートモジュール７６は、ユーザ注目対象合成モジュール７５により生成されたユーザ注目対象強調画像８１−２に対してダウンコンバート処理を施し、ユーザ注目対象強調画像８１−３に対応する画像データとし、画像出力モジュール７７に供給する。
【０１０６】
そして、ステップＳ８において、画像出力モジュール７７は、ユーザ注目対象強調画像８１−３に対応する画像データをＬＣＤ５１のフォーマットの画像信号に変換させてＬＣＤ５１に出力する。ＬＣＤ５１は、画像出力モジュール７７より出力された画像信号に対応するユーザ注目対象強調画像８１−３を表示する。
【０１０７】
この場合、図１７において、例えば、原画像８１−１が、上述した図２の画像１−１と同様に、７２０×４８０画素の画像とされ、ＬＣＤ５１が、１８０×１２０画素とされると、ＬＣＤ５１には、１８０×１２０画素の解像度にダウンコンバートされたユーザ注目対象強調画像８１−３が表示される。
【０１０８】
このように、ＬＣＤ５１に表示されるユーザ注目対象強調画像８１−３は、原画像８１−１が単にダウンコンバートされたものではなく、原画像８１−１のボール９３−１よりも大きいボール９３−２が合成されたユーザ注目強調画像８１−２がダウンコンバートされたものである。その結果、ユーザ注目対象強調画像８１−３に対するボール９３−３の相対的なサイズ（ボール９３−３の占める割合）は、原画像８１−１に対するボール９３−１の相対的なサイズよりも大きくなっている。
【０１０９】
従って、ユーザは、ＬＣＤ５１に表示されたユーザ注目対象強調画像８１−３を見て、ピッチャー９２−２がボール９３−３をバッター９１−２に対して投げている状況であることを確実に視認することが可能になる。換言すると、上述した第１の例（解像度が低くなる例）および第３の例（解像度が低くなるとともに、画像の大きさが小さくなる例）に対する従来の課題を解決することが可能になる。
【０１１０】
このように、図１５のソフトウエアプログロムが搭載された図１４の携帯型表示機器２１は、ユーザ注目対象が他のオブジェクトよりも相対的に強調されたユーザ注目対象強調画像８１−２、またはユーザ注目対象強調画像８１−３を表示（または出力）することができるので、上述した従来の課題を解決することができるという効果を奏することが可能になる。
【０１１１】
ところで、上述した例では、ユーザ注目対象調整処理は、静止画像に対する処理とされたが、動画像とされても基本的に同様の処理が施される。ただし、動画像の場合、ユーザ注目対象抽出モジュール７３は、例えば、以下のようにしてユーザ注目対象のデータを抽出する。
【０１１２】
即ち、図１８は、動画像の場合、ユーザ注目対象抽出モジュール７３が、ユーザ注目対象（ボール）のデータを、その動きに追従させて抽出する様子を表している。
【０１１３】
画像１０１−１は、動画像を構成するフレームのうちの所定のフレームであり、原画像８１−１（図１７）と同様に、野球の様子を表している。即ち、画像１０１−１は、ピッチャー１１２−１がバッター１１１−１に向かってボール１１３−１を投げた状態を表している。
【０１１４】
画像１０１−２は、画像１０１−１の次（後）のフレームであり、ボール１１３−２が、画像１０１−１のボール１１３−１の位置に対して、ピッチャー１１２−２よりもバッター１１１−２側に進んでいることを表している（実際の画像１０１−２には、ボール１１３−１と点線の矢印は含まれない）。
【０１１５】
画像１０１−３は、画像１０１−２の次（後）のフレームであり、ボール１１３−３が、画像１０１−２のボール１１３−２の位置に対して、ピッチャー１１２−３よりもバッター１１１−３側にさらに進んでいることを表している（実際の画像１０１−３には、ボール１１３−２と点線の矢印は含まれない）。
【０１１６】
この場合、画像１０１−１が仮に動画像の最初のフレームとされ、画像入力モジュール７１が、原画像として画像１０１−１を入力すると、ユーザ注目対象抽出モジュール７３は、画像認識によりボール１１３−１を探索し、そのデータを抽出する。この探索処理は、画像１０１−１の全ての範囲に及ぶため大きな処理となり、それだけ処理時間もかかることになる。
【０１１７】
これに対して、動画像においては前後のフレームにおける差分は一般に小さいものであるため、画像入力モジュール７１が、原画像として、画像１０１−１の次のフレームである画像１０１−２を入力した場合、ユーザ注目対象抽出モジュール７３は、画像１０１−１におけるボール１１３−１の付近の領域を探索するだけで、ボール１１３−２のデータを抽出することが可能となる。即ち、この場合の探索処理は最初のフレーム（いまの場合、画像１０１−１）に対して小さな処理となり、その分、処理時間も短縮される。
【０１１８】
画像入力モジュール７１が、原画像として、画像１０１−２の次のフレームである画像１０１−３を入力した場合、ユーザ注目対象抽出モジュール７３は、画像１０１−２が原画像である場合と同様な方法によって、ボール１１３−３を探索できる。さらに、ユーザ注目対象抽出モジュール７３は、画像１０１−１から画像１０１−２への切り替わり時にボール１１３−１の位置とボール１１３−２の位置の間の距離（ボールの移動距離）を計測して、画像１０１−３におけるボール１１３−３の位置を予め推定することができるため、更に効率の良い探索が可能になる。
【０１１９】
このように、動画像においては、ユーザ注目対象抽出モジュール７３は、前後のフレームから、ユーザ注目対象設定モジュール７２により設定されたユーザ注目対象（この例では、ボール）の動きに追従した探索を行なうことで、画像認識による探索よりも効率のよい探索を行うことが可能になる。即ち、処理量が少なくかつ処理時間の短い探索が可能になる。
【０１２０】
さらに、ユーザ注目対象抽出モジュール７３は、画像認識により探索を行う場合、ユーザ注目対象と似たものが同じ画像内に含まれていると、誤った認識（探索）を行なう恐れもあるが、ユーザ注目対象（この例では、ボール）の動きに追従した探索を行う場合、ユーザ注目対象の前後のフレーム間の関係に基づいて探索を行うので、正しいユーザ注目対象をより正確かつより早く探索することが可能になる。
【０１２１】
なお、上述した例では、ユーザ注目対象（ボール）の位置が着目された探索が行われたが、位置以外の変化が利用される探索でも同様の効果がある。例えば、カメラが、画像１０１−１の状況をバッター１１１−１の後方から撮影した場合、ピッチャー１１２−１によって投げられたボール１１３−１は時々刻々と近づいて来ることになる。換言すると、ボールの大きさ（画像に対する相対的な大きさ）が時々刻々と大きくなる。ユーザ注目対象抽出モジュール７３は、この大きさの変化に追従することで、より効率良く、かつより正確に画像内のボールを特定することが可能になる。
【０１２２】
このように動画像においては、ユーザ注目対象抽出モジュール７３は、今回の処理の前に探索したユーザ注目対象の変化に追従して、処理対象の画像内のユーザ注目対象の探索を行なうことで、そのデータを抽出する。従って、ユーザ注目対象が効率良く探索されるとともに、誤った探索が行われる可能性も少なくなる。
【０１２３】
以上、携帯型表示機器２１のユーザ注目対象調整処理を実現するソフトウエアプログラムとして、図１５と図１６の例に基づいて説明したが、このソフトウエアプログラムは、図１５と図１６の例に限定されず、様々な実施の形態が可能である。
【０１２４】
そこで、以下、図１５と図１６の例とは異なるソフトウエアプログラムの例について説明する。
【０１２５】
具体的には、例えば、図１９は、携帯型表示機器２１（図１４）が有している機能のうちの、後述する図２０のフローチャートに示されるユーザ注目対象調整処理を行う機能を実現するソフトウエアプログラムの構成例を表している。
【０１２６】
図１９に示されるように、このソフトウエアプログラムは、図１５の画像入力モジュール７１乃至画像出力モジュール７７のそれぞれと同様の機能を有する画像入力モジュール１２１乃至画像出力モジュール１２７のそれぞれより構成されている。
【０１２７】
ただし、図１５の例では、ダウンコンバートモジュール７６は、ユーザ注目対象合成モジュール７５の後に配置されていたが、図１９の例では、ダウンコンバートモジュール１２６は、ユーザ注目対象合成モジュール１２５の前に配置されている。
【０１２８】
即ち、図１５の例では、先に、ユーザ注目対象合成モジュール７５が、画像入力モジュール７１が入力した原画像と、ユーザ注目対象調整モジュール７４により調整されたユーザ注目対象を合成して、ユーザ注目対象強調画像を生成した後、ダウンコンバートモジュール７６が、ユーザ注目対象強調画像のダウンコンバートを実行する。
【０１２９】
これに対して、図１９の例では、先に、ダウンコンバートモジュール１２６が、画像入力モジュール１２１が入力した原画像のダウンコンバートを実行し、その後、ユーザ注目対象合成モジュール１２５が、ダウンコンバートモジュール１２６によりダウンコンバートされた原画像と、ユーザ注目対象調整モジュール１２４により調整されたユーザ注目対象を合成して、ユーザ注目対象強調画像を生成する。
【０１３０】
次に、図２０のフローチャートを参照して、図１９の携帯型表示機器２１のユーザ注目対象調整処理について説明する。
【０１３１】
はじめに、ステップＳ２１において、画像入力モジュール１２１は、原画像を入力する。
【０１３２】
なお、上述したように、原画像は、様々な入力元から入力が可能であるが、この例においては、例えば、画像入力モジュール１２１は、原画像として、デジタルビデオカメラ６１が撮影した図２１に示される画像１３１−１に対応する画像データ（以下、単に原画像１３１−１と称する）を、外部機器接続部３８を介して入力するとする。
【０１３３】
原画像１３１−１は、従来の例で説明した野球の様子を表す画像１１（図１）に対応する画像とされている。即ち、原画像１３１−１は、ピッチャー１４２−１がバッター１４１−１に向かってボール１４３−１を投げた状態を表している。
【０１３４】
また、この例においては、例えば、デジタルビデオカメラ６１の表示部（図示せず）は、解像度が７２０×４８０画素とされている。即ち、画像１３１−１の解像度が７２０×４８０画素とされている。これに対して、携帯型表示機器２１のＬＣＤ５１の解像度が１８０×１２０画素とされている。
【０１３５】
さらに、説明の都合上、デジタルビデオカメラ６１の表示部の画素と携帯型表示機器２１のＬＣＤ５１の画素の大きさは、同じ大きさとされている。
【０１３６】
即ち、この例は、図２１に示されるように、解像度だけが下げられる場合の例である。換言すると、この例は、上述した図２乃至図５に示される従来の課題が発生する第１の例（７２０×４８０画素の画像から１８０×１２０画素の画像に変換される場合の第１の例）に対応する例であって、その第１の例の課題を解決することが可能な例である。
【０１３７】
次に、ステップＳ２２において、ユーザ注目対象設定モジュール１２２は、ユーザ注目対象を設定する。なお、この例においても、上述した例と同様に、ユーザ注目対象設定モジュール１２２は、ユーザ注目対象としてボールを設定するとする。
【０１３８】
ステップＳ２３において、ユーザ注目対象抽出モジュール１２３は、ユーザ注目対象のデータを抽出する。即ち、この例においては、例えば、ユーザ注目対象抽出モジュール１２３は、原画像１３１−１の中から、ユーザ注目対象としてボール１４３−１に対応する画像データ（以下、単にボール１４３−１と称する）を抽出する。
【０１３９】
ステップＳ２４において、ユーザ注目対象調整モジュール１２４は、ユーザ注目対象のデータを調整する。即ち、この例においては、例えば、ユーザ注目対象調整モジュール１２４は、ユーザ注目対象抽出モジュール１２３により抽出されたボール１４３−１に対してサイズ変換処理１３２を施して、その画像サイズを元のｎ倍の大きさにする。
【０１４０】
このサイズの変換率ｎは、特に限定されないが、この例においては、例えば、後述するように、原画像１３１−１が１／４倍ダウンコンバートされた画像１３１−２に対して、ボール１４３−１のｎ倍のサイズのボール１４３−５が合成されることになるので、少なくとも１／４よりも大きい値とされる。即ち、変換率ｎが１／４以下とされた場合、ボール１４３−５の画像１３１−３に対する相対的な大きさ（ボール１４３−５の占める割合）は、ボール１４３−１の画像１３１−１に対する相対的な大きさ（元の大きさ）よりも小さくなってしまう。そこで、この例においては、変換率ｎは、１／４よりも大きな値とされる。
【０１４１】
具体的には、変換率ｎが、１／４＜ｎ＜１とされた場合、ユーザ注目対象調整モジュール１２４は、処理１３２としてサイズ縮小処理を施して、ボール１４３−１に対して、その画像サイズがｎ（１／４＜ｎ＜１）倍縮小された画像データ１４３−３（以下、そのような画像データを、単にボール１４３−３と称する）を生成する。
【０１４２】
変換率ｎが１とされた場合、ユーザ注目対象調整モジュール１２４は、処理１３２として特に何の処理も施さず、ボール１４３−１をそのまま使用する。
【０１４３】
変換率ｎが、１＞ｎとされた場合、ユーザ注目対象調整モジュール１２４は、処理１３２としてサイズ拡大処理を施して、ボール１４３−１に対して、その画像サイズがｎ（１＞ｎ）倍拡大された画像データ１４３−４（以下、そのような画像データを、単にボール１４３−４と称する）を生成する。
【０１４４】
ステップＳ２５において、ダウンコンバートモジュール１２６は、ダウンコンバートの必要があるか否かを判定する。
【０１４５】
ステップＳ２５において、ダウンコンバートの必要がないと判定した場合、ダウンコンバートモジュール１２６は、特に何の処理も施さない。即ち、処理は、ステップＳ２７に進められる。
【０１４６】
これに対して、この例においては、ダウンコンバートモジュール１２６は、ステップＳ２５において、ダウンコンバートの必要があると判定し、ステップＳ２６において、画像入力モジュール１２１が入力した７２０×４８０画素の原画像１３１−１に対して、１／４のダウンコンバートを実行し、１８０×１２０画素の原画像１３１−２に対応する画像データ（以下、単に原画像１３１−２と称する）を生成する。
【０１４７】
この原画像１３１−２がＬＣＤ５１にそのまま表示された場合、上述した第１の例に対する従来の課題が発生する。そこで、この例においては、ステップＳ２７において、ユーザ注目対象合成モジュール１２５が、ダウンコンバートモジュール１２６によりダウンコンバートされた原画像１３１−２（１８０×１２０画素の原画像１３１−２）に、ユーザ注目対象調整モジュール１２４により調整されたボール１４３−５（ボール１４３−５は、変換率ｎが１／４＜ｎ＜１であった場合、ボール１４３−３であり、変換率ｎが１であった場合、ボール１４３−１であり、また、変換率ｎが１＞ｎであった場合、ボール１４３−４である）を合成して、ユーザ注目対象強調画像１３１−３に対応する画像データ（以下、単に、ユーザ注目対象強調画像１３１−３と称する）を生成する。
【０１４８】
ステップＳ２８において、画像出力モジュール１２７は、ユーザ注目対象強調画像１３１−３を出力する。なお、この例においても、上述した例と同様に、出力先はＬＣＤ５１とされる。即ち、画像出力モジュール１２７は、ユーザ注目対象強調画像１３１−３に対応する画像データをＬＣＤ５１のフォーマットの画像信号に変換させてＬＣＤ５１に出力する。ＬＣＤ５１は、画像出力モジュール１２７より出力された画像信号に対応するユーザ注目対象強調画像１３１−３を表示する。
【０１４９】
このように、ユーザ注目対象強調画像１３１−３の全体は、原画像１３１−１に対して１／４にダウンコンバートされているが、ユーザ注目対象強調画像１３１−３に含まれるボール１４３−５は、少なくとも１／４倍よりも大きなサイズにコンバートされている。換言すると、ユーザ注目対象強調画像１３１−３に対するボール１４３−５の相対的なサイズ（ボール１４３−５の占める割合）は、原画像１３１−１に対するボール１４３−１の相対的なサイズよりも大きくなっている。従って、ユーザは、ＬＣＤ５１に表示されたユーザ注目対象強調画像１３１−３を見て、ピッチャー１４２−２がボール１４３−５をバッター１４１−２に対して投げている状況であることを確実に視認することが可能になる。
【０１５０】
このように、図１９のソフトウエアプログロムが搭載された携帯型表示機器２１は、ユーザ注目対象が他のオブジェクトよりも強調されたユーザ注目対象強調画像１３１−３を表示（または出力）することができるので、上述した従来の課題を解決することができるという効果を奏することが可能になる。
【０１５１】
なお、上述した図１９の例の説明として、携帯型表示機器２１のＬＣＤ５１の解像度が不十分な場合（原画像１３１−１の解像度より低い場合）、即ち、上述した第１の例に対する従来の課題を解決する説明を行ったが、勿論、図１９の例においても、第２の例（解像度に変化はなく、画素の大きさが小さくなる例）や第３の例（解像度が低くなるとともに、画像の大きさが小さくなる例）に対する課題も解決することが可能である。
【０１５２】
さらに、図１５と図１６の例、および、図１９と図２０の例とは異なるソフトウエアプログラムの例が、図２２と図２３に示されている。
【０１５３】
即ち、図２２は、例えば、携帯型表示機器２１（図１４）が有している機能のうちの、後述する図２３のフローチャートに示されるユーザ注目対象調整処理を行う機能を実現するソフトウエアプログラムの構成例を表している。
【０１５４】
図２２に示されるように、このソフトウエアプログラムは、図１５の画像入力モジュール７１乃至画像出力モジュール７７のそれぞれと同様の機能を有する画像入力モジュール１５１乃至画像出力モジュール１５７のそれぞれより構成されている。
【０１５５】
ただし、図１５の例では、ダウンコンバートモジュール７６は、ユーザ注目対象合成モジュール７５の後に配置されていたが、図２２の例では、ダウンコンバートモジュール１５６は、画像入力モジュール１５１の直後に配置されている。
【０１５６】
即ち、図１５の例では、ユーザ注目対象合成モジュール７５が、画像入力モジュール７１が入力した原画像と、ユーザ注目対象調整モジュール７４により調整されたユーザ注目対象を合成して、ユーザ注目対象強調画像を生成した後、ダウンコンバートモジュール７６が、ユーザ注目対象強調画像に対してダウンコンバートを実行する。
【０１５７】
これに対して、図２２の例では、先に、ダウンコンバートモジュール１５６が、画像入力モジュール１５１が入力した原画像に対してダウンコンバートを実行する。その後、ユーザ注目対象抽出モジュール１５３が、そのダウンコンバートされた原画像の中から、ユーザ注目対象設定モジュール１５２により設定されたユーザ注目対象を抽出し、ユーザ注目対象調整モジュール１５４が、抽出されたユーザ注目対象を調整する。そして、ユーザ注目対象合成モジュール１５５が、ダウンコンバートモジュール１５６によりダウンコンバートされた原画像と、ユーザ注目対象調整モジュール１５４により調整されたユーザ注目対象を合成して、ユーザ注目対象強調画像を生成する。
【０１５８】
次に、図２３のフローチャートを参照して、図２２の携帯型表示機器２１のユーザ注目対象調整処理について説明する。
【０１５９】
はじめに、ステップＳ４１において、画像入力モジュール１５１は、原画像を入力する。
【０１６０】
なお、上述したように、原画像は、様々な入力元から入力が可能であるが、この例においては、例えば、画像入力モジュール１５１は、原画像として、他の装置（図示せず）より配信された図２４に示される画像１６１−１に対応する画像データ（以下、単に原画像１６１−１と称する）を、アンテナ４１および無線通信部４０を介して入力するとする。
【０１６１】
原画像１６１−１も、従来の例で説明した野球の様子を表す画像１１（図１）に対応する画像とされている。即ち、原画像１６１−１は、ピッチャー１７２−１がバッター１７１−１に向かってボール１７３−１を投げた状態を表している。
【０１６２】
ステップＳ４２において、ダウンコンバートモジュール１５６は、ダウンコンバートの必要があるか否かを判定する。
【０１６３】
ステップＳ４２において、ダウンコンバートの必要がないと判定した場合、ダウンコンバートモジュール１５６は、特に何の処理も施さない。即ち、処理は、ステップＳ４４に進められる。
【０１６４】
これに対して、この例においては、ダウンコンバートモジュール１５６は、ステップＳ４２において、ダウンコンバートの必要があると判定し、ステップＳ４３において、画像入力モジュール１５１が入力した原画像１６１−１に対して、１／４のダウンコンバートを実行し、原画像１６１−２に対応する画像データ（以下、単に原画像１６１−２と称する）を生成する。
【０１６５】
この原画像１６１−２がＬＣＤ５１にそのまま表示された場合、上述した従来の課題が発生する。そこで、この例においては、ステップＳ４４において、ユーザ注目対象設定モジュール１５２が、ユーザ注目対象を設定する。なお、この例においても、上述した例と同様に、ユーザ注目対象設定モジュール１５２は、ユーザ注目対象としてボールを設定するとする。
【０１６６】
ステップＳ４５において、ユーザ注目対象抽出モジュール１５３は、ユーザ注目対象のデータを抽出する。即ち、この例においては、例えば、ユーザ注目対象抽出モジュール１５３は、原画像１６１−２の中から、ユーザ注目対象としてボール１７３−２に対応する画像データ（以下、単にボール１７３−２と称する）を抽出する。
【０１６７】
このように、この例（図２２と図２３の例）においては、ユーザ注目対象抽出モジュール１５３が、ダウンコンバートされた原画像１６１−２の中から、ボール１７３−２を探索するので、上述した他の例のように、ダウンコンバートされていない元の原画像の中からボールを探索する場合の処理量に比較して、処理量の軽減が可能になる。
【０１６８】
ステップＳ４６において、ユーザ注目対象調整モジュール１５４は、ユーザ注目対象のデータを調整する。即ち、この例においては、例えば、ユーザ注目対象調整モジュール１５４は、ユーザ注目対象抽出モジュール１５３により抽出されたボール１７３−２に対してサイズ拡大処理１６２を施して、その画像サイズが拡大されたボールに対応する画像データ１７３−３（以下、そのような画像データを、単にボール１７３−３と称する）を生成する。
【０１６９】
ステップＳ４７において、ユーザ注目対象合成モジュール１５５は、ダウンコンバートモジュール１５６によりダウンコンバートされた原画像１６１−２に、ユーザ注目対象調整モジュール１５４により調整されたボール１７３−３を合成して、ユーザ注目対象強調画像１６１−３に対応する画像データ（以下、単に、ユーザ注目対象強調画像１６１−３と称する）を生成する。
【０１７０】
ステップＳ４８において、画像出力モジュール１５７は、ユーザ注目対象強調画像１６１−３を出力する。なお、この例においても、上述した例と同様に、出力先はＬＣＤ５１とされる。即ち、画像出力モジュール１５７は、ユーザ注目対象強調画像１６１−３に対応する画像データを、ＬＣＤ５１のフォーマットの画像信号に変換させてＬＣＤ５１に出力する。ＬＣＤ５１は、画像出力モジュール１５７より出力された画像信号に対応するユーザ注目対象強調画像１６１−３を表示する。
【０１７１】
このように、原画像１６１−１が１／４にダウンコンバートされた後、そのダウンコンバートされた原画像１６１−２の中からボール１７３−２が抽出され、抽出されたボール１７３−２が拡大されてボール１７３−３となり、その拡大されたボール１７３−３が、原画像１６１−２に合成されてユーザ注目対象強調画像１６１−３が生成される。従って、ユーザ注目対象強調画像１６１−３に対するボール１７３−３の相対的なサイズ（ボール１７３−３の占める割合）は、ダウンコンバートされる前の元の原画像１６１−１に対するボール１７３−１の相対的なサイズよりも大きくなる。これにより、ユーザは、ＬＣＤ５１に表示されたユーザ注目対象強調画像１６１−３を見て、ピッチャー１７２−２がボール１７３−３をバッター１７１−２に対して投げている状況であることを確実に視認することが可能になる。
【０１７２】
このように、図２２のソフトウエアプログロムが搭載された携帯型表示機器２１も、ユーザ注目対象が他のオブジェクトよりも強調されたユーザ注目対象強調画像１６１−３を表示（または出力）することができるので、他の例と同様に、上述した従来の課題を解決することができるという効果を奏することが可能になる。
【０１７３】
以上、図１４の携帯型表示機器２１が、ユーザ注目対象調整処理を行う例として、ユーザ注目対象を元の画像から抽出し調整してから、元の画像に合成することで、ユーザ注目対象を相対的に拡大する処理を行う３つの例（図１５と図１６の例、図１９と図２０の例、および、図２２と図２３の例）について説明した。
【０１７４】
勿論、ユーザ注目対象調整処理は、上述した３つの例に限定されず、様々な処理が可能である。即ち、ユーザ注目対象調整処理は、単に、ユーザ注目対象を他のオブジェクトに対して相対的に強調させて表示させることが可能な処理であればよい。
【０１７５】
例えば、携帯型表示機器２１は、ユーザ注目対象を拡大しその周辺部を縮小することで、ユーザ注目対象を強調して表示させてもよい。
【０１７６】
図２５乃至図２７を参照して、このようなユーザ注目対象調整処理の具体的な例について説明する。
【０１７７】
即ち、この例では、例えば、図２５の画像１８１−１が、オセロゲームの１場面を表す原画像とされている。また、原画像１８１−１のうちの、左から５升目、上から５升目の黒の駒１８２がユーザ注目対象として設定されている。
【０１７８】
この場合、上述した他の例と同様に、携帯型表示機器２１が、ユーザ注目対象である駒１８２を、原画像１８１−１から抽出し調整してから原画像１８１−１に合成するユーザ注目対象調整処理を実行した場合、図２６に示されるようなユーザ注目対象強調画像１８１−２が生成される。このように、オセロゲームのようなものに対して上述したユーザ注目対象調整処理の他の例が適用されると、拡大されたユーザ注目対象（駒）１８２が、その周辺部を隠してしまうユーザ注目対象強調画像１８１−２が生成されるという課題が発生する。
【０１７９】
そこで、このような場合、携帯型表示機器２１は、ユーザ注目対象調整処理として、図２７に示されるように、ユーザ注目対象（駒）１８２を拡大するとともに、その周辺部を逆に縮小した注目対象強調画像１８１−３を生成する処理を実行するとよい。図２７の注目対象強調画像１８１−３に示されるように、携帯型表示機器２１がこのようなユーザ注目対象調整処理を行うことで、ユーザ注目対象（駒）１８２の周辺部が隠れてしまうという課題（図２６に示されるような課題）を解決することが可能になる。
【０１８０】
このように、携帯型表示機器２１は、ユーザ注目対象を他のオブジェクトよりも強調して表示させるために、ユーザ注目対象そのものを調整してユーザ注目対象強調画像を生成するばかりではなく、ユーザ注目対象以外のオブジェクト（図２７の例では、ユーザ注目対象（駒）１８２の周辺部のオブジェクト）を調整してユーザ注目対象強調画像を生成してもよい。
【０１８１】
以上、携帯型表示機器２１のユーザ注目対象調整処理として、ユーザ注目対象を相対的に拡大する処理の例について説明したが、ユーザ注目対象調整処理は、これら上述した例に限定されない。即ち、ユーザ注目対象調整処理は、上述したように、単に、ユーザがユーザ注目対象を容易に認識できるような画像（ユーザ注目対象強調画像）の生成が可能な処理であればよい。
【０１８２】
具体的には、例えば、携帯型表示機器２１は、ユーザ注目対象調整処理として、図２８に示されるユーザ注目対象強調画像１９１−１、または、図２９に示されるユーザ注目対象強調画像１９１−２を生成する処理を実行してもよい。
【０１８３】
即ち、図２８のユーザ注目対象強調画像１９１−１は、上述した例と同様に、ピッチャー２０２−１がバッター２０１−１に向かってボール２０３−１を投げた状態を表す原画像から生成された画像である。ユーザ注目対象強調画像１９１−１においては、ユーザ注目対象であるボール２０３−１に対して矢印２０４が付加されることで、ボール２０３−１が強調されている（ユーザがボール２０３−１を容易に視認可能な画像とされている）。
【０１８４】
また、図２９のユーザ注目対象強調画像１９１−２も、図２８と同様に、ピッチャー２０２−１がバッター２０１−１に向かってボール２０３−１を投げた状態を表す原画像から生成された画像である。ユーザ注目対象強調画像１９１−２においては、図２８の矢印２０４に対して、ボール２０３−１の周りを囲む円２０５が付加されることで、ボール２０３−１が強調されている（ユーザがボール２０３−１を容易に視認可能な画像とされている）。
【０１８５】
このように、携帯型表示機器２１は、ユーザ注目対象を他のオブジェクトよりも強調して表示させるために、ユーザ注目対象そのものを調整したユーザ注目対象強調画像を生成するばかりではなく、ユーザ注目対象に対応するシンボルを新たに生成し、そのシンボルを原画像に付加した（合成した）ユーザ注目対象強調画像を生成してもよい。
【０１８６】
このようなシンボルが利用されるユーザ注目対象調整処理は、その他、例えば、競馬のような、ユーザ注目対象が複数個設定される場合に適用されると好適である。
【０１８７】
具体的には、例えば、競馬において、図３０に示されるように、出走する馬が、馬２２１と馬２２２の２頭である場合、馬２２１と馬２２２は、ＬＣＤ５１に大きく映し出され、ユーザは馬２２１と馬２２２のそれぞれを容易に視認することが可能である。
【０１８８】
しかしながら、実際の競馬においては、図３１に示されるように、出走する馬がさらに多くなる（図３１の例では、馬２２１乃至馬２２７の７頭である）。従って、これらの沢山の馬２２１乃至馬２２７がＬＣＤ５１に一度に映し出されると、馬２２１乃至馬２２７のそれぞれは非常に小さく映し出されることになり、ユーザは、馬２２１乃至馬２２７の中から、ユーザ自身が注目する馬を視認することが困難になる。さらに、一般的に、ユーザが注目する馬は、１頭ではなく複数の馬であることが多いため、ユーザ自身が注目する複数の馬を視認することがさらに困難になる。
【０１８９】
そこで、このような場合、携帯型表示機器２１は、例えば、ユーザ注目対象調整処理として、図３２に示されるようなユーザ注目対象強調画像を生成する処理を実行してもよい。即ち、携帯型表示機器２１は、ユーザ注目対象として設定された馬２２２および馬２２６のゼッケン（番号）のそれぞれに対応するシンボル２３２およびシンボル２３６のそれぞれを生成し、生成したシンボル２３２およびシンボル２３６のそれぞれを、馬２２２および馬２２６のそれぞれの周辺であって、馬２２１乃至馬２２７が隠れない位置に配置するようなユーザ注目対象強調画像を生成する処理を実行してもよい。
【０１９０】
また、例えば、ユーザ注目対象が馬２２１乃至馬２２７の全頭であるような場合、携帯型表示機器２１は、ユーザ注目対象調整処理として、図３３に示されるようなユーザ注目対象強調画像を生成する処理を実行してもよい。即ち、携帯型表示機器２１は、ユーザ注目対象として設定された馬２２１乃至馬２２７のゼッケン（番号）のそれぞれに対応するシンボル２３１乃至シンボル２３７のそれぞれを生成し、生成したシンボル２３１乃至シンボル２３７のそれぞれを、馬２２１乃至馬２２７のそれぞれの上に配置するような（合成するような）ユーザ注目対象強調画像を生成する処理を実行してもよい。
【０１９１】
或いは、携帯型表示機器２１は、例えば、ユーザ注目対象調整処理として、図３４に示されるようなユーザ注目対象強調画像を生成する処理を実行してもよい。即ち、携帯型表示機器２１は、ユーザ注目対象として設定された馬２２１乃至馬２２７のゼッケン（番号）のそれぞれに対応するシンボル２３１乃至シンボル２３７のそれぞれを生成し、生成したシンボル２３１乃至シンボル２３７のそれぞれを、馬２２１乃至馬２２７のそれぞれの代わりに配置するような（馬２２１乃至馬２２７のそれぞれを消去し、消去したそれぞれの位置にシンボル２３１乃至シンボル２３７のそれぞれを合成するような）ユーザ注目対象強調画像を生成する処理を実行してもよい。
【０１９２】
さらにまた、図示はしないが、携帯型表示機器２１は、例えば、ユーザ注目対象調整処理として、シンボルを生成するのではなく、ユーザ注目対象の色を調整した（ユーザ注目対象の色を、他のオブジェクトに対して強調できるような所定の色に変換した）ユーザ注目対象強調画像を生成する処理を実行してもよい。具体的には、例えば、上述したような競馬の場合、ユーザ注目対象に設定された馬だけをカラー表示し、他のオブジェクト、即ち、他の馬を白黒で表示するようなユーザ注目対象強調画像が生成されてもよい。
【０１９３】
なお、ユーザ注目対象が複数の場合、例えば、複数のユーザ注目対象のそれぞれに対して予め優先順位が設定されるとともに、その優先順位のそれぞれに対して所定の色（相互に異なる色）が予め設定されていれば、携帯型表示機器２１は、ユーザ注目対象調整処理として、複数のユーザ注目対象のそれぞれの色を、それぞれの優先順位に対応する色に変換したユーザ注目対象強調画像を生成する処理を実行してもよい。
【０１９４】
このように、ユーザ注目対象調整処理は、ユーザ注目対象を他のオブジェクト（他の部分）よりも相対的に目立つように原画像を調整して、ユーザ注目対象強調画像を生成する処理であればよい。即ち、ユーザ注目対象調整処理は、ＬＣＤ５１のような小さな若しくは解像度の低い表示デバイスであっても、ユーザが、ユーザ注目対象を容易に視認できるようなユーザ注目対象強調画像を生成する処理であれば、その処理の内容は特に限定されない。
【０１９５】
また、ユーザ注目対象は、上述したような野球のボール、オセロの駒、または、競馬の馬に限定されず、基本的に原画像に含まれるオブジェクトであれば、いずれのオブジェクトがユーザ注目対象とされてもよい。例えば、テニス、ゴルフ、または、サッカーのボールは勿論、これら競技の選手が、ユーザ注目対象として設定可能であるし、競技やゲーム以外の原画像の中からユーザ注目対象が設定されてもよい。
【０１９６】
さらにまた、ユーザ注目対象調整処理は、画像データのみならず、他のデータ（例えば、音声データ）に対しても適用可能である。
【０１９７】
ところで、上述したように、図１４の携帯型表示機器２１は、他の装置から配信される動画像や静止画像といったコンテンツを、アンテナ４１および無線通信部４０を介して受信し、ＬＣＤ５１に表示させることが可能である。
【０１９８】
また、例えば、図３５に示されるように、このようなコンテンツが、放送事業者が利用する情報処理装置２５２（以下、放送事業者装置２５２と称する）より配信される場合、コンテンツの配信経路（伝送経路）は、一般的に、放送事業者装置２５２から携帯型表示機器２１−１までの第１の経路と、放送事業者装置２５２から携帯型表示機器２１−２までの第２の経路の２つに大別される。
【０１９９】
即ち、第１の経路は、放送事業者装置２５２から送信されたコンテンツが、放送アンテナ２５４を介して無線２５５で携帯型表示機器２１−１まで到達する経路である。これに対して、第２の経路は、放送事業者装置２５２から送信されたコンテンツが、コンテンツ配信事業者が利用する情報処理装置２５１（以下、コンテンツ配信事業者装置２５１と称する）、専用線網またはインターネット網といったネットワーク２５３、および通信アンテナ２５６を介して無線２５７で携帯型表示機器２１−２まで到達する経路である。
【０２００】
なお、コンテンツ配信事業者装置２５１は、放送事業者装置２５２とは独立に、携帯型表示機器２１−２に対してコンテンツを伝送することも可能である。
【０２０１】
また、この例においては、例えば、携帯型表示機器２１−１と携帯型表示機器２１−２のハードウエア構成は、上述した図１４に示される構成とされる。
【０２０２】
具体的には、コンテンツの放送が、例えば、地上波アナログ放送、地上波デジタル放送、または、衛星放送等である場合、第１の経路が利用される。第１の経路においては、画像等のコンテンツの流れは一方向（放送事業者装置２５２から携帯型表示機器２１−１方向）であり、放送事業者装置２５２から放送されたコンテンツは、携帯型表示機器２１−１を利用するユーザを含む多数のユーザに同時に利用される。従って、従来のテレビジョン放送のようにフィールド単位やフレーム単位で伝送する方式では、放送事業者装置２５２側で、複数のユーザそれぞれに対してユーザ注目対象を設定し、設定した複数のユーザ注目対象を処理することは容易でない。
【０２０３】
そこで、このような場合、例えば、上述した野球のボールのように誰もが注目する対象がユーザ注目対象として設定されることが現実的であり、上述したユーザ注目対象調整処理は、放送事業者装置２５２側で行われて、放送事業者装置２５２から、図３６に示されるユーザ注目対象強調画像２６１−１（データ）が放送されることになる。
【０２０４】
なお、ユーザ注目対象強調画像２６１−１は、上述した他の例と同様に、ピッチャー２７２−１がバッター２７１−１に向かってボール２７３−１を投げた状態を表す画像であり、ユーザ注目対象であるボール２７３−１が、他のオブジェクト（ピッチャー２７２−１とバッター２７１−１）に対して相対的に強調されている。即ち、ユーザ注目対象強調画像２６１−１は、ユーザがボール２７３−１を容易に視認可能なように、ボール２７３−１が他のオブジェクトに対して大きくされた画像とされている。
【０２０５】
しかしながら、この場合、ボールを注目する大多数のユーザにとって満足のいく画像の放送が容易に可能となるという特長を有するものの、ボール以外のオブジェクトを注目したいユーザにとっては、不満が残る画像が放送されるという課題も有している。
【０２０６】
そこで、この課題を解決するために、放送事業者装置２５２が、コンテンツの伝送方式として、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−４のようなオブジェクト単位で画像の伝送が可能な方式を利用することが考えられる。この場合、放送事業者装置２５２は、図３７に示されるように、原画像２６１−２に対応するデータ（以下、単に原画像２６１−２と称する）の他に、ユーザが注目する可能性が高いオブジェクトのデータ２６２（このようなオブジェクトのデータは、ユーザ注目対象の候補となるデータとなるので、以下、ユーザ注目対象候補２６２と称する）として個別に伝送することが可能になる。
【０２０７】
なお、原画像２６１−２は、図３６のユーザ注目対象強調画像２６１−１と同様に、ピッチャー２７２−２がバッター２７１−２に向かってボール２７３−２を投げた状態を表す画像の画像データである。ただし、原画像２６１−２においては、ボール２７３−２が、他のオブジェクト（ピッチャー２７２−２とバッター２７１−２）に対して特に強調されていない。また、ユーザ注目対象候補２６２は、バッター２７１−２に対応する画像データ２７１−３（以下、単にバッター２７１−３と称する）、ピッチャー２７２−２に対応する画像データ２７２−３（以下、単にピッチャー２７２−３と称する）、および、ボール２７３−２に対応する画像データ２７３−３（以下、単にボール２７３−３と称する）とされている。
【０２０８】
このように、放送事業者装置２５２が、原画像２６１−２の他にユーザ注目対象候補２６２（バッター２７１−３、ピッチャー２７２−３、および、ボール２７３−３）を、放送アンテナ２５４を介して無線２５５で携帯型表示機器２１−１に送信してきた場合、携帯型表示機器２１−１は、このユーザ注目対象候補２６２の中からユーザ注目対象を自由に選択することが可能になる。従って、携帯型表示機器２１−１は、選択したユーザ注目対象が他のオブジェクトに対して相対的に強調されたユーザ注目対象強調画像（図示せず）を生成し、ＬＣＤ５１（図１４）等に表示させることが可能になる。
【０２０９】
このような放送事業者装置２５２が、携帯型表示機器２１−１に対して複数のユーザ注目対象候補を送信してくる場合における、ユーザ注目対象調整処理を行う機能を実現するソフトウエアプログラムの例が、図３８と図３９に示されている。
【０２１０】
即ち、図３８は、例えば、携帯型表示機器２１−１（図３５）が有している機能のうちの、後述する図３９のフローチャートに示されるユーザ注目対象調整処理を行う機能を実現するソフトウエアプログラムの構成例を表している。
【０２１１】
図３８に示されるように、このソフトウエアプログラムには、図１５の画像入力モジュール７１と同様の機能を有する画像入力モジュール２８１、図１５のユーザ注目対象調整モジュール７４と同様の機能を有するユーザ注目対象調整モジュール２８３、図１５のユーザ注目対象合成モジュール７４と同様の機能を有するユーザ注目対象合成モジュール２８４、図１５のダウンコンバートモジュール７６と同様の機能を有するダウンコンバートモジュール２８５、および、図１５の画像出力モジュール７７と同様の機能を有する画像出力モジュール２８６が設けられている。
【０２１２】
さらに、図３８の例のソフトウエアプログラムには、図１５のユーザ注目対象設定モジュール７２とユーザ注目対象抽出モジュール７３に対応するユーザ注目対象選択モジュール２８２が設けられている。
【０２１３】
ただし、図１５の例では、先にユーザ注目対象が設定された後、その設定されたユーザ注目対象が抽出された。これに対して、図３８の例では、画像入力モジュール２８１が、原画像（図３７の例では、原画像２６１−２）を入力するとともに、放送事業者装置２５２（図３５）側で原画像の中から予め抽出されたユーザ注目対象候補（図３７の例では、ユーザ注目対象候補２６２）を入力する。そして、ユーザ注目対象選択モジュール２８２が、複数のユーザ注目対象候補のうちの、入力部３６より入力された情報に対応するオブジェクト（ユーザにより指示されたオブジェクト）を、ユーザ注目対象として選択し、ユーザ注目対象調整モジュール２８３に供給する。
【０２１４】
次に、図３９のフローチャートを参照して、図３８の携帯型表示機器２１−１のユーザ注目対象調整処理について説明する。
【０２１５】
例えば、いま、図３５において、上述した図３７に示される原画像２６１−２とユーザ注目対象候補２６２が、放送事業者装置２５２より放送アンテナ２５４を介して無線２５５で携帯型表示機器２１−１に送信されてきたとする。
【０２１６】
そこで、図３９のステップＳ６１において、図３８の画像入力モジュール２８１が、原画像２６１−２とユーザ注目対象候補２６２を入力する。なお、この入力は、この例においては、アンテナ４１とされているが、アンテナ４１に限定されず、その他、例えば、図３８には図示されていないが、図１４のドライブ４２に装着されたリムーバブル記録媒体５２、または、図１４にも図示されていないが、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などより入力されても構わない。
【０２１７】
ステップＳ６２において、ユーザ注目対象選択モジュール２８２は、画像入力モジュール２８１に入力されたユーザ注目対象候補２６２の中からユーザ注目対象となるものを選択する。
【０２１８】
ステップＳ６２におけるユーザ注目対象の選択方法は、特に限定されないが、この例においては、例えば、次の通りとする。即ち、ユーザ注目対象選択モジュール２８２は、画像入力モジュール２８１に入力されたユーザ注目対象候補２６２をＬＣＤ５１に表示させ、ユーザが、入力部３６を操作して、ＬＣＤ５１に表示されたユーザ注目対象候補２６２の中からユーザ注目対象にしたいオブジェクトを指示する。ユーザ注目対象選択モジュール２８２は、入力部３６より入力されたユーザの指示に基づいてユーザ注目対象を選択し、ユーザ注目対象調整モジュール２８３に供給する。
【０２１９】
なお、ユーザがユーザ注目対象を指示しない場合、ユーザ注目対象調整モジュール２８３は、自分自身の判断で、一般的に選択されることが多いオブジェクト、例えば、いまの場合、ボール２７３−３をユーザ注目対象として選択する。
【０２２０】
また、ユーザ注目対象選択モジュール２８２がＬＣＤ５１に表示させるものは、上述したように、ユーザ注目対象候補２６２に対応する画像そのものでもよいが、それに限定されず、例えば、ユーザ注目対象候補２６２のリストでもよい。この場合、リストは、必ずしも原画像２６１−２やユーザ注目対象候補２６２とともに配信される必要はないが、それらとともに配信されたほうが使い勝手が良い。
【０２２１】
ステップＳ６３において、ユーザ注目対象調整モジュール２８３は、ユーザ注目対象選択モジュール２８２により選択されたユーザ注目対象のデータ（例えば、ボール２７３−３）を調整する。
【０２２２】
ステップＳ６４において、ユーザ注目対象合成モジュール２８４は、ユーザ注目対象調整モジュール２８３により調整されたボール２７３−３（ユーザ注目対象のデータ）を、画像入力モジュール２８１が入力した原画像２６１−２に合成して、ユーザ注目対象強調画像（図示はしないが、例えば、図３６に示される画像２６１−１のような画像）に対応する画像データ（以下、単に、ユーザ注目対象強調画像と称する）を生成する。
【０２２３】
ステップＳ６５において、ダウンコンバートモジュール２８５は、ダウンコンバートの必要があるか否かを判定する。
【０２２４】
ステップＳ６５において、ダウンコンバートの必要がないと判定した場合、ダウンコンバートモジュール２８５は、特に何の処理も施さない。即ち、処理は、ステップＳ６７に進められる。
【０２２５】
これに対して、ステップＳ６５において、ダウンコンバートの必要があると判定した場合、ダウンコンバートモジュール２８５は、ステップＳ６６において、ユーザ注目対象強調画像に対して、ダウンコンバートを行う。
【０２２６】
ステップＳ６７において、画像出力モジュール２８６は、ユーザ注目対象強調画像を出力する。なお、この例においても、上述した例と同様に、出力先はＬＣＤ５１とされる。即ち、画像出力モジュール２８６は、ユーザ注目対象強調画像に対応する画像データを、ＬＣＤ５１のフォーマットの画像信号に変換させてＬＣＤ５１に出力する。ＬＣＤ５１は、画像出力モジュール２８６より出力された画像信号に対応する画像（ユーザ注目対象強調画像）を表示する。
【０２２７】
出力先は、上述した例と同様に、ＬＣＤ５１に限定されず、例えば、図３８に図示はされていないが、図１４の記憶部３９、無線通信部４０とアンテナ４１を介する他の装置（図１４にも図示せず）、または、ドライブ４２に装着されたリムーバブル記録媒体５２等様々な出力先が可能である。
【０２２８】
このように、ＭＰＥＧ−４等のコンテンツの個別配信が可能な方式で、コンテンツが配信されてくる場合、携帯型表示機器２１−１は、図３８に示されるようなソフトウエアプログラムを実装することで、たとえ上述した第１の経路のような１方向のみの通信であっても、ユーザ（携帯型表示機器２１−１側）がユーザ注目対象をある程度自由に設定することが可能になる。
【０２２９】
さらに、図３５の携帯型表示機器２１−２も、図３８と同様の構成を有するソフトウエアプログラムを実装すれば、携帯型表示機器２１−１と同様に、第１の経路により配信されたコンテンツの表示（ユーザ注目対象強調画像の表示）が可能になるとともに、さらに、上述した第２の経路により配信されたコンテンツの表示（ユーザ注目対象強調画像の表示）も可能になる。
【０２３０】
具体的には、例えば、インターネットにおけるダウンロード（ｄｏｗｎ ｌｏａｄ）やストリーミング（ｓｔｒｅａｍｉｎｇ）などの場合、第２の経路が利用される。第２の経路においては、双方向の通信が可能であり、ユーザ個別の情報に基づく、各ユーザのそれぞれに適した画像等のコンテンツ伝送が可能である。従って、上述した図３６または図３７に示されるような方法のみならず、コンテンツ配信事業者装置２５１や放送事業者装置２５２に対して、ユーザ（携帯型表示機器２１−２）がユーザ注目対象を伝えることにより、コンテンツ配信事業者装置２５１や放送事業者装置２５２が、複数のユーザのそれぞれのユーザ注目対象を反映した画像コンテンツを伝送するといった方法の利用が可能になる。
【０２３１】
例えば、上述した例と同様に、コンテンツが野球を表す画像である場合、携帯型表示機器２１−２が、ユーザ注目対象としてボールを指定し、それをコンテンツ配信事業者装置２５１に対して通知すると、コンテンツ配信事業者装置２５１は、ユーザ注目対象調整処理を行い、図４０に示されるユーザ注目対象強調画像３０１−１（データ）を携帯型表示機器２１−２に配信することが可能になる。
【０２３２】
なお、ユーザ注目対象強調画像３０１−１は、上述した他の例と同様に、ピッチャー３１２−１がバッター３１１−１に向かってボール３１３−１を投げた状態を表す画像であり、ユーザ注目対象であるボール３１３−１が、他のオブジェクト（ピッチャー３１２−１とバッター３１１−１）に対して相対的に強調されている。即ち、ユーザ注目対象強調画像３０１−１は、ユーザがボール３１３−１を容易に視認可能なように、ボール３１３−１が他のオブジェクトに対して大きくされた画像とされている。図４０に示されるこの方法は、各ユーザのそれぞれの好みに合わせた画像コンテンツの提供が可能になるという特長がある。
【０２３３】
或いは、例えば、携帯型表示機器２１−２が、ユーザ注目対象としてボールを指定し、それをコンテンツ配信事業者装置２５１に対して通知すると、図４１に示されるように、コンテンツ配信事業者装置２５１が、原画像３０１−２に対応するデータ（以下、単に原画像３０１−２と称する）の他に、ユーザ注目対象であるボールのデータ３１３−３（以下、ユーザ注目対象（ボール）３１３−３と記述する）を携帯型表示機器２１−２に配信することも可能である。
【０２３４】
なお、原画像３０１−２は、図４０のユーザ注目対象強調画像３０１−１と同様に、ピッチャー３１２−２がバッター３１１−２に向かってボール３１３−２を投げた状態を表す画像の画像データである。ただし、原画像３０１−２においては、ボール３１３−２が、他のオブジェクト（ピッチャー３１２−２とバッター３１１−２）に対して強調されていない。
【０２３５】
このように、図３５の第１の経路のような１方向通信の場合、図３７の例に示されるように、ユーザが利用するか否かが定かでないオブジェクトの伝送が必要とされる（バッター２７１−３、ピッチャー２７２−３、およびボール２７３−３といった複数のオブジェクトの伝送が必要とされる）。これに対して、図３５の第２の経路のような双方向通信が可能な場合、図４１の例に示されるように、伝送対象は、原画像３０１−２と、ユーザ注目対象調整処理に確実に必要となるユーザ注目対象（ボール）３１３−３のみでよい。図４１に示されるこの方法は、伝送するデータ量を抑えつつ、複数のユーザのそれぞれの好みに合わせた画像コンテンツの配信が可能になるという特長がある。
【０２３６】
上述した図４０と図４１に示される方法に対応する、ユーザ端末２１−２のユーザ注目対象調整処理が、図４２のフローチャートに示されている。そこで、図４２のフローチャートを参照して、図４０と図４１に示される方法に対応する、ユーザ端末２１−２のユーザ注目対象処理について説明する。なお、ここでは、上述したように、ユーザ端末２１−２のソフトウエア構成は、図３８の構成とされている。
【０２３７】
例えば、いま、図３５において、コンテンツ配信事業者２５１より、コンテンツ（この例では、野球の画像）の配信前に、そのコンテンツのユーザ注目対象候補（例えば、ボール、ピッチャー、バッター等）のリスト（図示せず）が、ネットワーク２５３、および通信アンテナ２５６を介して無線２５７で携帯型表示機器２１−２に送信されてきたとする。
【０２３８】
そこで、図４２のステップＳ８１において、図３８のユーザ注目対象選択モジュール２８２が、ユーザ注目対象候補のリストを受信し、ＬＣＤ５１に表示させる。
【０２３９】
そして、ステップＳ８２において、ユーザ注目対象選択モジュール２８２が、表示されたリストの中からユーザ注目対象を選択する。
【０２４０】
ステップＳ８２におけるユーザ注目対象の選択方法は、特に限定されないが、ステップＳ６２（図３９）のそれと同様に、この例においては、例えば、次の通りとする。即ち、ユーザ注目対象選択モジュール２８２が、受信したユーザ注目対象候補のリストをＬＣＤ５１に表示させると、ユーザは、入力部３６を操作して、ＬＣＤ５１に表示されたリストの中からユーザ注目対象にしたいオブジェクトを指示する。ユーザ注目対象選択モジュール２８２は、入力部３６より入力されたユーザの指示に基づいてユーザ注目対象を選択する。
【０２４１】
なお、ユーザがユーザ注目対象を指示しない場合、ユーザ注目対象選択モジュール２８２は、自分自身の判断で、一般的に選択されることが多いオブジェクト、例えば、いまの場合、ボールをユーザ注目対象として選択する。
【０２４２】
ステップＳ８３において、ユーザ注目対象選択モジュール２８２は、選択されたユーザ注目対象（いまの場合、例えば、ボール）をコンテンツ配信事業者に通知する情報（以下、通知情報と称する）を、無線通信部４０およびアンテナ４１を介して送信する。
【０２４３】
図３５において、携帯型表示機器２１−２より送信された通知情報が、通信アンテナ２５６、および、ネットワーク２５３を介してコンテンツ配信事業者装置２５１に受信されると、コンテンツ配信事業者装置２５１は、コンテンツ（この例では、図４０、または図４１に示されるような画像データ）をネットワーク２５３、および通信アンテナ２５６を介して無線２５７で携帯型表示機器２１−２に送信（配信）してくる。
【０２４４】
そこで、図４２のステップＳ８４において、図３８の画像入力モジュール２８１は、コンテンツ配信事業者装置２５１から配信されたコンテンツを入力する。
【０２４５】
ステップＳ８５において、ユーザ注目対象調整モジュール２８３は、画像入力モジュール２８１が入力したコンテンツのユーザ注目対象が既に強調されているか否かを判定する。
【０２４６】
例えば、画像入力モジュール２８１が、コンテンツとして、図４０のユーザ注目対象強調画像３０１−１を入力した場合、ユーザ注目対象調整モジュール２８３は、ステップＳ８５において、ユーザ注目対象が既に強調されていると判定し、特に何の処理も施さない。即ち、その処理は、ステップＳ８８に進められる。
【０２４７】
これに対して、画像入力モジュール２８１が、コンテンツとして、図４１の原画像３０１−２とユーザ注目対象（ボール）３１３−３を入力した場合、ユーザ注目対象調整モジュール２８３は、ステップＳ８５において、ユーザ注目対象がまだ強調されていないと判定し、ステップＳ８６において、入力されたユーザ注目対象（ボール）３１３−３を調整する。
【０２４８】
ステップＳ８７において、ユーザ注目対象合成モジュール２８４は、ユーザ注目対象調整モジュール２８３により調整されたユーザ注目対象（ボール）３１３−３を、画像入力モジュール２８１が入力した原画像３０１−２に合成して、ユーザ注目対象強調画像（図示はしないが、例えば、図４０の画像３０１−１のような画像）に対応する画像データ（以下、単に、ユーザ注目対象強調画像と称する）を生成する。
【０２４９】
ステップＳ８８において、ダウンコンバートモジュール２８５は、ダウンコンバートの必要があるか否かを判定する。
【０２５０】
ステップＳ８８において、ダウンコンバートの必要がないと判定した場合、ダウンコンバートモジュール２８５は、特に何の処理も施さない。即ち、処理は、ステップＳ９０に進められる。
【０２５１】
これに対して、ステップＳ８８において、ダウンコンバートの必要があると判定した場合、ダウンコンバートモジュール２８５は、ステップＳ８９において、ユーザ注目対象強調画像に対して、ダウンコンバートを行う。
【０２５２】
ステップＳ９０において、画像出力モジュール２８６は、ユーザ注目対象強調画像を出力する。なお、この例においても、上述した例と同様に、出力先はＬＣＤ５１とされる。即ち、画像出力モジュール２８６は、ユーザ注目対象強調画像に対応する画像データを、ＬＣＤ５１のフォーマットの画像信号に変換させてＬＣＤ５１に出力する。ＬＣＤ５１は、画像出力モジュール２８６より出力された画像信号に対応する画像（ユーザ注目対象強調画像）を表示する。
【０２５３】
なお、上述した例では、ユーザ注目対象は、コンテンツ配信事業者（または、放送事業者）側で抽出されたが、携帯型表示機器２１−１または携帯型表示機器２１−２が抽出しても良い。この場合、ユーザのユーザ注目対象の設定の自由度がより大きくなることが可能になる。
【０２５４】
以上のように、本発明の携帯型表示機器２１（図１４）は、入力された原画像の画像データの中から、予め設定されたユーザ注目対象に対応するオブジェクトデータを抽出し、ユーザ注目対象が、原画像に含まれる他のオブジェクトよりも相対的に強調されるように、ユーザ注目対象のオブジェクトデータに基づいて原画像の画像データを調整して、ユーザ注目対象強調画像に対応する画像データを生成し、生成した画像データを出力する（例えば、ユーザ注目対象強調画像をＬＣＤ５１に表示させる）。
【０２５５】
従って、上述した携帯型表示機器２１のような本発明の画像処理装置、または画像表示装置は、以下のような効果を奏することが可能になる。
【０２５６】
即ち、第１の効果として、ＬＣＤ５１のような、小さい若しくは解像度の低い表示デバイスであっても、ユーザは、その表示デバイスに表示された様々な動画像または静止画像（ユーザ注目対象強調画像）の内容を容易に把握することが可能になる。
【０２５７】
第２の効果として、第１の効果により、ユーザは、これまで小さな表示デバイスでは楽しむことが困難であったコンテンツも楽しむことができるようになる。
【０２５８】
第３の効果として、ユーザ注目対象は、画像認識により自動的に抽出されることができるので、ユーザやコンテンツ制作者が、ユーザ注目対象の位置や領域を指定する必要がなくなる。
【０２５９】
第４の効果として、動画像の場合、前後のフレームとの比較により、ユーザ注目対象の変化に追従した処理が行なえるので、より効率良く、かつより精度良くユーザ注目対象が探索され、抽出されることが可能になる。
【０２６０】
第５の効果として、ユーザ注目対象として処理可能なオブジェクトのリストがユーザに提示され、ユーザがその中から好みに沿った対象を選択することができるので、複数のユーザのそれぞれの趣向に合わせた処理が可能になる。
【０２６１】
第６の効果として、双方向通信が可能な通信路においては、ユーザが注目する対象をコンテンツ配信事業者や放送事業者に伝え、コンテンツ配信事業者や放送事業者はそれに沿った処理を施した画像をユーザに提供するという方法が採れる。従って、これにより伝送データ量を抑えつつユーザ個別の好みに合ったコンテンツの提供が可能になる。
【０２６２】
また、上述した図３６や図４０の例のように、受信側の携帯型表示機器２１のみならず、送信側（配信側）の画像配信装置（例えば、図３５の放送事業者装置２５２、またはコンテンツ配信事業者装置２５１）も、本発明が適用されるユーザ注目対象調整処理を実行することが可能である。即ち、本発明は、画像配信装置にも適用可能であり、本発明が適用された画像配信装置も、上述した第１乃至第６の効果を奏することが可能になる。
【０２６３】
具体的には、画像配信装置は、配信すべき原画像の画像データの中から、予め設定されたユーザ注目対象に対応するオブジェクトデータを抽出し、ユーザ注目対象が、原画像に含まれる他のオブジェクトよりも相対的に強調されるように、ユーザ注目対象のオブジェクトデータに基づいて原画像の画像データを調整して、ユーザ注目対象強調画像（例えば、図３６の画像２６１−１や、図４０の画像３０１−１等）に対応する画像データを生成し、携帯型表示機器２１等の受信側に配信する。
【０２６４】
なお、本発明の画像配信装置の構成は、特に限定されないが、例えば、図１４の携帯型表示機器２１と同様の構成を取ることが可能である。ただし、画像配信装置が、図３５の放送事業者装置２５２である場合、アンテナ４１に相当するアンテナは、放送アンテナ２５４であるので、無線通信部４０は、放送アンテナ２５４を介してコンテンツ（ユーザ注目対象強調画像の画像データ）を送信する送信処理を実行する。また、画像配信装置が、図３５のコンテンツ配信事業者装置２５１である場合、図１４には図示されていない、ネットワーク２５３と接続可能な通信部がさらに設けられる。
【０２６５】
ところで、上述したユーザ注目対象調整処理等の一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０２６６】
この記録媒体は、図１４に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）を含む）、光磁気ディスク（ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）を含む）、もしくは半導体メモリなどよりなるリムーバブル記録媒体（パッケージメディア）５２により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているＲＯＭ３２や、記憶部３９に含まれるハードディスクなどで構成される。
【０２６７】
また、上述した一連の処理は、ソフトウエアにより実行させることもできるが、ハードウエアにより実行させることもできる。
【０２６８】
即ち、上述したユーザ注目対象調整処理を実現するソフトウエアプログラムを構成する各モジュールのそれぞれは、対応する機能を果たすものであれば、その形態は限定されず、例えば、ハードウエアなどでモジュールが構成されてもよい。この場合、例えば、製造者等は、上述した各モジュールのそれぞれに対応する装置（ハードウエア）を製作し、それらを、図１５、図１９、図２２、または、図３８に示されるようにそれぞれ接続することで、本発明が適用される画像処理装置、画像表示装置、または画像配信装置を、図１４とは異なる構成で実現することも可能である。
【０２６９】
さらに、上述した例においては、動画像はフレームとして処理されたが、フィールドとしても処理可能である。そこで、本明細書においては、フィールドやフレームといった単位を、アクセスユニットとも称する。
【０２７０】
さらにまた、本明細書において、媒体により提供されるプログラムを記述するステップは、記載された順序に従って、時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２７１】
【発明の効果】
以上のごとく、本発明によれば、ユーザが所望するオブジェクトを含む画像の表示を制御することができる。特に、小さな若しくは解像度の低い表示デバイスに対しても、ユーザが所望するオブジェクトを、ユーザが視認可能な状態で常時表示させるように制御することができる。
【０２７２】
また、本発明によれば、ユーザが所望するオブジェクトを含む画像を表示することができる。特に、小さな若しくは解像度の低い表示デバイスに対しても、ユーザが所望するオブジェクトを、ユーザが視認可能な状態で常時表示させることができる。
【０２７３】
さらに、本発明によれば、ユーザが所望するオブジェクトを含む画像を、ユーザが所望する携帯型表示機器に対して配信することができる。特に、携帯型表示機器の表示デバイスが小さな若しくは解像度の低い表示デバイスであっても、その表示デバイスに対して、ユーザが所望するオブジェクトを、ユーザが視認可能な状態で常時表示可能なように、画像を配信することができる。
【図面の簡単な説明】
【図１】据置型表示機器に表示される画像を、従来の携帯型表示機器に表示させた場合の課題を説明する図である。
【図２】図１の据置型表示機器に表示される第１の画像から、図１の携帯型表示機器に表示される第２の画像に変換する変換方法の例を説明する図である。
【図３】図２の第１の画像に含まれるボールを、図２の変換方法で変換する例を説明する図である。
【図４】図２の第１の画像に含まれるボールを、図２の変換方法で変換する他の例を説明する図である。
【図５】図２の第１の画像に含まれるボールを、図２の変換方法で変換するさらに他の例を説明する図である。
【図６】図１の据置型表示機器に表示される第１の画像から、図１の携帯型表示機器に表示される第２の画像に変換する変換方法の他の例を説明する図である。
【図７】図６の第１の画像に含まれるボールを、図６の変換方法で変換する例を説明する図である。
【図８】図６の第１の画像に含まれるボールを、図６の変換方法で変換する他の例を説明する図である。
【図９】図６の第１の画像に含まれるボールを、図６の変換方法で変換するさらに他の例を説明する図である。
【図１０】図１の据置型表示機器に表示される第１の画像から、図１の携帯型表示機器に表示される第２の画像に変換する変換方法の他の例を説明する図である。
【図１１】図１０の第１の画像に含まれるボールを、図１０の変換方法で変換する例を説明する図である。
【図１２】図１０の第１の画像に含まれるボールを、図１０の変換方法で変換する他の例を説明する図である。
【図１３】図１０の第１の画像に含まれるボールを、図１０の変換方法で変換するさらに他の例を説明する図である。
【図１４】本発明が適用される携帯型表示機器のハードウエアの構成例を示すブロック図である。
【図１５】図１４の携帯型表示機器のソフトウエアの構成例を示すブロック図である。
【図１６】図１５の携帯型表示機器のユーザ注目対象調整処理例を説明するフローチャートである。
【図１７】図１６のユーザ注目対象調整処理の具体的な例を説明する図である。
【図１８】動画像に対して、図１６のユーザ注目対象調整処理を施した場合の具体的な例を説明する図である。
【図１９】図１４の携帯型表示機器のソフトウエアの構成の他の例を示すブロック図である。
【図２０】図１９の携帯型表示機器のユーザ注目対象調整処理例を説明するフローチャートである。
【図２１】図２０のユーザ注目対象調整処理の具体的な例を説明する図である。
【図２２】図１４の携帯型表示機器のソフトウエアの構成の他の例を示すブロック図である。
【図２３】図２２の携帯型表示機器のユーザ注目対象調整処理例を説明するフローチャートである。
【図２４】図２３のユーザ注目対象調整処理の具体的な例を説明する図である。
【図２５】オセロゲームを表す画像に対して、ユーザ注目対象調整処理を施した場合の具体的な例を説明する図である。
【図２６】オセロゲームを表す画像に対して、ユーザ注目対象調整処理を施した場合の具体的な例を説明する図である。
【図２７】オセロゲームを表す画像に対して、ユーザ注目対象調整処理を施した場合の具体的な例を説明する図である。
【図２８】野球を表す画像に対して、ユーザ注目対象調整処理を施した場合の具体的な例を説明する図である。
【図２９】野球を表す画像に対して、図２８とは異なるユーザ注目対象調整処理を施した場合の具体的な例を説明する図である。
【図３０】競馬を表す画像の例を説明する図である。
【図３１】図３０とは異なる例の競馬を表す画像を説明する図である。
【図３２】図３１の競馬を表す画像に対して、ユーザ注目対象調整処理を施した場合の具体的な例を説明する図である。
【図３３】図３１の競馬を表す画像に対して、ユーザ注目対象調整処理を施した場合の具体的な例を説明する図である。
【図３４】図３１の競馬を表す画像に対して、ユーザ注目対象調整処理を施した場合の具体的な例を説明する図である。
【図３５】図１４の携帯型表示機器に対して、放送事業者装置またはコンテンツ配信事業者装置からコンテンツが配信される例を説明する図である。
【図３６】図３５の携帯型表示機器のユーザ注目対象調整処理の具体的な例を説明する図である。
【図３７】図３５の携帯型表示機器のユーザ注目対象調整処理の具体的な他の例を説明する図である。
【図３８】図３５の携帯型表示機器のソフトウエアの構成例を示すブロック図である。
【図３９】図３５の携帯型表示機器のユーザ注目対象調整処理例を説明するフローチャートである。
【図４０】図３５の携帯型表示機器のユーザ注目対象調整処理の具体的な他の例を説明する図である。
【図４１】図３５の携帯型表示機器のユーザ注目対象調整処理の具体的なさらに他の例を説明する図である。
【図４２】図３５の携帯型表示機器のユーザ注目対象調整処理の他の例を説明するフローチャートである。
【符号の説明】
２１，２１−１，２１−２ 携帯型表示機器， ３１ ＣＰＵ， ７１ 画像入力モジュール， ７２ ユーザ注目対象設定モジュール， ７３ ユーザ注目対象抽出モジュール， ７４ ユーザ注目対象調整モジュール， ７５ ユーザ注目対象合成モジュール， ７６ ダウンコンバートモジュール， ７７ 画像出力モジュール， ９３−１乃至９３−５ ユーザ注目対象（ボール）， １１３−１乃至１１３−３ ユーザ注目対象（ボール）， １２１ 画像入力モジュール， １２２ ユーザ注目対象設定モジュール， １２３ ユーザ注目対象抽出モジュール， １２４ ユーザ注目対象調整モジュール， １２５ ユーザ注目対象合成モジュール， １２６ ダウンコンバートモジュール， １２７ 画像出力モジュール， １４３−１乃至１４３−７ ユーザ注目対象（ボール）， １５１ 画像入力モジュール， １５２ ユーザ注目対象設定モジュール， １５３ ユーザ注目対象抽出モジュール， １５４ ユーザ注目対象調整モジュール， １５５ ユーザ注目対象合成モジュール， １５６ ダウンコンバートモジュール， １５７ 画像出力モジュール， １７３−１乃至１７３−５ ユーザ注目対象（ボール）， １８１−１乃至１８１−３ ユーザ注目対象（オセロのコマ）， ２０３−１，２０３−２ ユーザ注目対象（ボール）， ２０４，２０５ ユーザ注目対象指示シンボル， ２２１乃至２２７ ユーザ注目対象（競馬の馬）， ２３１乃至２３７ ユーザ注目対象指示シンボル， ２５１ コンテンツ配信事業者装置２５１， ２５２ 放送事業者装置２５２， ２６１−１乃至２６１−３ ユーザ注目対象（ボール）， ２８１ 画像入力モジュール， ２８２ ユーザ注目対象選択モジュール， ２８３ ユーザ注目対象調整モジュール， ２８４ ユーザ注目対象合成モジュール， ２８５ ダウンコンバートモジュール， ３１３−１，３１３−２ ユーザ注目対象（ボール）
Claims (19)
- 入力された第１の画像データの中から、予め設定されたオブジェクトに対応するオブジェクトデータを抽出する抽出手段と、
前記抽出手段により抽出された前記オブジェクトデータに対応する前記オブジェクトが、前記第１の画像データに対応する画像に含まれる他のオブジェクトよりも相対的に強調されるように、前記オブジェクトデータに基づいて前記第１の画像データを調整して第２の画像データを生成する生成手段と、
前記生成手段により生成された前記第２の画像データに対応する画像の表示を制御する表示制御手段と
を備えることを特徴とする画像処理装置。 - 前記生成手段は、前記抽出手段により抽出された前記オブジェクトデータに対応する前記オブジェクトの、前記他のオブジェクトに対する相対的なサイズを変化させるサイズ変化手段と、
前記サイズ変化手段によりサイズが変化された前記オブジェクトを、前記第１の画像データに対応する前記画像のうちの、元のサイズの前記オブジェクトが配置されていた位置の上に配置させるように、前記オブジェクトデータを前記第１の画像データに合成して前記第２の画像データを生成する合成手段と
を有することを特徴とする請求項１に記載の画像処理装置。 - 前記生成手段は、前記第１の画像データに対応する画像に対して、前記抽出手段により抽出された前記オブジェクトデータに対応する前記オブジェクトの色が調整された画像に対応する前記第２の画像データを生成する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記生成手段は、前記第１の画像データのうちの、前記抽出手段により抽出された前記オブジェクトデータ以外のデータが調整された前記第２の画像データを生成する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記生成手段は、前記抽出手段により抽出された前記オブジェクトデータに対応するシンボルを生成し、前記第１の画像データに対応する画像に対して、生成した前記シンボルがさらに付加された画像に対応する前記第２の画像データを生成する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記生成手段は、前記抽出手段により抽出された前記オブジェクトデータに対応するシンボルを生成し、前記第１の画像データに対応する画像に対して、前記オブジェクトの代わりに、生成した前記シンボルが配置された画像に対応する前記第２の画像データを生成する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記オブジェクトを設定する設定手段をさらに備え、
前記抽出手段は、前記第１の画像データの中から、前記設定手段により設定された前記オブジェクトに対応する前記オブジェクトデータを抽出する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記設定手段は、前記第１の画像データの特徴に基づいて、自分自身の判断で前記オブジェクトを設定する
ことを特徴とする請求項７に記載の画像処理装置。 - ユーザの操作により、前記ユーザが所望する前記オブジェクトを指示する情報を入力する入力手段をさらに備え、
前記設定手段は、前記入力手段より入力された前記情報に基づいて前記オブジェクトを設定する
ことを特徴とする請求項７に記載の画像処理装置。 - 前記オブジェクトの候補となるオブジェクト候補が複数個存在し、
前記入力手段は、複数の前記オブジェクト候補のうちの前記ユーザにより選択された所定の１つを、前記オブジェクトとして指示する前記情報を入力する
ことを特徴とする請求項９に記載の画像処理装置。 - 前記第１の画像データは、動画像のうちの第１のアクセスユニットを構成する画像データであり、
前記抽出手段は、前記第１のアクセスユニットよりも前の第２のアクセスユニット、若しくは後の第３のアクセスユニット、または前記第２のアクセスユニットと前記第３のアクセスユニットの両方に基づいて、前記第１のアクセスユニット内の前記オブジェクトの位置を推定し、推定した前記位置に基づいて、前記第１のアクセスユニット内の前記オブジェクトに対応する前記オブジェクトデータを抽出する
ことを特徴とする請求項１に記載の画像処理装置。 - 画像の表示を制御する画像処理装置の画像処理方法において、
入力された第１の画像データの中から、予め設定されたオブジェクトに対応するオブジェクトデータを抽出する抽出ステップと、
前記抽出ステップの処理により抽出された前記オブジェクトデータに対応する前記オブジェクトが、前記第１の画像データに対応する画像に含まれる他のオブジェクトよりも相対的に強調されるように、前記オブジェクトデータに基づいて前記第１の画像データを調整して第２の画像データを生成する生成ステップと、前記生成ステップの処理により生成された前記第２の画像データに対応する画像の表示を制御する表示制御ステップと
を含むことを特徴とする画像処理方法。 - 画像の表示を制御する処理をコンピュータに実行させるプログラムであって、
入力された第１の画像データの中から、予め設定されたオブジェクトに対応するオブジェクトデータを抽出する抽出ステップと、
前記抽出ステップの処理により抽出された前記オブジェクトデータに対応する前記オブジェクトが、前記第１の画像データに対応する画像に含まれる他のオブジェクトよりも相対的に強調されるように、前記オブジェクトデータに基づいて前記第１の画像データを調整して第２の画像データを生成する生成ステップと、前記生成ステップの処理により生成された前記第２の画像データに対応する画像の表示を制御する表示制御ステップと
を含むことを特徴とするプログラム。 - 画像を表示する表示手段と、
入力された第１の画像データの中から、予め設定されたオブジェクトに対応するオブジェクトデータを抽出する抽出手段と、
前記抽出手段により抽出された前記オブジェクトデータに対応する前記オブジェクトが、前記第１の画像データに対応する画像に含まれる他のオブジェクトよりも相対的に強調されるように、前記オブジェクトデータに基づいて前記第１の画像データを調整して第２の画像データを生成する生成手段と、
前記生成手段により生成された前記第２の画像データに対応する画像を、前記表示手段に表示させるように制御する表示制御手段と
を備えることを特徴とする画像表示装置。 - 画像を表示する表示デバイスを備える画像表示装置の画像表示方法において、
入力された第１の画像データの中から、予め設定されたオブジェクトに対応するオブジェクトデータを抽出する抽出ステップと、
前記抽出ステップの処理により抽出された前記オブジェクトデータに対応する前記オブジェクトが、前記第１の画像データに対応する画像に含まれる他のオブジェクトよりも相対的に強調されるように、前記オブジェクトデータに基づいて前記第１の画像データを調整して第２の画像データを生成する生成ステップと、前記生成ステップの処理により生成された前記第２の画像データに対応する画像を、前記表示デバイスに表示させるように制御する表示制御ステップと
を含むことを特徴とする画像表示方法。 - 表示デバイスに対する画像の表示を制御する処理を、コンピュータに実行させるプログラムであって、
入力された第１の画像データの中から、予め設定されたオブジェクトに対応するオブジェクトデータを抽出する抽出ステップと、
前記抽出ステップの処理により抽出された前記オブジェクトデータに対応する前記オブジェクトが、前記第１の画像データに対応する画像に含まれる他のオブジェクトよりも相対的に強調されるように、前記オブジェクトデータに基づいて前記第１の画像データを調整して第２の画像データを生成する生成ステップと、前記生成ステップの処理により生成された前記第２の画像データに対応する画像を、前記表示デバイスに表示させるように制御する表示制御ステップと
を含むことを特徴とするプログラム。 - 配信すべき第１の画像データの中から、予め設定されたオブジェクトに対応するオブジェクトデータを抽出する抽出手段と、
前記抽出手段により抽出された前記オブジェクトデータに対応する前記オブジェクトが、前記第１の画像データに対応する画像に含まれる他のオブジェクトよりも相対的に強調されるように、前記オブジェクトデータに基づいて前記第１の画像データを調整して第２の画像データを生成する生成手段と、
前記生成手段により生成された前記第２の画像データを配信する配信手段と
を備えることを特徴とする画像配信装置。 - 画像データを配信する画像配信装置の画像配信方法において、
配信すべき第１の画像データの中から、予め設定されたオブジェクトに対応するオブジェクトデータを抽出する抽出ステップと、
前記抽出ステップの処理により抽出された前記オブジェクトデータに対応する前記オブジェクトが、前記第１の画像データに対応する画像に含まれる他のオブジェクトよりも相対的に強調されるように、前記オブジェクトデータに基づいて前記第１の画像データを調整して第２の画像データを生成する生成ステップと、前記生成ステップの処理により生成された前記第２の画像データを配信する配信ステップと
を含むことを特徴とする画像配信方法。 - 画像データの配信を制御する処理をコンピュータに実行させるプログラムであって、
配信すべき第１の画像データの中から、予め設定されたオブジェクトに対応するオブジェクトデータを抽出する抽出ステップと、
前記抽出ステップの処理により抽出された前記オブジェクトデータに対応する前記オブジェクトが、前記第１の画像データに対応する画像に含まれる他のオブジェクトよりも相対的に強調されるように、前記オブジェクトデータに基づいて前記第１の画像データを調整して第２の画像データを生成する生成ステップと、前記生成ステップの処理により生成された前記第２の画像データの配信を制御する配信制御ステップと
を含むことを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002304517A JP2004140670A (ja) | 2002-10-18 | 2002-10-18 | 画像処理装置および方法、画像表示装置および方法、画像配信装置および方法、並びにプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002304517A JP2004140670A (ja) | 2002-10-18 | 2002-10-18 | 画像処理装置および方法、画像表示装置および方法、画像配信装置および方法、並びにプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004140670A true JP2004140670A (ja) | 2004-05-13 |
Family
ID=32451914
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002304517A Withdrawn JP2004140670A (ja) | 2002-10-18 | 2002-10-18 | 画像処理装置および方法、画像表示装置および方法、画像配信装置および方法、並びにプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004140670A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1638321A1 (en) * | 2004-09-17 | 2006-03-22 | Thomson Licensing | Method of viewing audiovisual documents on a receiver, and receiver therefore |
| JP2010256536A (ja) * | 2009-04-23 | 2010-11-11 | Sharp Corp | 画像処理装置及び画像表示装置 |
| JP2014139681A (ja) * | 2006-09-01 | 2014-07-31 | Thomson Licensing | 適応的なビデオ呈示のための方法および装置 |
| KR20150144543A (ko) * | 2014-06-17 | 2015-12-28 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
| US10091411B2 (en) | 2014-06-17 | 2018-10-02 | Lg Electronics Inc. | Mobile terminal and controlling method thereof for continuously tracking object included in video |
-
2002
- 2002-10-18 JP JP2002304517A patent/JP2004140670A/ja not_active Withdrawn
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1638321A1 (en) * | 2004-09-17 | 2006-03-22 | Thomson Licensing | Method of viewing audiovisual documents on a receiver, and receiver therefore |
| US9137562B2 (en) | 2004-09-17 | 2015-09-15 | Thomson Licensing | Method of viewing audiovisual documents on a receiver, and receiver for viewing such documents |
| JP2014139681A (ja) * | 2006-09-01 | 2014-07-31 | Thomson Licensing | 適応的なビデオ呈示のための方法および装置 |
| JP2010256536A (ja) * | 2009-04-23 | 2010-11-11 | Sharp Corp | 画像処理装置及び画像表示装置 |
| KR20150144543A (ko) * | 2014-06-17 | 2015-12-28 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
| KR101638922B1 (ko) * | 2014-06-17 | 2016-07-12 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
| US10091411B2 (en) | 2014-06-17 | 2018-10-02 | Lg Electronics Inc. | Mobile terminal and controlling method thereof for continuously tracking object included in video |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8522160B2 (en) | Information processing device, contents processing method and program | |
| US8358907B2 (en) | Display control apparatus, display control method, and program | |
| US20200053404A1 (en) | Predictive Content Delivery for Video Streaming Services | |
| JP5495855B2 (ja) | 映像処理装置及び映像処理方法 | |
| JP2017531979A (ja) | スポーツ競技場における視覚的な選手追跡のためのシステムおよび方法 | |
| US8279282B2 (en) | Display control apparatus, display control method, and program | |
| KR101558659B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 기록 매체 | |
| US10362266B2 (en) | Video processing apparatus, video processing system, and video processing method | |
| JP2012142860A (ja) | 任意視点映像処理装置及びその制御方法、及びプログラム | |
| US20210168411A1 (en) | Storage medium, video image generation method, and video image generation system | |
| KR101684461B1 (ko) | 경기장 영상 공유를 위한 시스템, 이를 위한 서버, 이를 위한 단말, 이 경기장 영상 공유 방법 및 이 방법이 기록된 컴퓨터로 판독 가능한 기록 매체 | |
| US20210258505A1 (en) | Image processing apparatus, image processing method, and storage medium | |
| CN113891145A (zh) | 一种超高清视频预处理主视角漫游播放系统及移动终端 | |
| JP2004140670A (ja) | 画像処理装置および方法、画像表示装置および方法、画像配信装置および方法、並びにプログラム | |
| CN114143561A (zh) | 一种超高清视频多视角漫游播放方法 | |
| JP2016082350A (ja) | スポーツ競技ライブ観戦システム、スポーツ競技ライブ観戦システムの映像収集提供装置及び観戦者端末 | |
| US20220417618A1 (en) | Information processing apparatus, information processing method, and program | |
| US20210258496A1 (en) | Image processing device, image processing server, image processing method, and storage medium | |
| US11683549B2 (en) | Information distribution apparatus, information distribution method, and information distribution program | |
| KR101943554B1 (ko) | 스포츠 경기 정보 제공 방법 및 시스템 | |
| CN102810308A (zh) | 显示控制装置、显示控制方法和程序 | |
| EP4151370A1 (en) | Remote operation device and program therefor | |
| US11527021B2 (en) | Image processing system, image processing method, and storage medium | |
| JP7282519B2 (ja) | 画像処理装置または画像処理サーバー | |
| JP2021144522A (ja) | 画像処理装置、画像処理方法、プログラム、及び画像処理システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20060110 |