JP2014081560A - 画像出力装置およびプログラム - Google Patents

Abstract

【課題】プロジェクションシステムの内部データとコンテンツを同時的に視認することを可能にする新規な画像出力装置を提供する。
【解決手段】本発明によれば、外部から受信したコンテンツデータのデコードを実行するコンテンツデータ処理部と、内部データを生成する内部データ生成部と、前記内部データの可視化画像を生成する内部データ画像生成部と、ＵＩ画像を生成するＵＩ制御部と、最大でＮ個の画像の重畳合成が可能な画像合成手段と、２以上の画像に係る投影要求を受領した場合に、前記画像合成手段を使用して該２以上の画像を重畳合成してなる投影画像を生成する投影制御部とを含み、前記投影制御部は、前記投影要求に係る画像の総数がＮ以下である場合にのみ、該投影要求に係る前記内部データの可視化画像を他の画像に重畳する、画像出力装置が提供される。
【選択図】図１

Description

本発明は、画像出力装置およびプログラムに関する。

近年のプロジェクションシステムには、ネットワークに接続されたＰＣの画面を投影する機能を搭載しているものがある（例えば、特許文献１）。このＰＣ画面投影における投影映像のフレームレート（１秒間に表示更新が行われるフレーム数）は、ネットワークの帯域幅やＰＣ側のユーティリティアプリの実行状態に依存して変化することから、プロジェクションシステムの開発においては、実際にＰＣ画面投影を行い、要求されたフレームレートが達成されているか否かをリアルタイムで確認しながら、各種パラメータを動的にチューニングするといった作業を行っていた。

この点につき、従来の開発現場では、プロジェクションシステムに直接接続した専用端末に対してフレームレートをログとして出力させ、当該専用端末の画面に表示される数値と投影画像を交互に見くらべるといったことを行っていたが、専用端末の画面に表示される数値は視認性が十分でなく、これを投影画像と同時的に視認することは非常に困難であった。

本発明は、上記従来技術における課題に鑑みてなされたものであり、本発明は、プロジェクションシステムの内部データとコンテンツを同時的に視認することを可能にする新規な画像出力装置を提供することを目的とする。

本発明者は、プロジェクションシステムの内部データとコンテンツを同時的に視認することを可能にする新規な画像出力装置につき鋭意検討した結果、以下の構成に想到し、本発明に至ったのである。

すなわち、本発明によれば、外部から受信した画像を含むコンテンツデータのデコードを実行するコンテンツデータ処理部と、内部データを生成する内部データ生成部と、前記内部データの可視化画像である内部データ画像を生成する内部データ画像生成部と、ＵＩ画像を生成するＵＩ制御部と、最大でＮ個の画像の重畳合成が可能な画像合成手段と、前記コンテンツデータ処理部、前記内部データ画像生成部および前記ＵＩ制御部のいずれかから２以上の画像に係る投影要求を受領した場合に、前記画像合成手段を使用して該２以上の画像を重畳合成してなる投影画像を生成する投影制御部とを含み、前記投影制御部は、前記投影要求に係る画像の総数がＮ以下である場合にのみ、該投影要求に係る前記内部データ画像を他の画像に重畳する、画像出力装置が提供される。

本実施形態の画像出力装置の機能ブロック図。 内部データのデータ構造と内部データ画像を示す図。 本実施形態の画像出力装置が実行する処理を表したシーケンス図。 スクリーンに投影される投影画像を示す図。 スクリーンに投影される投影画像を示す図。

以下、本発明を、実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜、その説明を省略するものとする。

図１は、本発明の実施形態である画像出力装置１００の機能ブロック図を示す。本実施形態の画像出力装置１００は、外部システム２００から受信したコンテンツを投影するための出力データを生成するための装置であり、プロジェクションシステムとして参照することができる。

ここで、外部システム２００とは、画像出力装置１００に対してコンテンツを転送することのできる任意のシステムであり、画像出力装置１００にネットワークを介して接続されるパーソナル・コンピュータ（以下、ＰＣという）や画像出力装置１００にＵＳＢ接続される各種ストレージデバイスなどを例示することができる。

本実施形態の画像出力装置１００は、コンテンツデータ処理部１０、投影制御部２０、画像合成手段３０、内部データ画像生成部４０、内部データ生成部５０、ＵＩ制御部６０、通信ＩＦ部７０および音声再生部８０を含んで構成されている。

コンテンツデータ処理部１０は、外部システム２００から通信ＩＦ部７０を介してコンテンツデータを受信する。ここで、コンテンツデータは、少なくとも画像データまたは動画データを含み、音声データを含んでいてもよい。

受信されたコンテンツデータは、分離部１２がこれを音声データ、画像データ、動画データに分離し、音声デコーダ１４、画像デコーダ１６、ビデオデコーダ１８が各データをデコードする。例えば、画像データや動画データは、投影手段９０に対応したＹＵＶデータにデコードされ、音声データは、音声再生部８０に対応したＰＣＭデータにデコードされる。以下の説明においては、投影手段９０に対応したＹＵＶデータを、単に、“画像”として参照し、音声再生部８０に対応したデータを、単に、“音声”として参照するものとする。コンテンツデータ処理部１０は、画像に係る投影要求を投影制御部２０に対して発行し、音声に係る再生要求を音声再生部８０に対して発行する。

ＵＩ制御部６０は、画像出力装置１００に対するユーザ操作（設定値の変更や画面遷移など）を受け付けるため機能部であり、ＵＩ制御部６０は、ＵＩ画面の画像（以下、ＵＩ画像という）を生成し、生成したＵＩ画像に係る投影要求を投影制御部２０に対して発行する。

内部データ生成部５０は、画像出力装置１００に係る所定の内部データを生成するための機能部である。本実施形態において、内部データとは、画像出力装置１００の機能を実現するための制御プログラムが内部的に保持する「状態」や「値」などのデータを意味する。内部データとしては、投影手段９０が投影する投影画像のフレームレートや外部システム２００との間のデータ転送速度を例示することができる。その他、音声再生部８０の出力用バッファが空になっていた時間を内部データとして生成させてもよい。

内部データ画像生成部４０は、内部データ生成部５０によって生成された内部データの可視化画像（以下、内部データ画像という）を生成するための機能部である。内部データ画像生成部４０は、ユーザから（例えば、ＵＩ制御部６０を介して）内部データの表示要求を受領したことに応答して、当該表示要求に係る内部データを内部データ生成部５０から読み出して内部データ画像を生成し、生成した内部データ画像に係る投影要求を投影制御部２０に対して発行する。

図２は、内部データの値およびその表示条件を表すデータ構造と当該表示条件に基づいて生成される内部データ画像を例示する。図２（ａ）に示す例においては、LABELに文字列fps：、VALUEに23.9、TYPEにTRINGが設定されたデータ構造に基づいて、LABELの文字列とVALUEの値を：で接続した内部データ画像が生成されている。一方、図２（ｂ）に示す例においては、LABELに文字列fps、VALUEに数値のリスト{23.9,23.2,24.1,24.5,24.0}、TYPEにGRAPHが設定されたデータ構造に基づいて、VALUEの値から作成したグラフに対してLABELの文字列をタイトルとして付加した内部データ画像が生成されている。

投影制御部２０は、コンテンツデータ処理部１０、ＵＩ制御部６０および内部データ画像生成部４０から各画像に係る投影要求を受け付け、当該画像を投影するための出力データ（以下、投影画像という）を生成するための機能部である。投影制御部２０は、２以上の画像に係る投影要求を受け付けた場合、画像合成手段３０を使用して当該２以上の画像を重畳合成して投影画像を生成する。

ここで、画像合成手段３０は、グラフィックコントローラとして参照されるハードウェアであり、最大でＮ個のレイヤーを提供する。投影制御部２０は、投影要求に係る画像をその種類に応じて画像合成手段３０の適切なレイヤーに転送し、画像合成手段３０は、各レイヤーの画像を重畳合成して投影制御部２０に返す。投影制御部２０は、重畳合成後の画像（投影画像）を投影手段９０に送信し、投影手段９０は、投影制御部２０から送信される投影画像を所定のスクリーンに投影する。

なお、本実施形態において、投影制御部２０は、さらに内部データ画像表示位置決定部２２を備えることができる（その詳細については後述する）。

以上、本実施形態の画像出力装置１００を構成する各機能部について概説してきたが、次に、各機能部が協働して実行する処理の内容を具体例に基づいて説明する。

図３は、画像出力装置１００が実行する処理を表したシーケンス図である。以下、図３に基づいて説明する。なお、以下においては、説明の便宜上、画像合成手段３０が提供可能なレイヤーの数を「２」として説明を行う。また、以下の説明においては、適宜、図１を参照するものとする。

通信ＩＦ部７０は、外部システム２００からデータを受信すると（1）、データのヘッダ解析を行って当該データがコンテンツデータであるか否かを判断し、コンテンツデータであった場合、当該データをコンテンツデータ処理部１０に渡す（1.1）。

コンテンツデータ処理部１０は、受領したコンテンツデータを分離・デコードし（1.1.1）、その中に含まれる画像に係る投影要求を生成して投影制御部２０に対して発行する（1.1.2）。コンテンツデータ処理部１０から投影要求を受領した投影制御部２０は、画像合成手段３０に空きレイヤーがあるか否かを確認する。この時点では、画像合成手段３０のレイヤーは全て空いているので、投影制御部２０は、２つのレイヤーのうちの下のレイヤーに投影要求に係る画像を割り当てる（1.1.2.1）。

その後、投影制御部２０は、画像合成手段３０が合成した画像を投影画像として投影手段９０に対して送信する（1.1.2.2）。

投影手段９０は、投影制御部２０から送信された投影画像をスクリーンに投影する。図４(ａ)は、この時点でスクリーンに投影される投影画像を示す。図４(ａ)に示すように、この時点では、スクリーンに風景画像（コンテンツ）だけが投影されている。

この状態において、ユーザが適切なＵＩを介して画像出力装置１００に対してフレームレートの表示を要求すると、これに応答して内部データ画像生成部４０が内部データ生成部５０からフレームレートを取得して当該フレームレートの可視化画像（内部データ画像）を生成し（2）、生成した内部データ画像に係る投影要求を投影制御部２０に対して発行する（2.1）。

内部データ画像生成部４０から内部データ画像に係る投影要求を受領した投影制御部２０は、当該内部データ画像の表示の可否を判断する。具体的には、現時点で受け付けている投影要求に係る画像の総数が画像合成手段３０のレイヤーの総数「２」以下であるか否かに基づいて表示の可否を判断する。

この時点で、投影制御部２０が受け付けている投影要求に係る画像の総数は「２」であり（風景画像と内部データ画像）、画像合成手段３０のレイヤーの総数「２」以下であるので、投影制御部２０は、２つのレイヤーのうち空いている上のレイヤーに内部データ画像を割り当てる（2.1.1）。

その後、投影制御部２０は、画像合成手段３０を使用して風景画像と内部データ画像を重畳合成し（2.1.2）、得られた投影画像を投影手段９０に対して送信する（2.1.3）。

投影手段９０は、投影制御部２０から送信された投影画像をスクリーンに投影する。図４(ｂ)は、この時点でスクリーンに投影される画像を示す。図４(ｂ)に示すように、この時点で、先の風景画像の左上隅にフレームレートを示す画像３０２が投影される。

続いて、この後に、画像出力装置１００に対して他のＰＣからの投影要求があった場合について説明する。画像出力装置１００が他のＰＣからの投影要求を受けたことに応答して、ＵＩ制御部６０は、その旨をユーザに知らせるためのポップアップ・ダイアログに係るＵＩ画像を生成し(3）、生成したＵＩ画像に係る投影要求を投影制御部２０に対して発行する（3.1）。

ＵＩ制御部６０からＵＩ画像に係る投影要求を受領した投影制御部２０は、既に表示している内部データ画像（フレームレート）の表示の可否を判断する。

この時点で、投影制御部２０が受け付けている投影要求に係る画像の総数は「３」であり（風景画像、内部データ画像、ＵＩ画像）、これは画像合成手段３０のレイヤーの総数「２」を超えている。よって、投影制御部２０は、内部データ画像の表示を中止し、内部データ画像に割り当てていたレイヤーを解放して新たな投影要求に係るＵＩ画像にこれを割り当てる（3.1.1）。

その後、投影制御部２０は、画像合成手段３０を使用して風景画像とＵＩ画像を重畳合成し（3.1.2）、得られた投影画像を投影手段９０に対して送信する（3.1.3）。

投影手段９０は、投影制御部２０から送信された投影画像をスクリーンに投影する。図４(ｃ)は、この時点でスクリーンに投影される画像を示す。図４(ｃ)に示すように、この時点で、風景画像の左上隅に投影されていたフレームレート画像３０２が消え、新たにポップアップ・ダイアログ３０４（ＵＩ画像）が投影される。

続いて、この後に、ユーザがポップアップ・ダイアログ３０４の“ＮＯ“を選択してポップアップ・ダイアログ３０４をクローズした場合について説明する。ポップアップ・ダイアログ３０４をクローズされたことに応答して、ＵＩ制御部６０は、投影制御部２０に対してＵＩ画像の投影中止を通知する（4）。

ＵＩ制御部６０からの投影中止の通知を受けたことに応答して、投影制御部２０は、ＵＩ画像に割り当てていた上のレイヤーを解放した後、再び、内部データ画像（フレームレート）の表示の可否を判断する。この時点で、投影制御部２０が受け付けている投影要求に係る画像の総数は「１」であり（風景画像のみ）、画像合成手段３０のレイヤーの総数「２」以下となっているので、投影制御部２０は、解放された上のレイヤーに投影要求に係る内部データ画像を割り当てる（4.1）。

その後、投影制御部２０は、画像合成手段３０を使用して風景画像とＵＩ画像を重畳合成し（4.2）、得られた投影画像を投影手段９０に対して送信する（4.3）。

投影手段９０は、投影制御部２０から送信された投影画像をスクリーンに投影する。図４(ｄ)は、この時点でスクリーンに投影される画像を示す。図４(ｄ)に示すように、この時点で、風景画像の中央に投影されていたポップアップ・ダイアログ３０４が消え、風景画像の左上隅にフレームレート画像３０２が再び投影される。

最後に、好ましい実施形態において投影制御部２０が備えることができる内部データ画像表示位置決定部２２の機能について説明する。

内部データ画像表示位置決定部２２は、コンテンツ画像の視認性を可能な限り妨げないという観点から内部データ画像の表示位置を決定する。例えば、コンテンツ画像のアスペクト比によっては、有効表示領域の左右または上下にコンテンツ画像が表示されない領域（以下、非表示領域という）が生じる場合がある。このような場合、内部データ画像表示位置決定部２２は、この非表示領域を内部データ画像の表示位置として決定する。この決定を受けて、投影制御部２０は、非表示領域に内部データ画像が表示されるようにコンテンツ画像と内部データ画像を重畳する。

図５(ａ)は、向かって左側の非表示領域に内部データ画像３０２（フレームレート）が表示された投影画像を示し、図５（ｂ）は、上側の非表示領域に内部データ画像３０２（フレームレート）が表示された投影画像を示す。

さらに、内部データ画像表示位置決定部２２は、装置の操作性を妨げないという観点から内部データ画像の表示位置を決定することもできる。一般に、ＰＣ画面投影では、スクリーンに投影されたＰＣ画面を専用のポインティングデバイスで操作するアプリケーションが併用されることが多い。このようなケースにおいて、内部データ画像表示位置決定部２２は、操作アイコンを隠蔽しない領域を内部データ画像の表示位置として決定する。この決定を受けて、投影制御部２０は、操作アイコンを隠蔽しない領域に内部データ画像が表示されるようにコンテンツ画像と内部データ画像を重畳する。

図５（ｃ）は、操作アイコンが配置された領域（破線で囲む）以外の領域に内部データ画像３０２（フレームレート）が表示された投影画像を示す。

以上、説明したように、本実施形態によれば、プロジェクションシステムの内部データがコンテンツ画像と共に投影されるので、開発者は、コンテンツ画像と内部データを同時的に視認することができる。その結果、開発者は、例えば、投影される画像の特性とフレームレートの関係をリアルタイムに確認することできるので、パラメータを直感的に且つ精度よくチューニングすることが可能になる。

また、本実施形態によれば、メインの制御プログラムに係る表示（コンテンツ画像やＵＩ画面の表示）が内部データの表示よりも常に優先されるため、装置の操作性が犠牲になることがない。

以上、本発明について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではなく、その他、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

上述した実施形態の各機能は、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのオブジェクト指向プログラミング言語などで記述された装置実行可能なプログラムにより実現でき、本実施形態のプログラムは、ハードディスク装置、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭなどの装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。

１０…コンテンツデータ処理部
１２…分離部
１４…音声デコーダ
１６…画像デコーダ
１８…ビデオデコーダ
２０…投影制御部
２２…内部データ画像表示位置決定部
３０…画像合成手段
４０…内部データ画像生成部
５０…内部データ生成部
６０…ＵＩ制御部
７０…通信ＩＦ部
８０…音声再生部
９０…投影手段
１００…画像出力装置
２００…外部システム
３０２…内部データ画像
３０４…ＵＩ画像

特開２０１１−０５９６７５号公報

Claims (8)

1. 外部から受信した画像を含むコンテンツデータのデコードを実行するコンテンツデータ処理部と、
   内部データを生成する内部データ生成部と、
   前記内部データの可視化画像である内部データ画像を生成する内部データ画像生成部と、
   ＵＩ画像を生成するＵＩ制御部と、
   最大でＮ個の画像の重畳合成が可能な画像合成手段と、
   前記コンテンツデータ処理部、前記内部データ画像生成部および前記ＵＩ制御部のいずれかから２以上の画像に係る投影要求を受領した場合に、前記画像合成手段を使用して該２以上の画像を重畳合成してなる投影画像を生成する投影制御部とを含み、
   前記投影制御部は、
   前記投影要求に係る画像の総数がＮ以下である場合にのみ、該投影要求に係る前記内部データ画像を他の画像に重畳する、
   画像出力装置。
2. 前記内部データ生成部は、前記投影画像に係るフレームレートを前記内部データとして生成する、
   請求項１に記載の画像出力装置。
3. 前記内部データ生成部は、前記コンテンツデータに係るデータ転送速度を前記内部データとして生成する、
   請求項１または２に記載の画像出力装置。
4. 前記コンテンツデータに含まれる音声を再生するための音声再生部をさらに含み、
   前記内部データ生成部は、前記音声再生部の出力用バッファが空になっていた時間を前記内部データとして生成する、
   請求項１〜３のいずれか一項に記載の画像出力装置。
5. 前記投影制御部は、
   前記他の画像の非表示領域に前記内部データ画像を重畳する、
   請求項１〜４のいずれか一項に記載の画像出力装置。
6. 前記投影制御部は、
   前記他の画像がＰＣ画面の画像であった場合、該ＰＣ画面上の操作アイコンを隠蔽しない領域に前記内部データ画像を重畳する、
   請求項１〜５のいずれか一項に記載の画像出力装置。
7. 前記画像合成手段は、グラフィックコントローラである、請求項１〜６のいずれか一項に記載の画像出力装置。
8. コンピュータを
   外部から受信した画像を含むコンテンツデータのデコードを実行するコンテンツデータ処理手段、
   内部データを生成する内部データ生成手段、
   前記内部データの可視化画像である内部データ画像を生成する内部データ画像生成手段、
   ＵＩ画像を生成するＵＩ制御手段、
   前記コンテンツデータ処理手段、前記内部データ画像生成手段および前記ＵＩ制御手段のいずれかから２以上の画像に係る投影要求を受領した場合に、最大でＮ個の画像の重畳合成が可能な画像合成手段を使用して該２以上の画像を重畳合成してなる投影画像を生成する投影制御手段であって、前記投影要求に係る画像の総数がＮ以下である場合にのみ、該投影要求に係る前記内部データ画像を他の画像に重畳する、投影制御手段、
   として機能させるためのコンピュータ実行可能なプログラム。