JP2010102587A - 情報処理装置 - Google Patents

Abstract

【課題】多種のメディア処理、例えば、画像処理に多種のリソースの中の適切な１つを選択して割り当てる。
【解決手段】最適リソース選択テーブル６２には、処理する画像データの属性と、その属性の画像データの画像処理に適した順位を付して、その属性の画像データの画像処理が可能な画像処理リソース、例えば、ソフトＪＰＥＧコーデック５２を識別する情報と、マルチメディアチップ５４を識別する情報とが記憶されている。マルチメディア制御部４１の各部、例えば、静止画制御部４２は、最適リソース選択テーブル６２を参照して、処理する画像データに最も適した画像処理リソースを選択して、画像処理をさせる。
【選択図】図２

Description

本発明は、情報処理装置に係り、特に、メディア処理に適切なリソースを割り当てる処理に関する。

メディア処理、例えば、画像処理をする情報処理装置において、複数のリソースを有し、複数のメディア処理にそれらのリソースの中の１つを割り当てる処理が知られており、例えば、いずれかの処理に優先してリソースを割り当てる（例えば、特許文献１参照。）。
特開２００６−９４５１６号公報（段落番号「０００７」〜「００１３」、「００２４」、図１〜図３、図１１）

しかしながら、上述した特許文献１に開示されている方法では、多機能が搭載された移動通信装置など、多種のメディア処理に多種のリソースの中の１つを割り当てる装置で、リソースを効率的に用いるために、如何に割り当てるべきかが明らかでない問題点があった。この結果、メディア処理に長時間がかかり、装置の使用者は違和感を覚える可能性があった。

本発明は、上記問題点を解決するためになされたもので、多種のメディア処理に多種のリソースの中の適切な１つを選択して割り当てる情報処理装置を提供することを目的とする。

上記目的を達成するために、本発明の情報処理装置は、メディアデータに係る処理をする複数のメディア処理リソースと、メディアデータの属性と、その属性のメディアデータに係る処理が可能なメディア処理リソースを識別する情報に、そのメディア処理リソースが、その属性のメディアデータに係る処理に適する程度を付した情報とを記憶するリソース選択テーブルと、メディアデータに係る処理にあたり、前記リソース選択テーブルを参照して、その処理に適したメディア処理リソースを選択し、その選択されたメディア処理リソースにその処理をさせるメディア処理制御手段とを有することを特徴とする。

本発明によれば、多種のメディア処理に多種のリソースの中の適切な１つを選択して割り当てることができる。

以下に、本発明による情報処理装置の実施の形態を、図面を参照して説明する。図１は、本発明の実施形態に係わる情報処理装置が適用された移動通信装置の構成を示すブロック図である。

この移動通信装置は、移動通信網（図示せず）を介した通信を行う装置であって、装置全体の制御を行う制御部１１と、基地局（図示せず）との間で電波の送受を行うアンテナ１２ａと、通信部１２ｂと、送受信部１３と、受話音声発生用のスピーカ１４ａと、送話音声入力用のマイクロフォン１４ｂと、通話部１４ｃと、表示部１５と、入力部１６と、デジタル放送受信部１７と、デジタル放送の放送局から送信された電波を受信するアンテナ１７ａと、マルチメディア処理部２１と、マルチメディア処理部２１によって再生された音声を発生するスピーカ２１ａとを備える。

図２は、マルチメディア処理部２１の構成を示すブロック図である。マルチメディア処理部２１は、制御部１１に接続され、ＣＰＵ（図示せず）によるソフトウェア処理の上位層であるアプリケーション部３１、本発明に特に関連の制御を行う、ＣＰＵによるソフトウェア処理の中位層のマルチメディア制御部４１、下位層のマルチメディアリソース部５１、メディアファイル６１、最適リソース選択テーブル６２、リソース使用状況テーブル６３などから構成される。

上位層のアプリケーション部３１は、複数のアプリケーション部であって、静止画アプリケーション部３２、動画アプリケーション部３３、デジタル放送受信部１７に接続される地デジアプリケーション部３４などを有する。

中位層のマルチメディア制御部４１は、１つ又は複数のメディア毎の処理の制御を行う複数の制御部であって、静止画制御部４２、動画制御部４３、地デジ制御部４４などを有する。静止画制御部４２は、コンテンツ解析機能４５、リソース選択機能４６、マルチメディア制御実行機能４７を有する。動画制御部４３と地デジ制御部４４とのそれぞれも、同様に、コンテンツ解析機能、リソース選択機能、マルチメディア制御実行機能を有する。

下位層のマルチメディアリソース部５１は、大きく分けて、ＣＰＵ処理で機能実現されるソフトウェアで提供される機能部分と、ＣＰＵ処理とは別のハードウェア（例えば、ＤＳＰ）で提供される機能部分とを含む。例えば、ソフトウェアで提供される機能部分にはソフトＪＰＥＧコーデック５２、ソフトＰＮＧコーデック５３、その他があり、ハードウェアで提供される機能部分にはマルチメディアチップ５４、その他がある。

メディアファイル６１は、静止画ファイル、動画ファイル、音声ファイルなどのメディアデータであるコンテンツのファイルである。最適リソース選択テーブル６２と、リソース使用状況テーブル６３とは、マルチメディア制御部４１の各部が、アプリケーション部３１の要求に応じた処理に最適なリソースをマルチメディアリソース部５１のリソースの中から選択するために用いられる情報である。

上記のように構成された、本発明の実施形態に係る移動通信装置の各部の動作を図１及び図２を参照して説明する。通信部１２ｂは、アンテナ１２ａによって受信された高周波信号を送受信部１３へ出力し、また、送受信部１３から出力された高周波信号をアンテナ１２ａより送信する。

送受信部１３は、通信部１２ｂからの高周波信号を増幅、周波数変換及び復調し、それによってデジタル信号を得て、得られた通話音声信号を通話部１４ｃに、制御信号を制御部１１に送る。

更には、送受信部１３は、デジタル信号、即ち、通話部１４ｃから出力された通話音声信号、及び制御部１１から出力された制御信号を変調、周波数変換及び増幅し、高周波信号を得て、それを通信部１２ｂに送って送信させる。

通話部１４ｃは、送受信部１３から出力されたデジタル音声信号をアナログ音声信号に変換し、それを増幅してスピーカ１４ａに送る。また、マイクロフォン１４ｂから出力されたアナログ音声信号を増幅し、それをデジタル音声信号に変換して送受信部１３に送信する。

表示部１５は、例えば、ＬＣＤであり、制御部１１に制御されることで、文字・数字や映像データの表示動作を行い、表示されているデータは、入力部１６からの入力操作や着信信号に応答して制御部１１からの指示を受けることで、また、マルチメディア処理部２１の画像再生動作によって切換わる。

入力部１６は、通信相手の電話番号等を指定するため、また、文字を入力するための数字キーと複数の機能キーを含むキーからなる。そして、入力部１６のキーが操作されると、そのキーの識別子が制御部１１に通知され、制御部１１又は制御部１１からキーの識別子の送信を受けた各部によって、表示部１５に文字として表示され、又は、制御が行われる。

デジタル放送受信部１７は、アンテナ１７ａによって受信された地上波デジタルテレビ放送の高周波信号から制御部１１によって指示されたチャンネル番号のチャンネルの信号を選択し、選択された高周波信号を中間周波数の信号に変換し、変換された信号を復調することによってデジタル放送された信号を得て、地デジアプリケーション部３４に送る。

次に、マルチメディア処理部２１の各部の機能を説明する。静止画アプリケーション部３２は、写真撮影、静止画データの再生、編集、管理などの静止画に関する処理を実行する。この処理に関し、静止画の表示が行われる場合、表示部１５に表示させる。

動画アプリケーション部３３は、ビデオ撮影、動画データの編集、管理などの動画に関する処理を実行する。この処理に関し、画像の表示が行われる場合、表示部１５に表示させる。また、音声の出力が行われる場合、スピーカ２１ａから発生させる。そして、地デジ制御部４４は、デジタル放送受信部１７から送信されたデジタル放送された映像信号を表示部１５に表示させ、音声信号をスピーカ２１ａから発生させる。

静止画制御部４２、動画制御部４３、地デジ制御部４４等の動作については、後で詳述する。

ソフトＪＰＥＧコーデック５２は、静止画像データの圧縮方式の一つであるＪＰＥＧ方式の圧縮・伸長処理、言い換えると、エンコードとデコードを行う専用のコーデックであり、ソフトＰＮＧコーデック５３は、同様に静止画像データの圧縮方式の一つであるＰＮＧ方式の圧縮・伸長処理を行う専用のコーデックである。

マルチメディアチップ５４は、複数種類のコーデック機能、例えば、静止画用のＪＰＥＧコーデック、動画用のＭＰＥＧ４コーデックおよび／又はＨ２６４コーデックなどの機能を有し、一時には、それらの機能の中の１つについて、エンコード又はデコードを実行する。

メディアファイル６１は、各種圧縮（符号化）方式に基づいて圧縮された、又は、圧縮されないメディアデータであるコンテンツのファイルであり、静止画コンテンツファイル、動画コンテンツファイルなどを含む。動画コンテンツは、動画と音声とからなるコンテンツであるが、音声を含まないコンテンツを含み、また、音声のみのコンテンツを含む。これらのファイルは、マルチメディア処理部２１の各部によって作成された情報、送受信部１３によって受信された信号、カメラ（図示せず）によって撮影された静止画信号、マイクロフォン１４ｂによって入力された音声信号などである。

次に、最適リソース選択テーブル６２と、リソース使用状況テーブル６３とを説明する。これらに含まれる情報の多くは、マルチメディア処理部２１の設計者によって値が設定され、マルチメディア処理部２１の動作時に値が更新されない。そこで、まず、その値の設定がマルチメディア処理部２１の各部のどのような特性に基づいて設計者によって行われるかを説明する。なお、以下の説明は、静止画のエンコードを例として説明する。

図３は、カラーフォーマットリソース対応の一例であり、マルチメディアリソース部５１に含まれる機能、即ち、ソフトＪＰＥＧコーデック５２、ソフトＰＮＧコーデック５３、マルチメディアチップ５４のそれぞれが、如何なるカラーフォーマットの信号のエンコード処理が可能かを示す。

このカラーフォーマットリソース対応７１は、カラーフォーマット７１ａと、加工後カラーフォーマット７１ｂと、ソフトＪＰＥＧコーデック７１ｃと、ソフトＰＮＧコーデック７１ｄと、マルチメディアチップ７１ｅとが関連付けられている。そして、ソフトＪＰＥＧコーデック５２、ソフトＰＮＧコーデック５３、マルチメディアチップ５４が、カラーフォーマット７１ａの静止画のエンコード処理が加工なしに可能であれば、加工後カラーフォーマット７１ｂに「−」が設定され、それぞれソフトＪＰＥＧコーデック７１ｃ、ソフトＰＮＧコーデック７１ｄ、マルチメディアチップ７１ｅには「○」が設定されている。

また、それらがカラーフォーマット７１ａの静止画を加工後カラーフォーマット７１ｂに加工後、処理が可能であれば、加工後カラーフォーマット７１ｂに加工後のカラーフォーマットが設定され、それぞれソフトＪＰＥＧコーデック７１ｃ、ソフトＰＮＧコーデック７１ｄ、マルチメディアチップ７１ｅには「○」が設定されている。その他の場合、ソフトＪＰＥＧコーデック７１ｃ、ソフトＰＮＧコーデック７１ｄ、マルチメディアチップ７１ｅには「×」が設定されている。

具体的には、カラーフォーマット７１ａが「ＲＧＢ５６５」又は「ＲＧＢ８８８」である静止画は、加工なしに、ソフトＪＰＥＧコーデック５２と、ソフトＰＮＧコーデック５３とによって処理が可能である。また、カラーフォーマット７１ａが「ＲＧＢ５６５」又は「ＲＧＢ８８８」である静止画は、加工後カラーフォーマット７１ｂである「ＹＣｂＣｒ４２０」に加工の後、ソフトＪＰＥＧコーデック５２と、マルチメディアチップ５４とによって処理が可能である。

更に、カラーフォーマット７１ａが「ＹＣｂＣｒ４２０」又は「ＹＣｂＣｒ４２２」である静止画は、加工なしに、ソフトＪＰＥＧコーデック５２と、マルチメディアチップ５４とによって処理が可能である。ソフトＪＰＥＧコーデック５２は、カラーフォーマット７１ａが「ＲＧＢ５６５」と、「ＲＧＢ８８８」と、「ＹＣｂＣｒ４２０」とのいずれであっても処理が可能であるが、これは、「ＲＧＢ５６５」と、「ＲＧＢ８８８」との信号を、内部で「ＹＣｂＣｒ４２０」信号に加工してエンコードするためである。

図４は、カラーフォーマットリソース対応７１の対比例であり、カラーフォーマットの加工の概念が含まれない場合の対応である。この対比例は、図３に示すカラーフォーマットリソース対応７１の、加工後カラーフォーマット７１ｂが「−」である情報のみからなり、その結果、カラーフォーマット７１ａが「ＲＧＢ５６５」と、「ＲＧＢ８８８」とであれば、マルチメディアチップ５４によって処理が不可能であり、リソースの活用に制約が加わっている。

図５は、静止画のＪＰＥＧへのエンコードを例にした、リソース評価である。このリソース評価７２は、条件７２ａと、使用リソース７２ｂと、処理速度７２ｃと、メモリ使用量７２ｄと、判定７２ｅとが関連付けられた情報である。条件７２ａは、入力カラーフォーマット７２ｆと、画像サイズ７２ｇと、入力データ加工有無７２ｈとが関連付けられた情報である。

入力カラーフォーマット７２ｆは、カラーフォーマットリソース対応７１のカラーフォーマット７１ａと同じであり、エンコードされる静止画の大きさである画像サイズ７２ｇは、「小」又は「大」であり、使用リソース７２ｂは、静止画のＪＰＥＧへのエンコードが可能である「ソフトＪＰＥＧコーデック」又は「マルチメディアチップ」である。

入力データ加工有無７２ｈは、入力カラーフォーマット７２ｆと、使用リソース７２ｂとによって判断される、入力データの加工が必要であるか否かであって、「無し」又は「有り」である。この値は、カラーフォーマットリソース対応７１を参照して得られる。

全ての条件７２ａと、使用リソース７２ｂとの組み合わせに対して、処理速度が評価され、処理速度７２ｃには「速い」又は「遅い」が設定され、使用されるメモリの量が評価され、メモリ使用量７２ｄには「少ない」又は「多い」が設定される。そして、入力カラーフォーマット７２ｆと、画像サイズ７２ｇとが同じである静止画のＪＰＥＧへのエンコードについて、総合的に最も良い性能である使用リソース７２ｂと関連付けて、判定７２ｅに「最適」が設定され、その他の使用リソース７２ｂと関連付けては、値が設定されない。

図６は、静止画のＪＰＥＧへのエンコードを例にした最適リソース選択テーブル６２の一例であり、上記のカラーフォーマットリソース対応７１及びリソース評価７２に基づいて作成され、マルチメディア処理部２１の動作の際に参照される情報である。この最適リソース選択テーブル６２は、入力情報６２ａと、優先度６２ｂと、使用リソース６２ｃと、入力データ加工有無６２ｄとが関連付けられた情報である。入力情報６２ａは、入力カラーフォーマット６２ｅと、画像サイズ６２ｆとが関連付けられた情報である。

入力カラーフォーマット６２ｅと、画像サイズ６２ｆと、使用リソース６２ｃとは、それぞれ、リソース評価７２の入力カラーフォーマット７２ｆ、画像サイズ７２ｇ、使用リソース７２ｂである。入力データ加工有無６２ｄは、略カラーフォーマットリソース対応７１の入力データ加工有無７２ｈであるが、入力データ加工有無７２ｈが「有り」の場合、加工されるカラーフォーマットである「ＹＣｂＣｒ４２０」が設定される。

そして、入力カラーフォーマット６２ｅと、画像サイズ６２ｆと、使用リソース６２ｃとの組み合わせに対して、優先度６２ｂが評価され、同じ入力カラーフォーマット６２ｅと、画像サイズ６２ｆとに対して最も良い性能で使用リソース６２ｃに関連付けて「１」なる値が、次に良い性能である使用リソース６２ｃに関連付けて「２」なる値が設定される。優先度６２ｂは、判定７２ｅに対応している。

図７は、リソース使用状況テーブル６３の一例であって、静止画のＪＰＥＧへのエンコードに係る部分を取り出したものであり、リソース６３ａと、使用状況６３ｂとが関連付けられた情報である。リソース６３ａは、「ソフトＪＰＥＧコーデック」と、「マルチメディアチップ」とであり、使用状況６３ｂは、「空き」又は「使用中」であって、マルチメディア処理部２１の動作時に動的に設定される。これによって、ソフトＪＰＥＧコーデック５２と、マルチメディアチップ５４が動作中であるか否かが示される。

次に、静止画制御部４２、動画制御部４３、地デジ制御部４４等の動作を、静止画制御部４２が静止画のＪＰＥＧへのエンコードを行う場合を例にとって説明する。図８は、この場合の動作のフローチャートであり、静止画制御部４２は、静止画アプリケーション部３２からの要求に従って動作を開始する（ステップＳ１０１）。この際、エンコードする静止画コンテンツのメディアファイル６１が指定される。

そして、静止画制御部４２は、指定されたコンテンツを解析し、そのカラーフォーマットと、サイズを得る（ステップＳ１０２）。サイズは、「大」又は「小」である。このステップＳ１０２の動作は、コンテンツ解析機能４５による。

静止画制御部４２は、解析によって得られたカラーフォーマットが入力カラーフォーマット６２ｅに等しく、解析によって得られサイズが画像サイズ６２ｆに等しい情報を最適リソース選択テーブル６２から検索することによって、指定されたコンテンツをエンコードするためのリソースをマルチメディア処理部２１が有しているか否かを判断する（ステップＳ１０３）。

有している、即ち、上記検索によって、使用リソース６２ｃが検索された場合、静止画制御部４２は、最適な、即ち、優先度６２ｂが「１」である使用リソース６２ｃを選択する（ステップＳ１０４）。そして、その選択されたリソースが使用中であるか否かをリソース使用状況テーブル６３の使用状況６３ｂから得て（ステップＳ１０５）、使用可能であるか否かを判断する（ステップＳ１０６）。

使用可能である、即ち、使用状況６３ｂに「空き」が記憶されている場合、静止画制御部４２は、そのリソースを用いてエンコードを実行し（ステップＳ１０７）、そのエンコードの結果をメディアファイル６１に出力し（ステップＳ１０８）、エンコード動作を終了する（ステップＳ１０９）。ステップＳ１０７のエンコード実行の動作は、後で詳述する。なお、ステップＳ１０３〜ステップＳ１０６の動作は、リソース選択機能４６により、ステップＳ１０７のエンコード動作は、マルチメディア制御実行機能４７による。

ステップＳ１０６で使用不可能である、即ち、使用状況６３ｂに「使用中」が記憶されている場合、ステップＳ１０３のリソースをマルチメディア処理部２１が有しているか否かの判断に戻る。この判断動作においては、使用状況６３ｂに「使用中」が記憶されているリソースを除いて判断する。ステップＳ１０３でリソースをマルチメディア処理部２１が有していない場合、静止画制御部４２は、エンコード動作を終了する（ステップＳ１０９）。

ステップＳ１０７のエンコード動作を、図９のフローチャートを参照して詳説する。静止画制御部４２は、エンコード動作を開始し（ステップＳ２０１）、使用するコーデックがソフトＪＰＥＧコーデック５２であるか、マルチメディアチップ５４であるかによって、それぞれ「ソフトＪＰＥＧコーデック」又は「マルチメディアチップ」であるリソース６３ａと関連付けられた使用状況６３ｂに「使用中」を更新記憶させる（ステップＳ２０２）。

そして、静止画制御部４２は、ステップＳ１０１で指定されたコンテンツのカラーフォーマットと入力カラーフォーマット６２ｅが等しいこと、及び、ステップＳ１０４で選択されたリソースと使用リソース６２ｃとが等しいことを検索キーとして最適リソース選択テーブル６２を検索し、加工が必要か否かを判断する（ステップＳ２０３）。

加工が必要な場合、即ち、検索された入力データ加工有無６２ｄにカラーフォーマットが記憶されている場合、静止画制御部４２は、指定されたコンテンツをそのカラーフォーマットに加工した上で（ステップＳ２０４）、加工が不要な場合、即ち、検索された入力データ加工有無６２ｄに「無し」が記憶されている場合、加工をせずに、エンコードさせ（ステップＳ２０５）、上記「使用中」を更新記憶させた使用状況６３ｂに「空き」を更新記憶させ（ステップＳ２０６）、エンコード実行を終了する（ステップＳ２０７）。

次に、マルチメディア処理部２１によって行われる処理のシーケンスの例を説明する。図１０は、第１の例のシーケンス図であって、カラーフォーマットがＲＧＢ５６５、サイズが大きいコンテンツであるメディアファイル６１をＪＰＥＧへエンコードする例である。

静止画アプリケーション部３２は、静止画制御部４２に対して、エンコード処理を要求する。静止画制御部４２は、図８のステップＳ１０４の動作により、マルチメディアチップ５４の使用が最適と判断して選択し、それが使用可能なので、図９のステップＳ２０４の動作により、コンテンツを加工し、エンコードさせる。これによって、コンテンツの加工が必要ではあっても、高速な処理が可能である。

図１１は、上記第１の例と同じエンコードを行う対比例のシーケンス図であって、図４のカラーフォーマットリソース対応７１の対比例に対応する。この対比例によれば、コンテンツの加工が行われず、このエンコードは、ソフトＪＰＥＧコーデック５２によってのみ可能であると判断される。その結果、静止画制御部４２によって最適なリソースの選択が行われないため、処理に長時間を要する。

図１２は、第２の例のシーケンス図であって、動画アプリケーション部３３は、動画制御部４３に対して、動画コンテンツであるメディアファイル６１のデコードを要求し、動画制御部４３は、マルチメディアチップ５４を使用可能であるので、そのデコードを行わせている。そのデコード中に、上記第１の例と同じエンコードが開始される例である。

静止画制御部４２は、図８のステップＳ１０４の動作により、一旦はマルチメディアチップ５４を使用すると選択するが、それが使用不可能なので、再度ステップＳ１０４の動作により、ソフトＪＰＥＧコーデック５２を選択してエンコードさせる。このように、最適と判断されたリソースが使用されている場合、次善のリソースを使用してエンコードさせることによって、使用中のリソースが空くのを待つ時間が不要であり、直ちにエンコードを行わせることができる。

図１３は、第３の例のシーケンス図であって、カラーフォーマットがＲＧＢ５６５、サイズが小さいコンテンツであるメディアファイル６１をＪＰＥＧへエンコードする例である。

静止画アプリケーション部３２は、静止画制御部４２に対して、エンコード処理を要求する。静止画制御部４２は、図８のステップＳ１０４の動作により、ソフトＪＰＥＧコーデック５２を使用すると選択し、それが使用可能なので、図９のステップＳ２０４の動作により、コンテンツを加工し、エンコードさせる。

図１４は、上記第３の例と同じエンコードを行う対比例のシーケンス図であって、最適なリソースの選択が行われない例である。即ち、静止画制御部４２は、マルチメディアチップ５４の処理速度は、ソフトＪＰＥＧコーデック５２の処理速度より速いとして、マルチメディアチップ５４を使用すると選択したものである。

マルチメディアチップ５４のエンコードの処理速度は、ソフトＪＰＥＧコーデック５２のエンコードの処理速度より速い。しかし、マルチメディアチップ５４の動作による場合、マルチメディアチップ５４の起動、ファームウェアの読み込み、終了等によるオーバヘッドの処理時間が発生する。一方、ソフトＪＰＥＧコーデック５２の動作には、上記のようなオーバヘッドは殆どない。そこで、エンコードするコンテンツのサイズを参照せずにリソースを選択することが適切でなく、処理に長時間を要することが現れている。

次に、デコード処理について、エンコード処理との相違を説明する。図１５は、ＪＰＥＧコンテンツのデコード処理に係る最適リソース選択テーブル６２の一例である。この最適リソース選択テーブル６２は、図６のエンコード処理に係る最適リソース選択テーブル６２と比較して、入力データ加工有無６２ｄを含まず、更に、入力情報６２ａに入力カラーフォーマット６２ｅを含まず、一方、入力ファイルフォーマット６２ｇを含む。

この相違は、まず、デコード処理には、カラーフォーマットの加工がないからである。また、この最適リソース選択テーブル６２は、ＪＰＥＧコンテンツの処理に係る情報を例としているため、入力ファイルフォーマット６２ｇとして、「ＪＰＥＧ」が記憶されている。

図１６は、マルチメディア処理部２１によって行われるデコード処理のシーケンス図である。このシーケンス図は、図１３に示すエンコード処理の第３の例と同様に、サイズが小さいＪＰＥＧコンテンツであるメディアファイル６１をデコードする例である。静止画制御部４２は、図１５の最適リソース選択テーブル６２に従って、ソフトＪＰＥＧコーデック５２を使用すると選択する。

以上の説明にあたり、主に、静止画アプリケーション部３２が静止画制御部４２に静止画をＪＰＥＧにエンコードさせる際の、静止画制御部４２によるリソースの選択を例としたが、具体的なアプリケーションを、それぞれのアプリケーションの動作のシーケンス図を参照して説明する。

第１に、エンコードされたＪＰＥＧの静止画の編集であって、静止画アプリケーション部３２は、静止画制御部４２に対して、高解像度であるために、画像サイズが大きいメディアファイル６１を、低解像度で、画像サイズが小さいメディアファイル６１へ変更させる処理である。この処理は、メディアファイル６１を、例えば、電子メールに添付が可能に、又は、容易にするために行われる。ここで、編集される静止画のカラーフォーマットは、ＹＣｂＣｒ４２０であるとする。

図１７は、この処理のシーケンス図であって、静止画制御部４２は、まず、画像サイズが大きい静止画をデコードさせるに際し、図８のステップＳ１０４の動作（図１５に示す最適リソース選択テーブル６２を参照のこと。）により、マルチメディアチップ５４の使用が最適と判断して選択する。次ぎに、画像サイズが小さい静止画をエンコードさせるに際し、図８のステップＳ１０４の動作（図６に示す最適リソース選択テーブル６２を参照のこと。）により、ソフトＪＰＥＧコーデック５２の使用が最適と判断して選択する。これらの判断によって画像サイズに適したリソースを用いることになり、高速な処理が可能である。

なお、この処理で、静止画アプリケーション部３２は、静止画制御部４２に対して、デコードと、エンコードとの２つの処理を要求するとしたが、これに限るものではない。静止画の編集を要求するとしても良く、同じように、最適なリソースが選択される。

第２に、静止画アプリケーション部３２は、静止画制御部４２に対して静止画をＪＰＥＧへエンコードさせる際、本体画像と、その画像のサムネイル画像とをエンコードさせる処理である。前者のエンコードには、画像サイズが大きい場合に適したリソースを、後者には、画像サイズが小さい場合に適したリソースを用いて同時に行うことによって、高速な処理が可能である。ここで、エンコードされる静止画のカラーフォーマットは、ＲＧＢ５６５であるとする。

図１８は、この処理のシーケンス図であって、静止画制御部４２は、２つのエンコード処理の要求を受けて、まず、画像サイズが大きい本体画像である静止画をエンコードさせるに際し、マルチメディアチップ５４の使用が最適と判断して、本体画像を加工の上エンコードさせる。

次に、画像サイズが小さいサムネイル画像である静止画をエンコードさせるに際し、静止画制御部４２は、ソフトＪＰＥＧコーデック５２の使用が最適と判断して、サムネイル画像をエンコードさせる。そして、いずれのエンコード処理が先に終了したかを問わず、２つのエンコード処理の終了の後、静止画アプリケーション部３２に対し、要求されたエンコード処理が終了したと通知する。

これらの最適なリソースの選択は、図６に示す最適リソース選択テーブル６２を参照して、図８のステップＳ１０４の動作によって行われる。なお、サムネイル画像は、ソフトＪＰＥＧコーデック５２によってエンコードされるため、加工されることはない。

第３に、他の処理、例えば、デジタルテレビ放送の受信、動画の再生、音楽の再生をしつつ、静止画アプリケーション部３２は、静止画制御部４２に対して静止画をＪＰＥＧへエンコードさせる処理である。他の処理を終了させることなく、静止画のエンコードが可能である。

図１９は、この処理のシーケンス図であって、動画アプリケーション部３３は、動画制御部４３に対して、音声コンテンツであるメディアファイル６１のデコード、即ち、再生を要求し、動画制御部４３は、マルチメディアチップ５４を使用可能であるので、その再生を行わせている。

その再生中に、サイズが小さい静止画をＪＰＥＧへエンコードするに際し、静止画制御部４２は、図８のステップＳ１０４の動作（図６に示す最適リソース選択テーブル６２を参照のこと。）により、ソフトＪＰＥＧコーデック５２の使用が最適と判断してエンコードさせる。なお、静止画はソフトＪＰＥＧコーデック５２によってエンコードされるため、その静止画のカラーフォーマットに係らず、加工は行われない。

なお、エンコードされる静止画のサイズが大きい場合、最適なリソースはマルチメディアチップ５４であるが、それは使用中であるので、次善のリソースとしてソフトＪＰＥＧコーデック５２が選択される（図１２に示すシーケンス図を参照のこと。）。そこで、サイズの大小を問わず、動画制御部４３による音楽再生中に、静止画がエンコードされる。

以上の説明で、リソース評価７２は、処理されるメディアデータの属性と、処理速度７２ｃと、メモリ使用量７２ｄとの評価によって、判定７２ｅを得るとしたが、これに限るものではない。例えば、使用リソース７２ｂの属性、例えば、その消費電力を評価しても良い。更に、マルチメディア処理部２１以外の部分の属性、例えば、装置の各部へ電力を供給する電池に蓄えられた電力や、装置に備えられたメモリの空き領域の大きさを評価しても良い。

また、処理対象であるメディアデータの属性として、入力カラーフォーマット７２ｆと、画像サイズ７２ｇを評価するとしたが、これに限るものではない。例えば、メディアファイル６１が示す画像の縦横それぞれの大きさなどを評価しても良い。

また、リソース評価７２によって判定７２ｅを得る際、画像サイズ７２ｇは「小」又は「大」、処理速度７２ｃは、「速い」又は「遅い」、メモリ使用量７２ｄは、「少ない」又は「多い」としたが、それぞれ３段階以上の値を取るとしても良く、また、整数や実数を取るとしても良い。特に、使用可能なリソースが３種類以上ある場合、整数や実数によって判定７２ｅを計算することが有効である。

以上のようにリソース評価７２が変形された場合、当然に、その変形に従って最適リソース選択テーブル６２は変形される。また、静止画制御部４２は、変形された最適リソース選択テーブル６２に従って、リソースを選択する。

以上の説明で、リソースが使用中であるか否かは、リソース使用状況テーブル６３に記憶されるとしたが、これに限るものではない。マルチメディア制御部４１の各部は、各リソースに問い合わせることによって状況を判断しても良い。また、制御部１１のＯＳ機能の一環として状況が記憶され、マルチメディア制御部４１の各部は、制御部１１に問い合わせることによって状況を判断しても良い。

以上の説明は、マルチメディアチップ５４は、各種の機能を有するが、一時には、その中の１つの機能の動作を行い、複数の動作を行えないとしたが、これに限るものではない。同時に複数の動作を行うとしても良い。この場合、リソース評価７２の条件７２ａには、他に動作中の機能を含む。その結果、最適リソース選択テーブル６２の入力情報６２ａには、他に動作中の機能を含む。

また、リソース使用状況テーブル６３のリソース６３ａには、マルチメディアチップ５４の各機能毎の値が設定される。なお、ＣＰＵ処理で機能実現されるソフトウェアで提供される機能部分に関し、１つの機能が複数のタスクとして同時に複数動作する場合についても同様である。

以上の説明は、ソフトＪＰＥＧコーデック５２及びマルチメディアチップ５４は、一旦動作を開始すると、その動作を一時中断し、異なるメディアファイル６１を処理し、その処理の終了後、一時中断した動作を再開することはできないとした。また、一時中断した動作と、一時停止前に動作していたリソースと異なるリソースで動作を再開させることはできないとした。

この一時中断と再開処理には、ソフトＪＰＥＧコーデック５２及びマルチメディアチップ５４は、複雑な処理が必要になる。特に、一時停止前に動作していたリソースと異なるリソースで動作を再開させるためには、これらの２つのリソースの内部の処理手順や、データ構造の統一をとる必要があり、それぞれのリソースに最適な、高速な動作をさせる妨げになる。そこで、特に電池に蓄えられた電力で動作する、例えば、移動通信装置において、好ましくない。

以上の説明では、マルチメディア処理部２１によるメディア処理は、メディアファイル６１を入力し、メディアファイル６１を出力とするとしたが、これに限るものではない。入力は、送受信部１３によって受信されたデータであるとしても良い。出力は、送受信部１３によって送信されても良い。また、デコードされた画像が表示部１５に表示され、デコードされた音声がスピーカ２１ａから発生されても良い。本発明は以上の構成に限定されるものではなく、種々の変形が可能である。

本発明の実施形態に係る移動通信装置の構成を示すブロック図。 本発明の実施形態に係るマルチメディア処理部の構成を示すブロック図 本発明の実施形態に係るカラーフォーマットリソース対応の一例を示す図。 本発明の実施形態に係るカラーフォーマットリソース対応の対比例を示す図。 本発明の実施形態に係るエンコードに係るリソース評価の一例を示す図。 本発明の実施形態に係るエンコードに係る最適リソース選択テーブルの一例を示す図。 本発明の実施形態に係るリソース使用状況テーブルの一例を示す図。 本発明の実施形態に係る静止画制御部のエンコードに係る動作のフローチャート（その１）。 本発明の実施形態に係る静止画制御部のエンコードに係る動作のフローチャート（その２）。 本発明の実施形態に係るエンコードの際のシーケンス図（第１の例）。 本発明の実施形態に係るエンコードの際のシーケンス図（第１の例の対比例）。 本発明の実施形態に係るデコードとエンコードとが同時に行われる際のシーケンス図（第２の例）。 本発明の実施形態に係るエンコードの際のシーケンス図（第３の例）。 本発明の実施形態に係るエンコードの際のシーケンス図（第３の例の対比例）。 本発明の実施形態に係るデコードに係る最適リソース選択テーブルの一例を示す図。 本発明の実施形態に係るデコードの際のシーケンス図。 本発明の実施形態に係る画像サイズが大きい静止画から画像サイズが小さい静止画への編集が行われる際のシーケンス図。 本発明の実施形態に係る本体画像のエンコードとサムネイル画像のエンコードとが同時に行われる際のシーケンス図。 本発明の実施形態に係るエンコードが音声コンテンツの再生中に行われる際のシーケンス図。

符号の説明

１１ 制御部
１７ デジタル放送受信部
２１ マルチメディア処理部
３１ アプリケーション部
３２ 静止画アプリケーション部
３３ 動画アプリケーション部
３４ 地デジアプリケーション部
４１ マルチメディア制御部
４２ 静止画制御部
４３ 動画制御部
４４ 地デジ制御部
４５ コンテンツ解析機能
４６ リソース選択機能
４７ マルチメディア制御実行機能
５１ マルチメディアリソース部
５２ ソフトＪＰＥＧコーデック
５３ ソフトＰＮＧコーデック
５４ マルチメディアチップ
６１ メディアファイル
６２ 最適リソース選択テーブル
６２ａ 入力情報
６２ｂ 優先度
６２ｃ 使用リソース
６２ｄ 入力データ加工有無
６２ｅ 入力カラーフォーマット
６２ｆ 画像サイズ
６２ｇ 入力ファイルフォーマット
６３ リソース使用状況テーブル
６３ａ リソース
６３ｂ 使用状況

Claims (6)

1. メディアデータに係る処理をする複数のメディア処理リソースと、
   メディアデータの属性と、その属性のメディアデータに係る処理が可能なメディア処理リソースを識別する情報に、そのメディア処理リソースが、その属性のメディアデータに係る処理に適する程度を付した情報とを記憶するリソース選択テーブルと、
   メディアデータに係る処理にあたり、前記リソース選択テーブルを参照して、その処理に適したメディア処理リソースを選択し、その選択されたメディア処理リソースにその処理をさせるメディア処理制御手段と
   を有することを特徴とする情報処理装置。
2. 前記処理に適する程度とは、前記メディア処理リソース毎に付されたその処理に適する順位であり、
   前記メディア処理制御手段は、前記処理に適する順位が最高であるメディア処理リソースを選択する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記メディアデータの属性は、そのメディアデータの大きさである
   ことを特徴とする請求項１に記載の情報処理装置。
4. 前記リソース選択テーブルは、前記属性のメディアデータがその属性とは異なる属性に加工されたメディアデータに係る処理が可能なメディア処理リソースを識別する情報を併せて記憶する
   ことを特徴とする請求項１に記載の情報処理装置。
5. 前記メディアデータは、画像データであり、
   前記メディアデータの属性は、前記画像データのカラーフォーマットであり、
   前記加工されたメディアデータは、前記カラーフォーマットが変更された画像データであり、
   前記メディアデータに係る処理は、前記画像データのエンコードである
   ことを特徴とする請求項４に記載の情報処理装置。
6. 前記メディア処理リソースは、ＣＰＵによって利用されるソフトウェアによるメディア処理リソースと、メディア処理専用のハードウェアによるメディア処理リソースとを含む
   ことを特徴とする請求項１に記載の情報処理装置。

Images