JP2013214842A - 動画再生処理方法及びその方法を採用した携帯情報端末 - Google Patents

Abstract

【課題】 携帯情報端末において、ハードウェア上の制約や消費電力の制約をこれまでと同様に満たしつつ、ソフトウェアデコーダにより符号化された動画の表示から、ハードウェアデコーダの復号化による当該動画の表示に切り替えて表示できる。
【解決手段】 携帯情報端末１Ａ内のＣＰＵ１１は、所望のネットワークからマルチストリーム配信された複数の低解像度動画情報を、ソフトウェアデコーダ１６により実時間で復号化し、表示部１９の分割された領域にサムネイル動画（解像度の比較的低い縮小動画）として表示する。操作者によりいずれかの動画がタッチパネル２０を介して選択されると、ＣＰＵ１１は、ソフトウェアデコーダ１６による４つの動画情報の復号化とその同時分割表示を終了し、選択された１つの動画に係る高解像度情報に対するハードウェアデコーダ１７による復号化に切り替えると共に、表示部１９の全画面表示に切り替える。
【選択図】 図１

Description

本発明は、動画再生処理方法及びその方法を採用した携帯情報端末に関し、特に、１つのみのハードウェアデコーダを有するという制約を受ける携帯情報端末における動画再生処理方法に関する。

特許文献１は、元のフルバージョンよりも低ビットレート及び低解像度で符号化することにより、１つ又は複数の小さい代替ビデオ画像（サムネイルビデオ画像）を生成するビデオ画像ミニチュアライザーなるものを開示している（［００１９］、図１のビデオ画像縮小化システム１００、図６のコンテンツ配信システム）。更に、そのビデオ画像ミニチュアライザーが生成した複数のサムネイルビデオ画像を１つの画面に表示する縮小ビデオ画像ＵＩプロデューサを開示しており（［００３９］、図３，４Ａ，及び４Ｂ）、次に、例えば、当該文献の図３において、サムネイルビデオ画像の１つが選択されると、対応するフルスケールビデオ画像が全画面で表示される（つなぎとしてサムネイルビデオ画像が全画面で表示される）ことが開示されている（［００４６］、［００４７］）。なお、これらの画像はすべて動画像である（［００３９］）。

ところで、最近、従来の携帯電話の発展形として、多様な機能を装備可能な携帯情報端末（例えば、いわゆるスマートフォン）が急速に台頭してきている。その機能としては、携帯電話機能、インターネット機能、データ記憶機能、メディア再生機能、ゲーム機能などがある。

特開２００５−１１０２８６号公報

上述の携帯情報端末においては、ハードウェア上の制約から、１つのハードウェアデコーダのみを備え、動画再生については、その１つのハードウェアデコーダを動作させて、表示画面の全画面で行うことが一般的である。すなわち、その１つのハードウェアデコーダが表示画面の全画面に対応しているため、そのハードウェアデコーダを使用する限り、表示画面の一部分領域において動画を再生させることはできない。つまり、例えば、一表示画面に複数の動画を同時再生させることはできない。また、一表示画面に、ウェブのコンテンツの表示と、動画再生とを並列的に行うことはできないので、ウェブブラウザ内の一部に動画広告を配信するというような態様にも対応できていない。特に、一表示画面に複数の動画を同時再生させることに関して、複数のハードウェアデコーダを設けることは、携帯情報端末のＯＳ（オペレーティングシステム）からの制約などの設計上の観点からも得策でなく、また、特に、コスト高の要因となって得策ではない。

一方、ソフトウェアデコーダを利用すれば、表示画面の一部分領域において動画を再生させることは可能であるが、ハードウェアデコーダによる場合よりも処理が遅く、高解像度の動画を復号できないという欠点がある。また、音声との同期が困難である。更に、複数のソフトウェアデコーダを同時に動作させれば、複数の動画を並列的に表示することも可能であるが、この場合、消費電力が非常に高くなるため、現実的でなく、行われていない。

なお、特許文献１においては、携帯情報端末は想定されておらず、従って、ハードウェア上の制約や消費電力の観点については、何ら考慮の対象となっていない。

本発明は上述のような事情から為されたものであり、本発明の目的は、携帯情報端末において、ハードウェア上の制約や消費電力の制約をこれまでと同様に満たしつつ、ソフトウェアデコーダにより復号化された動画の表示から、ハードウェアデコーダの復号化による当該動画の表示に切り替えて表示できる動画再生処理方法及びその方法を採用した携帯情報端末を提供することにある。

上記目的を達成するため、本発明の動画再生処理方法は、携帯情報端末における動画再生処理方法であって、ソフトウェアデコーダにより、符号化された動画情報を復号化して、その動画を表示部に表示し、操作者による指示に基づき、前記動画情報に対するハードウェアデコーダによる復号化処理に切り替えて、前記表示部に前記動画を表示することを要旨とする。

ここで、前記ソフトウェアデコーダにより復号化される前記符号化された動画情報は、前記ハードウェアデコーダにより復号化される前記動画情報よりも低解像度の情報であることが特徴である。このとき、前記ソフトウェアデコーダによる復号化に基づく動画を前記表示部に縮小表示し、前記ハードウェアデコーダによる復号化に基づく動画を前記表示部に全画面表示する。

前記ソフトウェアデコーダによる復号化に基づく動画を前記表示部に複数同時表示し、前記操作者による指示は、その複数の動画のうちの１つに対する選択操作であることが好適である。このとき、前記複数の動画の情報は、外部からマルチストリーム配信されてくることが典型である。

ここで、前記複数の動画をストリーム再生し、前記選択操作があると、その選択に係る動画を、連続的に、前記ハードウェアデコーダによりストリーム再生してもよい。

あるいは、前記複数の動画をストリーム再生し、前記選択操作があると、その選択に係る動画の高解像度情報を、一旦動画情報格納部に格納し、その後、前記ハードウェアデコーダにより頭から再生してもよい。

一方、ウェブコンテンツと、それに関連した動画として、前記ソフトウェアデコーダによる復号化に基づく動画を前記表示部に重ね合わせ表示し、前記操作者による指示が行われると、前記ハードウェアデコーダによる復号化に基づく動画を、前記全画面表示することも可能である。このとき、前記動画に係る情報にアルファチャンネルの情報を含ませ、前記ウェブコンテンツとの重ね合わせ表示において、アルファブレンド表示を行うことが好適である。

また、上記目的を達成するため、本発明の携帯情報端末は、端末全体の制御処理を行うためのＣＰＵと、符号化された動画情報を復号化するためのハードウェアデコーダと、復号化された動画情報に係る動画が表示される表示部と、を備えた携帯情報端末であって、前記ＣＰＵは、前記符号化された動画情報をソフトウェアデコーダにより復号化して前記表示部に表示し、操作者により指示があると、前記ハードウェアデコーダによる復号化処理に切り替えて、前記前記表示部に表示することを要旨とする。

ここで、前記ソフトウェアデコーダにより復号化される前記符号化された動画情報は、前記ハードウェアデコーダにより復号化される前記動画情報よりも低解像度の情報であることが特徴である。このとき、前記ＣＰＵは、前記ソフトウェアデコーダによる復号化に基づく動画を前記表示部に縮小表示し、前記ハードウェアデコーダによる復号化に基づく動画を前記表示部に全画面表示する

前記ＣＰＵは、符号化された複数の動画情報をソフトウェアデコーダにより並列的に復号化して前記表示部に複数同時表示し、前記操作者による、前記複数の画像に対する選択指示を認識すると、選択された動画に対する、前記ハードウェアデコーダによる復号化処理に切り替えて、前記選択された動画を、前記表示部に全画面表示する。このとき、マルチストリーム配信されてくる前記符号化された複数の動画情報を受信する通信処理部を更に備える。

一方、前記ＣＰＵは、ウェブコンテンツと、それに関連した動画として、前記ソフトウェアデコーダによる復号化に基づく動画を前記表示部に重ね合わせ表示し、前記操作者による指示が行われると、前記ハードウェアデコーダによる復号化に基づく動画を、前記全画面表示することも可能である。

また、前記携帯情報端末は片手で把持できる大きさであり、縦長状態で把持する際に、前記ＣＰＵは、前記前記ソフトウェアデコーダによる復号化に基づく動画を縦方向に順次送り出して新たな動画を表示し、その横方向の列の数は２以内であることが典型である。

このとき、前記ＣＰＵは、前記ソフトウェアデコーダによる復号化に基づく動画の上部又は下部に少なくとも当該動画を他の動画と区別するための付加情報を表示することも可能である。

前記横方向の列の数は１であってもよい。

また、前記携帯情報端末は片手で把持できる大きさであり、横長状態で把持する際に、前記ＣＰＵは、前記前記ソフトウェアデコーダによる復号化に基づく動画を横方向に順次送り出して新たな動画を表示し、その縦方向の列の数は４以内であることが典型である。

前記縦方向の列の数は３であってもよい。

あるいは、前記縦方向の列の数は２であり、前記ＣＰＵは、前記ソフトウェアデコーダによる復号化に基づく動画の上部又は下部に少なくとも当該動画を他の動画と区別するための付加情報を表示することも可能である。

本発明の動画再生処理方法及びその方法を採用した携帯情報端末によれば、携帯情報端末において、ハードウェア上の制約や消費電力の制約をこれまでと同様に満たしつつ、ソフトウェアデコーダにより符号化された動画の表示から、ハードウェアデコーダの復号化による当該動画の表示に切り替えて表示できる。

特に、符号化された低解像度の動画情報をソフトウェアデコーダによって復号化して表示すれば、処理速度は低下せず、また、消費電力も過多とはならない。また、ハードウェアデコーダによる復号化の後は、高解像度で全画面表示できる。

更に、並列的に複数同時表示して、全画面表示する画像を選択するような態様でも、選択には時間をさほど要しないのが通常であることから、消費電力過多の問題も生じない。

また、ウェブコンテンツと、それに関連する動画を同時に表示するに際し、アルファチャンネルが採用できるソフトウェアデコーダによりαチャンネルの情報を併せて処理することにより、重ね合わせて表示することができる。

本発明の携帯情報端末の第１実施形態の構成ブロック図である。 本発明の動画再生処理方法の第１実施形態の手順を示すフローチャートであり、同図（ａ）は、選択された動画を引き続きストリーム再生する場合、同図（ｂ）は、選択された動画に係る情報をダウンロードした後に改めて再生する場合のフローチャートである。 第１実施形態の動画再生処理方法に係る表示部の表示の具体例を示す図である。 第１実施形態の動画再生処理方法に係る携帯情報端末の外観の具体例を示す図である。 本発明の携帯情報端末の第２実施形態の構成ブロック図である。 本発明の動画再生処理方法の第２実施形態の手順を示すフローチャートである。 第２実施形態の動画再生処理方法に係る表示部の表示の具体例を示す図である。

以下、図面を参照して、本発明の実施の形態について詳細に説明する。
＜第１実施形態＞
図１は、本発明の携帯情報端末の第１実施形態の構成ブロック図である。図１に示すように、本発明の第１実施形態に係る携帯情報端末１Ａは、処理の進行や端末内の各部の制御を司るＣＰＵ（Central Processing Unit）１１と、端末における各種処理を行うためのプログラムが予め記憶されたプログラムＲＯＭ（Read Only Memory）１２と、実行中のプログラムや処理の実行に伴う一時的データが格納されるＲＡＭ（Random Access Memory）１３と、端末が各種ネットワークとの通信を行うべく、受信データ及び送信データに対して、変調及び復調等の各種の処理を行う通信処理部１４と、複数の動画情報を格納することが可能な動画情報格納部１５と、符号化された動画情報を復号化するためのものであって、ハードウェアで構成されたハードウェアデコーダ１７と、ビデオメモリを含み、復号化された動画情報に対して各種処理を行うと共に、表示できる情報として編成するための描画処理部１８Ａと、その描画処理部１８Ａからの動画情報が表示される表示部１９と、その表示部１９に対して物理的に積層配設され、操作者が指等で触れることにより、その触れた位置の位置情報がＣＰＵ１１に送られるタッチパネル２０と、を備えている。また、符号化された動画情報をソフトウェアにより復号化する場合、その実行中には、ソフトウェアデコーダ１６_１〜１６_４（例えば、並行して４つの動画を復号化する場合）がＲＡＭ１３にロードされる。

図２は、本発明の動画再生処理方法の第１実施形態の手順を示すフローチャートであり、同図（ａ）は、選択された動画を引き続きストリーム再生する場合、同図（ｂ）は、選択された動画に係る情報をダウンロードした後に改めて再生する場合のフローチャートである。図３は、第１実施形態の動画再生処理方法に係る表示部１９の表示の具体例を示す図である。図４は、第１実施形態の動画再生処理方法に係る携帯情報端末１Ａの外観の具体例を示す図である。

図２（ａ）を参照しつつ、選択された動画を引き続きストリーム再生する場合について説明する。そこで、まず、携帯情報端末１Ａは、所望のネットワークからマルチストリーム配信された複数の動画情報を、ソフトウェアデコーダ１６により実時間で復号化し、表示部１９の分割された領域にサムネイル動画（解像度の比較的低い縮小動画）として表示する（ステップＳ１）。なお、この段階でマルチストリーム配信されてくる動画情報は、解像度の低い動画情報を符号化した情報であるので、通信経路の容量も圧迫せず、またソフトウェアデコーダ１６による復号化においても、消費電力が過多とはならない。

更に具体的には、例えばマルチストリーム配信されている４つの動画情報から１つの動画を選択する場合、通信処理部１４を介してロードされた４つの動画情報は、ＣＰＵ１１の制御のもと、それぞれ、ソフトウェアデコーダ１６_１〜１６_４により復号化され、描画処理部１８Ａで所定の処理が施された後、表示部１９に、図３の上図に示すように動画［１］〜動画［４］として表示される。なお、表示部１９の表示領域の分割の仕方は様々考えられ、図３の上図に示した例とは限らず、例えば、それぞれが等面積である必要はなく、またその形状も特に限定する必要もなく、図３に示したような長方形だけでなく、円形であっても楕円形であってもよい。

ここで、複数のソフトウェアデコーダ１６による処理において、ＣＰＵ１１の命令群に合わせて最適化した復号化手法を採用すれば、より消費電力は軽減される。

次に、ＣＰＵ１１は、タッチパネル２０からの信号に基づき、操作者が、タッチパネル２０をタップすることにより、所望の動画を選択したか否かを判定する（ステップＳ２）。選択されていないと判定されている間は、操作者によるタップを待つ。一方、操作者によりタッチパネル２０がタップされたと認識した場合には、ＣＰＵ１１は、タッチパネル２０からの信号に基づき、そのタップされた位置を認識し、更に、その位置に対応する表示動画を認識することにより、操作者により選択された動画を認識する。

操作者によりいずれかの動画が選択されたと認識した場合、ＣＰＵ１１は、ソフトウェアデコーダ１６による４つの動画情報の復号化とその同時分割表示を終了し（ステップＳ３）、選択された１つの動画に係る高解像度情報に対するハードウェアデコーダ１７による復号化に切り替えると共に、表示部１９の全画面表示に切り替える（ステップＳ４）。詳細には、ＣＰＵ１１は、タッチパネル２０から信号を入力した時点において、選択された動画の再生時刻情報を取得し、ネットワークを介して配信元にその情報を送る。配信元は、その再生時刻以降の高解像度の動画情報を符号化した情報を送信し、ＣＰＵ１１は、ハードウェアデコーダ１７に対して、その引き続き送られてきた、高解像度の動画情報を符号化した情報を復号化するように命ずる。これにより、表示部１９には、その再生時刻情報に対応した時点から、選択された動画の高解像度での全画面表示が継続される。従って、見かけ上、シームレスな表示が可能となる。なお、図３は、操作者により動画［３］が選択された場合を示している。

図４は、携帯情報端末１Ａの全体の外観図により、表示部１９の画面の推移の例を示す図である。同図には、携帯情報端末１Ａの正面が示されており、その正面には、表示部１９と共にホームボタン３１及びイヤーピース３２が表れている。同図においては、ソフトウェアデコーダ１６による複数動画の同時表示時には、動画［１］〜動画［１２］が表示されており、その状態で操作者により動画［８］が選択された場合が示されている。

なお、図４の上図に示した動画複数再生表示の状態において、操作者がタッチパネル２０をなぞることにより、動画表示枠を移動させることなく、再生表示している複数の動画を枠間で移動させることができる。これは、タッチパネル２０からの信号を認識したＣＰＵ１１が、描画処理部１８Ａに指示することにより実現できる。例えば、図４の上図に示された状態において、指で左右方向になぞると、「動画［１］、動画［５］、動画［９］」、「動画［２］、動画［６］、動画［１０］」、「動画［３］、動画［７］、動画［１１］」、及び「動画［４］、動画［８］、動画［１２］」の各ブロックが揃って左又は右の動画表示枠に移動する。また、同様に、指で上下方向になぞると、「動画［１］、動画［２］、動画［３］、動画［４］」、「動画［５］、動画［６］、動画［７］、動画［８］」、及び「動画［９］、動画［１０］、動画［１１］、動画［１２］」の各ブロックが揃って上又は下の動画表示枠に移動する。なお、同図においては、携帯情報端末１Ａを横長にした状態（端末の長手方向が、操作者の左右両眼を連ねた方向と一致）で、３行４列（縦方向に３列、横方向に４列（以下、縦３列、横４列とも称す））に動画を表示している場合を例示しているが、もちろんこれに限定するものではない。

また、携帯情報端末１Ａの大きさが手に把持できる程度であり、通常は縦長状態（端末の長手方向が、操作者の左右両眼を連ねた方向に垂直）で把持したまま指先を用いて、所望のキー操作又は動画の表示枠に渡る移動を行うので、この場合に表示される動画の最適数は、動画サイズ及び縦横の比率と、携帯情報端末１Ａの表示画面のサイズによって決められ、複数の動画から所望のものを選択しやすいように、以下のように決定される。

携帯情報端末１Ａを縦長状態で把持する際には、その横方向の列の数は２以内であることが好ましい。１列の場合には、縦方向に早く新たな動画を順次送り出して選択できるとともに、動画の画像サイズももっとも大きい状態で所望画像を選択できる。但し、個々の動画の表示サイズが小さくなって見にくくなるが、所望の動画を選択する短時間での使用でもあるので、３列にすることもできる。

ここで、複数の動画から所望のものを選択するのに、動画そのものだけからの判断だけでなく、動画の上部又は下部（あるいは右隣又は左隣）に少なくとも当該動画を他の動画と区別するための付加情報を設けることで、その選択を容易にすることができる。付加情報としては、例えば、動画コンテンツのタイトルとかジャンルなどを文字化又は記号化して表示することが考えられる。

一方、図４で例示したように携帯情報端末１Ａを横長状態で把持する場合には、動画形状が一般的には横長であるので、それに対応して携帯情報端末１Ａも横長状態で把持するので、画面に表示できる動画数を、上述した縦長状態で把持する場合に比べてより多く表示でき、多くの動画から短時間で所望動画を選択するのには便宜である。この場合には、新たな動画の送り出しは、上下又は左右に動けばいいが、特に左右方向に送り出す方が、一般的である。個々の動画の視認性の関係では、動画の列の数は、縦方向に４以内にすることが好ましく、図面に示したように３列にすることで、目視により縦一列の動画を同時に視認してからの選択動作を考えると、より実際的であり選択効率も良いものである。また、縦方向に２列にしておき、動画の上部又は下部に上述したように当該動画を他の動画と区別するための付加情報を設けることで、選択動作を一層簡便に、かつ早く行うことができるようになる。

また、縦長状態または横長状態のいずれかに把持した場合でも、その把持状態に応じて上述したような最適な動画配列に切り換えられる構成でもある。つまり、幾つの動画を縦横にそれぞれ表示するようにするかは、適宜変更できるようにも画面のタッチ操作によって切換えするようにも構成することもできる。

次に、図２（ｂ）を参照して、選択された動画に係る情報をダウンロードした後に改めて再生する場合について説明する。そこで、まず、図２（ａ）の場合と同様に、携帯情報端末１Ａは、所望のネットワークからマルチストリーム配信された複数の動画情報を、ソフトウェアデコーダ１６により実時間で復号化し、表示部１９の分割された領域にサムネイル動画（解像度の比較的低い縮小動画）として表示する（ステップＳ１１）。なお、この段階でマルチストリーム配信されてくる動画情報は、解像度の低い動画情報を符号化した情報であるので、通信経路の容量も圧迫せず、またソフトウェアデコーダ１６による復号化においても、消費電力が過多とはならない。

次に、図２（ａ）の場合と同様に、ＣＰＵ１１は、タッチパネル２０からの信号に基づき、操作者が、タッチパネル２０をタップすることにより、所望の動画を選択したか否かを判定する（ステップＳ１２）。選択されていないと判定されている間は、操作者によるタップを待つ。一方、操作者によりタッチパネル２０がタップされたと認識した場合には、ＣＰＵ１１は、タッチパネル２０からの信号に基づき、そのタップされた位置を認識し、更に、その位置に対応する表示動画を認識することにより、操作者により選択された動画を認識する。

操作者によりいずれかの動画が選択されたと認識した場合、ＣＰＵ１１は、ソフトウェアデコーダ１６による４つの動画情報の復号化とその同時分割表示を終了すると共に（ステップＳ１３）、選択された動画に係る高解像度の全情報をダウンロードし、動画情報格納部１５に一旦格納する（ステップＳ１４）。そして、ＣＰＵ１１による指示に基づき、ハードウェアデコーダ１７は、動画情報格納部１５に格納された、選択された動画に係る高解像度の動画情報を順次読み出して復号化し、描画処理部１８Ａを介して表示部１９に全画面表示を行う（ステップＳ１５）。なお、図２（ｂ）の場合は、選択された動画の先頭から再生することが前提であり、かつ、改めてネットワーク等に対して要求することなく複数回再生することが可能である。また、この場合、ソフトウェアデコーダ１６により復号化されて再生される動画と、ダウンロードしてハードウェアデコーダ１７により符号化されて生成される動画とは、異なっていてもよい。すなわち、典型的には、ソフトウェアデコーダ１６により復号化されて再生される動画は、ダウンロードしてハードウェアデコーダ１７により復号化されて生成される動画のインデックス的又はプロモーション的な動画であってもよい。

なお、上述の実施形態においては、複数の動画情報がネットワーク等からマルチストリーム配信される場合を説明したが、動画情報格納部１５に予め格納された複数の動画情報から、１つの動画を選択して再生するような場合でもよい。更に、外部から配信されるか、予め内部に格納しておくかに拘わらず、動画情報としては、ゲームの動画情報、映画メディアの動画情報がある。

以上のように、上述の第１実施形態によれば、操作者の選択を促すものとして、複数の動画を同時再生し、選択後は、選択された動画を表示するに際し、ハードウェアの余計な追加はなく、かつ、複数の動画再生にソフトウェアデコーダを使用するにしても、低解像度の動画情報に対する処理であり、処理速度の問題も生ぜず、また、選択には時間をさほど要しないのが通常であることから、消費電力過多の問題も生ぜず、かつ、選択後は、処理速度の速いハードウェアデコーダにより、高解像度で全画面表示を行える。

＜第２実施形態＞
次に、例えば、携帯情報端末で走るアプリケーションにおいて、表示されるウェブコンテンツに重ねて動画を一部表示し、動画が選択されると、その動画を全画面表示するような場合について説明する。

図５は、本発明の携帯情報端末の第２実施形態の構成ブロック図である。図５示すように、本発明の第２実施形態に係る携帯情報端末１Ｂは、処理の進行や端末内の各部の制御を司るＣＰＵ１１と、端末における各種処理を行うためのプログラムが予め記憶されたプログラムＲＯＭ１２と、実行中のプログラムや処理の実行に伴う一時的データが格納されるＲＡＭ１３と、端末が各種ネットワークとの通信をおこなうべく、受信データ及び送信データに対して、変調及び復調等の各種の処理を行う通信処理部１４と、複数の動画情報を格納することが可能な動画情報格納部１５と、符号化された動画情報を復号化するためのものであって、ハードウェアで構成されたハードウェアデコーダ１７と、ビデオメモリを含み、復号化された動画情報に対して、特にアルファ（α）ブレンド処理を含めた各種処理を行うと共に、表示できる情報として編成するための描画処理部１８Ｂと、その描画処理部１８Ｂからの動画情報が表示される表示部１９と、その表示部１９に対して物理的に積層配設され、操作者が指等で触れることにより、その触れた位置の位置情報がＣＰＵ１１に送られるタッチパネル２０と、を備えている。また、符号化された動画情報をソフトウェアにより復号化する場合、その実行中には、ソフトウェアデコーダ１６がＲＡＭ１３にロードされる。

図６は、本発明の動画再生処理方法の第２実施形態の手順を示すフローチャートである。図７は、第２実施形態の動画再生処理方法に係る表示部１９の表示の具体例を示す図である。

携帯情報端末１Ｂは、あるアプリケーションプログラムにおける処理として、図７の上図に示すように、表示部１９に、ウェブコンテンツと、それに重ね合わせて、関連したサブネイル動画（解像度の比較的低い縮小動画）を表示する（ステップＳ２１）。詳細には、ＣＰＵ１１は、通信処理部１４に対して、ウェブコンテンツと、それに関連した低解像度の動画をダウンロードするように指示し、ダウンロードした動画情報は、ソフトウェアデコーダ１６により復号化され、ウェブコンテンツに重ね合わせて表示部１９に表示される。

ここで、この重ね合わせ表示について説明する。すなわち、一般にハードウェアデコーダは、アルファチャンネルに対応していないが、ソフトウェアデコーダによる場合は、各画素ごとに、Ｒ，Ｇ，Ｂの情報に加えて、アルファチャンネルの情報（例えば、１〜２５５の値を有するα値）を付加させることが可能であり、このα値に可変設定する、言い換えれば、ブレンド率を可変設定することにより、動画をコンテンツに重ね合わせる際の見え方を変えることができる。例えば、動画情報に対してα値２５５を設定すれば不透明となり、動画のみが表示されることとなり、また、例えばα値１２７を設定すれば半透明となり、動画とウェブコンテンツが同等に表示されることとなる。

次に、ＣＰＵ１１は、タッチパネル２０からの信号に基づき、操作者が、タッチパネル２０をタップすることにより、再生中の動画がタップされたか否かを判定する（ステップＳ２２）。未だタップされていないと判定されている間は、操作者によるタップを待つ。

一方、タッチパネル２０からの信号に基づき、再生中の動画が操作者によりタップされたと認識した場合、ＣＰＵ１１は、ソフトウェアデコーダ１６によるその動画情報の復号化とそのサムネイル表示を終了し（ステップＳ２３）、表示された動画に係る高解像度情報に対するハードウェアデコーダ１７による符号化に切り替えると共に、表示部１９の全画面表示に切り替える（ステップＳ２４）。

なお、サムネイル動画から、ハードウェアデコーダ１７による全画面表示へのシームレスは表示の手法については、第１実施形態と同様である。

以上のように、上述の第２実施形態によれば、ウェブコンテンツと、それに関連する動画を同時に表示するに際し、アルファチャンネルが採用できるソフトウェアデコーダによりαチャンネルの情報を併せて処理することにより、重ね合わせて表示することができる。その結果、例えば、ウェブコンテンツとそれに関連した動画広告も同時に表示できる。この重ね合わせにより、両者を同時に参照できて、情報の迅速正確な取得が可能となる。このとき、ハードウェアの余計な追加はなく、かつ、ソフトウェアデコーダによる低解像度の画像情報に対する処理であり、処理速度の問題も生ぜず、また、消費電力過多の問題も生じない。特に、重ね合わせて双方表示する場合のブレンド率を調整すれば（例えば、操作者がハードウェアボタンにより調整）、自由に注目したい対象を選定できる。一方、動画を全画面表示させる際には、処理速度の速いハードウェアデコーダにより、高解像度で表示できる。

なお、上述の第２実施形態の説明においては、ウェブコンテンツに関連した１つの動画を表示させるようにしたが、第１実施形態のように複数の関連する動画を表示して、選択するような態様でもよい。

本発明の動画再生処理方法は、携帯電話機能、インターネット機能、データ記憶機能、メディア再生機能、ゲーム機能などの複合機能を有する携帯情報端末に適用できる。

１Ａ、１Ｂ 携帯情報端末
１１ ＣＰＵ
１２ プログラムＲＯＭ
１３ ＲＡＭ
１４ 通信処理部
１５ 動画情報格納部
１６ ソフトウェアデコーダ
１７ ハードウェアデコーダ
１８Ａ、１８Ｂ 描画処理部
１９ 表示部
２０ タッチパネル
３１ ホームボタン
３２ イヤーピース

Claims (21)

1. 携帯情報端末における動画再生処理方法であって、
   ソフトウェアデコーダにより、符号化された動画情報を復号化して、その動画を表示部に表示し、
   操作者による指示に基づき、前記動画情報に対するハードウェアデコーダによる復号化処理に切り替えて、前記表示部に前記動画を表示することを特徴とする動画再生処理方法。
2. 前記ソフトウェアデコーダにより復号化される前記符号化された動画情報は、前記ハードウェアデコーダにより復号化される前記動画情報よりも低解像度の情報であることを特徴とする請求項１に記載の動画再生処理方法。
3. 前記ソフトウェアデコーダによる復号化に基づく動画を前記表示部に縮小表示し、前記ハードウェアデコーダによる復号化に基づく動画を前記表示部に全画面表示することを特徴とする請求項２に記載の動画再生処理方法。
4. 前記ソフトウェアデコーダによる復号化に基づく動画を前記表示部に複数同時表示し、前記操作者による指示は、その複数の動画のうちの１つに対する選択操作であることを特徴とする請求項３に記載の動画再生処理方法。
5. 前記複数の動画の情報は、外部からマルチストリーム配信されてくることを特徴とする請求項４に記載の動画再生処理方法。
6. 前記複数の動画をストリーム再生し、前記選択操作があると、その選択に係る動画を、連続的に、前記ハードウェアデコーダによりストリーム再生することを特徴とする請求項５に記載の動画再生処理方法。
7. 前記複数の動画をストリーム再生し、前記選択操作があると、その選択に係る動画の高解像度情報を、一旦動画情報格納部に格納し、その後、前記ハードウェアデコーダにより頭から再生することを特徴とする請求項５に記載の動画再生処理方法。
8. ウェブコンテンツと、それに関連した動画として、前記ソフトウェアデコーダによる復号化に基づく動画を前記表示部に重ね合わせ表示し、前記操作者による指示が行われると、前記ハードウェアデコーダによる復号化に基づく動画を、前記全画面表示することを特徴とする請求項３に記載の動画再生処理方法。
9. 前記動画に係る情報にアルファチャンネルの情報を含ませ、前記ウェブコンテンツとの重ね合わせ表示において、アルファブレンド表示を行うことを特徴とする請求項８に記載の動画再生処理方法。
10. 端末全体の制御処理を行うためのＣＰＵと、
    符号化された動画情報を復号化するためのハードウェアデコーダと、
    復号化された動画情報に係る動画が表示される表示部と、を備えた携帯情報端末であって、
    前記ＣＰＵは、前記符号化された動画情報をソフトウェアデコーダにより復号化して前記表示部に表示し、操作者により指示があると、前記ハードウェアデコーダによる復号化処理に切り替えて、前記前記表示部に表示することを特徴とする携帯情報端末。
11. 前記ソフトウェアデコーダにより復号化される前記符号化された動画情報は、前記ハードウェアデコーダにより復号化される前記動画情報よりも低解像度の情報であることを特徴とする請求項１０に記載の携帯情報端末。
12. 前記ＣＰＵは、前記ソフトウェアデコーダによる復号化に基づく動画を前記表示部に縮小表示し、前記ハードウェアデコーダによる復号化に基づく動画を前記表示部に全画面表示することを特徴とする請求項１１に記載の携帯情報端末。
13. 前記ＣＰＵは、符号化された複数の動画情報をソフトウェアデコーダにより並列的に復号化して前記表示部に複数同時表示し、前記操作者による、前記複数の画像に対する選択指示を認識すると、選択された動画に対する、前記ハードウェアデコーダによる復号化処理に切り替えて、前記選択された動画を、前記表示部に全画面表示することを特徴とする請求項１２に記載の携帯情報端末。
14. マルチストリーム配信されてくる前記符号化された複数の動画情報を受信する通信処理部を更に備えたことを特徴とする請求項１３に記載の携帯情報端末。
15. 前記ＣＰＵは、ウェブコンテンツと、それに関連した動画として、前記ソフトウェアデコーダによる復号化に基づく動画を前記表示部に重ね合わせ表示し、前記操作者による指示が行われると、前記ハードウェアデコーダによる復号化に基づく動画を、前記全画面表示することを特徴とする請求項９に記載の携帯情報端末。
16. 前記携帯情報端末は片手で把持できる大きさであり、縦長状態で把持する際に、前記ＣＰＵは、前記前記ソフトウェアデコーダによる復号化に基づく動画を縦方向に順次送り出して新たな動画を表示し、その横方向の列の数は２以内であることを特徴とする請求項１０に記載の携帯情報端末。
17. 前記ＣＰＵは、前記ソフトウェアデコーダによる復号化に基づく動画の上部又は下部に少なくとも当該動画を他の動画と区別するための付加情報を表示することを特徴とする請求項１６に記載の携帯情報端末。
18. 前記横方向の列の数は１であることを特徴とする請求項１６に記載の携帯情報端末。
19. 前記携帯情報端末は片手で把持できる大きさであり、横長状態で把持する際に、前記ＣＰＵは、前記前記ソフトウェアデコーダによる復号化に基づく動画を横方向に順次送り出して新たな動画を表示し、その縦方向の列の数は４以内であることを特徴とする請求項１０に記載の携帯情報端末。
20. 前記縦方向の列の数は３であることを特徴とする請求項１９に記載の携帯情報端末。
21. 前記縦方向の列の数は２であり、前記ＣＰＵは、前記ソフトウェアデコーダによる復号化に基づく動画の上部又は下部に少なくとも当該動画を他の動画と区別するための付加情報を表示することを特徴とする請求項１９に記載の形態情報端末。
    

Images