JP2011223163A

JP2011223163A - 携帯端末装置

Info

Publication number: JP2011223163A
Application number: JP2010087938A
Authority: JP
Inventors: Haruo Hide; 晴夫日出
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2010-04-06
Filing date: 2010-04-06
Publication date: 2011-11-04

Abstract

【課題】タッチパネルが一体に設けられた表示装置を有し、自機で視聴可能な動画像データをサムネイル動画像により一覧表示する携帯端末装置であって、該端末のリソースを無駄に使用することがないものを提供する。
【解決手段】携帯端末装置１は、タッチパネル部３が一体となった表示部２を有し、視聴可能な動画像データをサムネイル動画像により表示部２に一覧表示するものである。携帯端末装置１は、サムネイル動画像に対するタッチ操作を検出する検出部６ａを備え、サムネイル動画像に対してタッチ操作が行われている間は、少なくとも当該サムネイル動画像について、再生制御に関わる処理量の少ない少処理再生制御を行う。
【選択図】図２

Description

本発明は、タッチパネルが一体に設けられた表示装置を有し、視聴可能な動画像データをサムネイル動画像により一覧表示する携帯端末装置に関するものである。

タッチパネル一体型の表示装置を持つスマートフォン等の携帯端末装置には、当該端末で視聴可能な動画像データをサムネイル画像により一覧表示するものがある。
一覧表示に用いられるサムネイル画像は、多くの場合、動画像データ中のある特定のシーンの静止画像であるが、近年では、デコーダ処理能力の向上によって、サムネイル画像として静止画像ではなく動画像が用いられることもある（例えば、非特許文献１）。

動画像であるサムネイル画像（以下、サムネイル動画像）に対してタップやダブルタップ等のタッチ操作がなされると、一覧表示から該当する動画像データの全画面表示に切り替えられたり、当該サムネイル動画像が他のサムネイル動画像よりも大きく表示されたりする。また、特許文献１の技術によれば、ユーザの二本の指でサムネイル動画像が操作されると、上記指の間隔が狭められたり広げられたりするのに合わせてサムネイル動画像が拡大縮小され、また、指の回転に合わせてサムネイル動画像が回転される。

特表２００８−５０８６０１号公報

"同時に見る、長時間録る。快適操作でいつでも自由に観賞できる、ダブルワンセグ。"、「online」、「2010年3月4日検索」、インターネット＜URL：http://www.sharp.co.jp/products/sh07a/text/02_oneseg.html＞

しかしながら、サムネイル動画像に対してタップ等のタッチ操作がなされたときに、当該サムネイル動画像の表示をタッチ操作中もそのまま継続すると、当該サムネイル動画像の一部または全部は指により覆われユーザがタップ操作中に見ることはできないので、サムネイル動画像表示のために消費されるＣＰＵ能力やメモリ、及びこれに伴なう電力が無駄になっている。非特許文献１や特許文献１には、この点について何らの開示も示唆も無い。

本発明は、上記問題に鑑み、タッチパネルが一体に設けられた表示装置を有し、自機で視聴可能な動画像データをサムネイル動画像により一覧表示する携帯端末装置であって、該端末のリソースを無駄に使用することがないものを提供することを目的とする。

上記課題を解決するために、本発明の第１の技術手段は、タッチパネル一体型の表示装置を有し、視聴可能な動画像データをサムネイル動画像により前記表示装置に一覧表示する携帯端末装置において、前記サムネイル動画像に対するタッチ操作を検出する検出部を備え、前記サムネイル動画像に対してタッチ操作が行われている間は、少なくとも当該サムネイル動画像について、再生制御に関わる処理量の少ない少処理再生制御を行うことを特徴としたものである。

本発明の第２の技術手段は、第１の技術手段において、前記少処理再生制御が、動画再生を一時停止する制御を含むことを特徴としたものである。

本発明の第３の技術手段は、第１または第２の技術手段において、前記タッチ操作が行われたサムネイル画像の周囲のサムネイル動画像についても、前記少処理再生制御を行うことを特徴としたものである。

本発明の第４の技術手段は、第１〜第３のいずれか１の技術手段において、前記タッチ操作後に当該サムネイル動画像をアニメーション動作させる際にも、当該サムネイル画像について、前記少処理再生制御を行うことを特徴としたものである。

本発明によれば、視聴可能な動画像データをサムネイル動画像により一覧表示するときに、少なくとも、タッチ操作され指で隠れたサムネイル動画像については、動画表示の一時停止など、処理量の少ない再生制御を行うので、リソースを無駄に使用しないようにすることができる。

本発明の携帯端末装置の一例を示す外観図である。図１の携帯端末装置の内部構成例を示すブロック図である。図１の携帯端末装置の特徴的な動作を説明する図である。図１の携帯端末装置の特徴的な動作を説明する図である。タップ操作や拡大操作等のタッチ操作がなされた場合の図１の携帯端末装置の処理例を説明するフローチャートである。タップ操作や拡大操作等のタッチ操作がなされた場合の図１の携帯端末装置の他の処理例を説明するフローチャートである。図１の携帯端末装置の特徴的な動作を説明する図である。タッチ操作されたサムネイル動画像をアニメーション動作させる場合の携帯端末装置の処理例を説明するフローチャートである。タッチパネル部が光センサ液晶で構成された携帯端末装置におけるタッチ操作がなされた場合の処理例を説明するフローチャートである。特定の動画像データについて優先再生設定された場合の図１の携帯端末装置の特徴的な動作を説明する図である。特定の動画像データについて優先再生設定された場合の図１の携帯端末装置の特徴的な動作を説明する図である。特定の動画像データについて優先再生設定された場合の図１の携帯端末装置の特徴的な動作を説明する図である。

図１は、本発明の携帯端末装置の一例を示す外観図、図２は、図１の携帯端末装置の内部構成例を示すブロック図である。本発明の携帯端末装置は、図１の参照符号１で例示するように、ユーザインタフェースとして、操作画面を表示する液晶パネル等からなる表示部２と、該表示部２に覆設してあり、表示部２に対するユーザの手の接触位置すなわちタッチ位置を検出するタッチパネル部３と、を備える。また、音声出力のためのスピーカ４や、ユーザからの操作を受け付ける操作ボタン部５を備える。
携帯端末装置１は、このようにタッチパネル部３と表示部２とが一体となっており、表示部２やスピーカ４を介して視聴可能な動画像データをサムネイル動画像Ａ１〜Ａ４により表示部２に一覧表示する。

また、携帯端末装置１は、図２に示すように、携帯端末装置１全体を制御するためのＣＰＵ（Central Processing Unit）６と、ＣＰＵ６が実行するコンピュータプログラムを記憶してあるＲＯＭ（Read Only Memory）７と、コンピュータプログラムの実行中に生じる変数等を記憶する為のＲＡＭ（Random-Access Memory）８と、タッチパネル部３が検出した単一または複数のタッチ位置を平面座標に変換しバス６１を介してＣＰＵ６に出力する座標変換部９と、を備える。ＣＰＵ６は、後述の検出部６ａとして機能する。

さらに、携帯端末装置１は、外部から動画像データを取得するための通信部１０を備える。動画像データは、携帯電話の通信方式に準拠した３Ｇ方式によるものや、ＩＥＥＥ８０２．１規格に準拠した無線ＬＡＮ及びＢｌｕｅｔｏｏｔｈ（登録商標）規格に準拠した無線通信等を介して取得するようにしてもよいし、Ｅｔｈｅｒｎｅｔ（登録商標）等の有線通信を介して取得するようにしてもよい。取得した動画像データは、図示しない記憶部に記憶される。

また、携帯端末装置１は、ＣＰＵ６から与えられる映像信号を表示部２で表示可能な信号に処理して当該表示部２に出力する表示処理部１１と、同様に与えられる音声信号をスピーカ４で再生可能な信号に処理して当該スピーカに出力する音声再生処理部１２と、を備える。

図３〜図８は、図１の携帯端末装置１の特徴的な動作を説明する図である。
上述のような各部を備える携帯端末装置１は、ＣＰＵ６の制御の下、動画像データの一覧表示画面を表示するようユーザにより操作されると、当該装置１で視聴可能な動画像データを、図３（Ａ）に示すようなサムネイル動画像Ａ１〜Ａ４により表示部２に一覧表示する。このとき、音声については、いずれの動画像データについても出力していないものとする。なお、サムネイル動画像Ａ１〜Ａ４は、例えば、動画像データを復号再生して得られた画像を縮小することで得られる。

そして、一覧表示用の１つのサムネイル動画像Ａ２が図３（Ｂ）に示すように指Ｙによりタッチ操作され、その後、指Ｙが離されると、つまりタップされると、音声については、タッチされたサムネイル動画像Ａ２に対応する動画像データの音声を出力し、表示画面については、以下のようなものを出力する。すなわち、表示画面としては、サムネイル動画像Ａ１〜Ａ４による一覧表示画面であって、タッチ操作されたサムネイル動画像Ａ２のタッチ操作前の内容とタッチ操作中の内容とタッチ操作後の内容が連続するような画面を出力する。これらの点に関しては従来と同様であるが、携帯端末装置１では、従来のものとは異なり、タッチ操作が検出されているサムネイル動画像Ａ２（図３（Ｂ）参照）については、当該タッチ操作が検出されている間は、再生制御に関わる処理量の少ない少処理再生制御、例えば、動画再生を一時停止する制御を行う。タッチ操作の検出は、検出部６ａすなわちＣＰＵ６により行われる。

このような制御を行うことによって、タッチ操作中の自分の指の陰になってユーザが見ることのできないサムネイル動画像のために復号処理を行わなくて良くなり、リソースを無駄に使用することがなく、システム全体への負荷を下げることができる。また、タッチ操作中にサムネイル動画像が指で隠れることによって動画像データの内容の一部を見逃すということが無い。

少処理再生制御は、上述の動画再生を一時停止する制御の他に、動画再生を継続するがタッチ操作が検出されている間は、その他の期間に比べ処理を簡略化した以下の（１）〜（３）のような簡略再生制御であってもよい。

（１）Ｉフレームのみを復号処理し、ＰフレームやＢフレームの処理を省略するような再生制御。この再生制御ではコマ送り状態で映像が再生される。
（２）デブロッキングフィルタ処理を削減したり、動き補償処理を簡略化したりした再生制御。この再生制御では、本来の映像よりは品質の高くない状態で映像が再生される。
（３）映像をリアルタイム再生処理せず、復号する余裕があるときだけ復号を行う再生制御。この再生制御では、スロー再生となる。

このような簡略再生制御を、タッチ操作されているサムネイル動画像について、当該タッチ操作が検出されている間にわたって行うことで、リソースを無駄に使用することがなく、システム全体への負荷を下げることができる。

携帯端末装置１が表示するサムネイル動画像に対する、タッチ操作を伴なう操作として、上述のタップ操作の他に、図４（Ａ）に示すように二本の指Ｙでサムネイル動画像Ａ２にタッチし、タッチした状態を維持したまま二本の指の間隔を広げる拡大操作がある。拡大操作がなされると、例えば、図４（Ｂ）に示すように、携帯端末装置１は、拡大操作されたサムネイル動画像Ａ２については該操作前より拡大して出力し、他のサムネイルＡ１，Ａ３，Ａ４については該操作前より縮小して出力する。

このような拡大操作のためのタッチ操作を検出したときも、該当するサムネイル動画像について、上述と同様に、動画再生を一時停止する制御や、上述の簡略再生制御を行うとよい。上述と拡大操作と反対の縮小操作や、サムネイル動画像の移動等のためのドラッグ操作、サムネイル動画像の回転操作に伴なうタッチ操作を検出したときも同様である。

また、サムネイル動画像に少しでも指が触れていればタッチ操作されているものとして検出しても良いが、指により隠されている面積が狭い場合、サムネイル動画像の内容は十分判別できることもある。そのため、所定の面積以上（例えば、半分以上）が指で隠れた場合にのみ、タッチ操作されているものとして検出し、動画再生を一時停止する制御等を行うとよい。所定の面積以上か否かの判定に用いられる情報（例えば所定の面積の数値情報）は、例えばＲＯＭ７に記憶される。

図５は、タップ操作や拡大操作等のタッチ操作がなされた場合の携帯端末装置１の処理例を説明するフローチャートである。
ユーザが表示部２に一覧表示されたサムネイル動画像に対してタッチ操作すると、図示するように、携帯端末装置１は、ＣＰＵ６の制御の下、タッチパネル部３上のユーザの指でタッチされている座標を座標変換部９を介して取得する（ステップＳ１）。次いで、取得した座標に基づき、一覧表示した複数のサムネイル動画像の中から、タッチ操作されているサムネイル動画像を判別する（ステップＳ２）。そして、判別したサムネイル動画像の再生を一時停止する（ステップＳ３）。一時停止中は、タッチ操作が完了したか否か、すなわち、ユーザの指がタッチパネル部３から離されたか否かを判定する（ステップＳ４）。指が離されておらずタッチ操作が完了していない場合（ＮＯの場合）はステップＳ４に戻り、指が離されておりタッチ操作が完了している場合（ＹＥＳの場合）は、一時停止を解除して、タッチ操作され選択されたサムネイル動画像に対応する動画像データの通常再生、例えば、音声出力を伴った映像再生を開始する（ステップＳ５）。

図６は、サムネイル動画像の所定の面積以上が指で隠れた場合にのみタッチ操作されているものとして検出する携帯端末装置１のタッチ操作された場合の処理例を説明するフローチャートである。なお、図５で説明した処理と同様な処理については、同じステップ番号を付すことにより、その処理の説明を省略する。

ステップＳ２において判別したサムネイル動画像の、タッチ操作によって隠れている比率を座標変換部９からの出力に基づき算出し（ステップＳ１１）、ＲＯＭ７に記憶の予め設定された値よりその比率が大きいか否か判定する（ステップＳ１２）。大きい場合（ＹＥＳの場合）は、判別したサムネイル動画像の再生を一時停止し（ステップＳ１３）、ステップＳ１５に処理を進め、小さい場合（ＮＯの場合）は、サムネイル動画像を再生し（ステップＳ１４）、ステップＳ１５に処理を進める。

ステップＳ１５では、タッチ操作が完了したか否か、すなわち、ユーザの指がタッチパネル部３から離されたか否かを判定し、指が離されておらずタッチ操作が完了していない場合（ＮＯの場合）はステップＳ１１に戻り、指が離されておりタッチ操作が完了している場合（ＹＥＳの場合）は、図５で説明したステップＳ５に処理を進める。
少処理再生制御として上述の一時停止制御に替えて簡略再生制御を行うときは、図５のステップＳ３や図６のステップＳ１３における処理が替えられる。

以上の例では、ユーザが実際にタッチ操作しているサムネイル動画像についてのみ、動画再生を一時停止する制御等の少処理表示制御を行っていたが、その周囲のサムネイル動画像についても、少処理再生制御を行うようにしてもよい。例えば、前述の図３（Ｂ）の画面における上から２番目のサムネイル動画像Ａ２についてタッチ操作が検出された場合に、上から３番目のサムネイル動画像Ａ３についても、上記少処理表示制御を行うようにしてもよい。これは、周囲のサムネイル動画像については、直接指が触れているわけではないが、その指や手等により隠れて見えないことが多くあるからである。

なお、設定によっては、タッチ操作後に、サムネイル動画像を後述のアニメーション動作させる場合がある。例えば、図７（Ａ）に示すようにタップされたサムネイル動画像Ａ２の動画像データについて、図７（Ｄ）の画面Ｘ４のように全画面表示する場合に、図７（Ａ）の通常の一覧表示画面Ｘ１から上記画面Ｘ４にいきなり切り替えるのではなく、以下のように、アニメーション動作させる。通常の一覧表示画面Ｘ１のサムネイル動画像Ａ２がタップされると、まず、該サムネイル動画像Ａ２が通常の一覧表示画面Ｘ１に対して図７（Ｂ）に示すように角度を有する状態で且つ大きいサイズで表示された一覧表示画面Ｘ２を表示する。続いて、サムネイル動画像Ａ２が図７（Ｂ）の一覧表示画面Ｘ２に対して図７（Ｃ）に示すように角度を有する状態で且つ大きいサイズで表示された一覧表示画面Ｘ３を表示する。そして、図７（Ｄ）の画面Ｘ４とする。このように大きさや角度等の表示形態を順次変更して表示することをアニメーション表示という。

タッチ操作されたサムネイル動画像について、このようなアニメーション表示を行うときは、該アニメーション表示中も上述の少処理再生制御を行うとよい。このアニメーション表示期間中は、ユーザがサムネイル動画像を見て内容を把握することが困難であり、該期間中に通常通り再生制御を行うのはリソースの無駄だからである。

図８は、タッチ操作されたサムネイル動画像をアニメーション動作させる場合の携帯端末装置１の処理例を説明するフローチャートである。この処理は、例えば、図５及び図６のステップＳ５の処理に代えて行われる。
ユーザが所望の動画像データを前述の図７に示したようにアニメーション動作するようタッチ操作による選択が完了すると、携帯端末装置１は、図示するように、ＣＰＵ６の制御の下、選択されたサムネイル動画像の動画再生を一時停止させたまま、当該動画像に対応する動画像データについてのアニメーション動作を開始する（ステップＳ２１）。続くステップＳ２２では、アニメーション動作が完了したか否かを判定する。完了していない場合（ＮＯの場合）はステップＳ２２に戻り、完了している場合（ＹＥＳの場合）は、タッチ操作され選択されたサムネイル動画像に対応する動画像データの通常再生、例えば、音声出力を伴った映像再生を全画面表示で開始する（ステップＳ２３）。

以上は、携帯端末装置のタッチパネル部が、抵抗膜方式や静電容量方式を採用した装置により構成される例であるが、タッチパネル部は、液晶の各画素内に液晶の駆動回路と同時に光センサ回路を内蔵した光センサ液晶で構成することもできる。
図９は、タッチパネル部が光センサ液晶で構成された携帯端末装置において、タップ操作や拡大操作等のタッチ操作がなされた場合の処理例を説明するフローチャートである。

ユーザが表示部に一覧表示されたサムネイル動画像に対してタッチ操作すると、図示するように、携帯端末装置は、ＣＰＵの制御の下、タッチパネル部を構成する光センサで得られる画像に基づいて、タッチ操作されたサムネイル動画像を判別する（ステップＳ３１）。

次いで、判別したサムネイル動画像において、タッチ操作のために指等によって影となっている部分の比率をタッチパネル部の光センサからの出力に基づき算出し（ステップＳ３２）、予め設定された値よりその比率が大きいか否か判定する（ステップＳ３３）。大きい場合（ＹＥＳの場合）は、判別したサムネイル動画像の再生を一時停止し（ステップＳ３４）、ステップＳ３６に処理を進め、小さい場合（ＮＯの場合）は、サムネイル動画像を再生し（ステップＳ３５）、ステップＳ３６に処理を進める。

ステップＳ３６では、タッチ操作が完了したか否か、すなわち、該当するサムネイル動画像において影となっている部分があるか否かを判定し、影となっている部分がありタッチ操作が完了していない場合（ＮＯの場合）はステップＳ３２に戻り、影となっている部分がなくなっておりタッチ操作が完了している場合（ＹＥＳの場合）は、図５で説明したステップＳ５に処理を進める。
少処理再生制御として上述の一時停止制御に替えて簡略再生制御を行うときは、ステップＳ３４における処理が替えられる。

なお、サムネイル動画像により一覧表示する場合、十分なリソースを持たない端末では、全てのサムネイル動画像について、完全に復号を行うことはできない。ＣＰＵ６の処理量を超えてしまうからである。そのため、優先再生設定された動画像データ、例えば、ユーザが予め選択していた動画像データに関してのみ、優先的に復号処理してサムネイル動画像を表示し、他の動画像データに関しては、残りのＣＰＵ処理リソースをシェアしながら、そのサムネイル動画像について、簡略再生制御することが考えられる。この場合の携帯端末装置１の好ましい動作形態について、図１０〜図１２を用いて説明する。

図１０に示すように、１つの優先再生設定された動画像データのサムネイル動画像Ａ２が一覧表示画面に用いられているときに、該サムネイル動画像Ａ２がタップ等のタッチ操作がされると、タッチ操作後には、図３の例と同様に、音声や表示画面の出力が行われる。優先再設定されていない動画像データＡ１，Ａ３，Ａ４がタッチ操作された場合の該操作後の出力も同様である。

その一方で、図１１（Ａ）に示すように優先再生設定されたサムネイル動画像Ａ２についてタッチ操作が検出された場合、該検出がなされている間は、サムネイル動画像Ａ２の簡略再生制御を行う。また、図１１（Ｂ）に示すように優先再生設定されておらず簡略再生制御されているサムネイル動画像Ａ１についてタッチ操作が検出された場合は、該検出がなされている間も簡略再生制御を続ける。

なお、図１２に示すように優先再生設定されたサムネイル動画像が複数（図の例では２つ）あるときに、ある１の優先再生設定されたサムネイル動画像Ａ２についてタッチ操作が検出された場合、該検出がなされている間は、サムネイル動画像Ａ２だけでなく、他の優先再生設定されたサムネイル動画像Ａ４についても簡略再生制御を行うとよい。

本発明は、ＣＰＵ、メモリ、バス、インターフェイス、周辺装置などのハードウェアと、これらのハードウェア上にて実行可能なソフトウェアとにより実現される。上記ハードウェアの一部又は全部は集積回路／ＩＣ（Integrated Circuit）チップセットとして搭載することができ、その場合、上記ソフトウェアは上記メモリに記憶しておければよい。

１…携帯端末装置、２…表示部、タッチパネル部３４…スピーカ、５…操作ボタン部、６…ＣＰＵ、６ａ…検出部、７…ＲＯＭ、８…ＲＡＭ、９…座標変換部、１０…通信部、１１…表示処理部、１２…音声再生処理部。

Claims

タッチパネル一体型の表示装置を有し、視聴可能な動画像データをサムネイル動画像により前記表示装置に一覧表示する携帯端末装置において、
前記サムネイル動画像に対するタッチ操作を検出する検出部を備え、
前記サムネイル動画像に対してタッチ操作が行われている間は、少なくとも当該サムネイル動画像について、再生制御に関わる処理量の少ない少処理再生制御を行うことを特徴とする携帯端末装置。
前記少処理再生制御は、動画再生を一時停止する制御を含むことを特徴とする請求項１に記載の携帯端末装置。
前記タッチ操作が行われたサムネイル画像の周囲のサムネイル動画像についても、前記少処理再生制御を行うことを特徴とする請求項１または２に記載の携帯端末装置。
前記タッチ操作後に当該サムネイル動画像をアニメーション動作させる際にも、当該サムネイル画像について、前記少処理再生制御を行うことを特徴とする請求項１〜３のいずれか１に記載の携帯端末装置。