JP2010244450A - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP2010244450A JP2010244450A JP2009094631A JP2009094631A JP2010244450A JP 2010244450 A JP2010244450 A JP 2010244450A JP 2009094631 A JP2009094631 A JP 2009094631A JP 2009094631 A JP2009094631 A JP 2009094631A JP 2010244450 A JP2010244450 A JP 2010244450A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- image frame
- animation
- api
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Telephone Function (AREA)
Abstract
【課題】表示画像に複数の視覚的効果を付与する携帯型の画像処理装置及び画像処理方法を提供する。
【解決手段】本発明の画像処理装置は、二次元画像又は三次元画像を前記表示画面に表示するための画像情報を保持する画像情報保持手段と、画像情報を基に所定の法則に従い全画面又は画面の一部を変化させて複数の画像フレームを生成し画像情報保持手段に保存する画像フレーム生成手段と、生成され保存された複数の画像フレームを順次呼び出し所定の法則に従って各画像フレームの表示時間及び表示間隔を変化させ表示画面に動画像としてアニメーション表示するアニメーション手段と、を備え、所定の法則に従って画像フレームの生成及びアニメーション表示のための演算を行う所定の関数及びパラメータからなるAPI(アプリケーションプログラムインタフェース)群を有する。
【選択図】図3
【解決手段】本発明の画像処理装置は、二次元画像又は三次元画像を前記表示画面に表示するための画像情報を保持する画像情報保持手段と、画像情報を基に所定の法則に従い全画面又は画面の一部を変化させて複数の画像フレームを生成し画像情報保持手段に保存する画像フレーム生成手段と、生成され保存された複数の画像フレームを順次呼び出し所定の法則に従って各画像フレームの表示時間及び表示間隔を変化させ表示画面に動画像としてアニメーション表示するアニメーション手段と、を備え、所定の法則に従って画像フレームの生成及びアニメーション表示のための演算を行う所定の関数及びパラメータからなるAPI(アプリケーションプログラムインタフェース)群を有する。
【選択図】図3
Description
本発明は、画像処理装置及び画像処理方法に係り、詳しくは、表示画面に様々な視覚的効果をもたらすためのAPI(アプリケーションプログラムインタフェース)群を有する携帯型の画像処理装置及び画像処理方法に関する。
近年、携帯電話等の携帯型端末装置においては、高機能化に伴い、プログラムの容易化、デバッグのし易さ、開発期間短縮等の理由から、内蔵されるソフトウエアのプラットフォーム化、即ちOSやミドルウエア等の標準化が促進されており、その処理プログラムも、入力処理、表示処理、演算処理等を担う各処理分野毎のプログラム群で構成されてライブラリ化され、それらのプログラムライブラリ間で処理を受け渡し、また上位アプリケーションから呼び出されて使用されるAPI群を備えている。
ソフトウエアのプラットフォーム化に伴いプロラムが汎用性を持つ反面、高機能、高付加価値な機能も要求されてきており、ユーザインタフェース部分では特に差別化が要求される。このような要求に応えるために、様々な視覚的な効果を自由に制作して付与できることが望ましい。
視覚的効果という点では、よりリアルで自然な動きが望ましく、ゲーム機でプログラムが実行される場合やPC(パーソナルコンピュータ)上で三次元描画が行われる際には、専用のハードウエア及びソフトウエアで構成された物理エンジンが使用されるようになってきている。この物理エンジンは、一般的に画像表示の際のオブジェクト等の物理運動をリアルに表現するための演算処理を遂行するためのハードウエアとソフトウエアによるプログラムライブラリで構成され、メインとなるCPUの負荷を殆どかけずに上位アプリケーションから呼び出して使用することができる。
このような物理エンジンを使用したものとして、例えば、特許文献1の「映像音声出力装置」には、三次元空間におけるオブジェクトの動きを演算し、三次元空間において衝突するオブジェクトの衝突した時の強さと衝突した場所を検出する物理エンジンを設け、物理エンジンによる演算結果をもとに、三次元空間を表現する映像中にオブジェクトを表示させる構成が開示されている。
しかしながら、ゲーム機やPC等に実装される専用の高機能な物理演算機能を備えたビデオカード等と異なり、携帯電話等の携帯端末装置では、バッテリー駆動のための消費電力、小型化のための実装等の制約により、物理演算のために専用の高機能なハードウエアを設けることはできないという問題点がある。
一方、ゲーム機等とは異なり、入力イベントに対してリアルタイムに応答することは要求しないが、表示画面上にシーンやオブジェクトをアニメーション表示する際に、物理法則等にリアルに従った画面遷移が望まれる事も多い。
そこで、本発明は、表示画面上における画面遷移の際に、よりリアルな動きによる視覚的効果を付与するためのAPI群を有する携帯型の画像処理装置及び画像処理方法を提供することを目的とする。
上記目的を達成するためになされた本発明の画像処理装置は、携帯端末の表示画面に表示される画像に複数の視覚的効果を付与する画像処理装置であって、
二次元画像又は三次元画像を前記表示画面に表示するための画像情報を保持する画像情報保持手段と、前記画像情報を基に所定の法則に従い全画面又は画面の一部を変化させて複数の画像フレームを生成し前記画像情報保持手段に保存する画像フレーム生成手段と、前記生成され保存された複数の画像フレームを順次呼び出し前記所定の法則に従って各画像フレームの表示時間及び表示間隔を変化させ前記表示画面に動画像としてアニメーション表示するアニメーション手段と、を備え、
前記所定の法則に従って前記画像フレームの生成及び前記アニメーション表示のための演算を行う所定の関数及びパラメータからなるAPI(アプリケーションプログラムインタフェース)群を有することを特徴とする
前記API群は、画像を描画するためのグラフィックス表示用プログラムインタフェース群を介して前記表示画面に表示するための複数のAPIを含み、前記画像フレーム生成手段及び前記アニメーション手段は、該グラフィックス表示用プログラムインタフェースを介して前記表示画面に表示するためのAPIにより演算処理される。
ここで、前記アニメーション手段は、前記呼び出される画像フレームの一部を前記所定の法則に従って生成された新たな画像フレームと置換する画像フレーム置換手段を更に有し、また、前記アニメーション手段は、前記呼び出される画像フレームの間を前記所定の法則に従って生成された新たな画像フレームで補間する画像フレーム補間手段を更に有する。
また、前記APIにより画像処理された前記画像フレーム内の画像の一部は前記画像情報保持手段に保存されて他の画像フレームの一部として再利用され、前記API群は、前記画像フレーム内で再利用される複数の画像処理部分の整合性を管理するAPIを含む。
また、前記APIは、視点からの距離又は所定の重みづけに基づき前記画像フレーム内の画像の演算処理を高度化又は簡略化するスケーラブル処理を行う
前記画像情報保持手段は、前記画像フレームが保存されるメモリ空間と前記表示画面に表示される画像メモリ空間とを共有し、呼び出された画像フレームを直接表示画面に表示する共有メモリ構造を有する。
また、前記画像情報保持手段は、表示処理を高速化するために、前記画像フレームの生成処理と前記アニメーション手段による画像フレームの表示処理とを同時に行うための画像フレーム保存のメモリ空間及び画像フレーム呼び出しのメモリ空間を交互に使用するダブルバッファ構造を有する。
二次元画像又は三次元画像を前記表示画面に表示するための画像情報を保持する画像情報保持手段と、前記画像情報を基に所定の法則に従い全画面又は画面の一部を変化させて複数の画像フレームを生成し前記画像情報保持手段に保存する画像フレーム生成手段と、前記生成され保存された複数の画像フレームを順次呼び出し前記所定の法則に従って各画像フレームの表示時間及び表示間隔を変化させ前記表示画面に動画像としてアニメーション表示するアニメーション手段と、を備え、
前記所定の法則に従って前記画像フレームの生成及び前記アニメーション表示のための演算を行う所定の関数及びパラメータからなるAPI(アプリケーションプログラムインタフェース)群を有することを特徴とする
前記API群は、画像を描画するためのグラフィックス表示用プログラムインタフェース群を介して前記表示画面に表示するための複数のAPIを含み、前記画像フレーム生成手段及び前記アニメーション手段は、該グラフィックス表示用プログラムインタフェースを介して前記表示画面に表示するためのAPIにより演算処理される。
ここで、前記アニメーション手段は、前記呼び出される画像フレームの一部を前記所定の法則に従って生成された新たな画像フレームと置換する画像フレーム置換手段を更に有し、また、前記アニメーション手段は、前記呼び出される画像フレームの間を前記所定の法則に従って生成された新たな画像フレームで補間する画像フレーム補間手段を更に有する。
また、前記APIにより画像処理された前記画像フレーム内の画像の一部は前記画像情報保持手段に保存されて他の画像フレームの一部として再利用され、前記API群は、前記画像フレーム内で再利用される複数の画像処理部分の整合性を管理するAPIを含む。
また、前記APIは、視点からの距離又は所定の重みづけに基づき前記画像フレーム内の画像の演算処理を高度化又は簡略化するスケーラブル処理を行う
前記画像情報保持手段は、前記画像フレームが保存されるメモリ空間と前記表示画面に表示される画像メモリ空間とを共有し、呼び出された画像フレームを直接表示画面に表示する共有メモリ構造を有する。
また、前記画像情報保持手段は、表示処理を高速化するために、前記画像フレームの生成処理と前記アニメーション手段による画像フレームの表示処理とを同時に行うための画像フレーム保存のメモリ空間及び画像フレーム呼び出しのメモリ空間を交互に使用するダブルバッファ構造を有する。
上記目的を達成するためになされた本発明の画像処理方法は、携帯端末の表示画面に表示される画像に複数の視覚的効果を付与する画像処理方法であって、
二次元画像又は三次元画像を前記表示画面に表示するための画像情報を記憶装置に保持する段階と、前記画像情報を基に所定の法則に従い全画面又は画面の一部を変化させて複数の画像フレームを生成し記憶装置に保存する段階と、前記生成され保存された複数の画像フレームを順次呼び出し各画像フレームの表示時間及び表示間隔を前記所定の法則に従って変化させ動画像としてアニメーション表示する段階と、を有し、
前記画像フレームの生成又は前記アニメーション表示は、前記所定の法則に従って演算を行う所定の関数及びパラメータからなるAPI(アプリケーションプログラムインタフェース)群から選択されたいずれか一つ以上のAPIプログラムの実行によりなされることを特徴とする。
二次元画像又は三次元画像を前記表示画面に表示するための画像情報を記憶装置に保持する段階と、前記画像情報を基に所定の法則に従い全画面又は画面の一部を変化させて複数の画像フレームを生成し記憶装置に保存する段階と、前記生成され保存された複数の画像フレームを順次呼び出し各画像フレームの表示時間及び表示間隔を前記所定の法則に従って変化させ動画像としてアニメーション表示する段階と、を有し、
前記画像フレームの生成又は前記アニメーション表示は、前記所定の法則に従って演算を行う所定の関数及びパラメータからなるAPI(アプリケーションプログラムインタフェース)群から選択されたいずれか一つ以上のAPIプログラムの実行によりなされることを特徴とする。
本発明の画像処理装置及び画像処理方法によれば、アニメーション画像を構成する各画像フレームを予め所定の関数に従い演算処理して生成し、アニメーション表示する際に、その処理能力に応じて各画像フレームの表示時間及び表示間隔を変化させることで、よりリアルな視覚的効果を得ることができる。また、演算を行う処理プログラムをAPI群によりライブラリ化することで、画面表示に動きのあるアプリケーションプログラムを容易に制作することができる。
次に、本発明の画像処理装置及び画像処理方法を実施するための形態の具体例を、図面を参照しながら詳細に説明する。
図1は、本発明の一実施形態による画像処理装置の内部構成図である。
図1に示すように、本実施形態の画像処理装置1は、各種操作を行う入力手段(操作部)5や、操作に応じて表示画面上にLCD(液晶ディスプレイ)等を用いて画像やテキストを表示する表示手段4を備えており、表示される画像データやテキストデータは、記憶手段3のRAM(Random Access Memory)、Flashメモリ或いはSSD(Solid State Drive)等に保存され、ユーザ操作に応じた入力手段(操作部)5等を介して制御手段(CPU:中央演算処理装置)2にその処理が受け渡され、制御手段2は、記憶手段3のROM(Read Only Memory)、Flashメモリ或いはSSDに記録されたプログラムを実行し、これにより他のデバイス等と連携して各手段を機能させる。本発明では、制御手段2の司令に従い、API群を有する画像処理手段6により様々な視覚的効果が付与され、表示手段4を介してその画像を表示する。なお、画像処理装置1は、携帯電話やスマートフォン等の携帯型の情報表示装置に組み込まれて作動することを想定しており、画像処理装置1を構成する外部入出力手段7等のハードウエアの詳細及びその説明は省略する。
画像処理手段6は、ハードウエア及びソフトウエアによる画像処理エンジンにより構成されており、本実施形態では、画像を描画するためのグラフィックス表示用プログラムライブラリであるOpenGL−ESライブラリを活用している。本発明は、OpenGL−ESを備えていない場合でも画像メモリに直接アクセスすることによって様々な視覚効果を付与することが可能であるが、最近の制御手段2は、メインCPUの負荷を軽減するためにマルチプロセッサ構成、DSP(デジタルシグナルプロセッサ)、描画専用のハードウエア等を備え、これらを活用するための標準ライブラリとしてOpenGLのサブセット版であるOpenGL−ESを備えたものが増えており、本実施形態におけるAPI群も表示画面に様々な視覚的効果を付与するために、このOpenGL−ESライブラリのインタフェース群を介して描画処理する。OpenGL−ESは主に組み込みシステムに多く使用され、最近では携帯電話やゲーム機でも注目されている。
OpenGL−ESは画像表示用のフレームバッファに描画する事を前提に設計されており、ポリゴンなどのプリミティブな形状のベクトルデータの画像をリアルタイムに順にラスタライズ(画像メモリに展開)して合成する機能を有する。従ってOpenGL−ESの機能を利用することで、本実施形態における視覚的効果を付与するAPIの構成が簡略化されて高速化されると共に高機能化が図られる。OpenGL−ES2.0では、プログラムシェーダーが実装されているので、ポリゴンの頂点操作や画素生成の処理効率が更に上がる。
描画の際に画像データの全部又は一部が記憶手段3のRAM等から転送されて表示されるが、表示用のメモリは表示手段4に含まれなくてもよく、その場合、共有メモリ構造にし、画像フレームが保存される記憶手段3のRAM上のフレームバッファ等の特定の領域と、表示画面に表示される画像メモリ空間とを共有し、画像フレームが保存されるメモリ領域を直接画像表示メモリのウインドウとして用いることで、転送に要するタイムラグ等を抑えることができる。
外部入出力手段7は、USB(Universal Serial Bus)を介して外部に接続されたプリンタに出力することや、画像処理装置1に内蔵された2次電池(図示せず)にUSB端子を介して充電するために用いられる。外部入出力手段17を介して表示画面に様々な視覚的効果をもたらすためのAPIやその画像データをやり取りすることも可能である。
カードインタフェース部8は、画像処理装置1で表示され視覚的効果が付与される元の画像データ等をメモリカード9に保存し、また視覚的効果が付与された画像データ等を保存するために用いる。メモリカード9に保存されたAPI群を読み取るようにしてもよい。
通信手段10は、携帯電話や無線LANによる通信機能が内蔵されており、携帯電話通信網や無線LANのアクセスポイント等を介してインターネット6に接続された他の装置とデータの送受信を行うことができ、視覚的効果を付与するAPI群やその画像データのやり取りを遠隔地と行うことができる。また、図示していないが、通信手段10は、更にプリンタ等の外部機器にワイヤレスで接続するために、IEEE802.15.1等の短距離無線通信や赤外線通信機能を備えてもよい。
図2は、図1に示す画像処理装置の一実施形態による外観図である。
図2に示す画像処理装置1は、携帯電話に適用した一実施形態であり、LCD等を用いて表示する表示画面4aと複数の操作ボタン5a等を備えており、操作ボタン5aには、表示画面4a上に表示されるメニュー画面の操作、コンテンツの選択、画像表示位置の移動、表示画面の拡大又は縮小等の操作を行うための操作ボタン及び操作キーが含まれており、十字状に配置された上下左右の操作ボタン及び中央の決定ボタンからなる操作部によって操作されることが多い。これらの操作は、操作ボタン5aによらず、表示画面4a上にタッチパネルを形成するタッチスクリーン上の操作によるものでもよい。
画像処理装置1には、メニュー画面が用意され、メニューの選択によって所望するコンテンツが表示されるが、その際に視覚的効果が付与されアニメーションを伴って画面が遷移する。視覚的効果が付与される画面がメニュー画面だけではないことは勿論であり、様々なコンテンツ内でも利用可能である。視覚的効果を付与するためのAPI群やメニュー画面は予め出荷時等にインストールされていることを想定しているが、通信手段10や外部入出力手段7等を介して画像データと共にダウンロードするようにしてもよい。ダウンロードすることができればメニュー画面を端末毎にカスタマイズすることも可能になる。
視覚的効果が付与されたメニュー画面は、メニュー毎にそれぞれ異なる視覚的効果と画像データが用意されており、ユーザが操作ボタン5aによって所望のメニューを選択すると入力手段5でイベント入力が発生し、発生したイベント入力に応じて、画像処理手段6のAPI群によりOpenGL−ESの描画エンジンを介してフレームバッファにその画像が書き込まれ対応する表示メモリ上の画像データの全部又は一部が処理されて表示画面4a上に表示される。
視覚的効果が付与された画像データを表示する際は、その都度対応する画像フレームを生成して受け渡すのではなく、画像フレームの保存と画像フレームの呼び出しのメモリ空間を交互に使用するダブルバッファ構造とし、画像フレームの生成処理と画像フレームの表示処理を同時に行うことができるようにする。また、その際、次に表示されるべき画像データをRAM上の所定の領域に先読みしておくことで、ユーザ操作に伴うレスポンスを改善している。
図3は、図1に示す画像処理装置の一実施形態による各手段を示す図であり、各手段は、図1に示す画像処理装置1内のハードウエア或いはソフトウエアアプリケーションの実行により機能する。
画像処理装置1は、中央制御部11により各手段を連携させて上述の画像表示を実現する。画像情報取込手段12は、デジタルカメラで撮影した画像やPC等で編集されJPEG等で圧縮されたデジタル画像データを、画像処理装置1に装着されたメモリカード9やUSB等の外部入出力インタフェース7を介して取り込む手段であり、画像情報保持手段13は、取り込まれた画像データを画像処理装置1内のFlashメモリやSSD等の記憶手段3に記憶・保持する手段である。製品出荷時等に予め画像データが用意されている場合、画像情報取込手段12は必ずしも必要としない。
表示手段14は、LED等のインジケータや時刻表示を行うサブ画面等(共に図示せず)以外に、表示画面4a上のメニュー画面表示等の際にアニメーション表示を伴う視覚的効果が付与された画像を表示する画像表示手段14aを備えている。
入力手段15は、表示手段14等の関連する各手段と連携し、操作ボタン5a等の操作により表示画面4a上の表示画像を操作する表示画像操作手段15aを備えている。
画像処理手段16は、画像情報保持手段13に保存されたJPEG等による画像データをデコードしてワークエリアのRAM内に展開し、展開されたその画像に所定の法則に従って様々な視覚的効果を付与する手段であり、所定のパラメータが受け渡されて所定の関数により演算処理するAPI群19によって画像全体或いは画像の一部を変化させて複数の画像フレームを生成する画像フレーム生成手段17と、生成された各画像フレームの表示時間とその表示間隔を変化させてアニメーション表示するアニメーション手段18とを含んで構成される。
画像フレーム生成手段17は、画像情報保持手段13に保存された画像データに対して、物理法則等の所定の法則に従い、API群の中から所望の視覚的効果が付与されるAPI群を適宜選択して必要なパラメータを受け渡し、その関数の演算により画像全体或いは画像の一部を変化させて複数の画像フレームを生成し、画像情報保持手段13に保存する手段である。
アニメーション手段は、API群によって生成された画像フレームを表示画面4aの画像メモリ(フレームバッファ)上にOpenGL−ESライブラリのインタフェース群を介してラスタ展開し、物理法則等の所定の法則に従って演算された所定の表示時間と表示間隔によって順次この画像フレームを描画する手段であり、操作ボタン5aの操作により選択されたメニュー画面等に視覚的効果を付与してアニメーション表示する。
図4は、画像処理装置における処理エンジンの一実装形態の説明図である。
図4に示したように、画像処理装置1は、図1に示した制御手段2、記憶手段3、表示手段4、入力手段5、通信手段10等のハードウエア上で、記憶手段3のROM、Flashメモリ、又はSSDに記録されたプログラムを制御手段2が読み出して実行するOS(オペレーティング)が稼動し、OSやミドルウエア(図示せず)上に実装されるか、或いはハードウエアを直接制御する各種API群を介してアプリケーションを稼動させる。
画像処理装置1の表示画面4a上に表示される画像に各種視覚的効果を付与するための専用の処理エンジンである効果付与APIは製品出荷時等に予め実装しておく。最近の携帯電話はマルチCPUや描画用のハードウエアを備えており、そのために用意されたOpenGL−ESライブラリが実装されており、本実施形態の効果付与APIはそのインタフェースを利用する。本実施形態では、このように表示画面上の描画や入力イベントに対する応答速度を考慮し、OpenGL−ESライブラリを介して描画する。
ユーザ操作等によるイベント入力は入力APIを介して取り込まれ、図1に示す表示手段4で表示される表示画像はイベント入力に応じた対応するメニュー画面等の画像データが適宜選択され、画像処理手段6は選択された画像に対応した効果付与APIによりOpenGL−ESを介してその画像を描画する。なお、OpenGL−ES及び通信APIの一部は処理速度の点からOSを介さずハードウエアを直接制御するものも含んでいる。
次に、図5及び図6を参照し、水平方向に一定速度が付与されて自由落下する球体を一例として画像フレームの生成とアニメーション表示について説明する。
図5は、アニメーション表示における描画時間間隔を等間隔とした場合の説明図であり、(a)は球体が落下する様子とその合成画像を示し、(b)は生成された各画像フレームを示している。
空気抵抗の影響を受けずに鉛直下向き方向に一定の重力加速度を受ける自由落下運動における物体の軌跡は放物線を描き、初速Vで水平方向に送り出された物体の水平方向の位置x(t)はVt、鉛直方向の位置y(t)は−1/2×(gt2)で表わされる。
このように自由落下運動による物理法則に従い、上記演算式に基づいて球体の位置を算出し、球体が移動した各画像フレームを生成する。描画時間間隔が等間隔になるよう生成された場合は、球体が落下するに従って球体の位置がy0(t0)、y1(t1)、…、y4(t4)のように、その間隔が離れるので、処理能力等により画像フレームの描画時間間隔を短くできない場合は、その動きが不自然にならないように、描画時における画像フレームの表示時間及び表示間隔を適宜変化させてアニメーション表示する。その場合、予め生成しておいた画像フレームを選択して描画するか、或いはアニメーション表示で表示される画像フレームの間に新たな画像フレームをその都度生成して補間し描画する。
図6は、アニメーション表示における描画時間間隔を変化させた場合の説明図であり、(a)は球体が落下する様子とその合成画像を示し、(b)は生成された各画像フレームを示している。
描画時間間隔を変化させて球体の位置が等間隔になるようにした場合も、同様に、自由落下運動による物理法則に従い、上記演算式に基づいて球体の位置を算出し、球体が移動した各画像フレームを生成する。球体の位置y0(t0)、y1’(t1’)、…、y4’(t4’)が等間隔になるよう生成された場合は、球体が落下するに従い、描画時間間隔が短くなり、処理能力等により画像フレームの描画時間間隔を短くできない場合は、その動きが不自然にならないように、描画時における画像フレームの表示時間及び表示間隔を適宜変化させてアニメーション表示する。その場合、予め生成しておいた画像フレームを選択して描画するか、或いはアニメーション表示で表示される画像フレームの間に新たな画像フレームをその都度生成して補間し描画する。
アニメーション表示の際に画像フレームを補間して描画する場合、画像フレームは必ずしも上記演算式に従って生成されている必要はなく、単純に直線的に変化させた従来のアニメーション表示の画像フレームを利用することも可能である。その場合、アニメーション表示の際に、物理法則に従って演算された描画位置になるように画像フレームの表示時間及び表示間隔を変化させるが、表示時間間隔が長い場合は物理法則に従って生成された新たな画像フレームを補間し、表示時間間隔が短い場合は元の画像フレームを間引くか、或いは物理法則に従って生成された新たな画像フレームで置換して描画することで自然な動きを持たせることができる。
図7は、アニメーション関数として(a)〜(g)の例を示した図である。
ここでは、アニメーション表示を行うための上記自由落下運動における放物線のような軌跡を描く演算式をアニメーション関数と称する。図7には、アニメーション関数として、直線的に増加する(a)「LINEAR」、直線的に減少する(b)「LINEAR_REVERSE」、サイン関数(c)「SINUS」、(d)バウンドする「BOUNCE」、加速する(e)「ACCELERATE」、減速する(f)「DECELERATE」、加速したのち減速する(g)「ACCELERATE_DECELERATE」を示しているが、この他にも多様な関数を利用することができる。
これらのアニメーション関数には上記のような自然界における物理運動に限らず任意の法則に従った任意の関数を用いることができ、線形式だけではなく非線形の不連続な関数を用いることもできる。これらのアニメーション関数を画像フレームの生成やアニメーション表示に適用する場合、簡単な数式の場合はプロセッサがサポートしている関数をそのまま演算に適用し、複雑な場合はメモリ上に関数テーブルを展開して演算に使用する。これらの使用はアニメーション表示の際の描画内容に応じて適宜速度の向上が見込まれる方式を選択或いは混在させて適用する。このアニメーション関数は、図1に示したメモリカード9、外部入出力手段7、通信手段10により取り込むこともできる。
図8は、アニメーションが適用されるエフェクトの例を示した図である。
画像フレームはアニメーション関数に従ってその画像が遷移する。遷移する画像は、画像データの一部が遷移する上述した単純な球体の移動に限らず、様々な視覚的効果を付与したものを提供できる。ここではその画像遷移のパターンをエフェクトと称する。
図8には、「ジーニー(Genie)」、「フリッパー(Flipper)」、「ウォータードロップ(Waterdrop)」、「ボックス(Box)」、「ローテーター(Rotater)」、「ズーマー(Zoomer)」、「ズーマーパンナー(ZoomerPanner)」を示している。
「ジーニー(Genie)」は、画面上の要素や画面全体等を、指定したエリアへ吸い込ませるような表現を行い、吸い込まれるスピード等のパラメータを指定して変えることができ、画面の最小化や、オブジェクトの削除等に使用することができる。
「フリッパー(Flipper)」は、方形の平面が縦軸方向を中心に回転して画面を裏返すような表現を行う。元の平面と次の平面にはそれぞれ異なるテクスチャ画像を貼り付けることができる。
「ウォータードロップ(Waterdrop)」は、第1のテクスチャ画像上に空から水滴が落下して徐々にその水滴がその画像内に広がり、水滴が広がったエリア内には第2のテクスチャ画像が現れる。
「ボックス(Box)」は、BOX形状の一面に第1のテクスチャ画像が貼られ、隣の面に第2のテクスチャ画像が貼られ、その面が90°回転して第1のテクスチャ画像が徐々に隠れ、第2のテクスチャ画像が現れる。
「ローテーター(Rotater)」は、方形の平面がその平面に対して垂直をなす方向を中心にして所定のエリアが回転する。回転するエリアには他のテクスチャ画像を貼り付けることができ、背景のテクスチャ画像又は回転エリア内のテクスチャ画像にはボケや歪み効果を付与することもできる。
「ズーマー(Zoomer)」は、第1のテクスチャ画像内に第2のテクスチャ画像が貼られた方形の平面が現れ、徐々にその大きさが大きくなる。第2のテクスチャ画像が貼られた方形の平面は任意の位置に出現させることができ、出現時の大きさも任意に設定可能である。第2のテクスチャ画像を半透過とすることもできる。
「ズーマーパンナー(ZoomerPanner)」は、表示される画像自体の大きさをアニメーションにより徐々に拡大又は縮小して表示する。表示される画像の位置、拡大、縮小率は任意に設定できる。拡大・縮小されるテクスチャ画像と背景のテクスチャ画像は別に設定でき、前面のテクスチャ画像を半透過とすることもできる。
これらのエフェクト処理を行うAPIに引き渡されるパラメータには、それぞれのエフェクトに応じて必要な或いは任意設定可能なオプションパラメータが指定され、その値がそれぞれのAPIに引き渡される。パラメータとしては、エフェクト処理する際のアニメーション関数、貼り付けられるテクスチャ画像の指定の他、その画素数、色、ポイント数、始点・終点の位置、回転角、回転方向、移動方向、拡大・縮小率、ボケ・歪み・反射処理の種類の指定、引き渡されるハンドラ、返り値等があり、エフェクトの種類に応じて設定される。
上記図8に示したエフェクトは、いずれもOpenGL−ESの機能を活用したもので、方形や円形或いは立方体のプリミティブな形状のポリゴンにテクスチャ画像を張り付けた単純な例を説明したが、この他にもOpenGL−ESのバージョンUPに伴い多様なエフェクトを提供することができる。詳しい説明は省略するが、「Crossfade」、「Colofade」、「Scroller」、「Slider」、「PageTurn Double、Single」、「Ripple」、「Bubble」、「Metaball」、「HorizontalRoller」、「Billboard」、「Refrection」、「3DCube」、「KenBurns」、「Snow」、「Blur」、「Specular」、「Ink」、「Dissolve」、「Lens」、「Sparkle」、「Space」、「Dimple」、「Elastic」、「Glow」、「Smoke」、「PhotoBrowser」、「FileCabinet」等のエフェクトも提供することができる。
また、図5、6を参照して説明した自由落下運動だけではなく、空気抵抗や質量、或いは気流や風の流れを考慮した落下もアニメーション表示することができる。例えば落ち葉の落下も、予めそのシーンを画像撮影しておき、落ち葉の回転等を考慮して落下方向だけでなく回転方向等も考慮してアニメーション関数を取得し、そのアニメーション関数を適用するだけでなく、テクスチャに反射処理やシェーデイン処理を施すことで、よりリアルな表現も可能になる。このような視覚的効果が付与される画像としては、波、水槽の泡等、自然界の動きに適用する方がインパクトは大きい。
最後に、図9、10を参照しながら視覚的効果を付与するAPI群を使用した画像処理方法について説明する。
図9は、本発明の一実施形態による画像処理方法を実行する処理フロー図である。
視覚的効果が付与される画像は、画像情報取込手段12により、外部入出力手段7、メモリカード9、通信手段等を介し、データ形式等の属性情報と共に画像情報として取り込まれ(ステップS11)、取り込まれた画像情報は画像情報保持手段13に記憶・保存される(ステップS12)。視覚的効果が付与される画像には、製品出荷時にFlashメモリやSSD等の記憶手段3に予め書き込まれたものも含まれる。
画像情報保持手段13に記憶・保存された画像は画像処理手段16によってAPI群が呼び出されて視覚的効果が付与される。画像処理手段16は、対応するAPI群を呼び出し、画像情報保持手段13に保存された画像データを取り出しワークエリアのRAM内に展開し、展開されたその画像から、ベクトルデータ、ポリゴン、テクスチャ画像等を抽出する。ベクトルデータやポリゴンの抽出は、階調、色相、色深度等からその変化が所定の閾値を超えた画素を検出して特徴点とし、類似する特徴点間を結ぶなどによって生成することができる。画像情報がベクトルデータやポリゴンを含む場合は、この処理を省略できる。
ベクトルデータやポリゴンを含む画像は、画像フレーム生成手段17により、予め設定されたパラメータがAPI群19に引き渡され、アニメーション関数が適用されてエフェクト処理が行われ順次画像フレームが生成される。生成された画像フレームは画像情報保持手段13に一旦保存される(ステップS13)。ベクトルデータやポリゴンの処理の際は、背景等の視点からの距離やその他の設定された重み付けに基づき演算処理を高度化又は簡略化するスケーラブル処理を行う。スケーラブル処理では貼り付けられるテクスチャの画素も調整される。重み付けの設定や背景画像の指定はパラメータによって対応するAPI群に引き渡される。
画像情報保持手段13に保存された画像フレームは、アニメーション手段18により、対応するAPI群が呼び出され、呼び出されたAPI群は対応する画像フレームを画像メモリ(フレームバッファ)上にOpenGL−ESライブラリのインタフェース群を介してラスタ展開し、アニメーション関数に従って演算された所定の表示時間と表示間隔によって順次エフェクト処理された画像フレームを描画して視覚的効果が付与された画像をアニメーション表示する(ステップS14)。
図10は、アニメーション表示を行う処理エンジンに対する処理フロー図である。
図10に示す処理は、実際に上位アプリケーションが上記API群を使用する場合の処理フロー図であり、先ず、上位アプリケーションは、APIエンジンの初期化により、API群全体の初期化を行い前回使用したメモリ上の各種データをクリアする(ステップS21)。
次に、同様にしてエフェクトAPIの初期化により前回使用したエフェクトを解除し、今回使用するエフェクトを指定して必要なパラメータをセットし(ステップS22)、アニメーション関数の初期化により前回使用したアニメーション関数の解除とパラメータのクリアを行い、今回使用するアニメーション関数を指定し、クロック周波数、開始・終了ポインタ、現在時刻、開始・終了時刻、ポイント数、ループ指定等の必要なパラメータをセットする(ステップS23)。
エフェクト及びそのアニメーション関数が指定され、設定されたパラメータが引き渡されると、対応するAPI群によりOpenGL−ESライブラリの対応するインタフェース群が呼び出されてエフェクトの描画が行われる(S24)。
呼び出されるAPI群はそのAPI群の中で必要なAPIが呼ばれる。このとき一つのAPIは別のAPIから呼び出されることも、また別のAPIを呼び出すこともあり、APIの中には画像フレームの一部の画像として同一画像フレーム内又は他の画像フレーム内で何度も呼び出されて再利用されるものも含まれている。例えば、同一画像フレーム内で球体が重なる場合などではAPIが再利用されるが、その場合、後の球体の一部が隠れるような処理が必要になり、これらの整合性を保つためにAPI自体に調停機能を備えている。これとは異なり調停管理用のAPIを設けてこれらの整合性を保つようにしても良い。
エフェクトの描画が終了すると、アニメーション関数の破棄(ステップS25)、エフェクト関数の破棄(ステップS26)を行い、最後にAPIエンジンの破棄を行って(ステップS27)全てのメモリを開放する。
上記実施形態では、予めアニメーション表示のための画像フレームを生成しておき、その画像フレームを順次呼び出して描画することを前提として説明してきたが、ベクトルデータやポリゴンからなる画像データの場合は、現在の携帯端末でも十分リアルタイムに応答して描画できるので、例えば、本発明の画像処理装置に多軸加速度センサ、重力センサ、ジャイロセンサ等を搭載して自由落下運動のアニメーション関数等を適用し、画像処理装置の傾き等に応じて球体の転がり具合が変化するようなゲーム等に適用することも可能である。
以上、図面を参照しながら本発明を実施形態により説明したが、本発明は上述の実施形態に限られるものではなく、本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。
1 画像処理装置
2 制御手段
3 記憶手段
4、14 表示手段
4a 表示画面
5、15 入力手段
5a 操作ボタン
6、16 画像処理手段
7 外部入出力手段
8 カードインタフェース部
9 メモリカード
10 通信手段
11 中央制御部
12 画像情報取込手段
13 画像情報保持手段
14a 画像表示手段
15a 表示画像操作手段
17 画像フレーム生成手段
18 アニメーション手段
18a 画像フレーム置換手段
18b 画像フレーム補間手段
19 API群
19a〜19n API
100 画像
2 制御手段
3 記憶手段
4、14 表示手段
4a 表示画面
5、15 入力手段
5a 操作ボタン
6、16 画像処理手段
7 外部入出力手段
8 カードインタフェース部
9 メモリカード
10 通信手段
11 中央制御部
12 画像情報取込手段
13 画像情報保持手段
14a 画像表示手段
15a 表示画像操作手段
17 画像フレーム生成手段
18 アニメーション手段
18a 画像フレーム置換手段
18b 画像フレーム補間手段
19 API群
19a〜19n API
100 画像
Claims (10)
- 携帯端末の表示画面に表示される画像に複数の視覚的効果を付与する画像処理装置であって、
二次元画像又は三次元画像を前記表示画面に表示するための画像情報を保持する画像情報保持手段と、
前記画像情報を基に所定の法則に従い全画面又は画面の一部を変化させて複数の画像フレームを生成し前記画像情報保持手段に保存する画像フレーム生成手段と、
前記生成され保存された複数の画像フレームを順次呼び出し前記所定の法則に従って各画像フレームの表示時間及び表示間隔を変化させ前記表示画面に動画像としてアニメーション表示するアニメーション手段と、を備え、
前記所定の法則に従って前記画像フレームの生成及び前記アニメーション表示のための演算を行う所定の関数及びパラメータからなるAPI(アプリケーションプログラムインタフェース)群を有することを特徴とする画像処理装置。 - 前記API群は、画像を描画するためのグラフィックス表示用プログラムインタフェース群を介して前記表示画面に表示するための複数のAPIを含み、前記画像フレーム生成手段及び前記アニメーション手段は、該グラフィックス表示用プログラムインタフェースを介して前記表示画面に表示するためのAPIにより演算処理されることを特徴とする請求項1に記載の画像処理装置。
- 前記アニメーション手段は、前記呼び出される画像フレームの一部を前記所定の法則に従って生成された新たな画像フレームと置換する画像フレーム置換手段を更に有することを特徴とする請求項1に記載の画像処理装置。
- 前記アニメーション手段は、前記呼び出される画像フレームの間を前記所定の法則に従って生成された新たな画像フレームで補間する画像フレーム補間手段を更に有することを特徴とする請求項1に記載の画像処理装置。
- 前記APIにより画像処理された前記画像フレーム内の画像の一部は、前記画像情報保持手段に保存されて他の画像フレームの一部として再利用されることを特徴とする請求項1に記載の画像処理装置。
- 前記API群は、前記画像フレーム内で再利用される複数の画像処理部分の整合性を管理するAPIを含むことを特徴とする請求項5に記載の画像処理装置。
- 前記APIは、視点からの距離又は所定の重みづけに基づき前記画像フレーム内の画像の演算処理を高度化又は簡略化するスケーラブル処理を行うことを特徴とする請求項1に記載の画像処理装置。
- 前記画像情報保持手段は、前記画像フレームが保存されるメモリ空間と前記表示画面に表示される画像メモリ空間とを共有し、呼び出された画像フレームを直接表示画面に表示する共有メモリ構造を有することを特徴とする請求項1に記載の画像処理装置。
- 前記画像情報保持手段は、表示処理を高速化するために、前記画像フレームの生成処理と前記アニメーション手段による画像フレームの表示処理とを同時に行うための画像フレーム保存のメモリ空間及び画像フレーム呼び出しのメモリ空間を交互に使用するダブルバッファ構造を有することを特徴とする請求項8に記載の画像処理装置。
- 携帯端末の表示画面に表示される画像に複数の視覚的効果を付与する画像処理方法であって、
二次元画像又は三次元画像を前記表示画面に表示するための画像情報を記憶装置に保持する段階と、
前記画像情報を基に所定の法則に従い全画面又は画面の一部を変化させて複数の画像フレームを生成し記憶装置に保存する段階と、
前記生成され保存された複数の画像フレームを順次呼び出し各画像フレームの表示時間及び表示間隔を前記所定の法則に従って変化させ動画像としてアニメーション表示する段階と、を有し、
前記画像フレームの生成又は前記アニメーション表示は、前記所定の法則に従って演算を行う所定の関数及びパラメータからなるAPI(アプリケーションプログラムインタフェース)群から選択されたいずれか一つ以上のAPIプログラムの実行によりなされることを特徴とする画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009094631A JP2010244450A (ja) | 2009-04-09 | 2009-04-09 | 画像処理装置及び画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009094631A JP2010244450A (ja) | 2009-04-09 | 2009-04-09 | 画像処理装置及び画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010244450A true JP2010244450A (ja) | 2010-10-28 |
Family
ID=43097372
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009094631A Pending JP2010244450A (ja) | 2009-04-09 | 2009-04-09 | 画像処理装置及び画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010244450A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015034936A (ja) * | 2013-08-09 | 2015-02-19 | フリュー株式会社 | 画像処理装置および表示制御方法 |
CN107015788A (zh) * | 2016-10-19 | 2017-08-04 | 阿里巴巴集团控股有限公司 | 在移动设备上动画展现图像的方法和装置 |
CN111311716A (zh) * | 2020-02-27 | 2020-06-19 | Oppo广东移动通信有限公司 | 动画播放方法、装置、终端设备以及存储介质 |
CN113610947A (zh) * | 2021-08-09 | 2021-11-05 | 平安国际智慧城市科技股份有限公司 | 动画生成方法、装置、计算机设备及存储介质 |
-
2009
- 2009-04-09 JP JP2009094631A patent/JP2010244450A/ja active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015034936A (ja) * | 2013-08-09 | 2015-02-19 | フリュー株式会社 | 画像処理装置および表示制御方法 |
CN107015788A (zh) * | 2016-10-19 | 2017-08-04 | 阿里巴巴集团控股有限公司 | 在移动设备上动画展现图像的方法和装置 |
JP2020500357A (ja) * | 2016-10-19 | 2020-01-09 | アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited | モバイルデバイス上でアニメーション画像を提示するための方法およびデバイス |
JP2021157834A (ja) * | 2016-10-19 | 2021-10-07 | アドバンスド ニュー テクノロジーズ カンパニー リミテッド | モバイルデバイス上でアニメーション画像を提示するための方法およびデバイス |
CN111311716A (zh) * | 2020-02-27 | 2020-06-19 | Oppo广东移动通信有限公司 | 动画播放方法、装置、终端设备以及存储介质 |
CN111311716B (zh) * | 2020-02-27 | 2023-05-12 | Oppo广东移动通信有限公司 | 动画播放方法、装置、终端设备以及存储介质 |
CN113610947A (zh) * | 2021-08-09 | 2021-11-05 | 平安国际智慧城市科技股份有限公司 | 动画生成方法、装置、计算机设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106575445B (zh) | 毛皮虚拟化身动画 | |
KR101623288B1 (ko) | 렌더링 시스템, 렌더링 서버, 그 제어 방법, 및 기록 매체 | |
EP1758061A1 (en) | Display, displaying method, information recording medium, and program | |
JP6576874B2 (ja) | 画像処理装置、画像処理システムおよび画像処理方法 | |
KR20170012201A (ko) | 다수의 렌더 타겟들 내에서 활성 컬러 샘플 카운트를 변경함으로써 스크린 위치에 의한 변화하는 유효 분해능 | |
WO2008137957A1 (en) | Post-render graphics overlays | |
JP2007229204A (ja) | 画像生成方法、画像生成装置、および画像生成プログラム | |
US20060139358A1 (en) | 3D graphic engine and method of providing graphics in mobile communication terminal | |
CN112215932A (zh) | 粒子动画处理方法、装置、存储介质及计算机设备 | |
US20050248580A1 (en) | Image processing system for increasing the number of rendered polygons | |
WO2023160054A1 (zh) | 一种图像渲染方法、装置、电子设备、计算机可读存储介质及计算机程序产品 | |
EP1977801B1 (en) | Game machine, game machine control method, and information storage medium | |
KR100898671B1 (ko) | 화상처리장치, 화상처리방법, 및, 프로그램을 기록한 컴퓨터 판독 가능한 정보기록매체 | |
WO2024027237A1 (zh) | 渲染的优化方法、电子设备和计算机可读存储介质 | |
JP2010244450A (ja) | 画像処理装置及び画像処理方法 | |
KR20180039479A (ko) | 그래픽 처리 장치 및 방법 | |
JP2008027064A (ja) | プログラム、情報記録媒体および画像生成システム | |
CN112206519A (zh) | 实现游戏场景环境变化的方法、装置、存储介质及计算机设备 | |
CN110458922B (zh) | 图形渲染方法及相关产品 | |
JP2007272356A (ja) | プログラム、情報記憶媒体及び画像生成システム | |
JP2011215724A (ja) | プログラム、情報記憶媒体及び画像生成システム | |
JP2003022453A (ja) | 描画処理方法及び装置、描画処理プログラムを記録した記録媒体、描画処理プログラム | |
CN111729304B (zh) | 一种展示海量对象的方法 | |
KR20190013146A (ko) | 모바일 환경에서 3d 객체의 실시간 대량 처리를 위한 랜더링 최적화 방법 | |
CN111640179B (zh) | 宠物模型的显示方法、装置、设备以及存储介质 |