JP2016015125A - 情報処理装置、制御方法、及びプログラム - Google Patents

Abstract

【課題】ハイブリッドアプリケーションを実行する場合にネイティブ層とスクリプト層との間で画像データを援受することが可能な情報処理装置、制御方法、及びプログラムを提供する。
【解決手段】プロセッサで翻訳され実行されるための命令セットを含む第１のプログラム層と、前記プロセッサ以外で予め翻訳された命令セットを含む第２のプログラム層とを包含するプログラムをそのプロセッサで実行する情報処理装置は次の構成を備える。即ち、画像処理がなされる画像データを、第１のプログラム層では第１の形式で保持する一方、第２のプログラム層では第２の形式で保持する。そして、画像データを第１のプログラム層と第２のプログラム層との間で転送する場合には、画像データの形式を第１の形式と第２の形式の間で変換する。
【選択図】図１０

Description

本発明は、例えば、プリンタなどの画像出力装置に対して外部デバイスとして動作する移動体端末などの情報処理装置で実行される処理に関するものである。

近年、カメラ機能が搭載された可搬型多機能携帯端末（以下、モバイルコンピュータ）が爆発的に普及し、デジタルカメラや従来のパーソナルコンピュータ（以下、ＰＣ）の販売台数を遥かに凌ぐ勢いで拡販されている。またそのようなモバイルコンピュータは高解像度のカメラを備えており、その画素数は低いもので８００万画素、高いもので２０００万画素である。このようなカメラの高解像度化は、最近のプリンタを効果的に用いることに寄与している。近年のインクジェットプリンタは超高精細なノズル解像度を備えており、Ａ４サイズの記録媒体に換算すると数千万画素の画像データを必要とする。したがって、上記カメラの高解像度化は、そのまま印刷画質の向上に寄与することになる。

このようなモバイルコンピュータは、基本的には３つの要素で成り立っている。即ち、コンピュータ自身であるハードウェアと、該ハードウェア上で動作するオペレーティングシステム（以下、ＯＳ）と、そのＯＳ上で動作するアプリケーションである。ユーザは、そのアプリケーションを用いて、地図やメール、インターネット上のウェブサイトの閲覧等の機能を使用することが可能である。

このようなモバイルコンピュータ上で動作するアプリケーションの形態としては、主に二つのものが存在する。即ち、ネイティブアプリケーションとウェブアプリケーションである。以下、それぞれの特徴を説明する。

まず、ネイティブアプリケーションとは、通常、ＯＳ毎に用意される開発環境、及び開発言語を用いて開発される。例えば、Ａ社が提供するＯＳ上ではＣ／Ｃ＋＋言語、Ｂ社が提供するＯＳ上ではＪａｖａ（登録商標）言語、Ｃ社が提供するＯＳ上では更に異なる開発言語を用いる、という具合である。通常、ネイティブアプリケーションは、各開発環境において予めコンパイルされ、人間が理解可能ないわゆる高水準言語から、コンピュータのＣＰＵが解釈可能なアセンブラ等の命令セット群に変換される。このように、通常のネイティブアプリケーションでは、命令をＣＰＵが直接解釈するために、高速動作が可能である、というメリットがある。

一方、ウェブアプリケーションとは、近年では、各コンピュータ上のＯＳに標準的に組み込まれているウェブブラウザ上で動作するアプリケーションのことである。そのアプリケーションはウェブブラウザが解釈できるよう、一般的には、ＨＴＭＬ５及びＣＳＳ、さらにＪａｖａＳｃｒｉｐｔ（登録商標）等の言語を用いて開発される。これらはウェブ標準言語であるため、これらのウェブ標準言語でウェブアプリケーションを一旦記述すれば、ウェブブラウザが動作する環境であれば、どこでも動作可能というメリットがある。

特開２０１１−２３３０３４号公報

上述した近年のモバイルコンピュータは、高解像度のカメラを内蔵している。モバイルコンピュータはユーザによって日常携帯されており、かつ写真を数千枚程度記憶可能なメモリを備えているためユーザは非常に高い頻度で気楽に写真撮影を楽しむことができる。このようにして得られた写真画像に対して、例えば、モノクロ・セピア調にするフィルター処理を施したり、写真が暗い、色バランスが崩れている等の不具合を修正するための画像処理は、ユーザにとっても大変重要で欠かせない機能となっている。このような画像処理をユーザが、ストレスなく簡単に実行できるようなアプリケーションを、上記２つの形態で開発する場合、以下のような課題がある。

まずネイティブアプリケーションでは、上述したように処理を高速実行できるというメリットがある。しかし、このネイティブアプリケーションはＯＳ毎に異なる開発言語で別々に開発する必要があるため、開発コストと開発時間が増大する。また、ネイティブアプリケーションは、予めコンパイルする必要がある。そのため、例えば、アプリケーションのＵＩ設計を動作時に変更したり、機能を動的に追加することが困難となる。

特許文献１はウェブアプリケーションの形態の一例を開示している。ウェブアプリケーションでは通常、ＨＴＭＬ５、ＣＳＳ、ＪａｖａＳｃｒｉｐｔ（登録商標）で記述されたアプリケーションの本体が、モバイルコンピュータ外部のサーバ上に存在する。そのアプリケーションは、利用時に動的にサーバからモバイルコンピュータにインターネットを介してダウンロードされるため、ＵＩ設計などを予めコンパイルする事なく動的に変更することが可能である。しかしながら、高度で複雑な処理を実行する場合、ウェブアプリケーションは、ブラウザのセキュリティ上の制約からブラウザ上でＪａｖａＳｃｒｉｐｔ（登録商標）によって実行するか、サーバ上で実行するという２つの選択肢しか存在しない。ＪａｖａＳｃｒｉｐｔ（登録商標）は従来より、人間が視認可能な文字列のスクリプトとして記述され、そのスクリプトを動作時に随時コンパイルすることで実行することができるようになっている。このことから、複雑な処理をＪａｖａＳｃｒｉｐｔ（登録商標）で記述するとその動作が遅いという問題がある。

また、その処理をサーバで実行するように構築した場合、モバイルコンピュータ内部に存在する写真などのデータを、インターネットを介してサーバ上にアップロードし、処理後の結果を今度はダウンロードする時間が必要となる。これは、モバイルアプリケーションに対してストレスの少ない、即時的な処理を欲しているユーザにとっては、大きな問題となる。それに加え、サーバでの処理はオフラインでは実行できないという問題がある。

ウェブアプリケーションにおけるこの２つの問題は、画面の表示解像度に対応する解像度の画像、例えば、２００〜３００万画素程度の画像処理であれば小さく抑えられる。しかし、印刷用の画像データを考慮した場合には、上述したように数千万画素程度の画像を取り扱う必要があるため、ユーザの使い勝手を阻害する大きな問題となる。

上記の課題を解決するために、近年ハイブリッドアプリケーションと呼ばれるソフトウェア構造が提案されている。この構造の一例として、Ｃｏｒｄｏｖａ（登録商標）というオープンソースソフトウェアが知られている。このハイブリッドアプリケーションとは、上述したウェブアプリケーション（スクリプト層）とネイティブアプリケーション（ネイティブ層）が共存する構造をもっている。アプリケーションＵＩ部は、ウェブアプリケーションのようにウェブの標準言語（ＨＴＭＬ５，ＪａｖａＳｃｒｉｐｔ（登録商標）など）を用いて記述される。一方でアプリケーションの動作部はＣ／Ｃ＋言語で記述され、各種ＯＳ、ＣＰＵ毎に予めコンパイルされている。この２つの層が１つのアプリケーションの中で共存し、かつスクリプト層からネイティブ層の各種機能を呼び出すためのバインド機能が備えられている。このことにより、ハイブリッドアプリケーションにおいて、アプリケーションのＵＩ部はＯＳ非依存で記述することが可能であり、かつアプリケーションのＵＩ部は各種ネイティブの機能を呼び出すことができるため、複雑な処理も高速に実行することができる。

このようにハイブリッドアプリケーションは、ウェブアプリケーションとネイティブアプリケーションの長所を合体させた構成となっていることがわかる。しかし、このアプリケーション構造を用いて、画像処理および印刷アプリケーションを作成しようとすると、大きな課題が存在する。その課題を説明するために、ネイティブ層がモバイル端末上に保存されている画像データを開いて、スクリプト層のアプリＵＩ上に表示する場合を例として考える。

この場合、ネイティブ層では、画像データをＲＧＢ信号値（いわゆるバイナリ形式）でメモリ上に保持するのに対し、スクリプト層では言語の規約上、Ｂａｓｅ６４といった文字列形式で必ず保持することになる。すなわち、それぞれの層で画像データの保持形式が異なるため、画像データをそのままでは共有できないという問題がある。共有できなければ、ネイティブ層において高速で画像処理された結果を、スクリプト層のＵＩがプレビューすることもできない。

また、印刷アプリケーションにおいて、プリンタが対応可能な用紙情報をモバイル端末が取得して、ＵＩ上に表示し、ユーザに選択可能な状態にする必要がある。しかし、そのような処理は上述したＣｏｒｄｏｖａ（登録商標）には備わっておらず、これまで具体的な実現方法も示されてこなかった。さらには、印刷を行うためには、例えば、片面・両面設定やモノクロ印刷設定といった印刷設定をユーザが行う必要がある。しかしながら、これらの情報をどのようにしてスクリプト層からネイティブ層、さらにはプリンタまで伝達するか、これについても、具体的な方法が示されていなかった。

すなわち、ハイブリッドアプリケーションの構成をそのまま利用しただけでは、使い勝手の良い画像処理および印刷アプリケーションを作成することは困難である。

上記指摘した課題を解決するために、スクリプト層からネイティブ層の機能を呼び出して高速に画像処理を行うという構成が考えられる。しかしながら、ネイティブ層で扱う画像データの形式とスクリプト層で扱う画像データの形式が異なるため、例えば、ネイティブ層において画像処理が適用された画像データをスクリプト層が受け取ることができなかった。

本発明は上記の課題を解決するためになされたものであり、ハイブリッドアプリケーションを実行する場合にネイティブ層とスクリプト層との間で画像データを授受することが可能な情報処理装置、制御方法、及びプログラムを提供することを目的とする。

上記の目的を達成するための本発明のプログラムは以下のような構成を備える。

即ち、情報処理装置のプロセッサにおいて実行されるプログラムであって、前記プログラムは、前記プロセッサで翻訳され実行されるための命令セットを含む第１のプログラム層と、前記プロセッサ以外で予め翻訳された命令セットを含む第２のプログラム層とを包含し、前記第１のプログラム層は画像データをテキストデータとして保持し、前記第２のプログラム層は画像データをバイナリデータとして保持し、前記第２のプログラム層は前記第１のプログラム層から受け付けた指示に従って選択された画像データをＢＡＳＥ６４形式のデータに変換し、前記第２のプログラム層は前記ＢＡＳＥ６４形式のデータを前記第１のプログラム層へ送信し、前記第１のプログラム層は前記ＢＡＳＥ６４形式のデータに対してレンダリング処理を実行するよう依頼し、前記第１のプログラム層は前記依頼したレンダリング処理の実行の結果を用いて印刷を依頼することを特徴とする。

また本発明を別の側面から見れば、プロセッサで翻訳で実行されるための命令セットを含む第１のプログラム層と、前記プロセッサ以外で予め翻訳された命令セットを含む第２のプログラム層とを包含するプログラムの実行が可能な情報処理装置の制御方法であって、前記第１のプログラム層は画像データをテキストデータとして保持する第１の保持工程と、前記第２のプログラム層は画像データをバイナリデータとして保持する第２の保持工程と、前記第２のプログラム層は前記第１のプログラム層から受け付けた指示に従って選択された画像データをＢＡＳＥ６４形式のデータに変換する変換工程と、前記第２のプログラム層は前記ＢＡＳＥ６４形式のデータを前記第１のプログラム層へ送信する送信工程と、前記第１のプログラム層は前記ＢＡＳＥ６４形式のデータに対してレンダリング処理を実行するよう依頼する第１の依頼工程と、前記第１のプログラム層は前記第１の依頼工程において依頼されたレンダリング処理の実行の結果を用いて印刷を依頼する第２の依頼工程とを有することを特徴とする情報処理装置の制御方法を備える。

さらに本発明を別の側面から見れば、プロセッサで翻訳で実行されるための命令セットを含む第１のプログラム層と、前記プロセッサ以外で予め翻訳された命令セットを含む第２のプログラム層とを包含するプログラムの実行が可能な情報処理装置であって、画像データを、前記第１のプログラム層ではテキストデータとして保持し、前記第２のプログラム層ではバイナリデータとして保持する保持手段と、前記第１のプログラム層から受け付けた指示に従って選択された画像データを前記第２のプログラム層においてＢＡＳＥ６４形式のデータに変換する変換手段と、前記変換手段により変換された前記ＢＡＳＥ６４形式のデータを前記第２のプログラム層から前記第１のプログラム層へ送信する送信手段と、前記第１のプログラム層において受信された前記ＢＡＳＥ６４形式のデータに対してレンダリング処理を実行するレンダリング手段と、前記レンダリング手段によって実行されたレンダリング処理の実行の結果を用いて印刷を依頼する依頼手段とを有することを特徴とする情報処理装置を備える。

従って、本発明によれば、ハイブリッドアプリケーションを用いた場合における操作性を向上することが可能となる。

本発明の代表的な実施形態である情報処理装置の構成を示すブロック図である。 図１に示した情報処理装置のソフトウェアの構成を示すブロック図である。 ユーザ操作に伴う処理を示すフローチャートである。 実施形態１に従う写真画像選択の詳細を示すフローチャートである。 実施形態１に従う画像処理の詳細を示すフローチャートである。 実施形態１に従うスタンプ追加の詳細を示すフローチャートである。 スタンプ特定の詳細を示すフローチャートである。 スタンプ操作の詳細を示すフローチャートである。 プリンタ設定の詳細を示すフローチャートである。 レンダリングの詳細を示すフローチャートである。 プリントの詳細を示すフローチャートである。 アプリケーション画面の一例を示す図である。 設定画面の一例を示す図である。 実施形態２に従う写真選択のフローチャートである。 実施形態２に従う画像処理フローチャートである。 実施形態２に従うスタンプ追加のフローチャートである。 実施形態３に従う写真選択のフローチャートである。 実施形態３に従う画像処理フローチャートである。 実施形態３に従うスタンプ追加のフローチャートである。 実施形態４に従う写真選択のフローチャートである。 実施形態４に従う画像処理フローチャートである。 実施形態４に従うスタンプ追加のフローチャートである。 実施形態４に従うレンダリングのフローチャートである。

以下本発明の実施の形態について添付図面を参照して詳細に説明する。特に、以下の実施形態では、情報処理装置上で、後述するハイブリッド型写真印刷アプリケーションを動作させ、ユーザが選択した画像に対して、様々な画像処理を適用した後に、その画像を印刷する構成について説明する。なお、その情報処理装置の代表例としては、携帯電話やスマートフォンやタブレット端末のような携帯型情報端末が含まれる。

＜ハードウェア構成の説明＞
図１は本発明の代表的な実施形態である情報処理装置１１５として、例えば、スマートフォンや携帯電話等の携帯型情報端末の構成例を説明するブロック図である。同図において、１００はＣＰＵ（中央演算装置／プロセッサ）であり、以下で説明する各種処理をプログラムに従って実行する。図中のＣＰＵ１００は１つであるが、複数のＣＰＵあるいはＣＰＵコアによって構成されていても良い。１０１はＲＯＭであり、ＣＰＵ１００により実行されるプログラムが記憶されている。１０２はＲＡＭであり、ＣＰＵ１００によるプログラムの実行時に、各種情報を一時的に記憶するためのメモリである。

１０３はハードディスクやフラッシュメモリ等の２次記憶装置であり、ファイルや画像解析等の処理結果を保持するデータベース等のデータや、各種プログラムを記憶するための記憶媒体である。１０４はディスプレイであり、各種処理を実現するための操作を受け付けるためのＵＩ（ユーザインタフェース）や、実行された処理による処理結果等の各種情報を表示する。ディスプレイ１０４は、タッチセンサ１０５を備えても良い。

情報処理装置１１５は、内部撮像デバイス１１０を備えてもよい。内部撮像デバイス１１０による撮像によって得られた画像データは、所定の画像処理を経た後、２次記憶装置１０３に保存される。また、画像データは、外部Ｉ／Ｆ（インタフェース）１０８を介して接続された外部撮像デバイス１１１から読み込むこともできる。

情報処理装置１１５は、外部Ｉ／Ｆ（インタフェース）１０９を備え、インターネット等のネットワーク１１３を介して通信を行うことができる。情報処理装置１１５は、この通信Ｉ／Ｆ１０９を介して、ネットワーク１１３に接続されたサーバ１１４より画像データを取得することもできる。

情報処理装置１１５は、加速度センサ１０６を備え、情報処理装置１１５自身の位置姿勢に関する加速度情報を取得することができる。情報処理装置１１５は、外部Ｉ／Ｆ１０７を介し、プリンタ１１２と接続されており、画像データ等のデータを出力することができる。プリンタ１１２は、ネットワーク１１３にも接続されており、通信Ｉ／Ｆ１０９経由で、画像データを送受信することができる。

外部Ｉ／Ｆ１０７〜１０９は、有線通信と無線通信の内、少なくともいずれかの通信形態を有するインタフェースであり、利用する通信形態に応じて外部デバイス（プリンタ１１２あるいはサーバ１１４）との通信を行う。有線通信には、例えば、ＵＳＢ、イーサネット（登録商標）等があり、無線通信には、無線ＬＡＮ、ＮＦＣ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信等がある。また、無線通信として、無線ＬＡＮを利用する場合には、装置同士が直接接続する形態もあれば、無線ＬＡＮルータ等の中継装置を介して接続する形態もある。また、外部Ｉ／Ｆ１０７〜１０９は、図では別々に構成されているが、一体となって構成されていても良い。

情報処理装置１１５の動作に必要な電源は、バッテリ１１７によって供給される。情報処理装置１１５が備える各種構成要素は、制御バス／データバス１１６を介して相互に接続され、ＣＰＵ１００は、この制御バス／データバス１１６を介して、各種構成要素を制御する。

尚、本実施形態では、情報処理装置１１５が、情報処理装置１１５が備える制御部（ＣＰＵ１００）によって実行されるプログラム等のソフトウェアの実行場所（ソフトウェア実行環境）となる。

＜ソフトウェアのブロック図＞
図２は情報処理装置１１５で動作するソフトウェア構成のブロック図である。

情報処理装置１１５は、スクリプト層２１７、ネイティブ層２１８、及びＯＳ層２１９のプログラムを実行する。これらの各層は、ＣＰＵ１００がＲＯＭ１０１あるいは２次記憶装置１０３に記憶されている対応するプログラムを読み出し実行することにより実現される。

スクリプト層２１７は、ＨＴＭＬ５やＣＳＳ３、及びＪａｖａＳｃｒｉｐｔ等のウェブ標準言語を使って、テキストデータで命令セット（コンテンツの描画や画像の表示、動画の再生等）が記述されているプログラム層である。スクリプト層２１７では、アプリケーション実行環境上で、そのアプリケーション実行環境に存在するプロセッサ（例えば、ＣＰＵ１００）を用いて、テキストデータの各種命令セットを翻訳して実行することになる。その実行形態としては、実行の度に命令文を一行ずつ動的に翻訳する場合や、アプリケーションを起動したときに翻訳する場合、アプリケーションを情報処理装置１１５にインストールしたときに翻訳する場合等が考えられる。

以後、スクリプト層２１７で処理することや内容をスクリプトと呼ぶ。スクリプトの命令を情報処理装置１１５内で翻訳する形態の例として、ネイティブ層２１８やＯＳ層２１９が備えるインタプリタの機能を使用することが挙げられる。尚、この実施形態においては、アプリケーションのＵＩの大部分が、スクリプト層２１７で記述されていることを想定している。

ネイティブ層２１８は、アプリケーション実行環境以外で予め翻訳（コンパイル）された命令セットが記述されているプログラム層である。形態としては、ＣもしくはＣ＋＋といった高水準言語で記述されたコードが、予めアプリケーションの開発者のＰＣやサーバ上でコンパイルされ、ＣＰＵ１００が解釈可能な命令の集合体となっている。以後、ネイティブ層２１８で処理することや内容、後述するＯＳ層２１９の機能をネイティブ層２１８から呼び出すことを含め、ネイティブと呼ぶこととする。尚、ネイティブ層２１８の別の実装系として、Ｊａｖａが挙げられる。Ｊａｖａは、Ｃ／Ｃ＋＋と類似の高水準言語であり、予めアプリケーション開発時の開発環境上で中間コードに翻訳される。翻訳された中間コードは、各ＯＳが備えるＪａｖａ仮想環境上で動作する。本実施形態においては、このようなプログラム形態も、ネイティブ層２１８の一種に含める。

ＯＳ層２１９は、情報処理装置１１５のオペレーティングシステム（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ：ＯＳ）に対応する。ＯＳ層２１９は、ハードウェア機能の使用をアプリケーションに提供する役割及び固有の機能を有する。ＯＳ層２１９は、ＡＰＩを備え、スクリプト層２１７やネイティブ層２１８から機能を使用することができる。

この実施形態では、スクリプト層２１７からネイティブ層２１８の呼び出しを可能にすることをバインディング、もしくはバインドと呼ぶ。各種ネイティブの機能は、ＡＰＩを備え、該ＡＰＩをスクリプトが呼び出すことでネイティブの機能を使用することができる。このようなバインディング機能は、通常、各種ＯＳが標準的に備えている機能である。

尚、この実施形態では、スクリプト層２１７とネイティブ層２１８を含むアプリケーションのことをハイブリッド型アプリケーションと呼ぶ。

スクリプト層２１７の画像取得部２０１は、ネイティブ層２１８に対し画像データの取得を依頼する。取得依頼時に、画像取得部２０１は、一意なＩＤを生成し、ネイティブ層２１８に送信する。このＩＤと、ネイティブ層２１８の画像読込部２０２で読み込まれた画像データは、対となって、ネイティブ層２１８のデータ保持部２０４に記憶される。これ以外にも、例えば、絶対パスを指定する方法や、ダイアログ表示を促す方法等が挙げられる。

ネイティブ層２１８の画像読込部２０２は、画像データ群２１５から画像データを取得する。画像データ群２１５からの画像データの取得方法は、スクリプト層２１７の画像取得部２０１の依頼に依存する。依頼方法は、ＵＩ上に提供されているダイアログボックスから選択する、ファイルのパスから直接画像を選択する等が挙げられる。

ネイティブ層２１８のデータ変換部２０３は、ネイティブ層２１８のデータ（例：バイナリ形式の画像データ）をスクリプト層２１７で利用できる形式のデータ（例：テキスト形式（ＢＡＳＥ６４）の画像データ）に変換する。一方で、データ変換部２０３は、スクリプト層２１７から送られてきたデータ（例：テキスト形式（ＢＡＳＥ６４）の画像データ）をネイティブ層２１８で利用できる形式のデータ（例：バイナリ形式の画像データ）にする変換も行う。

スクリプト層２１７のデータ変換部２０７は、スクリプト層２１７のデータ（例：テキスト形式の処理パラメータ）をネイティブ層２１８で利用できる形式のデータ（例：テキスト形式（ＪＳＯＮ形式）の処理パラメータ）に変換する。

ネイティブ層２１８のデータ保持部２０４は、画像読込部２０２で読み込んだ画像データ、画像処理部２０８で画像処理が施された画像データを保持する。保持される画像データは、例えば、ＲＧＢ画像信号に展開されており、すぐに画像処理が実行できる形式になっている。

スクリプト層２１７のコンテンツ描画部２０５は、プリントのためのコンテンツをウェブ標準言語を利用して記述する。この記述には、コンテンツ操作部２１０で操作されたスクリプトも反映される。コンテンツ描画部２０５で記述されたコンテンツのスクリプトは、ＯＳ層２１９のインタプリタ２１４で解釈され、ディスプレイ１０４に表示される。

スクリプト層２１７の画像処理制御部２０６は、画像処理に用いる補正パラメータと、補正対象となる画像を決定する。これらのデータは、必要に応じてデータ変換部２０７でネイティブ層へ送信できる形式へ変換される。

ネイティブ層２１８の画像処理部２０８は、画像処理制御部２０６で指定された画像に対し画像処理を施す。その際、どのような画像処理を施すかは、画像処理制御部２０６で設定されたパラメータにより決定される。画像の指定については、例えば、スクリプト層から画像のパスを受け取る方法や、画像データごと受け取る方法などが考えられる。

ＯＳ層２１９のタッチイベント２０９は、ディスプレイ１０４のタッチに関する情報を取得する。タッチに関する情報とは、ディスプレイ１０４のタッチ検知、タッチされた位置情報等が挙げられる。取得したタッチに関する情報は、ネイティブ層２１８経由でスクリプト層２１７のコンテンツ操作部２１０に送信される。

スクリプト層２１７のコンテンツ操作部２１０は、画像を操作、例えば、画像の拡大、移動、回転などを行い、その操作を反映すべく、スクリプト命令を変更する。

スクリプト層２１７のプリンタ制御部２１１は、レンダリング部２１６へのレンダリング開始依頼、プリンタ検知の依頼、プリンタ設定画面の表示、プリント情報の生成と送信を制御する。プリンタ設定画面では、用紙のサイズ、用紙の種類、カラー・モノクロ等のプリンタ設定がなされる。ここで設定された項目を基に、プリンタデータ生成部２１２でプリンタデータが生成される。

ネイティブ層２１８のプリンタデータ生成部２１２は、プリンタ制御部２１１からの依頼を基に、プリンタ通信に必要なデータ、コマンドを生成する。プリンタ通信に必要なデータとは、通信プロトコルに則ったデータであり、コマンドとは、印刷やスキャン等、プリンタの動作を決定するためのデータである。よって、プリンタデータ生成部２１２は、プリンタの動作を決定するためのコマンドを含むプリンタデータを生成する。

ＯＳ層２１９のプリンタ通信部２１３は、プリンタデータ生成部２１２から受信したプリンタデータを接続しているプリンタ１１２に送信したり、プリンタ１１２からプリンタ１１２に関する情報を受信する。ＯＳ層２１９のインタプリタ２１４は、スクリプト層２１７で生成されたウェブ標準言語で記述された命令を解釈・実行する。例えば、画像の描画等の命令は、インタプリタ２１４を通して実行され、ディスプレイ１０４に表示される。

画像データ群２１５は、画像データを保持している領域である。データ保存部２２０は、必要に応じて、データ保持部２０４が保持する画像データを画像データ群２１５に保存させるために機能する。

レンダリング部２１６は、コンテンツ描画部２０５、画像処理制御部２０６、及びコンテンツ操作部２１０を制御して、処理対象の画像データのレンダリングを行う。このレンダリングには、例えば、スクリプト層２１７でプリンタ１１２への出力解像度で画像を生成することが含まれる。また、スクリプト層２１７におけるレンダリング結果、及び、スクリプト層２１７が生成途中の画像はディスプレイ１０４に表示されない。レンダリング結果は、ネイティブ層２１８のデータ変換部２０３に送信され、プリンタ１１２が利用できる形式の画像データに変換される。

＜ユーザ操作に伴う処理＞
図３はユーザ操作を含む処理を示すフローチャートである。まず、図３を用いて、Ｓ２１からＳ２８の各処理の概要を説明し、詳細は後述する。なお、本願のフローチャートの各ステップの処理は、情報処理装置１１５のＣＰＵ１００が、ＲＯＭ１０１あるいは２次記憶装置１０３に記憶されているプログラムを実行することにより実現される。また、図３に示す各ステップは、ＵＩの１つである図１２に示すアプリケーション画面１２００に対するユーザ操作に従って遷移する。アプリケーション画面１２００は、スクリプト層２１７によって生成される。アプリケーション画面１２００の操作は、例えば、タッチセンサ１０５を介して実現される。

Ｓ２１で、ＣＰＵ１００は、アプリケーション画面１２００の写真画像選択ボタン１２０１に対するユーザ操作（タッチ操作入力も含む。以後も同様）を検知すると、その操作に応じて、任意の画像を選択する。画像を選択すると、ＣＰＵ１００は、アプリケーション画面１２００の描画領域１２０６の全体に選択された画像を表示する。

Ｓ２２では、ＣＰＵ１００は、表示されている画像の輝度を調整するためのスライドバー１２０２に対するユーザ操作を検知すると、そのユーザ操作に応じて、画像処理時に利用する補正パラメータを設定する。そして、ＣＰＵ１００は、設定した補正パラメータに従って、表示されている画像に画像処理を施し、その処理内容及び処理結果を描画領域１２０６に表示する。

Ｓ２３は、ＣＰＵ１００は、スタンプ追加ボタン１２０３に対するユーザ操作を検知すると、スタンプ一覧を表示する。スタンプ一覧に対するユーザ操作によってスタンプの選択を検知すると、ＣＰＵ１００は、描画領域１２０６に選択されたスタンプを追加・表示する。

Ｓ２４で、ＣＰＵ１００は、アプリケーション画面１２００に対するユーザ操作に応じて、スタンプを特定する。スタンプの特定とは、ディスプレイ１０４にユーザ操作によってタッチされた座標とスタンプの座標より、スタンプがタッチされたか否かを判断するものである。スタンプがタッチされた場合、そのスタンプは操作受付状態となる。ここでは、ユーザ操作に応じて、スタンプが操作受付状態になっているものとする。操作受付状態については後述する。

Ｓ２５で、ＣＰＵ１００は、操作受付状態になっているスタンプを回転するためのスライドバー１２０４に対するユーザ操作を検知すると、そのユーザ操作に応じて、スタンプ操作として、操作受付状態にあるスタンプを回転する。

Ｓ２６で、ＣＰＵ１００は、プリントボタン１２０５に対するユーザ操作を検知すると、プリントに必要な情報を設定するための設定画面１３０１（図１３）を表示する。プリントに必要な情報とは、例えば、図１３の設定画面１３０１に示されるように、用紙サイズ、用紙種類、印刷品位、縁あり／なしの設定項目がある。これ以外にも、両面／片面、モノクロ・カラー等、使用するプリンタが有する機能に応じて、設定可能な設定項目が構成される。

Ｓ２７で、ＣＰＵ１００は、設定画面１３０１の設定完了ボタン１３０２に対するユーザ操作を検知すると、描画領域１２０６に表示されている画像を、プリンタに出力するためのプリント解像度に変換するためのレンダリングを実行する。

Ｓ２８で、ＣＰＵ１００は、プリントの解像度に変換された画像を、プリンタ制御のコマンドと共にプリンタ１１２に送信する。以上の処理により、ユーザにより選択された画像がプリンタ１１２でプリントされる。

尚、図３に示す処理は一例であり、処理内容はこれに限定されず、ステップ群の処理順序もこれに限定されるものではない。また、この実施形態において、プロセッサで翻訳され実行されるための命令セットを含む第１のプログラム層をスクリプト層２１７、プロセッサ以外で予め翻訳された命令セットを含む第２のプログラム層をネイティブ層２１８と定義する。そして、これらの第１のプログラム層と第２のプログラム層とを包含するプログラムがハイブリッド型アプリケーションを実現する。文字列データ（テキストデータ）を第１の形式、バイナリデータを第２の形式と定義する。なお、スクリプト層２１７は、テキスト形式のデータを保持することが可能であり、ネイティブ層２１８は、バイナリ形式のデータを保持することが可能である。

＜写真画像選択とその画像処理の詳細＞
次に以上のような構成の情報処理装置において実行する写真画像選択とそれに伴う画像処理に関する幾つかの実施形態について説明する。従って、これらの場合、情報処理装置１１５は画像処理装置として機能することになる。

［実施形態１］
ユーザが図１２に示した写真画像選択ボタン１２０１を押下することでＳ２１が開始する。ここで、図３のＳ２１の写真画像選択の詳細について、図４を用いて説明する。なお、Ｓ３０１〜Ｓ３０２、Ｓ３０９〜Ｓ３１１はＣＰＵがスクリプト層のプログラムを用いて実行する処理であり、Ｓ３０３〜Ｓ３０８はＣＰＵがネイティブ層のプログラムを用いて実行する処理である。

Ｓ３０１で、ＣＰＵ１００は、一意なＩＤを生成する。このＩＤは、数値、文字列等、スクリプト層２１７からネイティブ層２１８へ送信できる形式であればどのような形でも良い。Ｓ３０２で、ＣＰＵ１００は、写真画像選択ボタン１２０１に対するユーザ操作に応じて画像選択をネイティブ層２１８に依頼する。Ｓ３０２では、Ｓ３０１で生成されたＩＤもネイティブ層２１８に送信される。その依頼では、バインディング機能によりスクリプト層２１７からネイティブ層２１８固有の画像選択ＡＰＩを直接呼び出す。しかしながら、直接ネイティブ層固有の画像選択ＡＰＩを呼び出せないのであれば、ネイティブ層２１８にスクリプト層２１７から直接呼び出せる関数を用意し、その関数内にネイティブ層固有の画像選択ＡＰＩを呼び出す関数を記述しておけばよい。これは、ラッパを予め用意しておく方法である。また、そのＡＰＩは、前記ＩＤを、例えば、引数として渡す仕組みを備える。このようにしてネイティブ層２１８へＩＤが渡される。

Ｓ３０３で、ＣＰＵ１００は、デバイス固有の画像選択ＵＩをディスプレイ１０４に表示する。表示された画像選択ＵＩに対するユーザ操作に基づいて、任意の画像を１枚選択する。

Ｓ３０４で、ＣＰＵ１００は、選択された画像を取得する。例えば、選択した画像が画像ファイルの状態であれば、ＣＰＵ１００は、ファイルを開き、その内容を読み取る。また、必要に応じて、その画像ファイルのダウンロードやコピーを行い、ネイティブ層２１８の使用言語に応じてファイルオープンを行うとよい。

Ｓ３０５で、ＣＰＵ１００は、取得した画像をＲＧＢ空間に展開する。ここでは、ＲＧＢデータをネイティブ層２１８に保持しているが、これに限定されるものではない。例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｙ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）、ＰＮＧ（Ｐｏｒｔａｂｌｅ Ｎｅｔｗｏｒｋ Ｇｒａｐｈｉｃｓ）、ＲＧＢＡ形式などで保持することもできる。ＲＧＢＡ形式とは、画像データのＲＧＢ（赤、緑、青）成分に、透明度としてＡを組み合わせたものである。

Ｓ３０６で、ＣＰＵ１００は、展開したＲＧＢ画像を、スクリプト層２１７から取得したＩＤと関連付けてデータ保持部２０４に保持する。関連付け方法は、例えば、ＩＤとＲＧＢ画像を有するオブジェクトを作成することで、ＩＤによりＲＧＢ画像の特定を可能にするという方法が考えられる。この関連付け方法は、これに限らず、ＩＤと選択された画像のアクセス先であるパスや、ＩＤとＲＧＢ展開に応じて実行される関数やクラス等も考えられる。

Ｓ３０７で、ＣＰＵ１００は、展開したＲＧＢ画像をスクリプト層２１７で利用可能な形式（サポート可能な形式）の画像データに変換する。この実施形態では、変換するデータ形式をＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｙ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）とする。ＲＧＢ画像データからＪＰＥＧデータへの変換は、ＯＳ層２１９に備えられたエンコーダを利用すればよい。Ｓ３０８で、ＣＰＵ１００は、ＪＰＥＧ形式のデータをＢＡＳＥ６４データに変換し、スクリプト層２１７へ送信する。これは、スクリプト層２１７では、ＲＧＢ画像のデータ配列をそのまま利用できないため、ネイティブ層２１８において、スクリプト層２１７で解釈可能な形式に変換する必要があるためである。ＪａｖａＳｃｒｉｐｔ（登録商標）では、文字列しか扱えないため、この実施形態では、文字列としてデータを表現するＢＡＳＥ６４の形式を利用する。

ここで、ＢＡＳＥ６４とは、バイナリデータを文字列データとして扱うためのエンコード方式である。スクリプト層２１７ではネイティブ層２１８と同様、画像データを取得し、変更を加えることが可能である。しかし、ネイティブ層２１８はＲＧＢ配列のように、ＲＡＭ１０２（メモリ）の連続した領域にその値を保持するのに対し、スクリプト層２１７では、連続した領域にデータが保持されているとは限らない。このように、スクリプト層２１７とネイティブ層２１８ではデータ保持方法が異なるため、従来、スクリプト層２１７から画像データを連続データとして一括してネイティブ層２１８へ送信することができなかった。なお、この実施形態で変換しているデータは画像データのみであるが、これに限定されるものではなく、ＧＩＦ（Ｇｒａｐｈｉｃｓ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）や、音声データをＢＡＳＥ６４変換で利用することも可能である。

しかしながら、文字列データはスクリプト層２１７でも連続したデータとして扱われるので、ＣＰＵ１００は、スクリプト層２１７からＢＡＳＥ６４形式でネイティブ層２１８へ連続したデータを送信する。この実施形態では、ネイティブ層２１８は画像情報の変換処理を行う。即ち、スクリプト層２１７から受け取った文字列情報を画像データへ変換することで、ネイティブ層２１８でのデータ操作を可能としている。逆に、ネイティブ層２１８からスクリプト層２１７へ画像データを送信する際は、ネイティブ層２１８で扱う画像データをＢＡＳＥ６４方式を用いて文字列情報へと変換する。これにより、スクリプト層２１７とネイティブ層２１８との間で画像データの受け渡しが可能となる。

Ｓ３０９で、ＣＰＵ１００は、ネイティブ層２１８で変換されたＢＡＳＥ６４データを受信するとともに、そのＢＡＳＥ６４データを表示するための描画領域をＲＡＭ１０２に確保する。この実施形態では、描画領域の確保の一例としてＨＴＭＬのＣａｎｖａｓ機能を利用し、画像の描画は、Ｃａｎｖａｓの有するＣｏｎｔｅｘｔオブジェクトのＡＰＩを利用する。

Ｓ３１０で、ＣＰＵ１００は、補正パラメータを生成し、初期化する。ここで、補正パラメータとは、Ｓ２２の画像処理の内容を決定するパラメータ群を保持するオブジェクトである。ネイティブ層でどのような画像処理が施されるかは、補正パラメータによって決定される。ＪａｖａＳｃｒｉｐｔ（登録商標）で保持する補正パラメータの一例として、下記のような形態が考えられる。

var CorrectionParam = function(){
this.brightness = 10;
}
この補正パラメータは、ＣｏｒｒｅｃｔｉｏｎＰａｒａｍオブジェクトの中に、明るさ補正用にｂｒｉｇｈｔｎｅｓｓという名前の変数が設けられており、１０という値を格納するということを表している。

この実施形態では、説明の簡略化のために、補正パラメータは明るさ（輝度）補正用のみであるが、その他の補正処理用のパラメータ（ぼかしフィルタの強度、セピア変換のオン・オフ等）を追加し処理の種類を増やしても良いことは言うまでもない。

Ｓ３１１で、ＣＰＵ１００は、描画領域で描画するデータにＢＡＳＥ６４データを指定し、それに従って、その描画領域に画像を描画する。具体的には、ＣＰＵ１００は、スクリプト層２１７で指定されたＢＡＳＥ６４データをＯＳ層のインタプリタ２１４に送信する。そして、インタプリタ２１４がＢＡＳＥ６４データのスクリプトを解釈し、描画領域に画像として表示する。ここで、描画領域に、ＢＡＳＥ６４データを反映させるサンプルコードの一例を示す。

--------------------------------------------------
var base64Data = ネイティブ層からのＢＡＳＥ６４データ
var canvas = document.createElement("canvas"); //画像の描画領域確保
canvas.setAttribute("width", 100); //描画領域の大きさ設定
canvas.setAttribute("height", 100);
var context = canvas.getContext("2d"); //描画領域に描画するＡＰＩを持つオブジ
ェクトの生成
var img = new Image(); //Imageオブジェクトの生成
img.src = base64Data; //画像のＵＲＩを受け取ったＢＡＳＥ６４データとする
img.onload = function(){ //画像のロードが終わってから処理を開始する
context.drawImage(img, 0, 0, img.width, img.height, 0, 0, canvas.width,
canvas.height); //contextオブジェクトのメソッドを用いて画像を描画領域に描画
document.getElementById("div").appendChild(canvas);
//本フローチャートではＣａｎｖａｓが何層にもなるレイヤー構造を想定している}
これらのＣａｎｖａｓは至る所好き勝手に存在するわけではなく、描画、移動、拡大等の操作は、特定の領域内（図１２の描画領域１２０６）で完結するその領域を指定しているものが「ｄｉｖ」であり、Ｃａｎｖａｓはそのｄｉｖに追加されてゆく形態をとる。

--------------------------------------------------
＜画像処理の詳細＞
ユーザが図１２に示したスライドバー１２０２を変化させることでＳ２２が開始する。ここでは、図３のＳ２２の画像処理の詳細について、図５を用いて説明する。なお、Ｓ４０１〜Ｓ４０３、Ｓ４０９、Ｓ４１１は、ＣＰＵがスクリプト層のプログラムを用いて実行する処理であり、Ｓ４０４〜Ｓ４０８、Ｓ４１０はＣＰＵがネイティブ層のプログラムを用いて実行する処理である。

Ｓ４０１で、ＣＰＵ１００は、Ｓ３１０で生成した補正パラメータを設定する。ここでは、図３のＳ３１０で生成した補正パラメータのｂｒｉｇｈｔｎｅｓｓの値を、スライドバー１２０２に対するユーザ操作に応じて設定される値に更新する。Ｓ４０２で、ＣＰＵ１００は、インジケータを起動し、ディスプレイ１０４に表示する。ここで、インジケータとは、ユーザに処理中である旨を伝える表示であり、一般には、プログレスバーや、時計マーク、図形の点滅や回転等の画像で表現する。Ｓ４０３で、ＣＰＵ１００は、Ｓ４０１にて設定された補正パラメータをネイティブ層２１８で利用できるＪＳＯＮ文字列の形式に変換する。ここで、補正パラメータはオブジェクトの形態を取っており、そのままではネイティブ層２１８で利用できないため、設定した補正パラメータをＪＳＯＮ文字列に変換する。そして、ＣＰＵ１００は、ＪＳＯＮ文字列に変換された補正パラメータを、図３のＳ３０１で生成したＩＤと共にネイティブ層２１８へ転送する。

Ｓ４０４で、ＣＰＵ１００は、ＪＳＯＮ文字列に変換された補正パラメータをデコードし、補正パラメータを取得する。より具体的には、補正パラメータをＯＳ層２１９に備えられているパーサを利用してパース（解析）する。パース後に、上記の例の場合、補正パラメータ内のｂｒｉｇｈｔｎｅｓｓが取得されることになる。

Ｓ４０５で、ＣＰＵ１００は、スクリプト層２１７から取得したＩＤを基に、図３のＳ３０５で展開されたＲＧＢ画像を特定する。尚、上述のように、ＩＤと画像の対応付けは、ＩＤとＲＧＢ画像と対にすることに限定されるわけではなく、例えば、ＩＤと画像のパスを関連付ける方法を用いてもよい。その他にＩＤと関連付ける例として、ネイティブ層２１８のオブジェクト、画像データの先頭アドレス、画像を呼び出す関数等、様々なものが考えられる。

Ｓ４０６で、ＣＰＵ１００は、取得した補正パラメータから施すべき画像処理を判断し、ＲＧＢ画像に対して画像処理を行う。この実施形態では、明るさ補正のパラ―メータより、全ての画素のＲＧＢの値に１０が加算される。前述の通り、補正パラメータに他の情報を追加し、画像処理の種類を増やしても良い。例えば、公知のモノクロ変換、公知のセピア色変換、「ＩｍａｇｅＦｉｘ」、「ＲｅｄｅｙｅＦｉｘ」、「ＳｍａｒｔＳｋｉｎ」などを追加することも可能である。

ここで、「ＩｍａｇｅＦｉｘ」とは、写真画像を、人物顔検出やシーン解析部を用いて自動で解析し、適切な明るさ・ホワイトバランス調整を行う機能（顔検出機能）である（特開２０１０−２７８７０８号公報参照）。また、「ＲｅｄｅｙｅＦｉｘ」とは、画像中から自動で赤目画像を検出して補正する機能（赤目検出機能）である（特開２００６−３５０５５７号公報参照）。また、「ＳｍａｒｔＳｋｉｎ」とは、写真画像から人物の顔を検出して、該顔の肌領域を好適に加工する機能である（特開２０１０−０１０９３８号公報参照）。なお、画像処理機能の種類は、これに限定されるものではなく、用途や目的に応じて、様々な画像処理を利用することができる。さらに、画像処理はＯＳ層２１９が提供する機能を利用してもよく、その場合であっても処理構成はこの実施形態と同じである。

Ｓ４０７で、ＣＰＵ１００は、画像処理が施されたＲＧＢ画像をスクリプト層２１７で利用可能な形式（サポート可能な形式）の画像データに変換する。ここでは、図３のＳ３０７と同様に、ＪＰＥＧ形式のデータに変換する。Ｓ４０８で、ＣＰＵ１００は、スクリプト層２１７にインジケータの停止を依頼する。これは、ネイティブ層２１８から、スクリプト層２１７で定義されているインジケータ停止の関数を呼び出すことで実現する。

Ｓ４０９で、ＣＰＵ１００は、インジケータを停止して、ディスプレイ１０４の表示から消去する。

一方、Ｓ４１０で、ＣＰＵ１００は、変換されたＪＰＥＧ形式のデータをＢＡＳＥ６４データに変換し、スクリプト層２１７へ送信する。

Ｓ４１１で、ＣＰＵ１００は、ネイティブ層２１８で変換されたＢＡＳＥ６４データを受信し、それに従って、図３のＳ３０９で確保した描画領域に画像を描画する。具体的には、ＣＰＵ１００は、スクリプト層で指定されたＢＡＳＥ６４データをＯＳ層のインタプリタ２１４に送信する。そして、インタプリタ２１４がＢＡＳＥ６４データのスクリプトを解釈し、描画領域に表示する。以上の処理により補正パラメータに基づく画像処理が適用された画像データが表示される。

この実施形態では、図１２に示すようなスライドバー１２０２の変化によって画像処理が開始されるが、その開始方法はこれに限定されるものではない。例えば、画面にプラスボタン、マイナスボタンが配置されており、そのボタンを押すごとに明るさが調整されるという形態であっても良い。他にも、画像の右半分がタッチされたら明るさを増す、左半分がタッチされたら暗くするなど、タッチイベントと連動させた処理によって実現しても良い。また、ユーザ操作で補正パラメータだけ変化させておいて、画像処理の実行指示があった時に、全ての画像処理がネイティブ層で一括して行われるという方法などを採用しても良い。

＜スタンプ追加の詳細＞
ユーザが、図１２に示すスタンプ追加ボタン１２０３を押下し、ハートスタンプ１２０８を選択すると、Ｓ２３の処理が開始する。ここでは、図３のＳ２３のスタンプ追加の詳細について、図６を用いて説明する。以下の説明では、ユーザ操作によって、図１２のアプリケーション画面１２００のスタンプ追加ボタン１２０３が押下されてスタンプ一覧が表示された後、ハートスタンプ１２０８が選択された場合を例に挙げる。なお、Ｓ５０１〜Ｓ５０２、Ｓ５０８〜Ｓ５１０は、ＣＰＵがスクリプト層のプログラムを用いて実行する処理であり、Ｓ５０３〜Ｓ５０７はＣＰＵがネイティブ層のプログラムを用いて実行する処理である。

Ｓ５０１で、ＣＰＵ１００は、一意なＩＤを生成する。このＩＤは、図３のＳ３０１で生成するＩＤと同等の性質を有する。Ｓ５０２で、ＣＰＵ１００は、Ｓ５０１で生成されたＩＤととともに、スタンプとして利用される画像のアクセス先（絶対パス）をネイティブ層２１８に送信することで、スタンプに対応するスタンプ画像の画像選択を依頼する。

Ｓ５０３で、ＣＰＵ１００は、スクリプト層２１７から受信したスタンプ画像の絶対パスとデバイス固有の画像選択ＡＰＩを利用して、スタンプ画像を取得する。Ｓ５０４で、ＣＰＵ１００は、取得したスタンプ画像をＲＧＢ展開する。Ｓ５０５で、ＣＰＵ１００は、展開したＲＧＢ画像を、スクリプト層２１７から取得したＩＤと関連付けてデータ保持部２０４に保持する。その関連付け方法は、図３のＳ３０６と同様である。Ｓ５０６で、ＣＰＵ１００は、ネイティブ層２１８で、展開したＲＧＢ画像をスクリプト層２１７で利用可能な形式（サポート可能な形式）の画像データに変換する。ここでの変換は、図３のＳ３０７と同様に、ＪＰＥＧ形式のデータに変換する。Ｓ５０７で、ＣＰＵ１００は、ＪＰＥＧ形式のデータをＢＡＳＥ６４データに変換し、スクリプト層２１７へ送信する。

Ｓ５０８で、ＣＰＵ１００は、ネイティブ層２１８で変換されたＢＡＳＥ６４データを受信するとともに、そのＢＡＳＥ６４データを表示するための描画領域をＲＡＭ１０２に確保する。Ｓ５０９で、ＣＰＵ１００は、オブジェクトパラメータを生成し、初期化する。ここで、オブジェクトパラメータとは、図３のＳ２７のレンダリング（詳細は後述）の際、レンダリング後のスタンプの回転角度を決定するために用いられるパラメータを保持するオブジェクトである。ＪａｖａＳｃｒｉｐｔ（登録商標）で保持するオブジェクトパラメータの一例としては、下記のような形態が考えられる。

var ObjectParam = function(){
this.theta = 0;
this.posX = 0;
this.posY = 0;
this.width = 100;
this.height = 100;
}
このオブジェクトパラメータは、ＯｂｊｅｃｔＰａｒａｍオブジェクトの中に、回転角度を示すｔｈｅｔａという変数名と、ｔｈｅｔａには０という値が格納されているということを表している。同様に、ｐｏｓＸは描画領域の左上を基準点とした時のｘ座標、ｐｏｓＹは描画領域の左上を基準点とした時のｙ座標、ｗｉｄｔｈは描画領域の横幅、ｈｅｉｇｈｔは描画領域の縦幅を表している。尚、この実施形態では、説明を簡単にするため、オブジェクトパラメータは必要最小限であるが、その他のパラメータ（平行移動量、拡大倍率等）を追加し、描画時やレンダリング時に利用できることは明らかである。

Ｓ５１０で、ＣＰＵ１００は、ＢＡＳＥ６４データを、生成したオブジェクトパラメータを基に、描画領域１２０６に画像として表示する。具体的には、ＣＰＵ１００は、選択されたスタンプに対応するＢＡＳＥ６４データをＯＳ層のインタプリタ２１４に送信する。そして、インタプリタ２１４がＢＡＳＥ６４データのスクリプトを解釈し、描画領域にスタンプ画像として表示する。尚、この実施形態では、説明を簡単にするために、スタンプを１つ選択した場合を例に挙げているが、複数個のスタンプを選択できることは言うまでもない。また、この実施形態では、スタンプに予め用意した画像を利用しているが、Ｃｏｎｔｅｘｔオブジェクトを利用して描画物をスクリプト層で生成する方法を用いても良い。

＜スタンプ特定の詳細＞
ユーザが図１に示したディスプレイ１０４にタッチすることでＳ２４が開始する。ここでは、図３のＳ２４のスタンプ特定の詳細について、図７を用いて説明する。なお、Ｓ６０２〜Ｓ６０３は、ＣＰＵ１００がスクリプト層２１７のプログラムを用いて実行する処理であり、Ｓ６０１はＣＰＵ１００がネイティブ層２１８のプログラムを用いて実行する処理である。

Ｓ６０１で、ＣＰＵ１００は、ディスプレイ１０４上でタッチされた座標を取得し、スクリプト層２１７に送信する。

Ｓ６０２で、ＣＰＵ１００は、ネイティブ層２１８から受信した座標と、図５のＳ５０９で生成したオブジェクトパラメータの情報より、図３のＳ２３で追加したスタンプがタッチされたかどうかを判断する。追加したスタンプにおいて、オブジェクトパラメータは初期値のままである。そのため、上記のオブジェクトパラメータの一例に従えば、スタンプは、描画領域１２０６の左上端を（０，０）とし、そこからｘ方向に１００、ｙ方向に１００の領域に描画されていることになる。これより、受信した座標の座標（ｘ，ｙ）の内、ｘ座標から描画領域１２０６のｘ座標分を差し引いた値が０〜１００の範囲、かつ、ｙ座標から描画領域１２０６のｙ座標分を差し引いた値が０〜１００の範囲であれば、スタンプはタッチされたと判断できる。スタンプがタッチされたと判断された場合、そのスタンプは、図３のＳ２５の操作受付状態となる。

以降の説明では、図３のＳ２４において、図３のＳ２３で追加したスタンプがタッチされたものとして説明する。

Ｓ６０３で、ＣＰＵ１００は、判断結果に応じて、スタンプを操作受付状態に設定する。ここで、操作受付状態に設定することは、図１２のスライドバー１２０４が変化した際、それに応じた操作が実施される状態をいう。操作受付状態でない場合は、スライドバー１２０４を変化させても、何の変化も生じない。この実施形態では、スタンプの回転を行うスライドバー１２０４のみに言及しているが、他のスタンプ操作の構成を利用してもよいことは言うまでもない。

＜スタンプ操作の詳細＞
ユーザがディスプレイ１０４のスライドバーにタッチすることで図３のＳ２５が開始する。以下、図３のＳ２５のスタンプ操作の詳細について、図８を用いて説明する。なお、図８の各ステップは、ＣＰＵ１００がスクリプト層２１７のプログラムを用いて実行する処理である。

Ｓ７０１で、ＣＰＵ１００は、スタンプのオブジェクトパラメータのｒｏｔａｔｅの値を更新する。例えば、図１２のスライドバー１２０４で設定した値に更新する（図１２では１８０°）。Ｓ７０２で、ＣＰＵ１００は、オブジェクトパラメータを用いて、図７のＳ６０３で操作受付状態に設定されたスタンプを描画領域１２０６に再描画する。例えば、スタンプ画像の描画をＨＴＭＬのＣａｎｖａｓで行っている場合、ＣａｎｖａｓのＣｏｎｔｅｘｔオブジェクトのｒｏｔａｔｅメソッドを利用することで、Ｃａｎｖａｓ内の画像を回転することが可能である。

尚、この実施形態では、スタンプの操作は回転のみであるが、当然、拡大・縮小、平行移動等の他の操作も考えられる。また、写真画像に対してオブジェクトパラメータを持たせれば、スタンプ操作と同様の操作が可能となることも、明らかである。

＜プリンタ設定の詳細＞
ユーザが、図１２に示したプリントボタン１２０５を押下することで図３のＳ２６の処理が開始する。ここでは、図３のＳ２６のプリンタ設定の詳細について、図９を用いて説明する。なお、Ｓ８０１、Ｓ８０７〜Ｓ８０９は、ＣＰＵ１００がスクリプト層２１７のプログラムを用いて実行する処理であり、Ｓ８０２〜Ｓ８０６、Ｓ８１０はＣＰＵ１００がネイティブ層２１８のプログラムを用いて実行する処理である。

Ｓ８０１で、ＣＰＵ１００は、スクリプト層２１７からネイティブ層２１８へデバイス情報としてのプリンタ情報取得を依頼する。これは、プリンタ１１２と通信を行うためのスクリプト層２１７からの要求にあたる。依頼の方法は、画像選択時と同様に、バインディング機能によりスクリプトからネイティブ固有のＡＰＩを呼び出す。ネイティブ層２１８には、スクリプト層２１７から直接呼び出せる関数もしくはその関数を間接的に呼び出す、いわゆる、ラッパが予め用意されている。例えば、ＧｅｔＰｒｉｎｔｅｒＩｎｆｏというネイティブ関数を用意しておき、スクリプト側からその関数を呼び出す。このようにして、ネイティブ層はスクリプト層からの外部デバイスとの通信の要求を取得する。

通常、スクリプト層２１７からはセキュリティ上の制限で外部デバイスと直接通信することはできない。そのため、上記のように、スクリプト層２１７から、一旦、ネイティブ層２１８へ外部デバイス情報の取得を依頼し、ネイティブ層２１８を介して外部デバイスと通信を行う。ここで、ネイティブ層２１８は、ＯＳ層２１９を介して、外部デバイス（例えば、プリンタ１１２）と通信する機能を備えている。

Ｓ８０２で、ＣＰＵ１００は、ネイティブ層２１８が該関数を呼び出されると、プリンタの検出、いわゆるディスカバリーを行う。そして、Ｓ８０３では、通信可能なプリンタの検出を行うため、例えば、Ｂｏｎｊｏｕｒなどのプロトコルにより、ブロードキャストやマルチキャスト等の方法を用いて応答のあったプリンタのＩＰアドレスを検知して記憶する。例えば、同一無線ＬＡＮルータで繋がっているプリンタを検出する。

Ｓ８０４で、ＣＰＵ１００は、応答のあったプリンタのＩＰアドレスへプリンタ情報の提供を要求する。応答のあったプリンタが複数の場合、ＣＰＵ１００は、全てのプリンタに対して情報の提供を要求する。そのために、ＣＰＵ１００はネイティブ層で、プリンタの情報を取得するためのコマンドを生成する。そのコマンドとは、プリンタの動作を指定する命令であり、その一例としては、以下のようなＸＭＬで表現される。

----------------------------------------------
01: ＜?xml version="1.0" encoding="utf-8" ?＞
02: ＜cmd xmlns:trans="http://www.xxxx/yyyyy/"＞
03: ＜contents＞
04: ＜operation＞GetCapability＜/operation＞
05: ＜/contents＞
06: ＜/cmd＞
----------------------------------------------
上記各行の左側に書かれている「０１：」等の数値は説明を行うために付加した行番号であり、本来のＸＭＬ形式のテキストには記載されない。

１行目はヘッダであり、ＸＭＬ形式で記述していることを表している。

２行目のｃｍｄはコマンドの開始を意味する。ｘｍｌｎｓで名前空間を指定し、コマンドの解釈の定義を指定している。尚、６行目の＜／ｃｍｄ＞でコマンドの終了を示している。

３行目は以後に内容を記載する宣言であり、５行目でその終了を示している。

４行目には要求する命令が記載されており、＜ｏｐｅｒａｔｉｏｎ＞と＜／ｏｐｅｒａｔｉｏｎ＞の間に実際の命令文言が存在する。命令文言であるＧｅｔＣａｐａｂｉｌｉｔｙは、外部デバイスであるプリンタの情報を取得する命令である。例えば、プリンタが対応している用紙種類、サイズ、縁なし印刷機能の有無、印刷品位、等のケーパビリティ情報を提供するよう要求する。

尚、プリンタ情報取得コマンドの生成は、例えば、ＲＯＭ１０１に予め記憶した固定のテキストを読み込んでも構わない。また、ＸＭＬ等のテキスト形式に限らず、バイナリ形式で記述し、それに沿ったプロトコルで通信しても良い。また、生成したプリンタ情報取得コマンドは、ＨＴＴＰ等のプリンタが対応している通信プロトコルに従った形式で、プリンタ通信部２１３を介してプリンタ１１２へ送信される。

また、通信方法はこれに限定されるものではない。Ｗｉ−Ｆｉ（登録商標）ダイレクトやＢｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信、電話回線、有線ＬＡＮ、ＵＳＢを用いた接続でも良く、その方法に沿ったプロトコルで通信を行えば同様の効果を得ることができる。

図９では、ネイティブ層２１８で、コマンドを生成する構成としているが、スクリプト層２１７で、コマンドを生成する構成でも、同様の効果が得られる。その場合、スクリプト層２１７で、例えば、上記のＸＭＬ形式の命令文を含むコマンドを作成し、ネイティブ層２１８へ渡す。それを受けて、ネイティブ層２１８は、通信プロトコルに従った形式でプリンタ１１２へそのコマンドを送信する。

プリンタ１１２は、情報処理装置１１５からコマンドを受信すると、デバイス情報であるプリンタ情報をＸＭＬ形式で通信プロトコルに沿って、情報処理装置１１５へ送信する。そして、Ｓ８０５では、ネイティブ層２１８がプリンタからプリンタ機能を取得する。以下に、プリンタの情報の一例を示す。

----------------------------------------------
01: ＜?xml version="1.0" encoding="utf-8" ?＞
02: ＜cmd xmlns:trans="http://www.xxxx/yyyyy/"＞
03: ＜contents＞
04: ＜device id=”Printer001” /＞
05: ＜mode = 1＞
06: ＜media＞GlossyPaper＜/media＞
07: ＜size＞A4＜/size＞
08: ＜quality＞1＜/quality＞
09: ＜border＞no＜/border＞
10: ＜/mode＞
11: ＜mode = 2＞
〜中略〜
＜/mode＞
＜mode = 3＞
〜中略〜
＜/mode＞

〜中略〜

＜/contents＞
＜/cmd＞
----------------------------------------------
１行目はヘッダであり、ＸＭＬ形式で記述していることを表している。２行目のｃｍｄはコマンドの開始を意味する。ｘｍｌｎｓで名前空間を指定し、コマンドの解釈の定義を指定している。尚、最下行の＜／ｃｍｄ＞でコマンドの終了を示している。

３行目は以後に内容を記載する宣言であり、下の＜／ｃｏｎｔｅｎｔｓ＞までその内容は継続する。４行目でデバイスＩＤを示している。ここでは、プリンタ１１２の機種名が「Ｐｒｉｎｔｅｒ００１」であることを表している。５行目以降はプリンタ１１２が有する各モードについての記述である。＜ｍｏｄｅ＞から＜／ｍｏｄｅ＞までで、１つのモードにおける情報が記述されている。５行目では、モードの番号が１である。以降の＜ｍｅｄｉａ＞は印刷用紙の種類、＜ｓｉｚｅ＞は用紙サイズ、＜ｑｕａｌｉｔｙ＞は印刷品位、＜ｂｏｒｄｅｒ＞は縁あり／なしの情報をそれぞれ記述している。

１１行目以降は他のモードであるモード２についての情報が記述されている。このように、プリンタ１１２の機種名と、そのプリンタが対応している全てのモードがこのＸＭＬに記述されている。尚、プリンタ情報の記述方法はこれに限定されることはなく、タグ形式でないテキストや、バイナリ形式等の他の形式であっても構わない。

Ｓ８０５で、ＣＰＵ１００は、プリンタ１１２からプリンタ情報を受信する。ＣＰＵ１００は、ネイティブ層で、受信したプリンタ情報から、例えば、プリンタ１１２が有する全てのモードにおける印刷用紙の種類、サイズ、印刷品位、縁あり／なしの項目と項目数等を含むプリンタ機能一覧を取得する。

Ｓ８０６で、ＣＰＵ１００は、受信したプリンタ情報をスクリプト層２１７が解釈可能な形式に変換して、スクリプト層２１７へ送信する。つまり、ＣＰＵ１００は、プリンタ１１２との通信によって得られた情報をスクリプト層２１７へ渡す。具体的には、受け取ったＸＭＬ形式のプリンタ情報で送信したり、タグなしのテキスト形式に変えて送信する等の方法がある。加えて、スクリプト層２１７から特定のネイティブ関数を呼び出す毎に、その戻り値として情報を取得しても良い。また、ネイティブ関数に取得するモードなどの引数を渡し、その戻り値として情報を得ても良い。さらに、上述のＪＳＯＮ文字列を用いた受け渡しや、データ変換部２０７及び２０３を用いてＢＡＳＥ６４等の文字列で受け渡しを行ってもよい。

Ｓ８０７で、ＣＰＵ１００は、ネイティブ層２１８から受信したプリンタ情報に基づいて、プリンタ１１２で利用できる機能を含む設定画面（図１３）を形成し、表示する。ここで、接続可能なプリンタが複数ある場合はプリンタ名を表示し、ユーザに印刷するプリンタを選択させるための表示画面を生成する。尚、プリンタの選択は、上記に限らず、一番早く応答してきたプリンタや、より機能が多いプリンタ、印刷ジョブが混雑していないプリンタを選択する、等の方法も考えられる。

このように、ＣＰＵ１００は、印刷用紙の種類・サイズ、印刷品位、縁あり／なし等のプリンタで利用できる機能を選択させる設定画面１３０１（図１３）を表示する。設定画面の形成方法の一例として、以下に、ＨＴＭＬ記述のサンプルを示す。

------------------------------------------------
＜!DOCTYPE html＞
＜head＞
＜title＞印刷設定 ＜/title＞
＜script＞
＜!-- 用紙サイズ --＞
var PaperSizeNum = GetPaperSizeNum();
var p = document.getElementById("PaperList");
var i;
for(i=0; i＜PaperSizeNum; i++){
p.options[i] = new Option(GetPaperSizeT(i), GetPaperSizeV(i));
}

＜!-- 用紙種類--＞
var MediaTypeNum = GetMediaTypeNum();
var m = document.getElementById("MediaList");
var j;
for(j=0; j＜MediaTypeNum; j++){
m.options[i] = new Option(GetMediaType(j), GetMediaType(j));
}

＜!-- 印刷品位 --＞
var QualityNum = GetQualityNum();
var q = document.getElementById("QualityList");
var k;
for(k=0; k＜ QualityNum; k++){
q.options[i] = new Option(GetQuality(k), GetQuality(k));
}

＜!-- 縁あり/なし--＞
var BorderNum = GetBorderNum();
var b = document.getElementById("BorderList");
var l;
for(l=0; l＜BorderNum; l++){
b.options[i] = new Option(GetBorder(l), GetBorder(l));
}

＜!-- 印刷関数--＞
function printer() {
SetPrint(document.getElementById("PaperList").value,
document.getElementById("MediaList").value,
document.getElementById("QualityList").value,
document.getElementById("BorderList").value);
}
＜/script＞
＜/head＞

＜!-- 表示部 --＞
＜body＞
用紙サイズ ＜select id="PaperList"＞＜/select＞＜br /＞
用紙種類 ＜select id="MediaList"＞＜/select＞＜br /＞
印刷品位 ＜select id="QualityList"＞＜/select＞＜br /＞
縁あり/なし ＜select id="BorderList"＞＜/select＞＜br /＞
＜br /＞

＜button id="btn1" onclick="printer()"＞設定完了＜/button＞
＜/body＞
＜/html＞
------------------------------------------------
上記のＧｅｔＰａｐｅｒＳｉｚｅＮｕｍ（ ）、ＧｅｔＭｅｄｉａＴｙｐｅＮｕｍ（ ）、ＧｅｔＱｕａｌｉｔｙＮｕｍ（ ）、ＧｅｔＢｏｒｄｅｒＮｕｍ（ ）はネイティブ関数であり、それぞれの項目数を取得する機能を備える。例えば、プリンタが対応している用紙サイズがＡ４、Ａ５、Ｂ５、Ｌ判の４種類である場合、ＧｅｔＰａｐｅｒＳｉｚｅＮｕｍ（ ）は４を返す。

ＧｅｔＰａｐｅｒＳｉｚｅ（ｎ）、ＧｅｔＭｅｄｉａＴｙｐｅ（ｎ）、ＧｅｔＱｕａｌｉｔｙ（ｎ）、ＧｅｔＢｏｒｄｅｒ（ｎ）もネイティブ関数であり、引数ｎの値番目の文字列を返す。例えば、用紙サイズのテキストを返す関数のＧｅｔＰａｐｅｒＳｉｚｅ（０）の返り値は「Ａ４」、ＧｅｔＰａｐｅｒＳｉｚｅ（１）の返り値は「Ａ５」となる。これらの値は、プリンタから受信するプリンタ情報からネイティブ関数が取り出す。

尚、上記では、例として、用紙サイズ、用紙種類、印刷品位、縁あり／なしの設定を行う仕様であるが、これに限定されるものではない。他の例として、両面／片面、カラー／モノクロ、画像補正のオン／オフ等の他の設定項目が挙げられることは言うまでもない。

Ｓ８０８で、ＣＰＵ１００は、スクリプト層２１７で、設定画面１３０１に対するユーザ操作に基づいて、プリンタに設定する機能を選択する。上記の例で示したＨＴＭＬを、レンダリング部２１６を用いてディスプレイ１０４に表示した例が図１３に示す１３０１である。ネイティブ層２１８を介してプリンタ情報を要求し、プリンタ情報から上記のネイティブ関数を用いて取得した情報を基に設定画面１３０１が形成されている。尚、上記ＨＴＭＬはスクリプト層２１７、ネイティブ層２１８のいずれで形成しても良い。

また、図１３に示す用紙サイズ等の設定項目はそれぞれプルダウンメニューになっており、ユーザ操作によって項目を選択する事ができる。ここで、設定画面１３０１は、プルダウンメニューによって、用紙サイズの設定項目として選択可能な項目の一覧が表示されている状態を示しており、ユーザ操作によってＡ４やＡ５等の用紙サイズを選択することができる。

Ｓ８０９で、ＣＰＵ１００は、設定完了ボタン１３０２に対するユーザ操作を検知すると、ユーザ操作によって選択された設定項目を含む設定情報を作成して、ネイティブ層２１８へ送信する。上記ＨＴＭＬ記述の例にあるＳｅｔＰｒｉｎｔ（ ）もバインディング機能を有するネイティブ関数である。上記の例では、ＳｅｔＰｒｉｎｔ（ ）を用いて、用紙サイズ、用紙種類、印刷品位、縁あり／なしの設定を文字列としてネイティブ層２１８へ渡している。

Ｓ８１０で、ＣＰＵ１００は、バインディング機能によりスクリプト層２１７から設定情報を受信する。ネイティブ層２１８では、後に、受信した設定情報、印刷対象の画像データ、さらにはスタンプの画像データとを基に、プリンタ１１２の通信プロトコルに従って、プリントコマンドを生成する。そして、プリンタコマンドは、プリンタ通信部２１３を介してプリンタ１１２へ送信されることになる。

＜レンダリングの詳細＞
ユーザが、図１３に示した設定画面１３０１の設定完了ボタン１３０２を押下することで図３のＳ２７のレンダリング処理が開始する。ここでは、図３のＳ２７のレンダリングの詳細について、図１０を用いて説明する。Ｓ９０１、Ｓ９０３、Ｓ９０５、Ｓ９０８、Ｓ９０９、Ｓ９１２、Ｓ９１４は、ＣＰＵ１００がスクリプト層２１７のプログラムを用いて実行する処理である。Ｓ９０２、Ｓ９０４、Ｓ９０６、Ｓ９０７、Ｓ９１０、Ｓ９１１、Ｓ９１３は、ＣＰＵ１００がＯＳ層２１９のプログラムを用いて実行する処理である。Ｓ９１５〜Ｓ９１７は、ＣＰＵ１００がネイティブ層２１８のプログラムを用いて実行する処理である。

Ｓ９０１で、ＣＰＵ１００は、インジケータの起動をＯＳ層２１９に依頼する。Ｓ９０２で、ＣＰＵ１００は、依頼によって起動したインジケータをディスプレイ１０４に表示する。

Ｓ９０３で、ＣＰＵ１００は、Ｓ８０９で作成した設定情報で設定されている用紙サイズに対応する出力サイズを決定し、出力画像の描画領域を算出する。Ｓ９０４で、ＣＰＵ１００は、算出した出力画像の描画領域をＲＡＭ１０２に確保する。

Ｓ９０５で、ＣＰＵ１００は、ＯＳ層２１９に写真画像の描画を依頼する。Ｓ９０６で、ＣＰＵ１００は、写真画像の描画の依頼のスクリプトを解釈し、写真画像をレンダリングする。その後、Ｓ９０７で、Ｓ９０４で確保した描画領域に対し、レンダリング後の写真画像を反映する。ここでの反映とは、描画領域に変更を加えることであり、ディスプレイ１０４上に画像を表示することではない。

Ｓ９０８で、ＣＰＵ１００は、スタンプ画像の描画を依頼する前に、オブジェクトパラメータによるレンダリング条件の変更をスクリプトで記述して設定する。Ｓ９０９で、ＣＰＵ１００は、ＯＳ層２１９にスタンプ画像の描画を依頼する。

Ｓ９１０で、ＣＰＵ１００は、レンダリング条件に従って、スタンプ画像をレンダリングする。つまり、画像の回転処理やリサイズは、ＯＳ層で実行されている。レンダリング終了後、Ｓ９１１で、ＣＰＵ１００は、Ｓ９０４で確保した描画領域に対し、レンダリング後のスタンプ画像を反映する。

Ｓ９１２で、ＣＰＵ１００は、ＯＳ層２１９に出力画像データの取得を依頼する。Ｓ９１３で、ＣＰＵ１００は、描画領域（ＲＡＭ１０２）に存在する画像データを、ＢＡＳＥ６４データに変換して、スクリプト層２１７へ送信する。

Ｓ９１４で、ＣＰＵ１００は、ネイティブ層２１８に対し、ＯＳ層２１９から受信したＢＡＳＥ６４データを送信して、印刷を依頼する。

Ｓ９１５で、ＣＰＵ１００は、スクリプト層２１７から受信したＢＡＳＥ６４データをデコードする。Ｓ９１６で、ＣＰＵ１００は、ＢＡＳＥ６４データをＲＧＢ画像に変換する。Ｓ９１７で、ＣＰＵ１００は、インジケータの停止をＯＳ層２１９へ依頼する。

Ｓ９１８で、ＣＰＵ１００は、インジケータを停止して、ディスプレイ１０４の表示から消去する。

＜プリントの詳細＞
図３のＳ２８ではレンダリングした後の画像データを用いてプリント処理を実行する。実際には、図１０のＳ９１８の処理が終了し次第、Ｓ２８の処理が開始される。ここでは、図３のＳ２８のプリントの詳細について、図１１を用いて説明する。なお、図１１のＳ１００１〜Ｓ１００３は、ＣＰＵ１００がネイティブ層２１８のプログラムを用いて実行し、Ｓ１００４はプリンタ側で実行される処理である。

Ｓ１００１で、ＣＰＵ１００は、Ｓ９０６でレンダリングされた画像情報（ＲＧＢ値）を基に、そのＲＧＢ値をプリンタ１１２で利用可能な形式に変換する。プリンタが利用可能な形式は、ＲＧＢやＪＰＥＧ、ＣＭＹＫに加え、ＰＤＦ等のプリンタベンダーの独自フォーマット等もある。ここではそれらのうち、どのような形式であっても構わない。

Ｓ１００２で、ＣＰＵ１００は、前記設定情報とＳ１００１で変換された画像データを基に、プリンタ１１２へ送信するコマンドを生成する。Ｓ１００３で、ＣＰＵ１００は、プリンタの利用できる通信プロトコルに則り、Ｓ１００２で生成したコマンドを、Ｓ８０４で記憶したＩＰアドレスに対応するプリンタ１１２に対し、プリンタ通信部２１３を利用して送信する。

Ｓ１００４で、プリンタ１１２は、情報処理装置１１５から受信したコマンドに従って、プリントを実行する。

従って以上説明した実施形態によれば、ハイブリッドアプリケーションにおいて、スクリプト層とネイティブ層との間で画像データのやり取りができる。多くのＯＳはＪａｖａＳｃｒｉｐｔ（登録商標）を解釈可能な機能を標準的に備えている。これにより、ネイティブ言語の違いを意識せずとも、一度の開発で多くのＯＳで動作するアプリケーションをユーザに提供することが可能となる。それに加え、高速な実行速度をもつネイティブ機能を利用することが可能となり、ユーザビリティが向上する。また、ネイティブ機能を外部サーバとの通信をおこなわずに実現できるため、オフラインでの動作も可能となる。

また、この実施形態ではスクリプト層とネイティブ層とで画像データをやり取りする際に、それぞれのフォーマットへの変換工程を備える。その結果、たとえ印刷用高解像度の画像が処理される場合であっても、ネイティブ層において高速画像処理が実行され、その結果をスクリプト層が表示することができる。

さらに、この実施形態では、プリンタが保持する用紙情報をネイティブ層が取得して、かつ該情報をスクリプト層に伝達し、その結果を用いてＵＩ表示が実行される。そのため、ハイブリッドアプリケーションでありながら、プリンタが対応可能な用紙が正確にＵＩ上に表示されるため、ユーザは所望の用紙を選択することが可能となる。

またさらに、この実施形態では、ユーザが設定した印刷情報も、スクリプト層からネイティブ層を介してプリンタに伝達する仕組みを備えられる。そのため、ハイブリッドアプリケーションを実行する際にも、ユーザはプリンタの様々な印刷機能を利用することが可能となる。

［実施形態２］
ここでは、スクリプト層とネイティブ層でのデータやり取りをＢＡＳＥ６４を用いて直接行う例について説明する。ここでは、実施形態１と同じく図３に示したステップを実現するものであり、実施形態１と重複する部分が多い。そのため、ここでは説明を簡潔にするため、実施形態１と共通する処理についてはその説明を省略し、この実施形態に特徴的な部分のみを説明する。

図３に示す全体概要において、実施形態１と異なる部分は、Ｓ２１の写真画像選択、Ｓ２２の画像処理、Ｓ２３のスタンプ追加である。それぞれに対応する詳細なステップについては図１４〜図１６に示すフローチャートを参照して説明するが、これらの図において実施形態１で説明したのと同じ処理ステップには同じステップ参照番号を付し、その説明は省略する。

＜写真画像選択（図１４）＞
写真画像選択は、図４に示したのとほぼ同様である。

図４と図１４を比較すると分かるように、この実施形態では、スクリプト層２１７がネイティブ層２１８から直接データを返却される。このため、図１４に示す処理ではスクリプト層２１７での一意なＩＤの生成や、ネイティブ層でＩＤと画像データの関連付けを不要にしている。即ち、図１４では図４に比べて、Ｓ３０１、Ｓ３０３、Ｓ３０６が省略されている。

＜画像処理（図１５）＞
画像処理は、図５に示したのとほぼ同様である。

図５と図１５を比較すると分かるように、この実施形態では、図１５によれば、スクリプト層２１７のＳ４０３Ａで補正パラメータと共に、処理対象の画像も直接ネイティブ層で利用可能な形式に変換して転送する。一方、ネイティブ層２１８ではＳ４０４Ａにおいて、送信されてきた画像を扱うため、ＢＡＳＥ６４形式のデータをＲＧＢ画像に変換する。また、ここでもネイティブ層２１８でのＩＤと画像データの関連付けは不要なので、Ｓ４０５は不要にしている。Ｓ４０６以降の工程（補正パラメータに応じた画像処理）からは、図５で説明したのと同じである。

＜スタンプ追加（図１６）＞
スタンプ追加は、図６に示したのとほぼ同様である。この処理では、写真画像選択で説明したように、スクリプト層２１７がネイティブ層２１８から直接データを返却される。このため、図１６に示す処理ではスクリプト層２１７での一意なＩＤの生成や、ネイティブ層でＩＤと画像データの関連付けを不要にしている。即ち、図１６では図６に比べて、Ｓ５０１、Ｓ５０５が省略されている。図１６において、特徴的なことは、Ｓ５０３での画像の取得を、絶対パスの指定によっておこなっている点である。

実施形態２の全体的な処理の流れは実施形態１のそれと同じなので、スクリプト層（とＯＳ層）での画像処理についての説明は省略している。もし、スクリプト層（とＯＳ層）で画像処理を行うのであれば、以下の手順で実現可能である。

即ち、写真画像のＣａｎｖａｓからＣｏｎｔｅｘｔオブジェクトを取得し、次に、ＣｏｎｔｅｘｔオブジェクトのｇｅｔＩｍａｇｅＤａｔａメソッドを用いて画像データオブジェクトを取得する。それ後、取得した画像データオブジェクト内のＲＧＢＡデータを求める操作を加える。そして、ＣｏｎｔｅｘｔオブジェクトのｐｕｔＩｍａｇｅＤａｔａメソッドを用いることでＣａｎｖａｓに変更後のＲＧＢＡデータが反映される。

以上の手順で、ネイティブ層以外で画像処理を施すことが可能である。

従って以上説明した実施形態に従えば、扱う画像をスクリプト層とネイティブ層の間で直接やり取りすることで、実施形態１では実現できなかった、スクリプト層とネイティブ層の両方での画像処理が可能となる。

［実施形態３］
ここでは、画像データをＲＡＭ１０２で保持し続けるのではなく、利用しない時はテンポラリファイルとして２次記憶装置１０３に保存しておく例について説明する。

この実施形態も実施形態１と同じく、図３に示したステップを実現するものであり、実施形態１と重複する部分が多い。そのため、ここでは説明を簡潔にするため、実施形態１と共通する処理についてはその説明を省略し、この実施形態に特徴的な部分のみを説明する。

図３に示す全体概要において、実施形態１と異なる部分は、Ｓ２１の写真画像選択、Ｓ２２の画像処理、Ｓ２３のスタンプ追加である。それぞれに対応する詳細なステップについては図１７〜図１９に示すフローチャートを参照して説明するが、これらの図において実施形態１で説明したのと同じ処理ステップには同じステップ参照番号を付し、その説明は省略する。

＜写真画像選択（図１７）＞
写真画像選択は、図４に示したのとほぼ同様である。

図４と図１７を比較すると分かるように、この実施形態では、写真画像選択は実施形態１とほぼ同様である。この実施形態で特徴的な点は、取得したデータをスクリプト層２１７に返却後、ネイティブ層２１８では画像を保持し続けるのではなく、一旦ローカルに保存する点である。即ち、図１７において、Ｓ３１２では保存先を決定し、Ｓ３１３では現在の時刻をＩＤとして保存先との関連付けを行い、Ｓ３１４では、画像データを２次記憶装置１０３に保存する。

なお、Ｓ３１３において、一意なＩＤを生成できるのであればその方法は何でも良い。また、Ｓ３１４において画像データの保存形式はＲＧＢデータのビットマップデータのままでも良いし、ＪＰＥＧデータでも良く、データの形式は問わない。

＜画像処理（図１８）＞
画像処理は、図５に示したのとほぼ同様である。

図５と図１５を比較すると分かるように異なる点は２つある。この実施形態では、ネイティブ層で画像を保持していないため、図１５によれば、Ｓ４０５Ａで、処理対象の画像をＩＤと関連付けられたパスから取得する。さらに、処理後のデータをスクリプト層２１７へ送信後、Ｓ４１２において、再び画像データを保存する。この際、ネイティブ層２１８では、取得した時と同じパスへ画像を保存する。これにより、画像データを更新（上書き）することになる。

＜スタンプ追加（図１９）＞
スタンプ追加は、図６に示したのとほぼ同様である。即ち、図１９では図６に比べて、Ｓ５０５が省略されている。図１９において、特徴的なことは、Ｓ５０３での画像の取得を、絶対パスの指定によっておこなっている点である。また、図１９では、Ｓ５１１では保存先を決定し、Ｓ５１２では保存先とパスとの関連付けを行い、Ｓ５１３では、画像データを２次記憶装置１０３に保存する。

ここでは画像処理の後、情報を更新（上書き）しているが、古い画像に対し別のＩＤを付与すれば、画像処理の途中結果を保存しておけることになる。これを利用すれば、ＵＮＤＯ機能を実現できる。

従って以上説明した実施形態に従えば、使用しない画像データを一旦テンポラリファイルとして保存し、必要な時だけＲＡＭに展開するので、ＲＡＭにおけるメモリ容量不足が発生する頻度や確率を小さくすることができる。

［実施形態４］
ここでは、画像を取得サイズのまま操作するのではなく、表示ＵＩに応じて縮小画像として扱う例について説明する。

この実施形態も実施形態１と同じく、図３に示したステップを実現するものであり、実施形態１と重複する部分が多い。そのため、ここでは説明を簡潔にするため、実施形態１と共通する処理についてはその説明を省略し、この実施形態に特徴的な部分のみを説明する。

図３に示す全体概要において、実施形態１と異なる部分は、Ｓ２１の写真画像選択、Ｓ２２の画像処理、Ｓ２３のスタンプ追加、Ｓ２７のレンダリングである。それぞれに対応する詳細なステップについては図２０〜図２３に示すフローチャートを参照して説明するが、これらの図において実施形態１で説明したのと同じ処理ステップには同じステップ参照番号を付し、その説明は省略する。

＜写真画像選択（図２０）＞
写真画像選択は、図４に示したのとほぼ同様である。

図４と図２０を比較すると分かるように、この実施形態が実施形態１と異なる点は次の点である。即ち、図２０に示す処理では、画像取得後、Ｓ３０４’では画像のパスとＩＤとを関連付け、画像のＲＧＢデータへの展開後、Ｓ３０５’では縮小画像を扱うため取得した画像を一旦リサイズ（変倍）し、Ｓ３０６Ａではそのリサイズした画像をＩＤと関連付ける。

レンダリングの際にはリサイズされた画像ではなく、本来選択された画像を利用するので、本来選択された画像については、Ｓ３０４’で画像のパスとＩＤとを関連付けて記憶しておくことにより、後での参照を可能にしている。

なお、Ｓ３０２において返却される画像のサイズに関し、スクリプト層２１７から必要に応じたサイズを指示する。

＜画像処理（図２１）＞
画像処理は、図５に示したのとほぼ同様である。

図５と図２１を比較すると分かるように、唯一の違いは、Ｓ４０５Ａ’において、ＩＤによってリサイズ画像を特定する点にある。

＜スタンプ追加（図２２）＞
スタンプ追加は処理フローという点からは図２０に示す処理フローとほぼ同じである。

図２２と図２０とを比較すると分かるように、唯一の違いは、図２２のＳ５０３Ａにおいて画像の取得を、絶対パスの指定によって行う点である。

なお、図２２と図６とを比較すると分かるように、この実施形態が実施形態１と異なる点は次の点である。即ち、図２２に示す処理では、Ｓ５０２Ａで指定された絶対パスにより画像選択をして、Ｓ５０３Ａでは画像を取得し、Ｓ５０４’では画像のパスとＩＤとを関連付ける。そして、Ｓ５０４’では画像を一旦リサイズし、Ｓ５０５Ａではそのリサイズした画像をＩＤと関連付ける。

＜レンダリング（図２３）＞
この実施形態では、リサイズ画像に対して画像処理を実行したため、本来選択された画像については何の処理も施されていない。従って、本来選択された画像に対しても、リサイズ画像と同等の処理を施す必要がある。

従って、図２３に示すフローチャートでは、図１０と比較して、以下の処理が追加されている。

即ち、Ｓ９０４Ａでは、ＣＰＵ１００はスクリプト層２１７で写真画像の取得依頼を行なうが、その際、画像を特定するＩＤの他に、補正パラメータをネイティブ層２１８へ送信する。これに応じて、ＣＰＵ１００はネイティブ層２１８で、Ｓ９０４Ｂでは、受け取った補正パラメータとデコードし、Ｓ９０４ＣではＩＤと関連付けられているパスより画像を特定して、本来の画像を取得する。さらに、ＣＰＵ１００はネイティブ層２１８でＳ９０４Ｄにおいてデコードされた補正パラメータの情報に基づいて画像処理を取得した本来の画像に施す。そして、Ｓ９０４Ｅではスクリプト層２１７で解釈可能な形式のデータに変換し、Ｓ９０４ＦではＢＡＳＥ６４形式のデータをスクリプト層２１７に送信する。

さて、スタンプ画像に関しては、画像処理を施すことはないが、本来の画像を取得する必要があるため、Ｓ９０７ＡではＣＰＵ１００はスクリプト層２１７でネイティブ層２１８にスタンプ画像の取得依頼を行う。これに応じて、ＣＰＵ１００はネイティブ層２１８で、Ｓ９０７ＢではＩＤによりその画像を特定し、Ｓ９０７Ｃではスクリプト層２１７で解釈可能な形式のデータに変換し、Ｓ９０７ＤではＢＡＳＥ６４形式のデータをスクリプト層２１７に送信する。

これ以降は、図１０で説明した通りである。

従って以上説明した実施形態に従えば、サイズが縮小された画像を操作することで処理時間を短くすることができるので、ユーザビリティを向上させることができる。

［さらに別の実施形態］
また、図１で示した情報処理装置の例は、携帯可能なモバイルコンピュータを想定したハードウェアとなっているが、本発明はそれに限定されない。例えば、据え置き型のパーソナルコンピュータやゲーム機等のハードウェア上においても、同様の構成を実現することは可能である。

加えて、上記の実施形態ではスタンプ画像をネイティブ層から取得する例について説明したが、本発明はこれに限定されるものではない。例えば、ＣａｎｖａｓのＣｏｎｔｅｘｔ機能を利用すれば、自らコンテンツを作成することも可能である。

さらに加えて、上記実施形態では、コンテンツ（写真画像やスタンプ画像）の描画として、ＪａｖａＳｃｒｉｐｔのＣａｎｖａｓ機能で例に挙げて説明しているが、コンテンツの描画は、これに限定されるものではない。例えば、ＳＶＧ（Ｓｃａｌａｂｌｅ Ｖｅｃｔｏｒ Ｇｒａｐｈｉｃｓ）を利用して、コンテンツを描画することも可能である。

また、以上説明した実施形態では、デバイス内の画像フォルダから画像を１枚選択した例について説明したが、本発明はこれに限定されるものではない。例えば、データの絶対パスを指定する、画像の入っているフォルダごと指定する、デバイスのカメラ機能を利用しその場で画像を撮影するなどにより画像が選択されても良い。また、データの取得先についても、インターネット上の画像を選択する、脱着可能な記憶媒体内の画像を選択する、外部のデバイスと通信で画像を取得する、などが挙げられる。さらに、外部デバイスの例として、ＰＣ、携帯型情報端末、カメラなどが挙げられる。

さらに、上述したような情報は、アプリケーション内部に予め保持されていてもよいし、プリンタ本体に含まれており、それを「ＧｅｔＩｎｆｏｒｍａｔｉｏｎ」コマンドで取得するようにしてもよい。或いは、その情報が図１で示したようなサーバ１１４に保持されており、アプリケーションが起動した際に、そのサーバからウェブの標準的な通信プロトコルに従って上述したような情報を取得するようにしてもよい。

加えて、上記実施形態のプリンタは、インクジェットプリンタ、レーザープリンタ、昇華型プリンタ、ドットインパクトプリンタ等を利用することができる。これらには、プリンタ機能、スキャナ機能等を有する、単一機能ではない、いわゆる、複合機（マルチファンクションプリンタ）の場合もある。

尚、以上の実施形態の機能は以下の構成によっても実現することができる。つまり、本実施形態の処理を行うためのプログラムコードをシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）がプログラムコードを実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することとなり、またそのプログラムコードを記憶した記憶媒体も本実施形態の機能を実現することになる。

また、本実施形態の機能を実現するためのプログラムコードを、１つのコンピュータ（ＣＰＵ、ＭＰＵ）で実行する場合であってもよいし、複数のコンピュータが協働することによって実行する場合であってもよい。さらに、プログラムコードをコンピュータが実行する場合であってもよいし、プログラムコードの機能を実現するための回路等のハードウェアを設けてもよい。またはプログラムコードの一部をハードウェアで実現し、残りの部分をコンピュータが実行する場合であってもよい。

２０１：画像取得部、２０２：画像読込部、２０３：データ変換部、
２０４：データ保持部、２０５：コンテンツ描画部、２０６：画像処理制御部、
２０７：データ変換部、２０８：画像処理部、２１０：コンテンツ操作部、
２１１：プリンタ制御部、２１２：プリンタデータ生成部、２１３：プリンタ通信部、
２１４：インタプリタ、２１５：画像データ群、２１６：レンダリング部、
２１７：スクリプト層、２１８：ネイティブ層、２１９：ＯＳ層、２２０：データ保存部

Claims (19)

1. 情報処理装置のプロセッサにおいて実行されるプログラムであって、
   前記プログラムは、前記プロセッサで翻訳され実行されるための命令セットを含む第１のプログラム層と、前記プロセッサ以外で予め翻訳された命令セットを含む第２のプログラム層とを包含し、
   前記第１のプログラム層は画像データをテキストデータとして保持し、
   前記第２のプログラム層は画像データをバイナリデータとして保持し、
   前記第２のプログラム層は前記第１のプログラム層から受け付けた指示に従って選択された画像データをＢＡＳＥ６４形式のデータに変換し、
   前記第２のプログラム層は前記ＢＡＳＥ６４形式のデータを前記第１のプログラム層へ送信し、
   前記第１のプログラム層は前記ＢＡＳＥ６４形式のデータに対してレンダリング処理を実行するよう依頼し、
   前記第１のプログラム層は前記依頼したレンダリング処理の実行の結果を用いて印刷を依頼することを特徴とするプログラム。
2. プロセッサで翻訳で実行されるための命令セットを含む第１のプログラム層と、前記プロセッサ以外で予め翻訳された命令セットを含む第２のプログラム層とを包含するプログラムの実行が可能な情報処理装置の制御方法であって、
   前記第１のプログラム層は画像データをテキストデータとして保持する第１の保持工程と、
   前記第２のプログラム層は画像データをバイナリデータとして保持する第２の保持工程と、
   前記第２のプログラム層は前記第１のプログラム層から受け付けた指示に従って選択された画像データをＢＡＳＥ６４形式のデータに変換する変換工程と、
   前記第２のプログラム層は前記ＢＡＳＥ６４形式のデータを前記第１のプログラム層へ送信する送信工程と、
   前記第１のプログラム層は前記ＢＡＳＥ６４形式のデータに対してレンダリング処理を実行するよう依頼する第１の依頼工程と、
   前記第１のプログラム層は前記第１の依頼工程において依頼されたレンダリング処理の実行の結果を用いて印刷を依頼する第２の依頼工程とを有することを特徴とする情報処理装置の制御方法。
3. 前記画像データを画像処理のためにリサイズする変倍工程をさらに有することを特徴とする請求項２に記載の情報処理装置の制御方法。
4. ユーザから前記画像データに対する画像処理の指示を入力する入力工程と、
   前記入力工程において入力された画像処理の指示に従って画像処理を行う画像処理工程とをさらに有することを特徴とする請求項２に記載の情報処理装置の制御方法。
5. 前記画像処理の指示は前記画像データの各画素の値を補正したり加工する指示を含み、
   前記画像処理工程は、前記画像処理の指示に従って、前記画像データの各画素の値を補正したり加工する画像処理を実行する請求項４に記載の情報処理装置の制御方法。
6. 前記第１のプログラム層と外部デバイスとの通信を、前記第２のプログラム層を介して行う通信工程をさらに有することを特徴とする請求項２に記載の情報処理装置の制御方法。
7. 前記外部デバイスはプリンタであり、
   前記第１のプログラム層は前記プリンタによる印刷を行うためのコンテンツを記述し、
   前記コンテンツは前記プリンタに前記画像データとして出力されることを特徴とする請求項６に記載の情報処理装置の制御方法。
8. 前記コンテンツはＣａｎｖａｓを用いて記述されることを特徴とする請求項７に記載の情報処理装置の制御方法。
9. 前記コンテンツはＳＶＧを用いて記述されることを特徴とする請求項７に記載の情報処理装置の制御方法。
10. 前記第１のプログラム層は、ＨＴＭＬ５とＪａｖａＳｃｒｉｐｔ（登録商標）との内のいずれかを含むことを特徴とする請求項２に記載の情報処理装置の制御方法。
11. プロセッサで翻訳で実行されるための命令セットを含む第１のプログラム層と、前記プロセッサ以外で予め翻訳された命令セットを含む第２のプログラム層とを包含するプログラムの実行が可能な情報処理装置であって、
    画像データを、前記第１のプログラム層ではテキストデータとして保持し、前記第２のプログラム層ではバイナリデータとして保持する保持手段と、
    前記第１のプログラム層から受け付けた指示に従って選択された画像データを前記第２のプログラム層においてＢＡＳＥ６４形式のデータに変換する変換手段と、
    前記変換手段により変換された前記ＢＡＳＥ６４形式のデータを前記第２のプログラム層から前記第１のプログラム層へ送信する送信手段と、
    前記第１のプログラム層において受信された前記ＢＡＳＥ６４形式のデータに対してレンダリング処理を実行するレンダリング手段と、
    前記レンダリング手段によって実行されたレンダリング処理の実行の結果を用いて印刷を依頼する依頼手段とを有することを特徴とする情報処理装置。
12. 前記画像データを画像処理のためにリサイズする変倍手段をさらに有することを特徴とする請求項１１に記載の情報処理装置。
13. ユーザから前記画像データに対する画像処理の指示を入力する入力手段と、
    前記入力手段により入力された画像処理の指示に従って画像処理を行う画像処理手段とをさらに有することを特徴とする請求項１１に記載の情報処理装置。
14. 前記画像処理の指示は前記画像データの各画素の値を補正したり加工する指示を含み、
    前記画像処理手段は、前記画像処理の指示に従って、前記画像データの各画素の値を補正したり加工する画像処理を実行する請求項１３に記載の情報処理装置。
15. 前記第１のプログラム層と外部デバイスとの通信を、前記第２のプログラム層を介して行う通信手段をさらに有することを特徴とする請求項１１に記載の情報処理装置。
16. 前記外部デバイスはプリンタであり、
    前記第１のプログラム層は前記プリンタによる印刷を行うためのコンテンツを記述し、
    前記通信手段は、前記コンテンツを前記プリンタに前記画像データとして出力することを特徴とする請求項１５に記載の情報処理装置。
17. 前記コンテンツはＣａｎｖａｓを用いて記述されることを特徴とする請求項１６に記載の情報処理装置。
18. 前記コンテンツはＳＶＧを用いて記述されることを特徴とする請求項１６に記載の情報処理装置。
19. 前記第１のプログラム層は、ＨＴＭＬ５とＪａｖａＳｃｒｉｐｔ（登録商標）との内のいずれかを含むことを特徴とする請求項１１に記載の情報処理装置。

Images