JP2016014916A - 情報処理装置、情報処理方法、プログラム - Google Patents

情報処理装置、情報処理方法、プログラム Download PDF

Info

Publication number
JP2016014916A
JP2016014916A JP2014135174A JP2014135174A JP2016014916A JP 2016014916 A JP2016014916 A JP 2016014916A JP 2014135174 A JP2014135174 A JP 2014135174A JP 2014135174 A JP2014135174 A JP 2014135174A JP 2016014916 A JP2016014916 A JP 2016014916A
Authority
JP
Japan
Prior art keywords
layer
data
image
communication
printer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014135174A
Other languages
English (en)
Other versions
JP6363888B2 (ja
Inventor
後藤 文孝
Fumitaka Goto
文孝 後藤
梅田 清
Kiyoshi Umeda
清 梅田
尚紀 鷲見
Hisanori Washimi
尚紀 鷲見
鈴木 智博
Tomohiro Suzuki
智博 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014135174A priority Critical patent/JP6363888B2/ja
Priority to US14/740,678 priority patent/US9678700B2/en
Publication of JP2016014916A publication Critical patent/JP2016014916A/ja
Priority to US15/586,660 priority patent/US10019206B2/en
Priority to US16/002,466 priority patent/US10318213B2/en
Application granted granted Critical
Publication of JP6363888B2 publication Critical patent/JP6363888B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1202Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/121Facilitating exception or error detection and recovery, e.g. fault, media or consumables depleted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1278Dedicated interfaces to print systems specifically adapted to adopt a particular infrastructure
    • G06F3/1292Mobile client, e.g. wireless printing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1202Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203Improving or facilitating administration, e.g. print management
    • G06F3/1206Improving or facilitating administration, e.g. print management resulting in increased flexibility in input data format or job format or job type
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1223Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1236Connection management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1223Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237Print job management
    • G06F3/1244Job translation or job parsing, e.g. page banding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1223Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237Print job management
    • G06F3/1253Configuration of print job parameters, e.g. using UI at the client
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1278Dedicated interfaces to print systems specifically adapted to adopt a particular infrastructure
    • G06F3/1285Remote printer device, e.g. being remote from client or server
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45504Abstract machines for programme code execution, e.g. Java virtual machine [JVM], interpreters, emulators
    • G06F9/45508Runtime interpretation or emulation, e g. emulator loops, bytecode interpretation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45504Abstract machines for programme code execution, e.g. Java virtual machine [JVM], interpreters, emulators
    • G06F9/45529Embedded in an application, e.g. JavaScript in a Web browser
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/465Distributed object oriented systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Stored Programmes (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)

Abstract

【課題】スクリプト層を含むソフトウェア構成において、外部のデバイスとの通信に基づく画像処理の実行不可を防ぐ情報処理装置を提供する。
【解決手段】アプリケーションの印刷機能に用いられる印刷装置と通信する場合、アプリケーションの実行の際にプロセッサが実行可能に翻訳されて実行されるスクリプト命令セットで構成された第1の層において、プロセッサが実行可能なように予め翻訳された命令セットで構成された第2の層に対して印刷装置との通信を要求する。そして、第2の層において、その要求に従って、印刷装置と通信する。
【選択図】図9

Description

本発明は、画像処理を行う情報処理装置、情報処理方法、プログラムに関する。
近年、カメラ機能が搭載された可搬型多機能携帯電話(以下、モバイルコンピュータ)が普及し、デジタルカメラや従来のパーソナルコンピュータ(以下、PC)の販売台数を遥かに凌ぐ勢いで拡販されている。このようなモバイルコンピュータのシステムは、基本的には3つの要素で成り立っている。即ち、コンピュータ自身であるハードウェア、ハードウェア上で動作するオペレーティングシステム(以下、OS)、OS上で動作するアプリケーションである。ユーザは、アプリケーションを用いて、地図やメール、ブラウザを起動してインターネット上のウェブサイトを閲覧するなどの操作を行うことができる。このようなモバイルコンピュータ上で動作するアプリケーションの形態として、主に2つのものが存在する。ネイティブアプリケーションとウェブアプリケーションである。以下、それぞれの特徴を説明する。
ネイティブアプリケーションは、通常、OS毎に用意される開発環境や開発言語により開発される。例えば、A社が提供するOS上ではC/C++言語、B社が提供するOS上ではJava(登録商標)言語、C社が提供するOS上では更に異なる開発言語を用いる、といったようにOS毎に異なる開発言語で開発される。ネイティブアプリケーションは、各開発環境において予めコンパイル(翻訳)され、人間が理解可能ないわゆる高水準言語から、コンピュータのCPUが解釈可能なアセンブラ等の命令セット群に変換される。このように、ネイティブアプリケーションには、命令を直接CPUが解釈することから高速動作が可能であるというメリットがある。
ウェブアプリケーションは、コンピュータ上のOSに標準的に組み込まれているウェブブラウザ上で動作するアプリケーションである。ウェブアプリケーションは、ウェブブラウザが解釈できるように、一般的には、HTML5、CSS、Javascript(登録商標)といった言語を用いて開発される。これらはウェブ標準言語であるため、一度アプリケーションを記述すれば、ウェブブラウザが動作する環境であればどこでも動作可能というメリットがある。特許文献1には、ウェブアプリケーションの形態の一例が記載されている。HTML5、CSS、JavaScriptで記述されたウェブアプリケーションの本体は、モバイルコンピュータ外部のサーバ上に存在する。ウェブアプリケーションは、利用時にサーバからモバイルコンピュータにインターネット回線を介してダウンロードされるため、ユーザは、ユーザインタフェース(UI)デザインなどを予めコンパイルすることなく動的に変更することができる。
近年、モバイルコンピュータは高解像度のカメラを保持することが多くなってきている。モバイルコンピュータは日常的に携帯され、かつ写真を数千枚程度記憶可能なメモリを備えているため、ユーザは高い頻度で気軽に写真撮影を楽しむことができる。このような写真画像に対して、例えばモノクロ・セピア調にするフィルタ処理を施したり、写真が暗い、色バランスが崩れている等の不具合を修正するための画像処理は、ユーザにとって極めて重要であり、必要不可欠なアプリケーションとなってきている。このような画像処理をユーザに対して、ストレスなく簡単に提供できることがアプリケーションにおいては重要である。
特開2011−233034号公報
ウェブアプリケーションは、一般的には、ブラウザのセキュリティ上の制約から、ブラウザ上でJavaScriptにより実行されるか、サーバ上で実行される。JavaScriptは、従来より、人間が視認可能な文字列のスクリプトとして記述され、スクリプトを動作時に随時コンパイルすることで実行することができる。しかしながら、高度で複雑な画像処理をJavaScriptで記述すると動作が遅くなるという問題がある。
特許文献1のように画像処理をサーバで実行するように構築した場合には、モバイルコンピュータ内部に存在する写真などのデータをインターネット回線を介してサーバ上にアップロードし、画像処理後の結果をダウンロードする時間が必要となる。これは、モバイルアプリケーションに対してストレスの少ない、即時的な処理を欲しているユーザにとっては大きな問題となる。それに加え、サーバでの処理はオフラインでは実行できないという問題がある。
上述したように、ネイティブアプリケーションには、処理を高速実行できるというメリットがある。しかしながら、ネイティブアプリケーションはOS毎に異なる開発言語で別々に開発する必要があるため、開発コストと開発時間が増大するという問題がある。また、ネイティブアプリケーションは、予めコンパイルする必要がある。そのため、例えばアプリケーションのUIデザインを動作時に変更したり、機能を動的に追加するといったことは難しく、柔軟性に欠けるという問題がある。
ここで、UIの全て若しくは大部分をHTML5、CSS3、Javascriptといったいわゆるウェブ標準言語で記述し、ウェブ標準言語で記述された内容から、ネイティブ言語で記述された機能を利用することができるアプリケーションを考える。このようなアプリケーションをモバイルコンピュータ上に実装することで、ウェブアプリケーションとネイティブアプリケーションの双方のメリットを実現するシステムをモバイルコンピュータ上で構築することができる。
そのようなシステム上で、例えば、写真印刷アプリケーションを動作させる場合を考える。そのようなアプリケーションでは、例えば、印刷対象となる写真上に撮影日時などの日付情報を重畳し、絵文字などのスタンプ画像を重畳し、重畳した結果を外部のプリンタでプリントする。
ここで、JavaScript等のスクリプトで記述されたアプリケーションは、一般的にセキュリティ上の制約から外部のデバイスと通信ができないという制約を有している。一方、上記のプリンタ等、接続される外部デバイスは、プリント機能の設定だけでも複数種類有する場合も多く、プリント機能以外にも様々な機能を実行可能になっている。例えば、プリント品質を維持する為のメンテナンス実行、ステータス管理、エラー通知などである。また、プリンタの機種によっても機能が異なる。ウェブアプリケーション等のスクリプトで記述されたアプリケーションは、外部のデバイスとの通信が制約されるので、プリンタが持つ機能をアプリケーションから十分に利用することができない。
本発明の目的は、このような従来の問題点を解決することにある。上記の点に鑑み、本発明は、スクリプト層を含むソフトウェア構成において、外部のデバイスとの通信に基づく画像処理の実行不可を防ぐ情報処理装置、情報処理方法、プログラム及び記憶媒体を提供することを目的とする。
上記課題を解決するため、本発明に係る情報処理装置は、プロセッサと、アプリケーションの実行の際に前記プロセッサが実行可能に翻訳されて実行されるスクリプト命令セットで構成された第1の層と、前記プロセッサが実行可能なように予め翻訳されている命令セットで構成された第2の層と、を有する階層構造を成し、前記第1の層と前記第2の層との連携により前記アプリケーションを実行するためのプログラムを記憶する記憶手段と、前記アプリケーションの印刷機能に用いられる印刷装置と通信する場合、前記第1の層において、前記第2の層に対して前記印刷装置との通信を要求する要求手段と、前記第2の層において、前記要求手段による要求に従って、前記印刷装置と通信する通信手段とを備えることを特徴とする。
本発明によれば、スクリプト層を含むソフトウェア構成において、外部のデバイスとの通信に基づく画像処理の実行不可を防ぐことができる。
携帯型情報端末のハードウェア構成を示すブロック図である。 携帯型情報端末のソフトウェア構成を示すブロック図である。 写真印刷処理の全体の手順を示すフローチャートである。 S301の写真画像選択の処理を示すフローチャートである。 S302の画像処理を示すフローチャートである。 S303のスタンプ画像追加の処理を示すフローチャートである。 S304のスタンプ画像の特定の処理を示すフローチャートである。 S305のスタンプ画像の操作処理を示すフローチャートである。 S306のプリンタ設定の処理を示すフローチャートである。 S307のレンダリング処理を示すフローチャートである。 S308のプリント処理を示すフローチャートである。 写真印刷アプリケーション画面の一例を示す図である。 プリンタの設定UIの一例を示す図である。 複数の通信プロトコルによる外部デバイスとの通信を説明する図である。 プリント実行における通信プロトコルによる通信を説明する図である。 ステータス確認における通信プロトコルによる通信を説明する図である。 プログレスバーを示す図である。
以下、添付図面を参照して本発明の好適な実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成要素には同一の参照番号を付して、説明を省略する。
[第1の実施形態]
以下、携帯型情報端末上で、ウェブアプリケーションの1つである写真印刷アプリケーションを動作させたときの動作について説明する。写真印刷アプリケーションでは、ユーザが選択した画像に対して様々な画像処理(例えば、輝度補正し、スタンプ画像を追加)を適用した後に、印刷対象のコンテンツを印刷する。なお、本実施形態においては、写真印刷アプリケーションは、後述するハイブリッド型アプリケーションとして提供されている。
[ハードウェア構成]
図1は、情報処理装置、特に、携帯型情報端末100のハードウェア構成の一例を示すブロック図である。同図において、CPU(中央演算装置)101は、各実施形態において説明する動作を、プログラムをROM102からRAM103に読み出して実行することにより実現する。ROM102は、CPU100により実行されるプログラム等を記憶するコンピュータ読取可能な記憶媒体である。RAM103は、例えば、CPU100によるプログラムの実行時に、各種データを一時的に記憶するためのワーキングメモリとして用いられる。2次記憶装置104は、例えばハードディスクやフラッシュメモリであり、例えば、画像ファイルや画像データ、画像解析などの処理結果を保持するデータベースなどを記憶する。タッチセンサ105は、タッチパネル上でのユーザの接触動作を検知するためのセンサである。ディスプレイ106は、写真印刷アプリケーション上の印刷設定画面等のユーザインタフェース画面や、画像処理結果などを表示する。ディスプレイ106は、タッチセンサ105を含んでも良い。
加速度センサ107は、加速度を検出するためのセンサであり、携帯型情報端末100の傾き等を検出する。外部インタフェース(IF)108は、携帯型情報端末100をプリンタ114と接続する。携帯型情報端末100は、外部IF108により、プリンタ115での印刷を行うことができる。また、携帯型情報端末100は、外部IF110により、インターネット116を介してプリンタ115での印刷を行うこともできる。外部IF109は、携帯型情報端末100を外部撮像デバイス(カメラ)114と接続する。外部撮像デバイス113や内部撮像デバイス111により撮像された画像データは、所定の画像処理後、2次記憶装置104に格納される。外部IF110は、無線LANを備えており、携帯型情報端末100をインターネット116と接続する。携帯型情報端末100は、外部IF110により、インターネット116を介して外部の各種サーバ117から画像データ等を取得することができる。携帯型情報端末100の動作に必要な電源は、バッテリ112から供給される。上記のCPU101〜バッテリ112は、システムバス(制御バス/データバス)113を介して相互に接続されており、CPU101は各部を統括的に制御する。
携帯型情報端末は、USBや、有線LANのような有線接続を行うための外部IFを含んでも良い。また、無線LANの他に、Bluetooth(登録商標)や赤外線通信のような無線接続を行うための外部IFを含んでも良い。無線LANによる接続形態においては、例えば、デバイス同士が直接接続される場合や、不図示の無線LANルータを介して通信先のデバイスと接続される場合がある。
[ソフトウェア構成]
図2は、写真印刷アプリケーション(以下、アプリケーション)を実行するための、携帯型情報端末100上でのソフトウェア構成の一例を示す図である。図2に示すソフトウェアの各ブロックは、CPU101により実現される。本実施形態においては、携帯型情報端末100のソフトウェアは、スクリプト層201、ネイティブ層202、OS層203の3つの階層構造を有する。アプリケーションの機能は、図2に示す各層の連携により実現される。スクリプト層201は、HTML5、CSS(Cascading Style Sheets)3、Javascriptといったウェブ標準言語により、テキストデータで各種命令(スクリプト命令セット)が記述されている。各種命令とは、例えば、コンテンツの描画や画像の表示、動画の再生等の命令である。また、スクリプト層201は、それらのテキストデータを保持している。記述されたスクリプトは、アプリケーション実行環境上に存在するプロセッサ(CPU101)によりテキスト命令群が翻訳されて実行される。翻訳は、実行の度に命令文を一行ずつ動的に翻訳する形態や、アプリケーションを起動したときに翻訳する形態、アプリケーションを携帯型情報端末100にインストールしたときに翻訳する形態などで行われる。以下、スクリプト層201で処理することやスクリプト層201での内容を単にスクリプトとも呼ぶ。スクリプトの命令をデバイス(携帯型情報端末100)内で翻訳する際には、例えば、後述するネイティブ層202やOS層203のインタプリタの機能が使用される。なお、本実施形態においては、アプリケーションのUIの大部分がスクリプトで記述される。
ネイティブ層202は、アプリケーション実行環境以外で予め翻訳(コンパイル)された処理命令セットを実行する部分である。ネイティブ層202は、例えばC/C++といった高水準言語で記述されたコードが予めアプリケーション開発者のPCやサーバ上でコンパイルされ、CPU101が直接解釈できる命令の集合体となっている。以下、ネイティブ層202で処理することやネイティブ層202での内容、OS層203の機能をネイティブ層202から呼び出すことを含めて単にネイティブとも呼ぶ。なお、ネイティブ層202の他の実装系としてはJavaがある。Javaは、C/C++と類似の高水準言語であり、予めアプリケーション開発時の開発環境上で中間コードに翻訳されている。翻訳された中間コードは、各OSが備えるJava仮想環境上で動作する。本実施形態においては、そのような形態も、ネイティブ層203の形態の1つである。
OS層203は、デバイスのオペレーティングシステム(OS)に対応する。OS層203は、ハードウェア機能の使用をアプリケーションに提供する役割や、OS固有の機能を有する。OS層203はAPIを備えており、スクリプト層201やネイティブ層202からOS層203の機能を使用することができる。
本実施形態では、上記のスクリプト層201からネイティブの機能の呼び出しを可能にすることをバインディング(又はバインド)と呼ぶ。各種ネイティブ機能はAPIを備えており、スクリプト層201は、APIを呼び出すことによりネイティブ機能を使用することができる。そのようなバインディング機能は、通常、各種OSが標準的に備えている。本実施形態では、スクリプト層201とネイティブ層202を両方含むアプリケーションを特にハイブリッド型アプリケーションと呼ぶ。ハイブリッド型アプリケーションでは、UIの全て若しくは大部分をHTML5、CSS3、Javascriptといったいわゆるウェブ標準言語で記述し、ウェブ標準言語で記述された内容から、ネイティブ言語で記述された機能を利用することができる。このようなハイブリッド型アプリケーションを携帯型情報端末100上に実装することで、ウェブアプリケーションとネイティブアプリケーションの双方のメリットを実現するシステムを携帯型情報端末100上で構築することができる。
以下、図2の各ブロックについて説明する。
●画像データの取得
スクリプト層201の画像取得部204は、ネイティブ層202に対して画像データの取得を依頼する。取得依頼方法は複数可能であり、例えば、ファイルの存在場所そのものを指定する絶対パス指定方法や、ダイアログ表示を促す方法などがある。ネイティブ層202の画像読込部205は、画像取得部204からの取得依頼に基づき、画像データを保持している領域であるネイティブ層202の画像群206から画像データを取得する。画像群206からの画像データの取得方法は、画像取得部204の依頼方法によって異なる。画像読込部205は、例えば、ファイルの絶対パスに基づき直接に画像データを取得したり、ダイアログ表示での選択に基づき画像データを取得する。
ネイティブ層202のデータ変換部207は、ネイティブ層202のデータをスクリプト層201で利用可能なデータ形式に変換する。逆に、データ変換部207は、スクリプト層201から送られてきたデータをネイティブ層202で利用可能なデータ形式に変換する。スクリプト層201のデータ変換部208は、スクリプト層201のデータをネイティブ層202で利用可能なデータ形式に変換する。逆に、ネイティブ層202から送られてきたデータをスクリプト層201で利用可能なデータ形式に変換する。本実施形態では、例えば、ネイティブ層202の画像読込部205により取得された画像データは、スクリプト層201で利用可能なBASE64データ形式に変換されてスクリプト層201に渡される。
●画像データの読込/保存
ネイティブ層202のデータ保持部209は、画像読込部205により読み込まれた画像データや、画像処理部210により画像処理が実行された画像データを保持する。ここで、保持される画像データはRGB展開されている。従って、画像読込部205により読み込まれて保持された画像データに対して、直ちに画像処理が実行可能である。また、記憶されている画像データは、スクリプト層201の画像取得部204で生成されたIDと対になっており、データ保持部209から画像データを取得する場合には、IDを指定する。
ネイティブ層202のデータ保存部216は、必要に応じて、データ保持部209に保持されている画像データを画像群206に格納する。また、データ保存部216は、アプリケーションが用意しているスタンプ画像や、テンポラリファイルの保存に用いられる場合もある。
●出力
スクリプト層201のレンダリング部219は、出力(表示/印刷)対象の画像のレンダリングについてのスクリプトを作成するためのブロックであり、コンテンツ描画部211、コンテンツ操作部212、画像処理制御部213を含む。本実施形態では、レンダリング部219でスクリプト作成途中の画像はディスプレイ106には表示されない。コンテンツ描画部211は、印刷対象のコンテンツを、ウェブ標準言語で記述する。スクリプト層201のコンテンツ操作部212は、画像の操作をスクリプトに反映する。画像の操作とは、例えば、画像の拡大、移動、回転である。コンテンツ描画部211による記述には、コンテンツ操作部212で操作された内容も反映される。ここで記述されたコンテンツのスクリプトは、後述するOS層203のインタプリタ218で解釈され、ディスプレイ106に表示される。画像処理制御部213は、画像処理に用いる補正パラメータ(例えば、輝度の補正値)と、補正対象となる画像を決定する。それらのデータは、必要に応じてスクリプト層201のデータ変換部208で、ネイティブ層202で利用可能なデータ形式に変換されてネイティブ層202に渡される。
ネイティブ層202の画像処理部210は、スクリプト層201の画像処理制御部213から指定された画像データに対して画像処理(輝度補正等)を実行する。その際、どのような画像処理を実行するかは、画像処理制御部213で設定された補正パラメータに従って決定される。画像データの指定については、例えば、スクリプト層201から画像データのパスを受け取る方法がある。
OS層203のタッチイベント部220は、ディスプレイ106へのユーザによるタッチに関する情報を取得する。タッチに関する情報とは、ディスプレイ上のタッチの検知、タッチされた位置情報などである。取得したデータは、ネイティブ層202を介してスクリプト層201のコンテンツ操作部212に送信される。例えば、ユーザがディスプレイ106上で所望のスタンプ画像を選択した情報は、タッチイベント部216により、ネイティブ層202を介してスクリプト層201のコンテンツ操作部212に送信される。
OS層203のインタプリタ218は、スクリプト層201で生成されたウェブ標準言語によるスクリプト命令を解釈・実行するブロックであり、画像の描画命令等はインタプリタ218により解釈され、ディスプレイ106への表示が実行される。また、インタプリタ218は、スクリプト層201で描画された印刷コンテンツを翻訳し、印刷解像度にレンダリングし、画像データをRGB画素値で出力する。図2では、インタプリタ218は、OS層203に構成されているが、ネイティブ層202に構成されても良い。
●プリンタとの通信
スクリプト層201のプリンタ制御部214は、レンダリング開始依頼、プリンタ検知の依頼、プリンタ設定画面の表示、プリント情報の生成及び送信を制御する。ここでのレンダリングとは、印刷に必要なビットマップデータを作成することをいう。プリンタ設定画面では、用紙のサイズ、用紙の種類、カラー/モノクロ印刷などの設定が可能である。ここで設定された項目に基づいて、ネイティブ層202のプリンタデータ生成部215は、プリント情報を生成する。
ネイティブ層202のプリンタデータ生成部215は、スクリプト層201のプリンタ制御部214からの依頼に基づき、プリンタ通信に必要なデータやコマンドを生成する。プリンタ通信に必要なデータとは、通信プロトコルに則ったデータであり、コマンドとは、印刷やスキャンなど、プリンタの動作を決定するためのデータである。OS層203の通信制御部217は、プリンタデータ生成部215から受け取ったデータを、接続されているプリンタ115に送信するためのインタフェースである。
ネイティブ層202の外部デバイス通信部221は、プリンタなど、接続している外部デバイスとの通信を行うためのインタフェースである。プリンタデータ生成部215から受け取ったデータを送信したり、プリンタ115からの情報の受け取りを行う。本実施形態では、OS層203の通信制御部217を介してプリンタ115と通信するが、直接外部IF108へデータを送信しても良い。通信制御部217が、外部デバイスが用いる通信プロトコルに対応している場合には、外部デバイス通信部221と通信制御部217は、その通信プロトコルに沿った通信データの処理を行う。一方、通信制御部217が、外部デバイスが用いる通信プロトコルに対応していない場合には、通信プロトコルに沿った通信データの処理は、外部デバイス通信部221が行う。
[全体フロー]
図3は、本実施形態における写真印刷処理の全体の手順を示すフローチャートである。図3の処理は、例えば、CPU101がROM102からプログラムをRAM103に読み出して実行することにより実現される。図12は、本実施形態におけるスクリプトで記述された写真印刷アプリケーション画面の一例を示す図である。
S301において、CPU101は、ユーザによる写真画像選択ボタン1201の押下(タッチ操作も含む。以下同様)を検出し、画像の選択を受け付ける。画像の選択を受け付けると、CPU101は、描画領域1206の全体に、選択された画像を表示する。
S302において、CPU101は、ユーザによる、スライドバー1202を用いた、画像処理時に利用する補正パラメータ(例えば、輝度補正値)を検出する。CPU101は、検出した補正パラメータに従って、画像に対して画像処理を実行し、描画領域1206の全体に画像を表示する。
S303において、CPU101は、ユーザによる、スタンプ追加ボタン1203の押下を検出すると、スタンプ画像一覧を表示する。そして、CPU101は、ユーザによる所望のスタンプ画像の選択を受け付け、描画領域1206上にスタンプ画像を追加・表示する。
S304において、CPU101は、ユーザによるスタンプ画像の特定操作を検出する。スタンプ画像の特定とは、ディスプレイ106上でタッチされた座標とスタンプ画像の座標とにより、スタンプ画像がタッチされたことを判断する処理である。スタンプ画像が特定されると、そのスタンプ画像は、操作受付状態となる。操作受付状態とは、スタンプ画像の操作(スワイプ等)に関する指示がされた場合、スタンプ画像がその指示で動作可能な(スワイプ可能な)状態のことをいう。操作受付状態のスタンプ画像が存在しない場合には、スタンプ画像操作に関する指示がされても何も起こらない。
S305において、CPU101は、ユーザによるスタンプ画像の操作を受け付ける。例えば、ユーザが図12のスライドバー1204を操作すると、CPU101は、その操作に応じて、操作受付状態となっているスタンプ画像を回転する。
S306において、CPU101は、ユーザによる、プリントボタン1205の押下を検出すると、プリントに必要な情報の設定UIをディスプレイ106に表示する。ここで、プリントに必要な情報とは、例えば、用紙サイズ、両面、モノクロ・カラー印刷などの情報である。図13に、プリンタの設定UIの一例を示す。
S307において、CPU101は、ユーザによる、設定完了ボタン1302の押下を検出すると、印刷に必要なビットマップデータを作成するレンダリングを開始する。CPU101は、描画領域1206に表示されている画像について、プリント解像度での画像データを作成する。
S308において、CPU101は、S307でプリント解像度で作成された画像データを、プリンタ制御のコマンドと共にプリンタ115に送信し、プリンタ115から印刷物を出力させる。
上記では、説明上、必要最小限のフローを記載しているが、特に上記の処理の流れに限定されるものではない。以下、各工程での詳細な動作を説明する。
[写真画像選択]
上述のように、ユーザによる写真画像選択ボタン1201の押下を検出することにより、S301の処理が開始する。図4は、S301の写真画像選択の処理を示すフローチャートである。図4のS401、S402、S409〜S411は、スクリプト層201により実行される処理であり、S403〜S408は、ネイティブ層202により実行される処理である。他のフローチャートにおいても同様に示す。
S401において、スクリプト層201の画像取得部204は、取得対象の画像データを識別するための一意なIDを生成する。IDは、数値や文字列など、スクリプト層201からネイティブ層202へ送信できる形式であればどのような形式でも良い。
S402において、スクリプト層201の画像取得部204は、ネイティブ層202にIDを渡すとともに画像選択を依頼する。その依頼の方法として、スクリプト層201からネイティブ層202固有の画像選択APIを直接呼び出すようにしても良い。ここで、ネイティブ層202固有の画像選択APIを直接呼び出せない場合には、ネイティブ層202にラッパーを用意しておいても良い。ラッパーとは、スクリプト層201から呼び出せる関数をネイティブ層202に予め用意しておき、ネイティブ関数内でネイティブ層202固有の関数を呼び出す方法である。また、画像選択APIは、IDを例えば引数として渡す仕組みを備えている。そのような構成により、スクリプト層201は、ネイティブ層202へIDを渡すことができる。
S403において、ネイティブ層202では、デバイス固有の画像選択UIがディスプレイ106に表示されるよう表示制御が行われる。画像読込部205は、ユーザによる、表示された画像選択UI上での画像の選択を受け付ける。画像の選択は、脱着可能な記憶媒体内の画像の選択でも良いし、携帯型情報端末100のカメラ機能が用いられて撮影された画像データであっても良い。
S404において、ネイティブ層202の画像読込部205は、選択された画像に対応する画像データを画像群206から取得する。画像データの取得は、例えば、画像ファイルのダウンロードやコピーによって行われる。また、ファイルオープンは、ネイティブ層202の使用言語に応じたものにより行われる。
S405において、ネイティブ層202のデータ保持部209は、取得した画像データをRGB展開して保持する。本実施形態において、RGBデータで保持されているが、これに限定されるものではない。例えば、ビットマップデータであれば、JPEG(Joint Photography Expert Group)、PNG(Portable Network Graphics)、RGBA形式などで保持するようにしても良い。ここで、RGBA形式とは、画像データのRGB(赤、緑、青)に、透明度としてAを組み合わせたデータ形式である。
S406において、ネイティブ層202のデータ保持部209は、展開されたRGBデータをS403で受信したIDと関連付けて記憶する。関連付けの方法として、例えば、IDとRGBデータを持つオブジェクトを作成することにより、IDによるRGBデータの特定を可能にしても良い。また、IDとRGBデータとの対応付けは、IDとRGBデータと対にすることに限定されるわけではなく、例えば、IDとRGBデータのパスとを関連付ける方法を用いてもよい。その他にも、RGBデータの先頭アドレスや、RGBデータを呼び出す関数と関連付ける方法などが用いられても良い。
S407において、S405で取得したRGBデータに基づいて、スクリプト層201で対応している形式に変換可能な画像データが生成される。本実施形態においては、例えばJPEG形式の画像データが生成される。RGBデータからJPEGデータへの変換には、OSが有するエンコーダが用いられる。
S408において、ネイティブ層202のデータ変換部207は、JPEGデータをBASE64データに変換する。これは、スクリプト層201では、RGBデータ配列やJPEGのバイナリデータをそのまま利用できず、スクリプト層201が利用可能な形式にデータを変換する必要があるためである。本実施形態では、JavaScript(登録商標)が用いられている場合には、スクリプト層201で扱う画像データはBASE64形式であるとする。BASE64とは、バイナリデータを文字列データとして扱うためのエンコード方式である。
S409において、スクリプト層201のデータ変換部208は、ネイティブ層202のデータ変換部207から、S408で変換されたBASE64データを受け取る。そして、BASE64データを表示するための領域がRAM103に確保される。本実施形態では、メモリの確保のために、例えば、HTMLのCanvas機能が用いられ、画像の描画は、Canvasの持つContextオブジェクトのAPIにより行われる。
S410において、スクリプト層201の画像処理制御部213は、補正パラメータを生成し、その補正パラメータを初期化する。補正パラメータとは、S302の画像処理の内容を決定するパラメータ群を保持するオブジェクトである。ネイティブ層202でどのような画像処理が実行されるかは、補正パラメータに応じて決定される。JavaScriptでは、例えば、下記のような補正パラメータが生成される。
var CorrectionParam = function(){
this.brightness = 0;
}
上記の補正パラメータは、CorrectionParamオブジェクトの中に、明るさ補正用にbrightnessという変数名と、brightnessには0という値が格納されているということを表している。説明上、補正パラメータは、明るさ補正用のみとして示しているが、その他の補正処理用のパラメータを追加することにより、画像処理の種類を増やすことができる。
S411において、スクリプト層201の画像処理制御部213は、描画領域1206での描画するデータにネイティブ層202から受け取ったBASE64データを指定する。これにより、OS層203のインタプリタ218がスクリプトを解釈し、描画領域1206に画像を表示することができる。下記に、描画領域1006にBASE64データを反映させるためのコードの一例を示す。
var base64Data = ネイティブからのBASE64データ
var canvas = document.createElement("canvas");//画像の描画領域確保
canvas.setAttribute("width", 100);//描画領域の大きさ設定
canvas.setAttribute("height", 100);
var context = canvas.getContext("2d");//描画領域に描画するAPIを持つオブジェクトの生成
var img = new Image();//Imageオブジェクトの生成
img.src = base64Data;//画像のURIを受け取ったBASE64データとする
img.onload = function(){//画像のロードが終わってから処理を開始する
context.drawImage(img, 0, 0);//contextオブジェクトのメソッドを用いて画像を描画領域に描画
document.getElementById("div").appendChild(canvas);}
本実施形態では、Canvasが何層にもなるレイヤ構造を用いている。それらのCanvasは、描画/移動/拡大などの操作が特定されると、divで指定される描画領域1206に対して順次追加されていく。通常、Canvasは1枚の画像として扱われるので、Canvasに写真画像を描画した後にスタンプ画像などを追加すると、スタンプ画像と合わせて1枚の画像とされる。それに対して、本実施形態では、レイヤ構造を用いてCanvasを重ねて表示するので、ユーザに対して1枚の画像のように表示するが、実際の描画物はそれぞれ独立したものとなっている。
[画像処理]
ユーザによるスライドバー1202の設定を検出することにより、図3のS302の処理が開始する。図5は、S302の画像処理を示すフローチャートである。
S501において、スクリプト層201の画像処理制御部213は、S410で生成された補正パラメータの値(例えば、brightness。以下同様とする。)を、スライドバー1202で設定された値に更新する。
S502において、スクリプト層201の画像処理制御部213は、インジケータを起動してディスプレイ106に表示するよう処理する。ここで、インジケータとは、データ処理中にディスプレイ106に表示される、作業状態を表すアイコンであり、プログレスバーや時計マーク、図形の点滅や回転などのグラフィックで表示される。
S503において、スクリプト層201のデータ変換部208は、補正パラメータをネイティブで利用可能なJSON文字列に変換する。これは、補正パラメータは上記のようにオブジェクト形式であり、ネイティブ層202では解釈することができないからである。変換されたJSON文字列は、S401で生成された画像データを識別するためのIDと共にネイティブ層202へ渡される。
S504において、ネイティブ層202の画像処理部210は、文字列として受け取ったJSONデータをパース(解析、デコード)する。パースには、OSに備えられているパーサーが用いられる。
S505において、ネイティブ層202の画像処理部210は、スクリプト層201から送信されたIDに基づいて、S405でRGB展開された画像データ(RGBデータ)を特定する。前述のように、IDと画像データとの対応付けは、IDと画像データとを対にすることに限定されるわけではなく、例えば、IDと画像データのパスとを関連付ける方法により行われても良い。また、IDと、画像データの先頭アドレスや画像データを呼び出す関数などを関連付ける方法により行われても良い。
S506において、ネイティブ層202の画像処理部210は、取得した補正パラメータから実行すべき画像処理を決定し、S505で特定された画像データに対して補正パラメータに対応した画像処理を行う。
S507において、S506で画像処理が実行された画像データに基づいて、スクリプト層201で対応しているフォーマットに変換可能な画像データが生成される。本実施形態においては、例えばJPEGの画像データが生成される。
S508において、ネイティブ層202の画像処理部210は、スクリプト層201にインジケータの停止を依頼する。これは、例えば、ネイティブ層202から、スクリプト層201で定義されているインジケータ停止の関数を呼び出すことで行われる。
S509において、スクリプト層201の画像処理制御部213は、インジケータを停止させてディスプレイへの表示を停止する。一方、S510において、ネイティブ層202のデータ変換部207は、JPEGデータをBASE64データに変換し、スクリプト層201に送信する。
S511において、スクリプト層201のデータ変換部208は、ネイティブ層202からS510で変換されたBASE64データを受け取る。その後、スクリプト層201の画像処理制御部213は、描画領域1206での描画するデータにネイティブ層202から受け取ったBASE64データを指定する。これにより、OS層203のインタプリタ218がスクリプトを解釈し、描画領域1206に画像処理が実行された画像が表示される。
本実施形態では、スライドバー1202の変化によって画像処理が開始されると説明したが、その形態に限定されるものではない。例えば、画面上にプラスボタン、マイナスボタンが配置され、ユーザがそのボタンを押すごとに明るさが調整されるという形態でも良い。他にも、画像の右半分がタッチされたら明るさを増す、左半分がタッチされたら暗くするなど、ユーザのタッチイベントと連動させた形態でも良い。また、ユーザ操作で補正パラメータだけ変化させておき、画像処理の実行指示を受け付けたときに、全ての画像処理が一括して行われるという形態でも良い。
[スタンプ画像追加]
ユーザによるスタンプ追加ボタン1203の押下を検出し、ハートスタンプ画像1208の選択を検出することにより、S303の処理が開始する。図6は、S303のスタンプ画像追加の処理を示すフローチャートである。
S601において、スクリプト層201の画像取得部204は、スタンプを識別するための一意なIDを生成する。IDは、数値や文字列など、スクリプト層201からネイティブ層202へ送信できる形式であればどのような形式でも良い。
S602において、スクリプト層201の画像取得部204は、S601で生成されたIDと、スタンプ画像として用いられる画像の絶対パスとをネイティブ層202に送信し、画像取得を依頼する。
S603において、ネイティブ層202の画像読込部205は、スクリプト層201から受け取った画像の絶対パスに基づいて、デバイス固有のAPIにより画像データを取得する。
S604において、ネイティブ層202のデータ保持部209は、取得した画像データをRGB展開して保持する。
S605において、ネイティブ層202のデータ保持部209は、S406と同様に、RGB展開された画像データと、S602で受信したIDとを関連付けて記憶する。
S606において、S604で取得したRGBデータに基づいて、スクリプト層201で対応しているフォーマットに変換可能な画像データが生成される。本実施形態においては、例えばJPEGの画像データが生成される。RGBデータからJPEGデータへの変換には、OSが有するエンコーダが用いられる。
S607において、ネイティブ層202のデータ変換部207は、JPEGデータをBASE64データに変換し、スクリプト層201に送信する。
S608において、スクリプト層201のデータ変換部208は、ネイティブ層202からS607で変換されたBASE64データを受け取る。そして、BASE64データを表示するための領域がRAM103に確保される。メモリの確保のためには、例えば、HTMLのCanvas機能が用いられる。
S609において、スクリプト層201の画像処理制御部213は、オブジェクトパラメータを生成し、そのオブジェクトパラメータを初期化する。オブジェクトパラメータとは、描画の際に用いられるパラメータを保持するオブジェクトである。JavaScriptでは、例えば、下記のようなオブジェクトパラメータが生成される。
var ObjectParam = function(){
this.theta = 0;
this.posX = 10;
this.posY = 10;
this.width = 100;
this.height = 100;
}
このオブジェクトパラメータは、ObjectParamオブジェクトの中に、回転角度を示すthetaという変数名と、そのthetaに0という値が格納されていることを示している。同様に、基準点からのx座標を示すposX変数名が含まれ、posXには10という値が格納されているということを表している。ここで、基準点とは、描画領域1206の左上の座標である。同様に、posYは、描画領域1206の左上を基準点としたときのy座標、widthはスタンプ画像の描画領域の横幅、heightはスタンプ画像の描画領域の縦幅を表している。
つまり、本実施形態では、オブジェクトパラメータが描画物オブジェクトに対応する。本実施形態では説明上、オブジェクトパラメータとして、描画物のサイズ、位置、画像データを示している。しかしながら、その他のパラメータ(平行移動量、拡大倍率など)を追加して、描画、レンダリング、オブジェクト操作時に利用できるようにしても良い。また、描画オブジェクトに対する情報保持の方法も、本実施形態に限定されるものではない。
S610において、スクリプト層201の画像処理制御部213は、描画領域1206で描画するデータとして、ネイティブ層202から受け取ったBASE64データを指定する。これにより、OS層203のインタプリタ218がスクリプトを解釈し、S609で初期化されたオブジェクトパラメータに基づいて、描画領域1206に画像を表示することができる。
本実施形態では説明上、スタンプ画像が1つのみであるが、スタンプ画像を複数個扱うようにしても良い。また、本実施形態では、スタンプ画像として予め用意した画像データを用いているが、CanvasのContextオブジェクトを用いて描画物をスクリプトで生成する方法を用いても良い。その場合には、S602において、Contextオブジェクトを用いて生成された描画物がネイティブ層202に送信され、データ保持部209は、その描画物をRGBデータとして保持する。
[スタンプ画像の特定]
S303でスタンプ画像が追加された後、ユーザによるディスプレイ106上のタップ操作を検出することにより、S304のスタンプ画像の特定処理が開始する。ここで、タップ操作とは、ユーザがディスプレイ106上を指で押すタッチ操作のことをいう。これは、PCで言うところの「クリック」に相当する。
図7は、スタンプ画像の特定の処理を示すフローチャートである。
S701において、ネイティブ層202の画像処理部210は、OS層203のタッチイベント部220を介してタップされた座標を取得し、スクリプト層201に送信する。
S702において、スクリプト層201のコンテンツ操作部212は、ネイティブ層202から送られてきた座標と、S609で生成されたオブジェクトパラメータの情報とから、スタンプ画像がタッチされたかを判定する。ここで、スタンプ画像のオブジェクトパラメータは初期値のままであるので、スタンプ画像は、左上の頂点座標を(10,10)、右下の頂点座標を(110,110)とする正方形の領域に描画されていることとなる。つまり、S701で送られてきたx座標及びy座標が、その正方形の領域の範囲内であれば、スタンプ画像はタッチされたと判定する。例えば、S701で送信されたx座標から、描画領域1206のx座標分を差し引いた値が0〜100の範囲、かつ、送信されたy座標から、描画領域1206のy座標分を差し引いた値が0〜100の範囲であれば、タッチされたと判定する。スタンプ画像が複数個ある場合には、より上層に表示されているスタンプ画像から順番に判定を行っていき、スタンプ画像の特定がなされた時点で判定処理を終了する。スタンプ画像がタッチされたと判定された場合、スタンプ画像は、スタンプ画像の操作を受け付ける状態となる。
S703において、スクリプト層201のコンテンツ操作部212は、スタンプ画像を操作受付状態にする。ここで、操作受付状態とは、スタンプ画像の操作(スワイプ等)に関する指示がされた場合、スタンプ画像がその指示で動作可能な(スワイプ可能な)状態のことをいう。操作受付状態のスタンプ画像が存在しない場合には、スタンプ画像操作に関する指示がされても何も起こらない。また、操作受付状態とされたスタンプ画像のIDは、注目スタンプ画像IDとして、一時的にスクリプト層201で記憶しておく。そのことにより、スクリプト層201は、ネイティブ層202で記憶されているスタンプ画像を一意に特定することができる。
[スタンプ画像の操作]
ユーザによるスライドバー1204の操作を検出することにより、S305の処理が開始する。図8は、S305のスタンプ画像の操作処理を示すフローチャートである。
S801において、スクリプト層201のコンテンツ操作部212は、スタンプ画像のオブジェクトパラメータの値(例えばrotate)を、スライドバー1204で設定された値に更新する。
S802において、スクリプト層201のコンテンツ操作部212は、オブジェクトパラメータを用いて、S703で操作受付状態となったスタンプ画像を描画領域1206に再描画する。例えば、スタンプ画像の描画を、HTMLのCanvasで行う場合には、Canvasの持つContextオブジェクトのrotateメソッドを用いることで、Canvas内の画像を回転することができる。
上記では、スタンプ画像の操作は回転を説明したが、拡大・縮小、平行移動などの操作でも良い。また、写真画像に対してオブジェクトパラメータを付加する構成とすれば、スタンプ画像の操作と同様の操作が可能となる。
[プリンタ設定]
ユーザによるプリントボタン1205の押下を検出することにより、S306の処理が開始する。図9は、S306のプリンタ設定の処理を示すフローチャートである。
S901において、スクリプト層201のプリンタ制御部214は、ネイティブ層202にプリンタ情報の取得を依頼する。依頼の方法として、例えば、バインディング機能によりスクリプト層201からネイティブ層202固有のAPIを呼び出す。その場合、ネイティブ層202には、スクリプト層201から直接呼び出せる関数、もしくはその関数を間接的に呼び出すいわゆるラッパーを予め用意しておく。例えば、GetPrinterInfoというネイティブ関数を用意しておき、スクリプト層201からその関数を呼び出す。
一般的に、機密情報の保証が難しい等のセキュリティ上の制限のために、スクリプト層201から外部の機器と直接通信することはできない。そのため、本実施形態では、スクリプト層201は、一旦、ネイティブ層202へ依頼することにより、ネイティブ層202を介して外部の機器と通信を行う。また、ネイティブ層202は、OS層203の機能を介して外部デバイスと通信する。
S902において、ネイティブ層202のプリンタデータ生成部215は、対応する関数が呼び出されると、プリンタ115の検出、いわゆるディスカバリを行う。ここでは、通信可能なプリンタ115の検出を行うために、Bonjourなどのプロトコルが用いられる。プリンタ115の検出は、例えば、同じ無線LANルータで接続されているプリンタにおいて行われる。上記のプロトコルに従って、ブロードキャストやマルチキャスト等の方法で、応答の要求をプリンタ115に対して行う。
S903において、応答要求を受けたプリンタ115は、携帯型通信端末100に対して応答を行う。
S904において、ネイティブ層202は、ブロードキャストやマルチキャスト等の方法で応答のあったプリンタ115のIPアドレスを記憶する。
S905において、ネイティブ層202のプリンタデータ生成部215は、S903で応答のあったプリンタ115のIPアドレスへプリンタ情報の提供を要求するためのコマンドを生成する。応答のあったプリンタが複数の場合には、プリンタデータ生成部215は、全てのプリンタに対して情報の提供を要求する。コマンドとは、プリンタの動作を指定する命令であり、例えば、XML(Extendable Markup Language)により下記のように記述される。
----------------------------------------------
01: <?xml version="1.0" encoding="utf-8" ?>
02: <cmd xmlns:trans="http://www.xxxx/yyyyy/">
03: <contents>
04: <operation>GetPrinterInfo</operation>
05: </contents>
06: </cmd>
----------------------------------------------
上記各行の左側に書かれている「01:」などの数値は説明を行うために付加した行番号であり、本来のXML形式のテキストには記述されない。
1行目はヘッダであり、XML形式で記述していることを表している。
2行目のcmdは、コマンドの開始を意味する。xmlnsで名前空間を指定し、コマンドの解釈の定義を指定している。なお、6行目の</cmd>は、コマンドの終了を示している。
3行目は以降に内容を記述する宣言であり、5行目はその終了を示している。
4行目には要求する命令が記述されており、<operation>と</operation>の間に実際の命令文言が存在する。命令文言であるGetPrinterInfoは、外部デバイスであるプリンタ115の情報を取得する命令である。例えば、プリンタ115が対応している用紙種類、サイズ、縁なし印刷機能の有無、印刷品位、などのプリンタ情報を提供するよう要求する内容が記述されている。
なお、上記のコマンド生成は、予めROM102などに記憶した固定のテキストを読み込むようにしても良い。また、コマンドは、XMLなどのテキスト形式に限らず、バイナリ形式で記述され、それに従ったプロトコルで通信されるようにしても良い。生成されたコマンドは、送信先のプリンタが対応しているプロトコルに従った形式で、OS層203のプリンタ通信部217を介してプリンタ115へ送信される。プリンタ115との通信の方法は、上記に限られず、例えば、Wi−FiダイレクトやBluetooth、赤外線通信、電話回線、有線LAN、USBを用いた接続でも良い。
上記では、ネイティブ層202でコマンドの生成が行われると説明したが、スクリプト層201でコマンドの生成が行われるようにしても良い。その場合、スクリプト層201で上記のXML形式の命令文が作成されてネイティブ層202へ渡される。その後、上記と同様に、通信プロトコルに従った形式でプリンタ115のIPアドレスへ送信される。
S906において、上記のコマンドを受信したプリンタ115は、プリンタ情報を通信プロトコルに従ってXML形式で携帯型情報端末100へ送信する。そのプリンタ情報は、ネイティブ層202へ送られる。以下、プリンタ情報の一例を示す。
----------------------------------------------
01: <?xml version="1.0" encoding="utf-8" ?>
02: <cmd xmlns:trans="http://www.xxxx/yyyyy/">
03: <contents>
04: <device id=”Printer001” />
05: <mode = 1>
06: <media>GlossyPaper</media>
07: <size>A4</size>
08: <quality>1</quality>
09: <border>no</border>
10: </mode>
11: <mode = 2>
〜中略〜
</mode>
<mode = 3>
〜中略〜
</mode>
〜中略〜
</contents>
</cmd>
----------------------------------------------
1行目はヘッダであり、XML形式で記述していることを表している。
2行目のcmdは、コマンドの開始を意味する。xmlnsで名前空間を指定し、コマンドの解釈の定義を指定している。なお、最下行の</cmd>はコマンドの終了を示している。
3行目は以降に内容を記述する宣言であり、下の</contents>までその内容が続く。
4行目はデバイスIDを示し、そのプリンタの機種名が「Printer001」であることを表している。
5行目以降は、各モードについて記述されている。<mode>から</mode>まで、対応するモードの情報が記述されている。5行目では、モードの番号は1である。以降の<media>は印刷用紙の種類、<size>は用紙サイズ、<quality>は印刷品位、<border>は縁あり/なしの情報がそれぞれ記述されている。
11行目以降は、他のモードであるモード2についての情報が記述されている。このように、プリンタの機種名と、そのプリンタが対応している全ての印刷モードがXML形式で記述されている。なお、プリンタ情報の記述方法は、これに限定されず、例えば、タグ形式でないテキストや、バイナリ形式などであっても良い。また、上記ではプリンタの印刷機能の情報を受け渡ししているが、それに限定される事ではない。例えば、プリンタが処理可能な画像処理や解析処理、静かに印刷するモードの有無、メモリカードの利用有無、インク残量などのステータス情報でも良い。画像処理の例としては、モノクロやセピア、彩度強調などの色変換、複数画像のレイアウト、ホワイトバランス補正、ノイズ除去、その他自動で写真を好ましい色や輝度に補正する処理などが挙げられる。
S907において、ネイティブ層202のプリンタデータ生成部215は、OS層203のプリンタ通信部217を介してプリンタ115からプリンタ情報を受け取る。そして、プリンタデータ生成部215は、受け取ったプリンタ情報から、全てのモードにおける印刷用紙の種類、サイズ、印刷品位、縁あり/なしの項目と項目数を取得する。
S908において、ネイティブ層202のプリンタデータ生成部215は、プリンタ情報をスクリプト層201が解釈可能な形式でスクリプト層201へ送る。例えば、ネイティブ層202のプリンタデータ生成部215は、受け取ったXML形式で送ったり、若しくは、タグなしのテキスト形式に変えて送る。また、スクリプト層201から特定のネイティブ関数を呼び出す毎に戻り値として情報を送信するようにしても良いし、ネイティブ関数に取得するモードなどの引数を渡しておき、戻り値として情報を送信するようにしても良い。また、JSON文字列を用いた受け渡しや、データ変換部207及び208により、BASE64などの文字列で受け渡しを行っても良い。
S909において、スクリプト層201は、受け取ったプリンタ情報に基づいて、表示画面を形成してディスプレイ106に表示するよう処理する。ここで、接続可能なプリンタが複数ある場合には、スクリプト層201は、複数のプリンタ名をユーザに選択可能に表示するよう処理する。なお、プリンタの選択は、上記に限られず、例えば、一番早く応答してきたプリンタや、より機能が多いプリンタ、印刷ジョブが混んでいないプリンタ、などに基づいて選択されるようにしても良い。
S909において、スクリプト層201は、印刷用紙の種類・サイズ、印刷品位、縁あり/なし、などを選択させる印刷設定画面をディスプレイ106に表示するよう処理する。印刷設定画面の形成方法の一例として、以下に、HTML/JavaScriptの記述を示す。
------------------------------------------------
<!DOCTYPE html>
<head>
<title>印刷設定 </title>
<script>
<!-- 用紙サイズ -->
var PaperSizeNum = GetPaperSizeNum();
var p = document.getElementById("PaperList");
var i;
for(i=0; i<PaperSizeNum; i++){
p.options[i] = new Option(GetPaperSize(i), GetPaperSize(i));
}
<!-- 用紙種類-->
var MediaTypeNum = GetMediaTypeNum();
var m = document.getElementById("MediaList");
var j;
for(j=0; j<MediaTypeNum; j++){
m.options[i] = new Option(GetMediaType(j),GetMediaType(j));
}
<!-- 印刷品位 -->
var QualityNum = GetQualityNum();
var q = document.getElementById("QualityList");
var k
for(k=0; k< QualityNum; k++){
q.options[i] = new Option(GetQuality(k), GetQuality(k));
}
<!-- 縁あり/なし-->
var BorderNum = GetBorderNum();
var b = document.getElementById("BorderList");
var l;
for(l=0; l<BorderNum; l++){
b.options[i] = new Option(GetBorder(l),GetBorder(l));
}
<!-- 印刷関数-->
function printer() {
SetPrint(document.getElementById("PaperList").value,
document.getElementById("MediaList").value,
document.getElementById("QualityList").value,
document.getElementById("BorderList ").value);
}
</script>
</head>
<!-- 表示部 -->
<body>
用紙サイズ:<select id="PaperList"></select><br />
用紙種類: <select id="MediaList"></select><br />
印刷品位: <select id="QualityList"></select><br />
縁なし: <select id="BorderList"></select><br />
<br />
<button id="btn1" onclick="printer()">印刷設定完了</button>
</body>
</html>
------------------------------------------------
上記のGetPaperSizeNum()、GetMediaTypeNum()、GetQualityNum()、GetBorderNum()はネイティブ関数であり、それぞれの項目がいくつあるかを取得する機能を備える。例えば、プリンタが対応している用紙サイズがA4、A5、B5、L判の4種類の場合、GetPaperSizeNum()は4を返す。
GetPaperSize(n)、GetMediaType(n)、GetQuality(n)、GetBorder(n)もネイティブ関数であり、引数nの値番目の文字列を返す。例えば、用紙サイズを返す関数のGetPaperSize(0)の返り値は「A4」であり、GetPaperSize(1)の返り値は「A5」である。これらの値は、ネイティブ層202が、プリンタ115からOS層203を介して送られてきた情報から取得する。
GetPaperSizeV(n)、GetMediaTypeV(n)、GetQualityV(n)、GetBorderV(n)もネイティブ関数であり、引数nの値番目の値を返す。例えば、用紙種類のテキストを返す関数のGetMediaTypeT(0)の返り値は「光沢紙」のように、表示してユーザに示す文言である。対してGetMediaTypeV(0)の返り値は「GlossyPaper」と、プリンタ115が解釈できる文言となっている。また、これらの文言は、プリンタ115から送られてきた情報と結び付けてネイティブ層202が決定する。例えば、プリンタ115から送られてきた情報より取り出した値が「GlossyPaper」であった場合、表示するテキストは「光沢紙」と決定する。決定の方法として、ネイティブ層202は、これらの対応表を予め保持しておき、その対応表に従ってテキストを決定すれば良い。
なお、上記では例として用紙サイズ、用紙種類、印刷品位、縁あり/なしの設定を行う仕様であるが、これに限定されず、他の設定、例えば、両面/片面、カラー/モノクロ、画像補正のオン/オフ等があっても良い。また、前述のように印刷機能のみではなく、プリンタ115が処理可能な画像処理や解析処理、静かに印刷するモードの有無、メモリカードの利用有無、インク残量などのステータスなどの情報を表示しても良い。
上記の例のように取得した情報に基づきWebレンダリングエンジンを用いて、例えば、図13に示す印刷設定画面1301のようなユーザインタフェースが実現される。つまり、本実施形態では、スクリプト層201は、ネイティブ層202を介して外部のプリンタ115にプリンタ情報を要求し、ネイティブ関数を用いて取得した情報に基づいて印刷設定画面をディスプレイ106に表示する。なお、上記HTMLは、スクリプト層201とネイティブ層202のいずれで作成するようにしても良い。図13に示すように、用紙サイズなどはプルダウンメニューになっており、ユーザの項目を選択するタッチ操作を受け付けることができる(S910)。
ユーザにより印刷設定画面1301上での設定操作が行われ、設定完了ボタン1102の押下を検出すると、S911において、スクリプト層201のプリンタ制御部214は、S910でユーザが選択した各プリント情報を、ネイティブ層202へ送信する。上記HTMLの例にあるSetPrint()は、取得したプリンタ設定情報を引数としてネイティブ関数を呼び出している。上記の例では用紙サイズ、用紙種類、印刷品位、縁あり/なしの各設定を文字列としてネイティブ層202へ渡している。
S912において、ネイティブ層202のプリンタデータ生成部215は、スクリプト層201から送信されたプリント情報を取得する。プリンタデータ生成部215は、取得したプリント情報に基づいて、プリンタの通信プロトコルに従って印刷コマンドを生成し、OS層203の通信制御部217を介してプリンタ115へ送信する。
[レンダリング]
ユーザによる印刷設定画面1301の設定完了ボタン1302の押下を検出することにより、S307の処理が開始する。図10は、S307のレンダリング処理を示すフローチャートである。
S1001において、スクリプト層201は、インジケータを起動してディスプレイ106に表示する。
S1002において、スクリプト層201の画像処理制御部213は、S911で設定されたプリント情報に基づいて、印刷する用紙サイズに対応する出力サイズを決定し、その出力サイズに対応する出力画像領域をRAM103に確保する。
S1003において、スクリプト層201の画像処理制御部213は、ネイティブ層202に対して写真画像データのリサイズを依頼する。その際、画像処理制御部213は、写真画像データのIDと、S1002で決定された出力サイズ(横サイズ、縦サイズ)とをネイティブ層202に渡す。
S1004において、ネイティブ層202の画像処理部210は、S1003で渡されたIDに対応する画像データ(RGBデータ)を特定する。
S1005において、ネイティブ層202の画像処理部210は、S1004で特定された画像データを、S1002で決定された出力サイズにリサイズする。
S1006において、ネイティブ層202の画像処理部210は、S1005でリサイズされた画像データを、スクリプト層201で対応している形式に変換可能な画像データを生成する。本実施形態においては、例えばJPEG形式の画像データが生成される。RGBデータからJPEGデータへの変換には、OSが有するエンコーダが用いられる。
S1007において、ネイティブ層202のデータ変換部207は、JPEGデータをBASE64データに変換し、スクリプト層201に送信する。
S1008において、スクリプト層201のデータ変換部208は、ネイティブ層202から送信されたBASE64データを受信する。スクリプト層201の画像処理制御部213は、BASE64データをS1002で確保された出力画像領域に描画する。
S1009において、スクリプト層201の画像処理制御部213は、描画領域1206と、S1002で決定された出力サイズとに基づいて、縦と横の拡大倍率を算出する。そして、画像処理制御部213は、スタンプ画像データのIDと、算出された縦及び横の拡大倍率とをネイティブ層202に送るとともに、スタンプ画像データのリサイズを依頼する。
S1010において、ネイティブ層202の画像処理部210は、S1009で渡されたIDに対応するスタンプ画像データ(RGBデータ)を特定する。
S1011において、ネイティブ層202の画像処理部210は、S1010で特定されたスタンプ画像データを、S1002で決定された出力サイズにリサイズする。
S1012において、ネイティブ層202の画像処理部210は、S1011でリサイズされた画像データを、スクリプト層201で対応している形式に変換可能な画像データを生成する。
S1013において、ネイティブ層202のデータ変換部207は、JPEGデータをBASE64データに変換し、スクリプト層201に送信する。
S1014において、スクリプト層201のデータ変換部208は、ネイティブ層202から送信されたBASE64データを受信する。コンテンツ描画部211は、受信したBASE64データに対して、コンテンツ操作部212での操作内容(回転等)を反映する。
S1015において、スクリプト層201の画像処理制御部213は、BASE64データをS1002で確保された出力画像領域に描画する。この処理により、出力画像領域には、写真画像と、回転等の操作内容が反映されたスタンプ画像とが合成されている。
S1016において、スクリプト層201のデータ変換部208は、出力画像領域のデータをBASE64データに変換してネイティブ層202に送信する。ここで、BASE64データに変換して取得する方法としては、HTMLのCanvasのメソッドであるToDataURLが用いられても良い。
S1017において、ネイティブ層202のプリンタデータ生成部215は、スクリプト層201から送信されたBASE64データをデコードする。
S1018において、ネイティブ層202のプリンタデータ生成部215は、デコードされたデータをRGBデータに変換し、S1019において、スクリプト層201に対してインジケータの停止を依頼する。S1020において、スクリプト層201は、インジケータを停止させてディスプレイへの表示を停止する。
[プリント]
S1020の処理が終了すると、S308の処理が開始する。図11は、S308のプリント処理を示すフローチャートである。
S1101において、ネイティブ層202のプリンタデータ生成部215は、S912で取得されたプリント情報に基づいて、S1018で変換されたRGBデータをプリンタ115が処理可能なデータ形式に変換する。プリンタ115が処理可能なデータ形式には標準的なフォーマット(JPEG等)もあれば、各社独自のフォーマットの場合もある。ここではそれらのうち、どのようなデータ形式であっても良い。
S1102において、ネイティブ層202のプリンタデータ生成部215は、プリント情報と、S1101で生成されたデータとに基づいて、プリンタ115へ送信するコマンドを生成する。
S1103において、ネイティブ層202のプリンタデータ生成部215は、プリンタ115が対応可能な通信プロトコルに従って、S1102で生成されたコマンドをOS層203の通信制御部217を介して送信する。その際、S904で記憶されたIPアドレスを送信宛先とする。
S1104において、プリンタ115において、印刷が開始されて印刷物が出力される。
[通信プロトコル]
前述した例のように、本実施形態では、ネイティブ層202は、BonjourやHTTPのような通信プロトコルを使って、外部デバイス(例えば、プリンタ)との通信を実現する。通信する際の情報は、「0」または「1」の並びの組み合わせ方(フォーマット)によって表現される。その為、通信をする為に、伝える情報がどのようなフォーマットになっているかを規定しておく必要がある。このフォーマットの規定が通信プロトコルである。アプリケーションと外部デバイスとの間で異なる様々な情報を通信する例を説明したが、情報を示すフォーマットが異なるので、アプリケーションは、通信する際に異なる複数の通信プロトコルを扱う必要がある。アプリケーションが複数の通信プロトコルを扱うことにより、外部デバイスの複数の機能を利用することが可能となる。
ここで、プリンタ接続と、プリンタ設定と、プリント実行までを複数の通信プロトコルにより実現する例を図14を参照しながら説明する。
プリンタ接続においては、スクリプト層201がネイティブ層202に対して関数Aを呼び出す。関数Aは、外部デバイスであるプリンタと接続する関数である。関数Aが呼び出されると、ネイティブ層202は、ネットワーク上のプリンタを通信プロトコルAを用いて発見して接続する。通信プロトコルAは、例えば前述のBonjourやSSDP(Simple Service Discovery Protocol)である。これらの通信プロトコルは、ネットワーク上の外部デバイスを発見する目的で規定されるものである。プリンタと接続されると、ネイティブ層202は、スクリプト層201に対して、接続したプリンタを伝えるスクリプトAを生成して送る。スクリプト層201は、スクリプトAを翻訳して、接続したプリンタを知ることが可能となる。
プリンタ設定においては、スクリプト層201がネイティブ層202に対して関数Bを呼び出す。関数Bは、接続したプリンタの機能情報を取得する関数である。機能情報とは、図9のS906で説明したプリンタ情報のことである。関数Bが呼び出されると、ネイティブ層202は、接続したプリンタと通信プロトコルBを用いて、機能情報を取得する。通信プロトコルBは、例えば前述のHTTPである。プリンタの機能情報を取得すると、ネイティブ層202は、スクリプト層201に対して、取得した機能情報を伝えるスクリプトBを生成して送る。スクリプト層201は、スクリプトBを翻訳して、機能情報を知ることが可能となる。
次に、スクリプト層201は、取得した機能情報に基づいてスクリプトUIBを生成し、ネイティブ層202に送る。スクリプトUIBは、例えば図9のS909で説明したHTMLである。スクリプトUIBをWebレンダリングエンジンを用いることにより、例えば図13に示す印刷設定画面として、ディスプレイ106に表示することが可能となる。
プリント実行においては、スクリプト層201は、ネイティブ層202に対して関数Cを呼び出す。関数Cは、接続したプリンタでプリントするための関数である。関数Cが呼び出されると、ネイティブ層202は、プリンタでプリントする為のプリントデータを生成する。プリントデータとは、図11のS1101で生成したデータを基に、S1002で生成したコマンドである。生成したプリントデータは、通信プロトコルCを用いてプリンタに送られ、プリントが実行される。通信プロトコルCは、例えば、MTOM(Message Transmission Optimization Mechanism)である。MTOMは、バイナリデータを効率的に送受信する為に規定された通信プロトコルである。従って、画像のようにデータサイズが比較的大きくなるプリントデータに適した通信プロトコルである。また、プリンタの独自データフォーマットに沿った独自の通信プロトコルを使う方法もある。この場合、ネイティブ層202がプリンタの独自の通信プロトコルに対応することによりプリントが可能となる。
以上により、外部デバイスとの通信が制限されるスクリプト層201は、ネイティブ層202を介すことにより、外部デバイスとの通信を行うことが可能となる。また、異なる複数の通信プロトコルを用いることによって、スクリプト層201から情報提供の要求を行ってプリンタ情報を得ること、および、スクリプト層201からプリント命令を行ってプリンタでプリントを行うことが可能となる。
[第2の実施形態]
第1の実施形態では、プリント実行を1つの通信プロトコルで行う形態を説明した。本実施形態では、プリント実行を異なる複数の通信プロトコルにより行う形態を説明する。以下、第1の実施形態と異なる点について説明する。つまり、本実施形態では、第1の実施形態と同様のハードウェア構成とソフトウェア構成を備える。また、プリンタ接続とプリンタ設定における通信プロトコルは、図14において説明した通りであり、プリント実行の通信プロトコルについて以下説明する。
ここで、プリントジョブを定義する。プリントジョブは、プリントの為の詳細設定データ部とプリントデータ部とで構成される。
詳細設定データ部について説明する。プリンタは詳細な設定によって様々な動作が可能となる。図11のS1102で例示したプリント情報のように、詳細設定データ部は、以下に示すような各設定情報を指示するXMLデータ群である。
・プリントスピード設定
・プリント品位設定
・カラー/モノクロ設定
・画像補正設定
・用紙設定
・給紙トレイ設定
・排紙トレイ設定
・用紙と例えばインクジェットプリンタの記録ヘッドとの距離設定
・余白なしプリント時の用紙からのはみ出しプリント量の設定
プリントデータ部について説明する。プリントデータ部は、例えば、図11のS1101で例示した画像データを表すバイナリデータ群である。また、画像データに対してプリンタ側で全ての画像処理を実施する場合には、RGBの多値データを表すバイナリデータ群である。また、アプリケーション側で画像補正のみ実施する場合は、画像補正済みのRGBの多値データを表すバイナリデータ群である。また、プリンタの色材に対応した色にデータ分解し、量子化までをアプリケーション側で実施する場合は、例えばCMYKの量子化データを表すバイナリデータ群である。
図15を参照しながら、プリント実行における通信プロトコルを説明する。図12のプリントボタン1205をユーザが押下すると、プリントが実行される。プリントの実行においては、スクリプト層201は、ネイティブ層202に対して関数Dを呼び出す。関数Dは、プリントジョブをプリンタに送るための関数である。スクリプト層201から関数Dに渡された引数に従って、ネイティブ層202がプリントジョブを生成する。引数には、アプリケーションが提供するUIによるユーザ指示が反映されている。図13の設定完了ボタン1302の押下により、ユーザが指示したプリンタ動作の詳細な設定に関する情報が引数に渡される。ネイティブ層202は、その引数を参照して詳細設定データ部を生成する。また、図12の写真画像選択ボタン1201の押下により、ユーザが指示する画像データに関する情報が引数に渡される。ネイティブ層202は、その引数を参照してプリントデータ部を生成する。
生成されたプリントジョブのうち詳細設定データ部は、通信プロトコルDによりプリンタに送られる。一方、プリントデータ部は、通信プロトコルD’によりプリンタに送られる。通信プロトコルDは、例えば、XMLデータの通信に適したSOAP(Simple Object Access Protocol)である。また、通信プロトコルD’は、例えば、大量のバイナリデータの通信に適したMTOMである。また、プリンタの独自データフォーマットに沿った独自の通信プロトコルを使う方法でも良い。その場合、ネイティブ層202がプリンタの独自の通信プロトコルに対応することによりプリントが可能となる。
プリントジョブは、詳細設定データ部とプリントデータ部とを含んで構成されるが、詳細設定データ部をプリントデータ部に先行して送ることが有効である。理由は、以下の通りである。詳細設定部の中には、トレイの設定や、用紙と記録ヘッドの間の距離設定等の物理的な機構の動作を指示する設定がある。これらの機構動作は、プリントデータを使ったプリント前に行う必要がある。また、プリンタの機種によっては、プリントデータ部のみでデフォルト設定でプリントを開始する。この場合、詳細設定データ部を先行して送らないと、ユーザが指示した詳細設定でのプリントを実行できないからである。
以上のように、外部デバイスとの通信が制限されるスクリプト層201は、ネイティブ層202を介して、外部デバイスとの通信を行うことが可能となる。またプリントジョブについて、異なる複数の通信プロトコルを用いることにより、ユーザが指示する詳細な設定に従ったプリントを行うことができる。
[第3の実施形態]
本実施形態では、プリント実行中に第1の実施形態と第2の実施形態で説明した通信プロトコルとは別の通信プロトコルを用いて、プリンタのステータスを確認する形態を説明する。以下、第1及び第2の実施形態と異なる点について説明する。つまり、本実施形態では第1の実施形態と同様のハードウェア構成とソフトウェア構成を備える。また、プリンタ接続、プリンタ設定、およびプリント実行における通信プロトコルは、図15において説明した通りである。
ここで、ステータスを定義する。ステータスとは、プリンタの現在の状態のことであり、例えば以下の情報を含む。
・色材残量
・用紙残量
・プリント進行状況
図16を参照しながら、ステータス確認における通信プロトコルを説明する。ステータス確認においては、スクリプト層201は、ネイティブ層202に対して関数Eを呼び出す。関数Eは、接続したプリンタのステータスを取得する関数である。関数Eが呼び出されると、ネイティブ層202は、接続したプリンタと通信プロトコルEにより、ステータスを取得する。通信プロトコルEは、例えば、前述のHTTPやHTTPを拡張したGENA(General Event Notification Architecture)である。プリンタのステータスを取得すると、ネイティブ層202は、スクリプト層201に対して、取得したステータスを伝えるスクリプトEを生成して送る。スクリプト層201は、スクリプトEを翻訳して、ステータスを知ることが可能となる。
次に、スクリプト層201は、取得したステータスに基づいてスクリプトUIEを生成し、ネイティブ層202に送る。スクリプトUIEは、HTMLにより例えば以下のように記述する。これはプリントの現在の進行状況を図17に示すようにプログレスバーで示す例である。
------------------------------------------------
<section>
<h2>画像処理</h2>
<p><progress value="70" max="100"></progress></p>
</section>
------------------------------------------------
また、別の例として、スクリプトUIEに以下のHTMLを記述すると、色材や用紙の残量がないことを示すエラーメッセージを表示することができる。
------------------------------------------------
<html>
<head>
<script type="text/javascript" language="javascript">
function error() {
window.alert(ERROR_MESSAGE \n);
}
</script>
</head>
</html>
------------------------------------------------
以上のように、外部デバイスとの通信が制限されるスクリプト層201は、ネイティブ層202を介して、外部デバイスとの通信を行うことが可能となる。また、プリントデータを通信するプロトコルと異なる通信プロトコルにより、ユーザにプリンタの現在の状態を知らせることが可能となる。
[その他の実施形態]
上記の各実施形態では、携帯型情報端末100上で、ハイブリッド型アプリケーションを動作させる構成について説明した。しかしながら、そのような構成に限定されることはなく、例えば、アプリケーションが動作する環境は、スマートフォンやタブレットPCを始めとする携帯型情報端末の他に、PCやサーバ、ゲーム機、デジタルカメラなどでも良い。
加えて、各実施形態では、外部デバイスとしてプリンタを説明したが、これに限定されるものではない。例えば、外部デバイスとして、他のスマートフォンやタブレットPC、PCやサーバ、ゲーム機、スキャナなども対象となる。例えば、スクリプト層201から他の携帯型情報端末のバッテリー残量、通信状態、無線LANの接続有無、GPSや温度、湿度、加速度など、端末が持つ機能の情報を得ることが、各実施形態の動作により可能となる。
また、外部デバイスの例として電化製品や自動車も含まれる。例えば、各実施形態により、携帯型情報端末上のスクリプト層201から、外部の冷蔵庫、洗濯機、エアコン、照明、掃除機、ポットなどの情報を得たり、各デバイスの機能のオン/オフや出力の調整なども可能となる。
また、本発明の目的は、以下によっても達成できる。まず、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給する。上記のプログラムコードはスクリプト、ネイティブ、またはその両方である。次に、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出して実行する。その場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述の各実施形態の機能が実現されるだけではない。例えば、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述の各実施形態の機能が実現される場合も含まれる。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、該プログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
加えて、上記の各実施形態では、コンテンツの描画としてJavaScriptのCanvas機能を説明したが、コンテンツの描画はこれに限定されるものではない。例えば、SVG(Scalable Vector Graphics)を利用して、コンテンツを描画することも可能である。
加えて、上記の各実施形態では、デバイス内の画像フォルダから画像を1枚選択しているが、これに限定されるものではない。例えば、データの絶対パスを指定する、画像の入っているフォルダごと指定する、デバイスのカメラ機能を利用しその場で画像を撮影するなどの方法によって取得しても良い。また、データの取得先についても、インターネット上の画像を選択する、脱着可能な記憶媒体内の画像を選択する、外部デバイスと通信で画像を取得する、などが挙げられる。
加えて、上記の各実施形態におけるプリンタに関しては、インクジェットプリンタ、レーザープリンタ、昇華型プリンタ、ドットインパクトプリンタなどがある。これらには、スキャナ機能などを持ち、単一機能ではない、いわゆる複合機(MFP)の場合もある。
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
100 携帯情報端末: 101 CPU: 102 ROM: 103 RAM

Claims (17)

  1. プロセッサと、
    アプリケーションの実行の際に前記プロセッサが実行可能に翻訳されて実行されるスクリプト命令セットで構成された第1の層と、前記プロセッサが実行可能なように予め翻訳されている命令セットで構成された第2の層と、を有する階層構造を成し、前記第1の層と前記第2の層との連携により前記アプリケーションを実行するためのプログラムを記憶する記憶手段と、
    前記アプリケーションの印刷機能に用いられる印刷装置と通信する場合、前記第1の層において、前記第2の層に対して前記印刷装置との通信を要求する要求手段と、
    前記第2の層において、前記要求手段による要求に従って、前記印刷装置と通信する通信手段と、
    を備えることを特徴とする情報処理装置。
  2. 前記通信手段は、前記印刷装置から前記印刷装置の情報を取得することを特徴とする請求項1に記載の情報処理装置。
  3. 前記第1の層において、前記通信手段により取得された前記印刷装置の情報に基づいて印刷設定画面を表示する表示手段、をさらに備えることを特徴とする請求項2に記載の情報処理装置。
  4. 前記通信手段は、前記印刷装置が対応する通信プロトコルに従って、前記印刷装置と通信することを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。
  5. 前記印刷装置が対応する通信プロトコルが複数である場合、前記要求手段は、各プロトコルに応じて要求することを特徴とする請求項4に記載の情報処理装置。
  6. 前記通信手段は、第1の通信プロトコルに従って前記印刷装置と接続し、第2の通信プロトコルに従って前記印刷装置の機能情報を取得し、第3のプロトコルに従って印刷対象の画像データを前記印刷装置に送信することを特徴とする請求項4又は5に記載の情報処理装置。
  7. 前記通信手段は、第4の通信プロトコルに従って、前記印刷装置のステータス情報を取得することを特徴とする請求項6に記載の情報処理装置。
  8. 前記通信手段は、印刷ジョブが印刷設定と前記画像データとを含む場合に、それぞれを異なる複数の通信プロトコルに従って前記印刷装置に送信することを特徴とする請求項6又は7に記載の情報処理装置。
  9. プロセッサと、
    アプリケーションの実行の際に前記プロセッサが実行可能に翻訳されて実行されるスクリプト命令セットで構成された第1の層と、前記プロセッサが実行可能なように予め翻訳されている命令セットで構成された第2の層と、を有する階層構造を成し、前記第1の層と前記第2の層との連携により前記アプリケーションを実行するためのプログラムを記憶する記憶手段とを有する情報処理装置において実行される情報処理方法であって、
    前記アプリケーションの印刷機能に用いられる印刷装置と通信する場合、前記第1の層において、前記第2の層に対して前記印刷装置との通信を要求する要求工程と、
    前記第2の層において、前記要求工程における要求に従って、前記印刷装置と通信する通信工程と、
    を有することを特徴とする情報処理方法。
  10. アプリケーションの実行の際にプロセッサが実行可能に翻訳されて実行されるスクリプト命令セットで構成された第1の層と、前記プロセッサが実行可能なように予め翻訳されている命令セットで構成された第2の層と、を有する階層構造を成し、前記第1の層と前記第2の層との連携により前記アプリケーションを実行するためのプログラムであって、
    前記アプリケーションの印刷機能に用いられる印刷装置と通信する場合、前記第1の層において、前記第2の層に対して前記印刷装置との通信を要求し、
    前記第2の層において、当該要求に従って、前記印刷装置と通信する、
    ようにコンピュータを機能させるためのプログラム。
  11. 当該通信においては、前記印刷装置から前記印刷装置の情報を取得する請求項10に記載のプログラム。
  12. 前記第1の層において、取得された前記印刷装置の情報に基づいて印刷設定画面を表示する、ようにコンピュータをさらに機能させるための請求項11に記載のプログラム。
  13. 当該通信においては、前記印刷装置が対応する通信プロトコルに従って、前記印刷装置と通信する請求項10乃至12のいずれか1項に記載のプログラム。
  14. 前記印刷装置が対応する通信プロトコルが複数である場合、各プロトコルに応じて要求される請求項13に記載のプログラム。
  15. 当該通信においては、第1の通信プロトコルに従って前記印刷装置と接続し、第2の通信プロトコルに従って前記印刷装置の機能情報を取得し、第3のプロトコルに従って印刷対象の画像データを前記印刷装置に送信することを特徴とする請求項13又は14に記載のプログラム。
  16. 当該通信においては、第4の通信プロトコルに従って、前記印刷装置のステータス情報を取得する請求項15に記載のプログラム。
  17. 当該通信においては、印刷ジョブが印刷設定と前記画像データとを含む場合に、それぞれを異なる複数の通信プロトコルに従って前記印刷装置に送信することを特徴とする請求項15又は16に記載のプログラム。
JP2014135174A 2014-06-30 2014-06-30 情報処理装置、およびプログラム Active JP6363888B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014135174A JP6363888B2 (ja) 2014-06-30 2014-06-30 情報処理装置、およびプログラム
US14/740,678 US9678700B2 (en) 2014-06-30 2015-06-16 Information processing apparatus, information processing method, and storage medium storing program for requesting communication and communicating with a printing apparatus supporting a plurality of communication protocols
US15/586,660 US10019206B2 (en) 2014-06-30 2017-05-04 Information processing apparatus that transmits data to a printing apparatus using a hybrid application program, information processing method, and storage medium storing program
US16/002,466 US10318213B2 (en) 2014-06-30 2018-06-07 Information processing apparatus, information processing method, and storage medium storing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014135174A JP6363888B2 (ja) 2014-06-30 2014-06-30 情報処理装置、およびプログラム

Publications (2)

Publication Number Publication Date
JP2016014916A true JP2016014916A (ja) 2016-01-28
JP6363888B2 JP6363888B2 (ja) 2018-07-25

Family

ID=54930517

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014135174A Active JP6363888B2 (ja) 2014-06-30 2014-06-30 情報処理装置、およびプログラム

Country Status (2)

Country Link
US (3) US9678700B2 (ja)
JP (1) JP6363888B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020140289A (ja) * 2019-02-27 2020-09-03 ブラザー工業株式会社 プログラム、アプリケーション、情報処理装置

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6378645B2 (ja) 2014-06-13 2018-08-22 キヤノン株式会社 情報処理装置、制御方法、及びプログラム
JP6463914B2 (ja) 2014-06-30 2019-02-06 キヤノン株式会社 情報処理装置、処理方法、及びプログラム
JP6363888B2 (ja) 2014-06-30 2018-07-25 キヤノン株式会社 情報処理装置、およびプログラム
JP6138088B2 (ja) 2014-06-30 2017-05-31 キヤノン株式会社 情報処理装置、制御方法、及びソフトウェアプログラム
JP6649832B2 (ja) 2016-03-30 2020-02-19 キヤノン株式会社 情報処理装置およびその制御方法、並びにプログラム
JP6799396B2 (ja) 2016-07-01 2020-12-16 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP6520870B2 (ja) * 2016-08-31 2019-05-29 京セラドキュメントソリューションズ株式会社 画像形成装置
JP6786342B2 (ja) 2016-10-18 2020-11-18 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
US10671412B1 (en) * 2019-03-21 2020-06-02 Adobe Inc. Fast cloning for background processes in scripting environments
US20210092238A1 (en) * 2019-09-20 2021-03-25 Scanning Revolution LLC Cloud-based document management system
CN111897575A (zh) * 2020-08-07 2020-11-06 掌阅科技股份有限公司 应用克隆方法、电子设备及计算机存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004127252A (ja) * 2002-07-30 2004-04-22 Canon Inc 情報処理装置、情報処理方法、制御プログラム
JP2010208266A (ja) * 2009-03-12 2010-09-24 Konica Minolta Business Technologies Inc プリントシステム、画像形成装置、プリントサーバ、プリントデータ管理方法および画像形成方法
JP2010271789A (ja) * 2009-05-19 2010-12-02 Ricoh Co Ltd プリンタシステム
JP2012221093A (ja) * 2011-04-06 2012-11-12 Seiko Epson Corp 印刷ドライバー及び印刷指令装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7187459B2 (en) * 2001-07-19 2007-03-06 Seiko Epson Corporation Printing system in which programs required for printer operation are downloaded from computer
JP4164467B2 (ja) * 2004-03-26 2008-10-15 キヤノン株式会社 画像処理装置、画像処理制御方法、及びプログラム
US20060017958A1 (en) * 2004-07-23 2006-01-26 Jackson Lee W Printer method and system
KR20100048965A (ko) * 2010-03-12 2010-05-11 블루가 (주) 웹 기반 사용자 인터페이스 구현 장치 및 그 방법
JP5761923B2 (ja) 2010-04-28 2015-08-12 キヤノン株式会社 印刷システム、情報処理装置及びその方法
JP6438218B2 (ja) 2014-06-13 2018-12-12 キヤノン株式会社 装置、方法、及びプログラム
JP6386803B2 (ja) 2014-06-13 2018-09-05 キヤノン株式会社 装置、方法、及びプログラム
JP6378645B2 (ja) 2014-06-13 2018-08-22 キヤノン株式会社 情報処理装置、制御方法、及びプログラム
JP6478487B2 (ja) 2014-06-13 2019-03-06 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP6525517B2 (ja) 2014-06-30 2019-06-05 キヤノン株式会社 情報処理装置、制御方法、及びプログラム
JP6138088B2 (ja) 2014-06-30 2017-05-31 キヤノン株式会社 情報処理装置、制御方法、及びソフトウェアプログラム
JP5901704B2 (ja) 2014-06-30 2016-04-13 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
JP6363888B2 (ja) * 2014-06-30 2018-07-25 キヤノン株式会社 情報処理装置、およびプログラム
JP6463914B2 (ja) 2014-06-30 2019-02-06 キヤノン株式会社 情報処理装置、処理方法、及びプログラム
JP6381319B2 (ja) 2014-06-30 2018-08-29 キヤノン株式会社 情報処理装置、処理方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004127252A (ja) * 2002-07-30 2004-04-22 Canon Inc 情報処理装置、情報処理方法、制御プログラム
JP2010208266A (ja) * 2009-03-12 2010-09-24 Konica Minolta Business Technologies Inc プリントシステム、画像形成装置、プリントサーバ、プリントデータ管理方法および画像形成方法
JP2010271789A (ja) * 2009-05-19 2010-12-02 Ricoh Co Ltd プリンタシステム
JP2012221093A (ja) * 2011-04-06 2012-11-12 Seiko Epson Corp 印刷ドライバー及び印刷指令装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020140289A (ja) * 2019-02-27 2020-09-03 ブラザー工業株式会社 プログラム、アプリケーション、情報処理装置
JP7263837B2 (ja) 2019-02-27 2023-04-25 ブラザー工業株式会社 プログラム、アプリケーション、情報処理装置

Also Published As

Publication number Publication date
US20170235526A1 (en) 2017-08-17
JP6363888B2 (ja) 2018-07-25
US9678700B2 (en) 2017-06-13
US20180285026A1 (en) 2018-10-04
US20150378653A1 (en) 2015-12-31
US10019206B2 (en) 2018-07-10
US10318213B2 (en) 2019-06-11

Similar Documents

Publication Publication Date Title
JP6363888B2 (ja) 情報処理装置、およびプログラム
JP6386803B2 (ja) 装置、方法、及びプログラム
JP6378645B2 (ja) 情報処理装置、制御方法、及びプログラム
JP5901704B2 (ja) 情報処理装置、情報処理方法、プログラム
JP6525517B2 (ja) 情報処理装置、制御方法、及びプログラム
JP6478487B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6381319B2 (ja) 情報処理装置、処理方法、及びプログラム
JP6138088B2 (ja) 情報処理装置、制御方法、及びソフトウェアプログラム
US10620892B2 (en) Information processing apparatus that displays a print setting screen based on information of a printing apparatus in a format interpretable in a first program layer and processing method thereof
JP6438218B2 (ja) 装置、方法、及びプログラム
JP6360370B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6008897B2 (ja) 装置、方法、及びプログラム
JP6757368B2 (ja) 情報処理装置、処理方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170629

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180409

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180601

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180629

R151 Written notification of patent or utility model registration

Ref document number: 6363888

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151