JP2017143464A - 画像処理システム、画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】無線装置を備えていない低解像度の表示パネルを持つ複合機であっても携帯端末に拡大表示させること。
【解決手段】画像処理装置の各種設定を管理し、画像処理装置の各種設定から表示手段に表示された複数の画面により構成される画像を生成し、生成手段により生成された画像を分割して分割画像を作成し、表示手段の画像の更新間隔の情報と分割画像とを合成するため情報からバーコード画像を生成し、バーコード画像と、分割画像とをパネルに表示する。
【選択図】図１０

Description

本発明は、画像処理システム、画像処理装置、画像処理方法、及びプログラムに関する。

従来、複合機の操作パネルでは表示できない画像をスマートデバイスに表示させる技術が開示されている（例えば、特許文献１参照）。
特許文献１に記載の発明は、画像処理装置、画像処理システム及びプログラムに関する発明であり、具体的には、表示領域の表示能力よりも表示部の表示能力が高い場合、読取画像に基づく画像を表示し、表示領域の表示能力よりも表示部の表示能力が高くない場合、読取画像を簡素化した簡素化画像を表示し、表示部の表示能力が表示領域の表示能力よりも高い場合、簡素化画像情報をスマートデバイスへ送信し、表示部の表示能力が表示領域の表示能力よりも高くない場合、読取画像情報をスマートデバイスへ送信するものである。

しかしながら、上述した特許文献１に記載の技術では、複合機側とスマートデバイスとアドホックに接続する無線の送受信装置が必要であり、無線装置を備えていない低解像度のLCD（liquid crystal display）を持つ複合機では対応できない。

そこで、本発明の目的は、無線装置を備えていない低解像度の表示パネルを持つ複合機であっても携帯端末に拡大表示させることにある。

上記課題を解決するため、請求項１に記載の発明は、携帯端末と画像処理装置とを備える画像処理システムであって、前記画像処理装置の各種設定から画像を生成する生成手段と、前記生成手段により生成された画像を分割して分割画像を作成する分割画像作成手段と、前記分割画像を撮影するための撮影手段と、取得した情報から前記画像の更新間隔に合わせて前記撮影手段のシャッタースピードを調節するシャッタースピード処理手段と、前記調節されたシャッタースピードを用いて前記撮影手段により連続して複数に分割された画像を撮影し、前記画像から分割画像を合成するための情報を用いて、撮影後に分割された画像を合成して、１枚の画像を合成する合成画像処理手段と、合成された１枚の画像を前記携帯端末の画面に表示する合成画像表示手段と、を備えることを特徴とする。

本発明によれば、無線装置を備えていない低解像度の表示パネルを持つ複合機であっても携帯端末に拡大表示させることができる。

一実施形態に係る画像処理システムの概念図である。 図１に示した複合機のハードウェア構成図である。 スマートデバイスのハードウェア構成図である。 図２に示した複合機の機能ブロック図の一例である。 スマートデバイスの機能ブロック図の一例である。 複合機が操作パネル5に１画面を転送する際の通常の処理フローの説明図である。 複合機がLCD6の分割画像の情報を元にQR画像の作成を行い、LCD6へ表示する際の処理フローの説明図である。 複合機がLCD6の分割画像の情報を元にQR画像の作成を行い、LCD6へ表示する際の処理フローの説明図である。 複合機がLCD6の分割画像の情報を元にQR画像の作成を行い、LCD6へ表示する際の処理フローの説明図である。 複合機側のQR画像の生成とLCD6への表示に関する処理のシーケンス図の一例である。 スマートデバイスのカメラで複合機のLCD6を撮影した際の概念図である。 LCD6用のテンプレート画像の一例である。 類似箇所の抽出を説明するための説明図である。 抽出された画像データからLCD6のみを抽出する際の流れを示す図である。 取得したLCD6の画像を合成して１枚の合成画像を作成する際の概念図である。 スマートデバイスのカメラを使った撮影タイミングと、シャッタースピードとの関係を示す図である。 専用アプリが作成した合成画像をスマートデバイスの画面に表示した際の図である。 ユーザーがスマートデバイスのカメラを使って複合機のLCDを撮影し、合成画像を取得するまでの処理フローを示す図である。 本実施形態におけるスマートデバイスのソフトウェア構成図の一例である。 スマートデバイスで取得した画像から１枚の合成画像を作成するまでの概念図である。 スマートデバイスのシャッタースピードと撮影タイミングとの関係を示す図である。 スマートデバイスの画面上に表示される合成画像の一例である。 取得したLCD画面を合成して１枚の合成画像を生成した後、スマートデバイスの画面に合成画像を表示するまでの処理を示すシーケンス図の一例である。 具体的なスマートデバイスでカラー画像を表示する処理についての説明図である。 スマートデバイスのカメラで複合機の操作部5のLCD6を撮影した際の概念図である。 LCD6のテンプレート画像の一例である。 抽出された画像データからLCD6のみを抽出する際の流れを示す図である。 複合機がLCDに１画面を転送する際の通常の処理フローを示す図である。 複合機側のQR画像の生成とLCDへの表示に関する処理のシーケンス図の一例である。 （ａ）〜（ｄ）は、複合機が同時に転送した複数の合成画像を、スマートデバイスの画面にスライド形式で表示する方法の説明図である。

＜実施形態１＞
[構成]
図１は、一実施形態に係る画像処理システムの概念図である。
本画像処理システムの構成は、画像処理装置としての複合機及びカメラ機能を持つ携帯端末としてのスマートデバイスが存在する。

（１）複合機には、キーボタンとLCD（Liquid Crystal Display）とを備えた操作パネルが搭載されている。ユーザーは複合機の操作パネルを介して操作し、複合機の状態取得や設定変更等を行う。

PC（Personal Computer）と複合機とは物理的に離れた場所に配置されていることが想定される。ユーザーはネットワークやUSB（Universal Serial Bus）ケーブル等の手段を介してPCから印刷指示を出す。その後ユーザーは複合機が配置されている場所まで行き印刷出力する。

複合機で印刷出力するとき、ユーザーは複合機側で印刷枚数や用紙サイズ等の条件を確認する場合があるが、PC(プリンタドライバ)で設定したような詳細な画面は出せない。このため、LCDの画面を操作して何度も切替える必要があり、LCDでは表示できないような細かい描画が必要な画面もある。このような場合、ユーザーが常に所持しているスマートデバイスを利用して、複合機のLCDでは表現できない画面や操作等を代用できると利便性の向上が期待できる。

そこで、複合機では既存のLCDを利用しつつスマートデバイスに対して高精細な画像を表示する機能を搭載する。LCD画面は１画面では表示できない画面を複数分割して１枚ずつスライドショーの様に表示する。LCD表示した画面は、スマートデバイスのカメラで撮影し、順番に足し合わせると１枚の大画面として合成できるようになる。この機能により、スマートデバイスを利用することによって、低解像のLCD画面をより高精細な大画面に合成することが出来るようになる。

（２）スマートデバイスは、電話機能の他、高精細なディスプレイ画面、カメラ、及び、専用アプリケーション（以下、専用アプリ）がインストールされており、このようなスマートデバイスをユーザーが持ち歩いていることが多い。

スマートデバイスの専用アプリは、スマートデバイスのカメラを利用して、複合機のLCD画面を撮影しながらLCD画面の再構成画面を表示する機能を持つ。
上記（１）に述べたように、スマートデバイスのカメラで複合機のLCDを撮影することで、LCDの低解像の画像を高精細かつ大画面として再構成することが出来る。但し、大画面で表示する必要が無い場面でも上記同様にスマートデバイスを利用する方式では、かえってユーザーに不便を強いることになるため、通常画面を表示しつつ、再合成可能な画面も提供することになる。そのため、スマートデバイス側では、再合成可能な画面と通常の画面を判定することで、再合成可能な画面のみを抽出して、画面の合成処理を実施できるようにする。

図２は、図１に示した複合機のハードウェア構成図である。
複合機は、CPU1、RAM2、補助記憶装置3、記憶装置4、操作パネル5、LCD6、キーボタン7、カードリーダI/F8、ネットワークI/F9、及びプリンタエンジン（もしくはプロットエンジン）10を有する。

CPUはCentral Processing Unitの略であり、CPU1は複合機を制御する各種プログラムを実行する。

RAMはRandom Access Memoryの略であり、RAM2は、複合機の動作中に各種プログラムやデータを一時的に格納する記憶媒体であり、各種プログラムやデータは複合機の起動時に補助記憶装置3からロードされる。

補助記憶装置3は、プログラムやデータ等を格納するHDD（Hard Disk Drive）等の記憶媒体である。また、補助記憶装置3は、印刷、スキャン、ファクシミリ装置等によって生成されたデータも格納される。
これら、CPU1、RAM2、及び補助記憶装置3により、生成手段、分割画像作成手段、一次元バーコード画像もしくは二次元バーコード画像としてのQR画像を生成するQR画像生成手段、及びディスプレイ制御手段が構成される。

操作パネル5は、ユーザーの操作によりジョブの設定や実行要求、メンテナンス動作の実行要求、その他の要求を受け付ける装置である。操作パネル5は、例えば、液晶ディスプレイ（以下、LCDと表記）（有機EL（Electro Luminescence）ディスプレイ）6及びキーボタン7を含む装置である。また、操作パネル5は設定を行う操作画面等の各種画面やユーザーに対するメッセージ等を表示する装置でもある。
操作パネル5に装着されたLCD6は、複合機内部のプログラムがユーザーへのメニュー画面の表示や各種状態の表示を行う装置である。

ネットワークI/F（Inter/Face）は、イーサネット（登録商標）コントローラが挙げられ、LAN（Local Area Network）やWAN(Wide Area Network)を用いて他のコンピュータと通信を行う。

カードリーダI/F8は、ユーザーの持つIC（Integrated Circuit）カードから、ユーザー情報を非接触で読み取ることの出来る装置であり、主に複合機へのログインに利用される。ICカードによるログインを行わない場合は、ユーザーは操作パネル5からユーザー情報を入力する等して複合機へログインすることが出来る。

プリンタエンジン（プロッタエンジン）10は、プロッタやスキャナ等のエンジンを制御して、印刷やスキャン動作を実行する。

図３は、スマートデバイスのハードウェア構成図である。
図３に示すスマートデバイスは、プロセッサ11、RAM12、補助記憶装置13、タッチパネルディスプレイ14、ネットワークI/F15、及びカメラ装置16を有する。

プロセッサ11は、スマートデバイスを制御する各種プログラムを実行する素子である。プロセッサ11は、アプリケーションの処理だけでなく、画像処理等も実施する汎用的な素子である。

RAM12は、スマートデバイスの動作中にプログラムやデータを一時的に格納する記憶媒体であり、それらのプログラムやデータはスマートデバイスの起動時に補助記憶装置13からロードされて実行される。

補助記憶装置13は、プログラムやデータ等を格納するHDD等の記憶媒体である。また、補助記憶装置13は、プログラムやデータ等によって生成されたデータも格納される。

タッチパネルディスプレイ14は、ユーザーとのGUI（グラフィカルユーザーインターフェース）を提供し、各種アプリケーションへの入力や出力の結果をグラフィカルに提供する装置である。

ネットワークI/F15は、無線LANやBluetooth（登録商標）等の無線インターフェースを備える装置である。ネットワークI/F15は、主にインターネットへのアクセス等の外部のネットワークとの接続に利用する装置である。

カメラ装置16は、スマートデバイスが備える小型のカメラであり、静止画や動画を撮影することが出来る装置である。カメラとしてはCCD（Charge Coupled Device）イメージセンサやCMOS（complementary metal oxide semiconductor）イメージセンサを用いたデジタルカメラが挙げられる。
スマートデバイスのカメラは最近では800万画素（3456×2304ピクセル相当）以上の素子数を有しており、スマートデバイスのディスプレイは1920×1080ピクセルのものが主流である。このため、複合機のLCD6のパネル(168×64ピクセル)を並べた場合は、約176面（縦16、横11）の画面が表示できることになる。

スマートデバイスのカメラ機能は、通常動画撮影時はフレームレートが最大24〜30fps程度であるため、１フレームあたり最低でも約1/30〜1/24秒程度の露出時間が必要であり、他の画面と混合した画像（例えばブレた画像）が得られてしまう。
しかし、このような場合、シャッタースピードを高速に切り替えることで他画面（例えば次に表示すべき画面）との混合を避けることが出来る。

一般にカメラのシャッタースピードを高速にすると露出時間が短くなるため、撮影した画面としては暗くなりがちである。しかし、複合機に搭載するLCDでは通常バックライトを備えているため、露光時間が短くても問題は無い。

図４は、図２に示した複合機の機能ブロック図の一例である。
複合機は、操作部21、ディスプレイ処理部22、LCD画面処理部23、QR画像生成部24、印刷データ管理部25、印刷処理部26、設定管理部27、アプリ処理部28、及び記憶部29を有する。記憶部29は、印刷データ29a及び各種設定、画面データ29bを有する。

操作部21は、ユーザーが操作する操作画面を操作パネルに表示したり、ユーザーからの入力を受け付けたりする機能を有するGUIである。操作部21は、ユーザーからの操作によって複合機にジョブを実行させる要求を受け付ける機能を有する。

ディスプレイ制御手段としてのディスプレイ処理部22は、タッチパネルディスプレイ14等のLCD6を制御する機能を有する処理部であり、LCD6に対して、機器の状態やジョブの実行状況等を表示することが出来る。
ディスプレイ処理部22がLCD6へ転送するデータは、１画面分を一度に送るのではなく、１画面を複数に分割した画像データを一つずつ転送し、LCD6側で受け取ったデータを順次LCD6に反映するのである。これは、一度に転送できるデータ量がLCD6によって決まっているため、部分的に転送することになるが、LCD6側では、新しいデータで上書きされない限り表示したままである。このため、部分的に画像データを転送しても、LCD6に表示されるのは全ての画像が合成されたものとなる。

画面が更新される際は、部分的に新しい画像がLCD6に送られるため、１画面すべてが更新されるまではタイムラグがある。このタイムラグは、１画面を分割する個数に依存し、具体的には８回(上下８分割)必要になる。しかし、分割の個数はLCD6に依存するため、LCD6へ一度に転送できるデータ量が増えれば分割数は少なくなる。
LCD画面処理部23は、ディスプレイ処理部22にデータ転送を依頼する機能を有する。
LCD画面処理部23は、複合機の設定状態や動作状態等をユーザーに表示するための画面データを作る機能を有する。LCD6の画面は主にビットマップデータで構成され、通常はLCD6と同じ縦横サイズ（例えば168×64）のピクセルで構成される。

LCD6の画面データ自体は、予め複合機の記憶部29の生成手段としての保存領域に保存されており、必要に応じた画面データをディスプレイ処理部22へデータ転送する。また、高精細な画像を表示する場合は、LCD6の縦や横のサイズと整数倍のビットマップデータとが用意されている。

分割画像作成手段としてのLCD画面処理部23は、画像データのサイズをLCD6の何枚分かの分割数を算出し、各画像データを転送する際の条件をQR画像生成手段としてのQR画像生成部24に通知し、LCD6の画面の更新間隔や分割画像データのメタ情報を含むQR画像の生成を依頼する機能を有する。
尚、QR画像はQRバーコード（登録商標）とも言う。

ディスプレイ処理部22へデータ転送する際は、QR画像を先頭画像として、その後は分割画像データを連続的に通知する。ディスプレイ処理部は、受け取った画像データを順番にLCD6に表示する。

QR画像生成部24は、LCD6の画像更新間隔とLCD6に表示する分割画像のメタ情報とをQR画像で表現した画像を生成する機能を有する。
QR画像生成部24は、QR画像に、それ以降に連続表示する画面が最後の転送画面であるか否かの最終画像情報を埋め込む機能を有する。
LCD6の画像更新間隔は、LCD6の画面切り替えとカメラ撮影とのタイミングの同期を取る必要があるため、カメラ側へ更新間隔を通知する必要があり、QR画像に含める。また、LCD6に表示する分割画像のメタ情報とは、LCD6の縦横のピクセルサイズや、縦横の倍率及びLCD6に表示する分割画面の位置情報（左上をx＝0, y＝0とした場合）と、連続でLCD6に表示する回数等を含む。

アプリ処理部28は、複合機の設定状態や動作状態等を考慮してその時点で表示すべき画面を決定し、LCD画面処理部23へ表示画面を指示する機能を有する。複合機が使用されていない場合や待機中の場合等は、複合機の各種トナーやインクの残量や種類等を表示するよう指示するか、省エネモードに入るよう各処理部へ指示する機能を有する。アプリ処理部28はユーザーが印刷処理等を実施する際や、メニュー画面を選択した際は、印刷枚数や用紙トレイの残量やジャムの有無等を表示するよう指示する機能を有する。また、アプリ処理部28はメニュー画面等でユーザーがキー操作した入力した設定値を管理し、印刷処理部26等の各処理部へ通知する機能を有する。永続化するデータは設定管理部27が保存領域へ保存する機能を有する。

印刷データ管理部25は、印刷データを一時的に蓄積しておく処理部であり、印刷前のデータを管理する機能を有する。印刷データ管理部25は、ネットワークやUSBメディア等のフラッシュデバイスを介して印刷データを受け取ると、一旦保存領域に蓄積した後、PRN形式ファイル等のファイルへ変換し、印刷可能な状態にする機能を有する。

印刷処理部26は、操作部21またはネットワークを介して要求されたジョブに対して印刷を実行する機能を有する。印刷処理部26は、印刷データ管理部25によって生成された印刷データを用いて印刷処理を行う機能を有する。

設定管理部27は、複合機の全ての設定を管理する機能を有する。すなわち設定管理部27は、ユーザーが入力もしくは選択したデータを保存し管理する機能を有する。設定管理部27の指示により保存したデータは、複合機が再起動しても消滅しない。

図５は、スマートデバイスの機能ブロック図の一例である。
スマートデバイスは、撮影部31、QR画像処理部32、シャッタースピード処理部33、画像合成処理部34、LCD画面抽出部35、合成画像表示部36、及び記憶部37を有する。

撮影部31は、専用アプリの起動中は常に動作している処理部であり、スマートデバイスのカメラ機能を用いてLCD画面を連続的に撮影する機能を有する。撮影したデータは一次的にメモリ領域に蓄積され、他の処理部が共有して利用する。撮影部31が取得した画像データは、LCD画面抽出部35が引取り、撮影した画像内にLCD6が存在するか否かを判定し、LCD6が存在する場合は、その部分のみ抽出する。

QR画像処理部32は、前段で抽出された操作パネル5の画像に表示されるQR画像部分を判定し、QR情報を抽出する機能を有する。QR画像の判定とQR情報の取得とは、一般的なQR画像のライブラリを用いる。QR情報には、LCD6の更新間隔やLCD6のサイズ、及び分割画像の転送数や転送開始位置、連続転送回数が含まれる。これらの情報を解析し、スマートデバイスのカメラのシャッタースピードの調整や、合成画像の情報を判定することが可能になる。

シャッタースピード処理部33は、QR画像処理部32によって取得した情報を元に、LCD6の更新間隔とシャッタースピードとを同期させる機能を有する。すなわち、シャッタースピード処理部33は、QR画像処理部32によって取得した情報を元に、LCD6の更新間隔とシャッタースピードとを同期させる処理部である。シャッタースピード処理部33は、QR画像処理部32によって取得したQR情報を元に、LCD6の画面更新タイミングと同期するようシャッタースピードを変更する。

ここで、QR画像処理部32は、装置本体のLCD6の画面に表示されるQR画像部分を判定し、QR情報部を抽出する画面抽出手段としての処理部である。QR画像の判定と、QR情報の取得は、一般的なQRライブラリを利用している。QR情報には、LCD6の表示間隔やLCD6のパネルサイズ及び分割画像の転送スピードや連続転送回数が含まれている。

LCD画面抽出部35は、撮影部31で取得した操作パネル5を含む画像データにおいて、LCD6のみを抽出する機能を有する。操作パネル5の判定方法は、予め操作パネル5の画像のテンプレートをスマートデバイスの保存領域に保存し、撮影部31で取得した画像とテンプレート画像とをテンプレートマッチングさせる。このテンプレートマッチングにより、最も類似した部分の位置情報とサイズとを取得し、その部分を抽出することでLCD6の画像部分のみを抽出する。

類似部分の位置情報抽出方法には、一般的な正規化相関を利用することが挙げられる。操作パネル5は一般的に長方形の形状をしているため、正規化相関によって抽出された画像データから枠部分の直線形状をハフ変換で抽出し、直交と垂直水平になるよう補正を繰り返すことで、LCD6のみを抽出する。ここで、「直交と垂直水平になるよう」とは、スマートデバイスのカメラで撮影した画像は斜めになっていると想定されるため、スマートデバイスの画面に合わせて角度を補正するという意味である。

画像合成処理部34は、LCD画面抽出部35によって抽出された画像データを組み合わせ、１枚の画面データとして合成する機能を有する。画像データの合成方法は、QR情報に含まれるLCD6の分割数や位置情報等を元に合成する。合成後の画像データは保存領域に保存し、合成画像表示部36に「通知」を送信する。

合成画像表示部36は、最終的に生成された最終画面情報としての画像データをスマートデバイスの画面に表示する機能を有する。専用アプリの起動中は、撮影部31が起動され、スマートデバイスの画面はカメラ撮影モードのようになっている。
しかし、画像合成処理部34によって合成画像が生成されると、カメラ撮影モードの画面上に合成画像が表示されるようになる。
合成画像表示部36は、デフォルトでは撮影時の操作パネル5のサイズと傾きとを基準として、合成画像の表示サイズの倍率と傾きとを決定する。但し、スマートデバイスの画面全体に操作パネル5が表示され、合成画像のサイズが操作パネル5の２倍以上のサイズの場合には部分的にしか表示できない。このため、スマートデバイスの画面サイズに収まるようリサイズすることも可能とする。また、デフォルトで合成画像を表示する位置は、撮影時の操作パネル5の位置を合成画像の中心点として位置させるよう表示する。

合成画像表示部36等は、最終的に生成された画像データをスマートデバイスの画面に表示する処理部である。専用アプリケーションの起動中は、カメラ撮影部が起動され、スマートデバイスの画面はカメラ撮影モードのようになっているが、画像合成処理部34によって合成画像が生成されると、カメラ撮影モードの画面上に合成画面が表示されるようになっている。

[動作]
図６は、複合機が操作パネル5に１画面を転送する際の通常の処理フローの説明図である。
複合機の操作パネル5は、通常はシリアル通信を行っており、画面データは1画面分のデータ量（168×64ピクセル）を転送できるものとする。

操作パネル5へ画面データの転送が開始されると、データ転送中（0〜10msec）は、操作パネル5の画面には前回までの画面データが表示されているものとし、データ転送が完了した時点で新しい画面データに切り替わる。画面更新が無ければ、表示内容は維持される。
データ転送に要する時間はシリアル通信なので10msec程度の時間を要するものとするが、使用するハードウェアによって制限が変わるため一例とする。

LCD6側は、一度受信したデータをLCD6のドットに反映（白黒のドット表示）した後、同じ位置での新しいデータを受信するまでは、ピクセルのデータを維持したままになっている。このため、画面の更新が無い限りは、データを受信する必要が無く、無駄なデータのやり取りを不要とする。

図７は、複合機がLCD6の分割画像の情報を元にQR画像の作成を行い、LCD6へ表示する際の処理フローの説明図である。
図７において、分割する前の画像データ（336×256ピクセル）が示されている。サプライ情報としてトナーのブラック、シアン、マゼンタ、及びイエローがそれぞれ100％あり、ドラムユニットにはブラック及びカラーが100％あることが示されている。
定着ユニット及び中間転写ユニットも100％あることが示されている。用紙はトレイ１にA4サイズの普通紙が縦方向に収納され、トレイ２にA5サイズの再生紙が収納されていることが示されている。廃トナーボトルには空きがあることが示されている。

図８は、生成したQR画像の一例である。
表１は図８に関する項目名及び値を示す表の一例である。

図９は、LCD6から分割画像を連続的に表示する際の概念図である。
図中の80msecは一例であり限定されない。
（１）LCD6にQR画像が表示される。
（２）80msec後、分割画像の（0,0）が表示される。図ではサプライ情報としてのトナーの内のブラック及びシアンの残量が表示されている。
（３）80msec後、分割画像の（1,0）が表示される。図では定着ユニットの状態が表示されている。
（４）80msec後、分割画像の（0,1）が表示される。図ではサプライ情報としてのトナーのうちのマゼンタ及びイエローの残量が表示されている。
（５）80msec後、分割画像の（1,1）が表示される。図では中間転写ユニットの状態と用紙の文字が表示されている。
（６）80msec後、分割画像の（0,2）が表示される。図ではサプライ情報としてのトナーのうちのブラック及びカラーの残量が表示されている。
（７）80msec後、分割画像の（1,2）が表示される。図ではトレイ１にA4サイズの用紙が縦に収容され、トレイ２にA5サイズの用紙が横に収容されていることが表示されている。
（８）80msec後、分割画像の（1,2）が表示される。図では廃トナーボトルの空きありが表示されている。
（９）80msec後、分割画像の（1,3）が表示される。図では再生紙の文字が表示されている。

図１０は、複合機側のQR画像の生成とLCD6への表示に関する処理のシーケンス図の一例である。
図１０において、ユーザーが複合機の前でLCD6を操作している状況を想定する。
ユーザーは、複合機の操作部21の操作パネル5（図２参照）を操作し、メニュー画面を表示させる（ステップ1）。この時、複合機では、操作部21からアプリ処理部28へキー押下情報を通知する（ステップ2）。

アプリ処理部28では、その時点で表示している内容を把握しているため、キーボタン7（図２参照）の押し下げ情報から、メニュー画面を表示することを判断し、必要な複合機情報等を収集する（ステップ3）。その後、画面データを保存領域から取得（ステップ4）し、LCD画面処理部23へ画面データを通知する（ステップ5）。

LCD画面処理部23は、受取った画面データのサイズから分割画像か否かを判断し、LCD6のサイズ（例えば168×64ピクセル）と同じであれば分割は不要と判断し、LCD6への画面データ転送処理（ステップ7〜9）を実施する。
ステップ5で受取った画面データのサイズがLCD6のサイズを超える場合は、分割が必要と判断し、ステップ11〜16を実施する。
ステップ11では、LCD6のサイズ、画面データの分割数、LCD6のサイズを基準にした場合の縦横比、及び、LCD6に画面データを表示する際の開始位置と連続表示回数を元に、QR画像を生成する（ステップ11）。その後、画面データをLCD6のサイズ単位に分割し、LCD6用のデータへの変換を実施する（ステップ12）。

LCD6への表示順番は、QR画像の表示の後（ステップ13〜14）、分割画像を図９に示すように左隅（x＝0,y＝0）から(x＝1,y＝0)→(x＝0,y＝1)のように順次表示していき（ステップ15〜16）、全て転送し終わると、ステップ13から繰返す。

複合機側がQR画像と分割画像を表示している間、ユーザーはスマートデバイスの撮影部31（図５参照）でLCD6を撮影すると、分割画像が合成されて1枚の画面として表示される。
図１１〜１４は、複合機が分割画像を表示する際に、QR画像を表示したときの概念図と、スマートデバイスがLCD6を撮影し、LCD6の画像のみを抽出する際の処理の流れを説明するための説明図である。

図１１は、スマートデバイスのカメラで複合機のLCDを撮影した際の概念図である。図１２は、LCD用のテンプレート画像の一例である。
スマートデバイスのカメラは、焦点距離が概ね3〜5mm程度あり、視野角も150度以上あるため、広角な撮影が可能になる。スマートデバイスの起動中は、専用アプリが起動していると想定し、専用アプリは常時カメラ機能をオンにしている。

専用アプリには、図１２に示すようなLCD用のテンプレート画像が保存されている。専用アプリは撮影した画像データ内にテンプレートと類似している箇所を検索する。
検索方法は回転・拡大縮小・台形変形に強い正規化相互相関法（NCC）等を用いる事とするが、SAD等他のテンプレートマッチング法でも構わない。

ここで、NCCとはNormalized Cross-Correlationの略であり、画像の正規化相互相関を類似度とするものである。値の最大値が１で、１に近いほど画像が似ていると判断することを言う。
また、画像の中から指定した画像（テンプレート）と似ている位置を探すことをテンプレートマッチングという。
SADとはSum of Absolute Differenceの略であり、テンプレート画像と探索対象の同じ位置の画素の輝度値の差の絶対値を合計することで、両者がどれほど異なるかを計算することを言う。SADの値が0に近いほど、類似しているといえる。

図１３は、類似箇所の抽出を説明するための説明図である。
図１３にはスマートデバイスのカメラで撮影したLCDの画像が示されており、わずかに傾斜している。
検索した結果には、図１３のような元画像の座標情報と、テンプレート画像との類似度（相関率）、相対角度及び縮尺度を抽出し、類似度が0.8以上の画像のみ採用するものとする。

表２は類似箇所を決定するための参考資料である。

抽出された類似画像は、図１３のように斜め画像となっており、平行四辺形や台形になっている場合が多い。そのため、図１４のように角度補正の後、LCDのみを抽出する処理が必要になる。

図１４は、抽出された画像データからLCDのみを抽出する際の流れを示す図である。
最初の画像は、右肩下がりの斜め画像で、かつ、余分な余白（主に背景）が含まれているため、類似画像抽出時に取得した相対角度を元に、斜め画像を補正する。
補正すると、図１４の補正後の画像のようになるが、余分な箇所が含まれているため、再度テンプレートマッチングを行い、角度補正が不要な状態（例えば相対角度0.1度以内）まで繰返す。この時点ではまだ余分な箇所が含まれるため、テンプレート画像のLCD部分をマスク画像として利用することで、取得画像のLCDのみを抽出する。

図１５は、取得したLCD画像を合成して１枚の合成画像を作成する際の概念図である。
スマートデバイスは、専用アプリで撮影して抽出したLCD画像から、QR情報を元に１枚の合成画像を作成する。
（１）まず、QR情報を取得する。QR情報の一例を表３に示す。

LCD更新間隔とシャッタースピードとを同期させて他の画像と混合しないように保存する。

（２）分割画像の（0,0）を取得する。
：
（略）
：
（８）分割画像の（0,3）を取得する。
（９）分割画像の（1,3）を取得する。
分割画像を合成して１枚の合成画像を生成する。

図１６は、スマートデバイスのカメラを使った撮影タイミングと、シャッタースピードとの関係を示す図である。
図１７は、専用アプリが作成した合成画像をスマートデバイスの画面に表示した際の図である。
図１８は、ユーザーがスマートデバイスのカメラを使って複合機のLCDを撮影し、合成画像を取得するまでの処理フローを示す図である。

ユーザーは、スマートデバイスのアプリマネージャから専用アプリを起動し（ステップ１）、カメラ機能を起動させる（ステップ２）。
ここで、「アプリマネージャ」とは、いわゆるホーム画面を意味する。

カメラ機能が起動すると、撮影部31がシャッタースピードを高速（例えば1/200秒）に設定しなおし、QR画像の取りこぼしを防止する。
最初の撮影時は、連続的に画像を取得し（ステップ４）、その都度QR画像の判定を行う（ステップ５）。期待するQR画像であれば、図１５に示すようなQR情報が取得できるため、正しく取得できることで判定を行う（ステップ６）。
QR情報が取得できない場合は、期待するQR画像ではないと判断し、取得ずみ画像を破棄（ステップ７）してカメラ撮影を再開する。
QR情報が取得できた場合は、シャッタースピードを再び調節し、LCD6の更新間隔と同期させるようにする（ステップ８）。LCD6の更新間隔が80msecであった場合、例えばシャッタースピードを1/100秒に調節すると、その後のカメラ撮影（ステップ９）では6〜7枚の同じ画面を撮影できることになる。

もしシャッタースピードが1/50秒程度であれば、最低でも３枚は同じ画像が取得できる。そのため、取得した画像の内、連続して何枚か（例えば３枚）の同じ画像が取得できた時点で３枚目の画像の採用を決定（ステップ10）し、LCD画面の抽出処理に移る（ステップ11）。
LCDの抽出には、図１４のような方法を用いてLCD6のみを抽出し、図１５のQR情報の開始位置、連続転送回数及び、分割数（x,y）の情報を元に、順番に合成していく（ステップ12）。
画像合成処理部34にて全ての画像が合成される（ステップ13）と、スマートデバイスの画面に合成画像を表示させる（ステップ14〜15）。その後はステップ４から再度繰り返す。

＜実施形態２＞
ここで、従来の画像処理システム、特に低価格の画像処理システムの場合、コスト低減のためモノクロ画像の表示装置しか設置することができないため、カラー画像を表示できなかった。

そこで、LCDの複数のモノクロ画像の画像をスマートデバイスの携帯端末のカメラで読み取り、スマートデバイス上でカラー画像を表示する画像処理システムについて以下に述べる。

[構成]
本画像処理システムの構成としては図１に示したシステムと同様に、画像処理装置としての複合機及びカメラ機能を持つ携帯端末としてのスマートデバイスを有するものである。

複合機には既存のモノクロLCDを利用しつつスマートデバイスに対してカラー表示可能な画像を表示する機能が搭載されている。LCDの画面は、カラーの１色ごとにスライドショーの様に表示するものとする。LCDに表示した画面は、スマートデバイスのカメラで撮影し、順番に加えて１枚のカラー画像として表示するようにした。

この機能により、スマートデバイスを利用することによって、モノクロのLCD画面を使ってカラーの画面を表示することができる。

本実施形態における複合機及びスマートデバイスのハードウェア構成は、図２及び図３と同様であるため説明を省略する。

本実施形態における複合機のソフトウェア構成は、図４とほぼ同様であるが、操作部21は、ユーザーが操作する操作画面を操作パネル5（図２参照）に表示したり、ユーザーからの入力を受け付けたりするGUIである。操作部21は、ユーザーからの操作によって複合機にジョブを実行させる要求を受け付ける。
LCD画面処理部23は、予め決められた画像データを色ごと(例えばR, G, B)の位置情報と輝度情報とに分解し、これらの色画像データを順番にディスプレイ処理部22へデータ転送する。ディスプレイ処理部22は、受け取った色画像データを順番にLCD6（図２）に表示する。

図１９は、本実施形態におけるスマートデバイスのソフトウェア構成図の一例である。
図１９に示したスマートデバイスの図５に示したスマートデバイスとの相違点は、QR画像処理部32、合成画像表示部36、及び記憶部37が無い点であるが、これらの要素は有ってもよい。

撮影部31は、専用アプリの起動中は常に動作している処理部であり、スマートデバイスのカメラ機能を用いてLCD6（図２参照）の画面を連続的に撮影する。撮影したデータは一次的にメモリ領域に蓄積され、他の処理部が共有して利用する。撮影部31が取得した画像データは、LCD画面抽出部35が引取り、撮影した画像内にLCD6が存在するか判定し、LCD6が存在する場合は、その部分のみ抽出する。

画像合成処理部34は、LCD画面抽出部35によって抽出されたLCD6の画像データを順番に組み合わせ、１枚の画面データとして合成する処理部である。画像合成処理部34は、読み取った順に、例えばR画像、G画像、B画像のように、異なる色でタッチパネルディスプレイ14（図３参照）に、色を重ねあわせて表示する。

シャッタースピード処理部31は、QR画像処理部32が取得した情報を元に、LCD6の更新間隔とシャッタースピードとを同期させ、QR画像処理部32が取得したQR情報を元に、LCD6の画面更新タイミングと同期するようシャッタースピードを調節する。

LCD画面抽出部35は、撮影部31で取得したLCD6を含む画像データにおいて、LCD6のみを抽出する処理部である。LCD6の判定方法は、予めLCD6の四隅に付けられているLCD6の領域を表すドットを起点として、直交と垂直水平になるよう補正をすることでLCD6の画像のみを抽出する方法である。

[動作]
取得したLCDの画面を合成して１枚の合成画像を生成した後、スマートデバイスの画面合成画像を表示するまでの処理について説明する。

図２０は、スマートデバイスで取得した画像から１枚の合成画像を作成するまでの概念図である。
（１）まず、QR画像を取得する。
QR画像のQR情報の一例を表４に示す。

（２）Rの画像を取得し、…、（８）Gの画像を取得し、（９）Bの画像を取得し、R,G,Bの各画像を合成して１枚の合成画像を生成する。このとき、LCD更新区間とシャッタースピードとを同期させて他の画像と混合しないようにする。

図２１は、スマートデバイスのシャッタースピードと撮影タイミングとの関係を示す図である。
スマートデバイスのカメラのシャッタースピードが1/100秒の場合は10msecの露光時間になるため、最大７枚の同じ画像を撮影することができる。80msec間隔でLCD画像が更新される場合、1/50秒以上のシャッタースピードであれば、最低３枚は同じ画像を撮影できる。

図２２は、スマートデバイスの画面上に表示される合成画像の一例である。
印刷を指示するアイコン「印刷できます」、サプライ情報としてのブラック（ｋ）、シアン（C）、マゼンタ（M）、及びイエロー（Y）の各色のトナー量が表示されている。

図２３は、取得したLCD画面を合成して１枚の合成画像を生成した後、スマートデバイスの画面に合成画像を表示するまでの処理を示すシーケンス図の一例である。
ユーザーは、スマートデバイスのアプリマネージャから専用アプリを起動し（ステップ１）、カメラ機能を起動させる（ステップ２）。カメラ起動が起動すると、撮影部31がシャッタースピードを高速（例えば1/200秒）に調節し直し、QR画像の取りこぼしを防止する。

最初の撮影時は、連続的に画像を取得し（ステップ４）、その都度QR画像の判定を行う（ステップ５）。期待するQR画像であれば、図２０に示すようなQR情報が取得できるため、正しく取得できることで判定を行う（ステップ６）。QR情報が取得できない場合は、期待するQR画像では無いと判断し、取得ずみ画像を破棄（ステップ７）してカメラ撮影を再開する。

QR情報が取得できた場合は、シャッタースピードを再び調節し、LCD6の更新間隔と同期させるようにする（ステップ８）。LCD6の更新間隔が80msecであった場合、例えばシャッタースピードを1/100秒に調節すると、その後のカメラ撮影（ステップ９）では6〜7枚の同じ画面を撮影できることになる。

または1/50秒程度であれば、最低でも３枚は同じ画像が取得できる。そのため、取得した画像の内、連続して何枚か（例えば３枚）の同じ画像が取得できた時点で３枚目の画像の採用を決定（ステップ10）し、LCD6の画面の抽出処理に移る（ステップ11）。LCD6の画面の抽出には、図１４に示したような方法を用いてLCD6のみを抽出し、図２０のQR情報の色数、および、LCD更新間隔の情報を元に、順番に合成していく（ステップ12）。画像合成処理部にて全ての画像が合成される（ステップ13）と、スマートデバイスの画面に合成画像を表示させる（ステップ14〜15）。その後はステップ４から再度繰り返す。

図２４は、具体的なスマートデバイスでカラー画像を表示する処理についての説明図である。
スマートデバイスのカメラでは、定期的に画像を取得する。取得する周期は、LCD6の画像表示切替えタイミングと同じか、もしくはそれ以上であれば良い。ここでは、LCD6の表示更新スピードと同じ80msecごとに画像を取得するとする。もしLCD6の表示速度よりも、カメラの撮影タイミングが速い場合であっても、後述するようにスマートデバイスの表示に対して、同じ色が重ね合わされるだけであるため、スマートデバイスのディスプレイから見ても、ちらつかずに表示することが可能である。

カメラで取得した画像から、画像の右上の領域の上下2ピクセルの画像を読み取る。その画像の組合せによって、図２３で説明したようにどの色成分かの画像かが分かる。例えば、R画像データの場合には、スマートデバイスのディスプレイ上に、読み取った画像をR色で表示することにより、R画像が形成される。
同様に、G画像をカメラから読み取った場合には、スマートデバイスのディスプレイ上に、読み取った画像をG色のみ発光した状態で表示する。このとき、すでに表示されている色(例えばR色)がディスプレイ上にある場合には、R色とG色を同じピクセルで重ね合わせて表示する。

同様にB画像の読み取とり、スマートデバイスのディスプレイ上に表示する。よって、R,G,Bの3原色を重ね合わせることにより、カラーの画面が表示可能となる。例えば、図の例ではディスプレイ表示中のCのトナー残量表示の箇所がシアンの色に、Mのトナー残量表示の箇所がマゼンタの色に、Yのトナー残量表示の箇所がイエローに表示される。

具体的なスマートデバイスのカメラで画像を取得する処理について説明する。
図２５は、スマートデバイスのカメラで複合機の操作部5のLCD6を撮影した際の概念図である。
スマートデバイスのカメラは、焦点距離が概ね3〜5mm程度であり広角な撮影が可能でなる。スマートデバイスの起動中は、専用アプリが起動していると想定し、専用アプリは常時カメラ機能をオンにしている。

図２６は、LCD6のテンプレート画像の一例である。
専用アプリには、図２６のようなLCD6のテンプレート画像が保存されており、撮影した画像データ内にテンプレートと類似している箇所を検索する。
検索方法としては回転・拡大縮小・台形変形に強い正規化相互相関法（NCC）等の方法を用いるが、SAD等の他のテンプレートマッチング法を用いても構わない。

検索した結果には、表５に示すような元画像の座標情報と、テンプレート画像との類似度（相関率）、相対角度及び、縮尺度を抽出し、類似度が0.8以上の画像のみ採用するものとする。

抽出された類似画像は、斜め画像となっており、平行四辺形や台形になっている場合が多い。そのため、図２７のように角度補正の後、LCD6のみを抽出する処理が必要になる。

図２７は、抽出された画像データからLCD6のみを抽出する際の流れを示す図である。最初の画像は、斜め画像で、かつ、余分な余白（主に背景）が含まれているため、類似画像抽出時に取得した相対角度を元に、斜め画像を補正する。補正すると、図２７の補正後の画像のようになるが、余分な箇所が含まれているため、再度テンプレートマッチングを行い、角度補正が不要な状態（例えば相対角度0.1度以内）まで繰返す。この時点ではまだ余分な箇所が含まれるため、テンプレート画像のLCD6をマスク画像として利用することで、取得画像のLCD6のみを抽出する。

＜実施形態３＞
ここで、実施形態１におけるLCDの表示を静止画の表示ではなく複数の静止画をスライド表示することが望まれる。
図２８は、複合機がLCDに１画面を転送する際の通常の処理フローを示す図である。
複合機の操作パネル5は、通常はシリアル通信を行っており、画面データは1画面分のデータ量（168×64ピクセル）を転送できるものとする。転送中は、LCD6の画面には前回までの画面データが表示されているものとし、データ転送が完了した時点で新しい画面データに切り替わるものとする。すなわち、スライド表示することになる。
データ転送に要する時間はシリアル通信なので10msec程度の時間を要するものとするが、使用するハードウェアによって制限が変わるため一例とする。

LCD側は、一度受信したデータをLCDのドットに反映（白黒のドット表示）した後、同じ位置での新しいデータを受信するまでは、ピクセルのデータを維持したままになっている。このため、画面の更新が無い限りは、データを受信する必要が無く、無駄なデータのやり取りが不要となる。

[構成]
複合機のハードウェア構成については図２と同様であり、スマートデバイスのハードウェア構成については図３と同様であり、複合機のソフトウェア構成については図４と同様であり、スマートデバイスのソフトウェア構成については図５と同様である。
このため、複合機及びスマートデバイスのハードウェア構成及びソフトウェア構成については説明を省略する。

[動作]
図２９は、複合機側のQR画像の生成とLCDへの表示に関する処理のシーケンス図の一例である。
図２９において、ユーザーが複合機の前で操作パネルを操作している状況を想定する。
ユーザーは、複合機の操作パネル5（図２参照）を操作し、メニュー画面を表示させる（ステップ１）。この時、複合機では、操作部21（図４参照）からアプリ処理部28（図４参照）へキー押下情報を通知する（ステップ２）。

アプリ処理部28では、その時点で表示している内容を把握しているため、押されたキー情報から、メニュー画面を表示することを判断し、必要な機器情報等を収集する（ステップ３）。その後、画面データを保存領域から取得（ステップ４）し、LCD画面処理部23（図４参照）へ画面データを通知する（ステップ５）。

LCD画面処理部23は、受取った画面データのサイズから分割画像か否かを判断し、LCD6のサイズ（例えば168×64ピクセル）と同じであれば分割は不要と判断し、通常がLCD6への画面データ転送処理（ステップ７〜９）を実施する。

ステップ５で受取った画面データのサイズがLCD6のサイズを超える場合は、分割が必要と判断し、ステップ11〜16を実施する。
ステップ11では、LCD6のサイズ、画面データの分割数、LCD6のサイズを基準にした場合の縦横比、及び、LCD6に画面データを表示する際の開始位置と連続表示回数を元に、QR画像を生成する（ステップ11）。その後、画面データをLCD6のサイズ単位に分割し、LCD6用データへの変換を実施する（ステップ12）。

LCD6への表示順番は、QR画像の表示の後（ステップ13〜14）、分割画像を図２８のように左隅（x＝0,y＝0）から(x＝1,y＝0)→(x＝0,y＝1)のように順次表示していき（ステップ15〜16）、全て転送し終わると、ステップ13から繰返す。
複合機側がQR画像と分割画像を表示している間、ユーザーはスマートデバイスのカメラでLCD6を撮影すると、分割画像が合成されて１枚の画面として表示される。

図３０（ａ）〜（ｄ）は、複合機が同時に転送した複数の合成画像を、スマートデバイスの画面にスライド形式で表示する方法の説明図である。

図３０（ａ）にはLCD更新間隔毎に画面の分割画像を転送する様子が示されている。
図３０（ｂ）には、画面1の合成画像についての情報が示されている。画面1の合成画像としてサプライ情報が示されている。
図３０（ｃ）には画面2の合成画像についての情報が示されている。画面2の情報として何ができるかが示されている。
図３０（ｄ）にはLCD6に表示されたQR画像とQR画像の情報が示されている。すなわち、QR画像の情報として、LCD6のサイズ、分割数、LCD更新間隔、開始位置、連続転送回回数、及び最終画像についての各数値が示されている。

図３０（ａ）〜（ｃ）に示すように、複合機はまず画面1の表示パラメータが記録されたQR画像を表示し、続けて“LCD更新間隔"で画像1の分割画面を表示する。画面1の全ての全ての分割画像を表示し終えたら、引き続き画像2の表示パラメータが記録されたQR画像を表示し、続けて画像2の分割画像を表示する。これを表示したい画面数に応じて繰り返す。

図３０（ｄ）に示すように、QR画像には“最終画像"パラメータが記録されており、スマートデバイスはこれを参照することでLCD6に次の画面が表示されるか否かを判断する。“最終画像"が“FALSE"の場合には、引き続きLCD6に表示されるQR画像、及び分割画面のセットを取り込む。“最終画像"が“TRUE"の場合には、取り込んだ分割画像を画面ごとに合成しLCD6に表示する。

＜プログラム＞
以上で説明した本発明に係る画像処理装置は、コンピュータで処理を実行させるプログラムによって実現されている。コンピュータとしては、例えばパーソナルコンピュータやワークステーション等の汎用的なものが挙げられるが、本発明はこれに限定されるものではない。よって、一例として、プログラムにより本発明の機能を実現する場合の説明を以下で行う。

例えば、
生成手段、分割画像作成手段、バーコード画像生成手段、及びディスプレイ制御手段を備えたコンピュータが読み取り可能なプログラムであって、
前記コンピュータに、
前記生成手段が、前記画像処理装置の各種設定から複数の表示手段の画面により構成される画像を生成する手順、
前記分割画像作成手段が、前記生成手段により生成された画像を分割して分割画像を作成する手順、
前記バーコード画像生成手段が、前記表示手段の画像更新間隔の情報と分割画像とを合成するため情報からバーコード画像を生成する手順、
前記ディスプレイ制御手段が、前記バーコード画像と、前記分割画像とを前記表示手段に表示する制御を行う手順、
を実行させるためのプログラムが挙げられる。

このようなプログラムは、コンピュータに読み取り可能な記憶媒体に記憶されていてもよい。

＜記憶媒体＞
ここで、記憶媒体としては、例えばCD-ROM、フレキシブルディスク（FD）、CD-R等のコンピュータで読み取り可能な記憶媒体、フラッシュメモリ、RAM、ROM、FeRAM等の半導体メモリやHDDが挙げられる。

CD-ROMは、Compact Disc Read Only Memoryの略である。フレキシブルディスクは、Flexible Disk：FDを意味する。CD-Rは、CD Recordableの略である。ROMは、Read-Only Memoryの略である。FeRAMは、Ferroelectric RAMの略で、強誘電体メモリを意味する。

＜効果＞
（請求項１、７〜１０）
LCDの更新間隔に合わせてLCD画像をカメラ撮影し、LCDのみを抽出することで、LCDに表示される分割画像を適切に認識・抽出し、全ての分割画像を正しく合成することが出来るようになる。その結果、LCDのみでは表現できない精細な画像も、スマートデバイスを介してユーザーに表示できる。

（請求項２）
シャッタースピードをLCDの更新間隔と同期しない場合は、連続的に更新されるLCD画像が複数混ざり合った画像として取得できてしまうため、LCDの更新間隔と同期させることで混同しない画像を取得できる。

（請求項３）
LCDから送られる分割画像をスマートデバイスのカメラ装置で受け取り、スマートデバイス内でドットパターンを再構成し、分割画像を合成することで、複合機のLCDでは表現できない画像を生成し、ユーザーに表示することができる。

（請求項４）
複合機からスマートデバイスに１度に複数画面分の分割画像を転送できる。

（請求項５）
シャッタースピードをLCDの更新間隔と同期しない場合は、連続的に更新されるLCDの画像が複数混ざり合った画像として取得できてしまうため、LCDの更新間隔と同期させることで混同しない画像を取得できる。

（請求項６）
LCDで表示される色ごとの画像をスマートデバイスのカメラ装置で受け取り、スマートデバイス内で色ごとの画像から合成することで、複合機のLCDでは表現できない画像を生成し、ユーザーに表示することができる。

尚、上述した実施の形態は、本発明の好適な実施の形態の一例を示すものであり、本発明はそれに限定されることなく、その要旨を逸脱しない範囲内において、種々変形実施が可能である。

１ ＣＰＵ
２、１２ ＲＡＭ
３、１３ 補助記憶装置
４ 記憶装置
５ 操作パネル
６ ＬＣＤ
７ キーボタン
８ カードリーダＩ／Ｆ
９、１５ ネットワークＩ／Ｆ
１０ プリンタエンジン（プロットエンジン）
１１ プロセッサ
１４ タッチパネルディスプレイ
１６ カメラ装置
２１ 操作部
２２ ディスプレイ処理部
２３ ＬＣＤ画面処理部
２４ ＱＲ画像生成部
２５ 印刷データ管理部
２６ 印刷処理部
２７ 設定管理部
２８ アプリ処理部
２９ 記憶部
２９ａ 印刷データ
２９ｂ 画面データ
３１ 撮影部
３２ ＱＲ画像処理部
３３ シャッタースピード処理部
３４ 画像合成処理部
３５ ＬＣＤ画面抽出部
３６ 合成画像表示部
３７ 記憶部

特開２０１４−１７７３６号公報

Claims (10)

1. 携帯端末と画像処理装置とを備える画像処理システムであって、
   前記画像処理装置の各種設定から画像を生成する生成手段と、
   前記生成手段により生成された画像を分割して分割画像を作成する分割画像作成手段と、
   前記分割画像を撮影するための撮影手段と、
   取得した情報から前記画像の更新間隔に合わせて前記撮影手段のシャッタースピードを調節するシャッタースピード処理手段と、
   前記調節されたシャッタースピードを用いて前記撮影手段により連続して複数に分割された画像を撮影し、前記画像から分割画像を合成するための情報を用いて、撮影後に分割された画像を合成して、１枚の画像を合成する合成画像処理手段と、
   合成された１枚の画像を前記携帯端末の画面に表示する合成画像表示手段と、
   を備えることを特徴とする画像処理システム。
2. 前記シャッタースピード処理手段は、前記情報から取得した前記合成画像表示手段の画像の更新間隔を元に、前記携帯端末の前記撮影手段のシャッタースピードを調節するようにしたことを特徴とする請求項１記載の画像処理システム。
3. 前記シャッタースピード処理手段は、前記合成画像表示手段の画像の更新間隔と同期して撮影できるようにしたことを特徴とする請求項１記載の画像処理システム。
4. 前記画像処理装置の合成画像表示手段の画像の更新間隔の情報と前記分割画像とを合成するための情報からバーコード画像を生成するバーコード画像生成手段と、
   前記バーコード画像と、前記分割画像とを前記合成画像表示手段に表示する制御を行うディスプレイ制御手段と、
   撮影した画像から前記バーコード画像のみを抽出する画面抽出手段と、
   抽出された画面から前記バーコード画像を取得してバーコード情報を取得するバーコード画像処理手段と、
   を備えたことを特徴とする請求項１から３の何れか一項記載の画像処理システム。
5. 前記合成画像処理手段は、ピクセル再構成手段によって生成されたパネルの分割画像を再構成し、１枚の画像として合成するようにしたことを特徴とする請求項１記載の画像処理システム。
6. 前記合成画像処理手段は、前記合成画像表示手段によって生成された色画像データを合成し、１枚のカラー画像として合成するようにしたことを特徴とする請求項１記載の画像処理システム。
7. 前記携帯端末に表示したい複数画面分の分割画像を前記パネルに連続表示する表示手段と、
   １画面分の分割画像を前記パネルに連続表示する前に、バーコード画像を前記表示手段に表示する表示手段と、
   前記バーコード画像に、それ以降に連続表示する画面が最後の転送画面であるか否かの最終画像情報を埋め込むバーコード画像生成手段と、
   前記バーコード画像から前記最終画像情報を抽出する抽出手段と、
   複数のバーコード画像と分割画像のセットとから、複数の合成画像を作成する作成手段と、
   複数の合成画像を１つずつ切替えながら前記携帯端末に表示させる表示制御手段と、
   を有することを特徴とする請求項１記載の画像処理システム。
8. 画像処理装置の各種設定から複数の画像を生成する生成手段と、
   前記生成手段により生成された画像を分割して分割画像を作成する分割画像作成手段と、
   前記の画像処理装置の表示手段の画像の更新間隔の情報と分割画像とを合成するための情報からバーコード画像を生成するバーコード画像生成手段と、
   前記バーコード画像と、前記分割画像とを前記表示手段に表示する制御を行うディスプレイ制御手段と、
   を備えたことを特徴とする画像処理装置。
9. 画像処理装置の各種設定を管理し、
   前記画像処理装置の各種設定から、表示された複数の画面により構成される画像を生成し、
   生成された画像を分割して分割画像を作成し、
   画像の更新間隔の情報と分割画像とを合成するため情報からバーコード画像を生成し、
   前記バーコード画像と、前記分割画像とをパネルに表示することを特徴とする画像処理方法。
10. 生成手段、分割画像作成手段、バーコード画像生成手段、及びディスプレイ制御手段を備えたコンピュータが読み取り可能なプログラムであって、
    前記コンピュータに、
    前記生成手段が、画像処理装置の各種設定から複数の表示手段の画面により構成される画像を生成する手順、
    前記分割画像作成手段が、前記生成手段により生成された画像を分割して分割画像を作成する手順、
    前記バーコード画像生成手段が、前記表示手段の画像更新間隔の情報と分割画像とを合成するため情報からバーコード画像を生成する手順、
    前記ディスプレイ制御手段が、前記バーコード画像と、前記分割画像とを前記表示手段に表示する制御を行う手順、
    を実行させるためのプログラム。

Images