JP2006505862A - 移動クライアント装置から画像処理を行う方法及びシステム - Google Patents

Abstract

画像処理システムは、低解像度デジタル画像及び画像処理作業指示子を表示するためにＶＧＡ未満の解像度及び２４ビット未満のビット深度を有する制限されたディスプレイと、ユーザ入力のためのオペレータインタフェースと、ＣＰＵと、メモリと、第１の通信ポートとを含み、ＣＰＵは、制限されたクライアント画像処理プログラムを実行可能であるクライアント装置と、第２の通信ポートを含み、処理されたデジタル画像を生成するための遠隔ユーザ入力に応答し、画像処理サーバにおいて格納される高解像度画像に画像処理作業を行い、クライアント装置の制限されたディスプレイ上での表示のために高解像度画像の低解像度バージョンを生成し、特定の画像処理作業を示す画像処理作業指示子を生成する画像処理サーバと、低解像度画像及び画像処理作業指示子を、画像処理サーバからクライアント装置に伝送し、また、遠隔ユーザ入力を、クライアント装置から画像処理サーバに伝送するよう第１の通信ポート及び第２の通信ポートに接続可能な制限された帯域幅の移動通信ネットワークとを含む。

Description

本発明は、画像処理に関わり、特に、画像処理を行うのに制限された表示及び計算能力を有する移動クライアント装置の使用に係る。

ＰＤＡ（例えば、パーム及びポケットＰＣ）及び携帯電話のような移動装置における進歩は、様々な新しいモバイルコンピューティングアプリケーションを導き出す。今日の忙しい生活スタイルを考えるに、人々は、ますますモバイルコンピューティングの魅力と利点−いつでもどこでも自分のデータにアクセスし操作することができること−に惹き付けられている。初期の絶対的な人気を誇ったアドレスブック及びスケジュール管理モバイルコンピューティングは、ほんの数年前には想像することもできなかった領域に急速に入りつつある。ラップトップコンピュータは、計算能力においてデスクトップコンピュータと非常に近くなりつつあるが、そのサイズ、重量、及び電力消費については依然として、モバイルコンピューティングには大きな障害となっており、全ての人がラップトップを持ち運びたがるわけではない。ＰＤＡの計算能力は、画像処理といったより計算集約的なモバイルコンピューティングタスクについても人々が考えることを可能にする点まで到達している。

画像処理は、一般的に、高解像度画像への高性能画像処理が関連する。これは、ＣＰＵ及びメモリに関して、更には、多くのパワフルデスクトップコンピュータシステムに対してもとりわけ計算集約型のタスクである。高解像度画像は、少なくとも１００万画素を有する。１メガ画素カラーデジタル画像は、画像処理に必要な非圧縮形式で格納するためには３メガバイトを取る。中間結果が、一般的に、次の処理のためにメモリ内に格納される必要があることを考慮すると、このような大量のデータを処理するために必要なメモリの量及びＣＰＵの種類は、膨大なものになる。

今日のＰＤＡは、非常に制限された計算能力と、制限されたメモリと、制限された表示能力を有する。ＣＰＵは、集中的な計算を処理することができず、また、ボード上の全メモリは、一般的に、１ＭＢ乃至３２ＭＢである。さらに、ＰＤＡは、スクリーンサイズ及びカラービット深度の両方に関して非常に制限された表示能力を有する。ローエンドでは、パーム（Ｐａｌｍ）１００は、１００×１００×１ビット（２色）のみ表示可能であり、ハイエンドでは、ソニー社のクリエ（Ｃｌｉｅ）は、３２０×２４０×１６ビット（６４，０００色）を表示可能であり、これは、非常に高価な値段にも関わらず、平均的なラップトップに匹敵し得る。携帯電話は、計算能力及びメモリに関して更に制限される。

計算能力問題の解決策は、膨大なＣＰＵ能力と大容量メモリ及び記憶装置を有するサーバがモバイルコンピューティングの重い任務を行うことが可能であるワイヤレス通信にあるようである。ＰＤＡ又は携帯電話機といったクライアントは、ワイヤレスリンクを介してサーバに接続されると、全体の計算のうち最低限の計算を行うだけでよくなる。移動性は保たれ、また、ある面では、ラップトップコンピュータの使用より改善される。同時に、移動装置ユーザは、ラボにおける専用の高価なハードウェア及びソフトウェアを用いて高精度及び高解像度画像処理された画像から高品質プリントを得るために、サーバ上にある画像処理ソフトウェアをうまく利用することが可能である。さらに、特定レベルのユーザ入力又はフィードバックが、移動装置を介するインタラクションを介して得られ、サーバ上のソフトウェアによるエラーを補正するようサーバに伝送され、画像処理から満足のいく結果を得ることが保証される。

ホームプリントも、家庭におけるコンピューティングハードウェア及びソフトウェアと、消費者ノウハウにおける制限から課題となっている。移動装置上で画像処理を要求し且つプレビューした後、高解像度画像から高品質プリントを、移動装置を介して注文し、画像処理サーバにネットワーク接続される高品質、高スループットプリンタによりプリントされることが可能である。プリントは、後で、ユーザに郵送されることが可能である。

しかし、移動装置に関連付けられるワイヤレスリンクの制限された帯域幅、並びに、サーバとクライアントとの間の情報の伝送時の通信時間の費用により、そのような情報のトラフィックの量（又は通信される情報量）を最小限にするためにかなりの努力がなされなければならない。

クライアント−サーバ画像処理のための従来のシステムは、インターネットといった有線通信リンクを使用する。２００２年２月１４日に公開になったWatanabeによる米国特許出願２００２００１９８５９は、通信線を介して注文者の端末から受注者の処理装置にコンテンツデータを転送し、転送されたコンテンツデータを受注者の処理装置において処理し、処理されたコンテンツデータを、通信線を介して受注者の処理装置から注文者の端末に伝送し、及び／又は、通信線を介して注文者の端末又は第三者の端末のうち少なくとも１つの端末からアクセス可能なデータ管理ユニットの記憶領域に処理されたコンテンツデータを格納及び管理する、コンテンツデータ処理サービスの方法及びシステムを記載する。このコンテンツデータは、デジタル画像データであり、受注者の処理装置において行われる処理は、高解像度画像処理であり、処理されたコンテンツデータは、画像処理が施されたデジタル画像データである。この高解像度画像処理には、赤目補正処理、欠陥消去処理、ドッジング処理、レンズ収差補正処理、退色補正処理、グラニュレーション抑制処理、先鋭化処理、グラデーション補正処理、逆光補正処理、ＲＰスタイル仕上げ処理、クロスフィルタ仕上げ処理、ソフトフォーカス仕上げ処理、モノトーン仕上げ処理、痩身仕上げ処理、色白仕上げ処理、及び／又は、不足／過剰補正処理のうち少なくとも１つが含まれる。このシステムは、インターネットに接続された家庭におけるコンピュータのためにサーバ画像処理エンジンをうまく利用することが可能である。しかし、このシステムは、移動画像処理には使用することができない。このシステムでは、全ての画像処理は、サーバ上で行われ、帯域幅及び表示に関して制限はない。

従って、（１）移動装置の計算負荷を最小限にし、（２）移動装置の制限された入力手段からのユーザフィードバックの利点を最大限にし、（３）サーバと移動装置間で伝送される必要のある情報量を最小限にし、（４）移動装置上での表示のために画像処理の結果のレンダリングを最適化することの可能な移動画像処理システムを提供することが必要である。

この必要は、低解像度デジタル画像及び画像処理作業指示子を表示するためにＶＧＡ未満の解像度及び２４ビット未満のビット深度を有する制限されたディスプレイと、ユーザ入力のためのオペレータインタフェースと、ＣＰＵと、メモリと、第１の通信ポートとを含み、ＣＰＵは、制限されたクライアント画像処理プログラムを実行可能であるクライアント装置と、第２の通信ポートを含み、処理されたデジタル画像を生成するための遠隔ユーザ入力に応答し、画像処理サーバにおいて格納される高解像度画像に画像処理作業を行い、クライアント装置の制限されたディスプレイ上での表示のために高解像度画像の低解像度バージョンを生成し、特定の画像処理作業を示す画像処理作業指示子を生成する画像処理サーバと、低解像度画像及び画像処理作業指示子を、画像処理サーバからクライアント装置に伝送し、また、遠隔ユーザ入力を、クライアント装置から画像処理サーバに伝送するよう第１の通信ポート及び第２の通信ポートに接続可能な制限された帯域幅の移動通信ネットワークとを含む画像処理システムを提供することにより本発明により満たされる。

本発明は、（１）移動装置の計算負荷を最小限にし、（２）移動装置の制限された入力手段からのユーザフィードバックの利点を最大限にし、（３）サーバと移動装置間で伝送される必要のある情報量を最小限にし、（４）移動装置上での表示のために画像処理の結果のレンダリングを最適化することの可能な移動画像処理システムを提供する。

図１を参照するに、本発明の１つの好適な実施例による完全なエンドツーエンドの移動画像処理システムを示す。このシステムは、移動装置１０、ワイヤレス通信ネットワーク２０、及び画像処理サーバ３０を含む。一般的な移動装置１０は、情報を送受信するためのワイヤレス通信ポート４０、ディスプレイ５０、ユーザ入力を収集するためのオペレータインタフェース６０（例えば、タッチスクリーン、キーパッド、又はスタイラス７０）、限定的なクライアント画像処理プログラムを実行するＣＰＵ８０、プログラム（クライアント画像処理プログラムを含む）及び中間データを格納するためのメモリ９０、拡張メモリ及びデータ記憶のためのメモリカード１００、音声獲得のためのマイクロホン１１０、及び、画像を補足するためのデジタルカメラ１２０を含むことが可能である。

移動装置は、上述した構成要素の全てを含む必要はない（例えば、特定の携帯電話機は、タッチスクリーン入力領域を有さない場合もあり、また、特定のＰＤＡは、マイクロホンを有さない場合もある）。一般的に、上述の定義に当てはまる移動装置は、ワイヤレス能力を有するＰＤＡ、携帯電話機、デジタルカメラ付き携帯電話機、ハイブリッドＰＤＡ／携帯電話機組み合わせ、又は、ワイヤレス能力を有するデジタルカメラである。

図１を更に参照するに、画像処理サーバ３０をより詳細に説明する。一般的な画像処理サーバ３０は、データを送受信するためのワイヤレス通信ポート３１０、移動装置の制限されたディスプレイ上での最適表示のために画像を整えるための画像レンダリングユニット３２０、ユーザフィードバックを解釈し、他のユニットに制御信号を送信するユーザフィードバック処理ユニット３３０、高解像度画像上に画像処理を行う画像処理ユニット３４０、及び、格納ユニット３６０内に格納される高解像度画像を管理するデータベース管理ユニット３５０からなる。更に、画像処理サーバは、処理又は未処理の高解像度画像の高品質プリントを行うユーザ要求に答えるために、プリントユニット３７０を含む場合もある。「高分解能」及び「高解像度」という用語はともに置き換え可能に使用される。

図１を更に参照するに、制限された帯域幅のワイヤレス通信ネットワーク２０は、移動装置１０の通信ポートを、画像処理サーバ３０の通信ポートに接続する。ネットワーク全体は、携帯電話機用の商業ワイヤレスネットワークであっても、情報を中継するためのインターネットを含んでもよい。

画像処理作業は、移動装置１０からのユーザ要求により開始されることが可能である。図２を参照するに、本発明の画像処理作業を選択するための移動装置のＧＵＩ（グラフィカルユーザインタフェース）の一例を示す。サイズが変更されてレンダリングされるが、未処理のデジタル画像４１０は、移動装置１０により受信され、移動装置１０のディスプレイ領域５０に表示される。同時に、画像処理メニュ４２０がユーザに提示される。一般的に、メニュは、赤目低減、画像回転、画像クロッピング、自動調整、テキスト／音声注釈、及び画像削除といった画像処理作業を含み、図２のディスプレイ領域の下におけるアイコンにより示す。自動調整とは、多くの画像処理ソフトウェアパッケージ（例えば、アドビのフォトショップ、マイクロソフトのピクチャ・イット！）において見られるように、集合的に、輝度調整、色調整、及びコントラスト調整を意味する。ユーザは、画像処理作業を表すアイコンを選択するためにスタイラス７０を使用するか、又は、アイコンと、そのアイコンが表す画像処理に対応する言葉を、マイクロホン１１０に話すか、又は、対応する画像処理作業を選択するためにキーパッド（入力領域６０）を使用することが可能である。例えば、対応するアイコンを選択することにより、赤目低減を行うことを要求することが可能である。更に、ユーザ入力は、赤目低減が行われる必要のある画像の大まかな領域の指示を含んでもよい。選択された画像処理作業の要求は、次に、画像処理サーバ３０に送信される。高解像度画像は、次に、画像処理ユニット３４０により要求された画像処理作業が処理される。

図５を参照するに、本発明の１つの好適な実施例の移動画像処理の段階を示す。高解像度画像が、画像処理サーバ３０にアップロードされていると仮定すると、画像処理ユニット３４０は最初に、全ての高解像度画像に画像処理をオフラインで行う（７１０）。移動装置１０の要求により、画像処理サーバ３０は、画像、画像処理の結果（適切なサイズ変更及びレンダリング後）、及び、画像処理作業指示子を移動装置に送信する（７１２）。移動装置は次に、画像と、画像処理の結果を表示する（７１４）。次に、ユーザは、画像処理の結果に関するフィードバックを供給し（７１６）、移動装置は、ユーザフィードバック入力を画像処理サーバに送信する。最後に、画像処理サーバ３０は、ユーザフィードバックに応答して画像処理を修正し（７１８）、最終的な処理高解像度画像を生成する（７２０）。

一般的に、画像処理サーバ上でデフォルトで行われるデフォルト画像処理作業は、赤目低減、自動画像クロッピング、及び自動調整を含み得る。この場合も先と同様、自動調整とは、輝度調整、カラー調整、及びコントラスト調整を、集合的に意味する。図３を参照するに、本発明の画像処理作業の結果をプレビューするための移動装置のＧＵＩの一例を示す。画像処理作業指示子の形である高解像度画像に行われる画像処理作業のタイプに関する情報は、画像をプレビューするための要求をした際に、未処理高解像度デジタル画像のレンダリングされサイズ変更されたバージョンと共に、クライアント移動装置１０に送信される。

未処理画像４１０のバージョンは、移動装置１０のディスプレイ領域５０内に、アイコンの形であり、自動的に行われた画像処理作業の結果の入手可能性を示す画像処理指示子５２０と共に表示される。ユーザは、画像処理作業指示子に対応するアイコンをたたくためにスタイラス７０を用いるか、画像処理作業を表すアイコンに対応する言葉をマイクロホン１１０に話しかけるか、又は、アイコンを選択するためにキーパッド（入力領域６０）を使用してプレビューする画像処理結果を選択することが可能である。画像処理結果が、ユーザから要求されると、処理された高解像度デジタル画像のサイズ変更されてレンダリングされたバージョン５１０が伝送され、移動装置１０のディスプレイ５０に表示される。尚、画像処理作業は、必ずしも効果がある必要はない、即ち、新しい画像を必ずしも生成する必要はない。例えば、赤目補正は、赤目がなければ又は検出されなければ、画像にはなんら効果はない。画像処理の結果が、オリジナルと異なる場合にのみ、対応するアイコンが示される。

また、画像処理作業の効果は、移動装置の制限されたディスプレイ上では分からない場合もあり得る。従って、レンダリングは、ターゲットディスプレイ上の画像変化知覚を促進するよう行われる。即ち、コントラストを上げる、カラーバランスを広げる、倍率を上げる等である。

特に、有用な画像処理作業の１つは、赤目低減である。２００１年９月１８日にSchildkraut外に発行されたＵＳ６，２９２，５７４には、フラッシュ照明による画像中の被写体の赤目欠陥を検出するコンピュータプログラムプロダクトが記載され、このプロダクトは、デジタル画像中の肌色をした領域を検出する段階と、赤目欠陥のカラー特性を有する画素群を肌色領域から探す段階と、見つかった赤目欠陥の場所に基づいて画素の色を補正する段階とを行うためのコンピュータプログラムが格納されたコンピュータ可読記憶媒体を含む。このようなコンピュータプログラムは、計算集約的であり、高計算能力及び大容量メモリを有する画像処理サーバ上でのみ実行されるべきである。しかし、自動赤目低減プログラムは、偽のアラーム（例えば、クリスマスツリー上の赤色の電球）及び見逃し（例えば、不快な赤目）を含む間違いをする場合がある。従って、そのような間違いを拒絶する又は補正するために、ユーザがプレビューする必要がある。

図４は、本発明の赤目低減をプレビューするための移動装置のＧＵＩの一例を示す図である。赤目は、人間の顔の中に限定されるので、赤目を有する顔の周りの領域のみを表示することは理解できるであろう。従って、ユーザからプレビューの要求を受けると、処理されたデジタル画像のズームアップされた又は拡大された領域が、画像処理サーバ３０によりレンダリングされ、移動装置１０に送信される。このズームされた処理画像６１０は、移動装置のディスプレイ領域５０においてユーザに提示される。同時に、ユーザフィードバック／補正メニュ６２０も提示される。ユーザは、偽のアラーム補正を「拒絶する」か、納得の行く補正を「承諾する」か、又は、「左目」若しくは「右目」の場所を「補正する」よう選択することが可能である。補正動作が選択されると、クロスヘアが自動的に決定された赤目場所を示すよう表示され、ユーザは、スタイラス７０又はキーパッド（入力領域６０）を用いて、赤目場所を修正するようクロスヘアを動かすことが可能である。

クライアント装置上の画像処理プログラムの機能は、ユーザ入力及びフィードバックを容易にするという主な目的に最小限必要なものに限定されることが可能である。一般的に、クライアント画像処理プログラムは、低解像度画像（画像処理サーバ上で事前にレンダリングされ得る）の表示、低解像度画像の回転、ユーザフィードバックの指示（ユーザ入力により選択されたアイコンの指示、赤目場所のユーザ補正のためのクロスヘアの付加）等が可能であるべきである。より能力のあるクライアント装置では、例えば、カラー量子化及びエラー拡散といった画像レンダリング作業の一部は、画像処理サーバ３０から移動装置１０に移すことが可能である。

本発明の１つの好適な実施例を示す図である。 本発明の画像処理作業を選択するための移動装置のＧＵＩの一例を示す図である。 本発明の画像処理作業をプレビューするための移動装置のＧＵＩの一例を示す図である。 本発明の赤目補正をプレビューするための移動装置のＧＵＩの一例を示す図である。 本発明の方法の段階を示すフローチャートである。

Claims (5)

1. （ａ）低解像度デジタル画像及び画像処理作業指示子を表示するためにＶＧＡ未満の解像度及び２４ビット未満のビット深度を有する制限されたディスプレイと、ユーザ入力のためのオペレータインタフェースと、ＣＰＵと、メモリと、第１の通信ポートとを含み、前記ＣＰＵは、制限されたクライアント画像処理プログラムを実行可能であるクライアント装置と、
   （ｂ）第２の通信ポートを含み、処理されたデジタル画像を生成するための遠隔ユーザ入力に応答し、画像処理サーバにおいて格納される高解像度画像に画像処理作業を行い、前記クライアント装置の前記制限されたディスプレイ上での表示のために前記高解像度画像の低解像度バージョンを生成し、特定の画像処理作業を示す画像処理作業指示子を生成する画像処理サーバと、
   （ｃ）前記低解像度画像及び前記画像処理作業指示子を、前記画像処理サーバから前記クライアント装置に伝送し、また、前記遠隔ユーザ入力を、前記クライアント装置から前記画像処理サーバに伝送するよう前記第１の通信ポート及び前記第２の通信ポートに接続可能な制限された帯域幅の移動通信ネットワークと、
   を含む画像処理システム。
2. 制限されたディスプレイと制限された画像処理能力を有するクライアント装置から画像処理を行う方法であって、
   （ａ）低解像度デジタル画像及び画像処理作業指示子を表示するためにＶＧＡ未満の解像度及び２４ビット未満のビット深度を有する制限されたディスプレイと、ユーザ入力のためのオペレータインタフェースと、ＣＰＵと、メモリと、第１の通信ポートとを含み、前記ＣＰＵは、制限されたクライアント画像処理アプリケーションを実行可能であるクライアント装置を供給する段階と、
   （ｂ）第２の通信ポートを含み、処理されたデジタル画像を生成するための遠隔ユーザ入力に応答し、画像処理サーバにおいて格納される高解像度画像に画像処理作業を行い、前記クライアント装置の前記制限されたディスプレイ上での表示のために前記高解像度画像の低解像度バージョンを生成し、特定の画像処理作業を示す画像処理作業指示子を生成する画像処理サーバを供給する段階と、
   （ｃ）前記高解像度画像の低解像度バージョンと、処理された高画像デジタル画像と、前記画像処理サーバにおける前記画像処理作業の効果を表す低解像度プレビュー画像とを生成する段階と、
   （ｄ）制限された帯域幅の移動通信ネットワークを介して、前記画像の前記低解像度バージョンを、画像処理作業指示子と共に前記クライアント装置に伝送し、前記クライアント装置上で前記画像の前記低解像度バージョン及び前記画像処理作業指示子を表示する段階と、
   （ｅ）プレビュー画像を要求するために表示された前記画像作業指示子と前記オペレータインタフェースを使用し、前記クライアント装置に前記プレビュー画像を伝送する段階と、
   （ｆ）前記クライアント装置の前記ディスプレイ上に前記プレビュー画像を表示する段階と、
   （ｇ）ユーザフィードバックを得るために前記オペレータインタフェースを使用し、前記クライアント装置に前記ユーザフィードバックを伝送する段階と、
   （ｈ）前記ユーザフィードバックに応答して前記画像処理サーバ上で最終的な処理された高解像度画像を生成する段階と、
   を有する方法。
3. 前記画像処理作業は、赤目低減であり、
   前記プレビュー画像は、前記赤目低減が行われた前記画像の拡大部分であり、前記赤目低減の場所を示すグラフィック素子を前記画像中に有する請求項３１記載の方法。
4. 前記ユーザ入力は、前記赤目低減が行われるべき前記画像の領域への補正の指示を含む請求項３１記載の方法。
5. 前記画像処理作業は、自動調整（カラー、輝度、及びコントラスト調整）であり、
   前記プレビュー画像は、自動調整された画像の低解像度バージョンである請求項３１記載の方法。

Images