JP2003060980A - 画像処理システム - Google Patents

Abstract

(57)【要約】 【課題】 高度な画質補正を手軽に低コストで行うこと
ができる画像処理システムを提供する。 【解決手段】 デジタルカメラ１が、ユーザーＩ／Ｆ１
０によりＩＣカード１４のユーザＩＤを取得し、撮像系
２により被写体像を撮像してメモリ３に記憶し、データ
算出部５により該画像からサムネイル画像を作成すると
ともに撮像制御部４からのＡＦ情報と上記ユーザＩＤと
を取得して、通信部７によりこれらの情報を送信し、サ
ーバ２１が、通信部２２により情報を受信して、ユーザ
ＩＤに基づきユーザデータベース２４を参照しながらパ
ラメータ決定部２３によりＡＦ情報を用いて主要被写体
を推定しそこに階調を重点的に配分するような階調変換
曲線を算出し、デジタルカメラ１が通信部２２，７を介
して受信した階調変換曲線に基づき画質補正部６で画質
を補正するようにした画像処理システム。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理システ
ム、より詳しくは、端末とサーバとを通信回線により接
続してなる画像処理システムに関する。

【０００２】

【従来の技術】近年のデジタルカメラやデジタルプリン
タは、性能が著しく向上しており、高級機種のデジタル
カメラにより撮影された画像を、高性能のデジタルプリ
ンタを用いて最適となるようにプリントアウトした場合
には、従来の銀塩写真と全く遜色ないといえる程のプリ
ントが得られるレベルにまでなってきている。

【０００３】このような美しい画像を得るためには、デ
ジタルカメラ自体が高い光学性能を備えていること、撮
影された画像が適正露出であること、が必要な条件であ
り、さらに画像をプリントする場合には、デジタルカメ
ラの色再現特性とプリンタの色再現特性とが適合してい
ることが必要となる。そして、この条件を満たすように
するために、実際には、画像に階調補正や色補正などの
画像補正処理を加えることが必須となっている。

【０００４】このような画像補正処理は、従来、デジタ
ルカメラ内に画像補正処理を行う手段を組み込んだり、
あるいは撮影された画像をパーソナルコンピュータに取
り込んで、該パーソナルコンピュータにおいてソフトウ
ェアにより処理するようにしていた。

【０００５】上記画像補正処理の内の、例えば階調補正
処理を行うものの例としては、特開２０００−２２８７
４７号公報に、露出の異なる２枚の画像を合成すること
により、１枚の広ダイナミックレンジ画像を得るように
した電子カメラが記載されている。

【０００６】また、最近では、画像処理サービスを行う
ウェブ上のサイトも登場しており、対象となる画像デー
タを該サイトにアップロードし、同サイトにおいて画像
処理を行った後に、処理された画像データをダウンロー
ドするという手順を踏むようになっている。

【０００７】

【発明が解決しようとする課題】しかしながら、上述し
たような画像補正処理には以下のような課題がある。

【０００８】まず、デジタルカメラ内で画像補正処理を
行う場合は、即時性が要求されるために、ハードウェア
化して処理回路等として組み込む必要がある。従って、
例えば、画像内の主要被写体の位置を検出して該主要被
写体がより適切となるように補正処理する、といったよ
うな、複雑な処理を行って高度の画質補正を可能とする
回路は、組み込むことが不可能であるか、あるいは組み
込むことが可能であったとしても非常に高価なものにな
ってしまうという課題があった。

【０００９】また、パーソナルコンピュータで画像補正
処理を行う場合は、撮影した画像データを該パーソナル
コンピュータに移す必要があり、データの移動をメモリ
カード経由で行ったとしても、煩わしいという課題があ
った。

【００１０】さらに、ウェブ上のサイトで画像補正処理
を行う場合は、上述したように、画像データをアップロ
ードしたりダウンロードしたりする必要があるために、
通信時間や通信コストがかかるという課題があった。

【００１１】本発明は上記事情に鑑みてなされたもので
あり、高度な画質補正を手軽に低コストで行うことがで
きる画像処理システムを提供することを目的としてい
る。

【００１２】

【課題を解決するための手段】上記の目的を達成するた
めに、第１の発明による画像処理システムは、端末と、
サーバと、これら端末とサーバとを接続する通信回線
と、を含んで構成される画像処理システムであって、処
理前画像を入力する画像入力手段と、パラメータ決定用
のデータを算出するデータ算出手段と、このデータ算出
手段により算出されたデータに基づき画像処理用のパラ
メータを決定するパラメータ決定手段と、このパラメー
タ決定手段により決定されたパラメータに基づき上記画
像入力手段により入力された処理前画像に画像処理を行
う画像処理手段と、上記通信回線を介して上記端末と上
記サーバとの間の通信を行う通信手段と、を備えたもの
である。

【００１３】また、第２の発明による画像処理システム
は、上記第１の発明による画像処理システムにおいて、
上記端末が上記画像入力手段と上記画像処理手段と上記
データ算出手段と上記通信手段とを有してなり、上記サ
ーバが上記パラメータ決定手段と上記通信手段とを有し
てなり、上記通信手段は、上記端末から上記サーバに上
記データを送信し、上記サーバから上記端末に上記パラ
メータを送信するものである。

【００１４】さらに、第３の発明による画像処理システ
ムは、上記第１または第２の発明による画像処理システ
ムにおいて、上記データ算出手段が、上記処理前画像の
入出力条件を取得する入出力条件取得手段を有してな
り、この入出力条件取得手段により取得した上記入出力
条件と上記処理前画像とに基づいて、上記パラメータ決
定手段がパラメータを決定するために必要なデータを算
出するものである。

【００１５】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図１から図１０は本発明の一実施
形態を示したものであり、図１は画像処理システムの構
成を示すブロック図、図２は画像をサーバに送って画質
補正を行うかどうかをユーザに問い合わせる表示を示す
図、図３は回線が混雑しているために送信を中止する表
示を示す図、図４はシーン分類結果と画質設定の表示を
示す図、図５はデータ算出部における送信データ計算処
理を示すフローチャート、図６はサーバにおける階調変
換曲線決定処理を示すフローチャート、図７はユーザの
好みに応じて階調変換曲線を調整する様子を示す線図、
図８はサーバにおけるシーン分類結果に基づいた基本階
調変換特性の計算処理を示すフローチャート、図９はシ
ーンの分類を示す図表、図１０は分類されたシーンにお
ける重み付けを示す図表である。

【００１６】この画像処理システムは、図１に示すよう
に、画像を撮像して画像補正を行い記録し得る端末たる
デジタルカメラ１と、このデジタルカメラ１から送信さ
れたデータに基づいて画像補正を行う際に用いるパラメ
ータを算出し該デジタルカメラ１に返信し得るサーバ２
１と、を有して構成されている。

【００１７】上記デジタルカメラ１は、デジタル画像信
号を出力するものであって連写撮像が可能な画像入力手
段たる撮像系２と、この撮像系２から出力される画像デ
ータを記憶するメモリ３と、上記撮像系２の撮像動作を
制御するための入出力条件取得手段たる撮像制御部４
と、この撮像制御部４から出力される撮像制御データと
上記メモリ３に記憶された画像データと後述するユーザ
Ｉ／Ｆ１０から出力されるユーザＩＤとに基づきサーバ
２１に送信するためのデータを算出するデータ算出手
段、最適化手段、区分情報算出手段を兼ねたデータ算出
部５と、このデータ算出部５により算出されたデータを
上記サーバ２１に送信するための通信手段たる通信部７
と、この通信部７を介したサーバ２１との通信回線の回
線速度を検出するデータ算出手段たるトラフィック評価
部８と、上記通信部７を介してサーバ２１から取得した
パラメータに基づき上記メモリ３に記憶された画像デー
タの画質補正処理を行い補正後の画像データを該メモリ
３に記憶させる画像処理手段たる画質補正部６と、上記
メモリ３に記憶された画質補正前または画質補正後の画
像データをメモリカードスロットを介して着脱自在に接
続されるメモリカードに記憶させるための記録手段たる
メモリカードＩ／Ｆ９と、上記データ算出部５により算
出されたデータをサーバ２１に送信させる操作入力や上
記メモリカードＩ／Ｆ９を介して画像データを上記メモ
リカードに記憶させる操作入力を行うものであり入出力
条件取得手段であって使用者認証手段たるＩＣカード１
４に記憶されているユーザＩＤ等の読み取りも行うデー
タ算出手段、入出力条件取得手段、処理結果選択手段、
使用者認証手段を兼ねたユーザＩ／Ｆ１０と、上記各回
路を含むこのデジタルカメラ１全体の制御を行うＣＰＵ
１１と、を有して構成されている。

【００１８】また、上記撮像系２は、被写体像を結像す
るための撮像光学系２ａと、この撮像光学系２ａにより
結像された被写体像を光電変換して画像信号として出力
するＣＣＤ２ｂと、このＣＣＤ２ｂから出力される画像
信号に、相関二重サンプリング（ＣＤＳ）、自動利得制
御（ＡＧＣ）、アナログデジタル変換（Ａ／Ｄ）、ＲＧ
Ｂ画像データを生成する補間処理、などの処理を行う信
号処理部２ｃと、を有して構成されている。

【００１９】さらに、上記ユーザＩ／Ｆ１０は、撮影さ
れた画像を表示し得るとともにこのデジタルカメラ１に
係る各種の情報を表示し得るＬＣＤ等でなる表示装置
と、ユーザが操作入力を行うためのものであり撮影動作
を指示するためのレリーズボタンやその他の調整用ボタ
ン類を含んでなる操作入力装置と、上記ＩＣカード１４
に記憶されたデータを読み取るためのＩＣカード読取装
置と、を有して構成されている。

【００２０】なお、上記ＩＣカード読取装置は、ＩＣカ
ード１４を着脱自在に装着するものであっても良いが、
これに限らず、接触式または非接触式によりＩＣカード
１４に記憶されたデータを読み取って、他のＩＣカード
１４のデータを読み取るまでは、直前に読み取ったデー
タを用いるようなものであっても構わない。

【００２１】上記サーバ２１は、上記デジタルカメラ１
の通信部７との間で通信回線を介して通信を行うための
通信手段たる通信部２２と、この通信部２２を介して上
記デジタルカメラ１から入力されたデータに基づいて上
記画質補正部６が画質補正を行う際に用いるパラメータ
を決定するパラメータ決定手段、主要被写体特定手段、
画像分類手段、区分重み決定手段、区分情報統合手段を
兼ねたパラメータ決定部２３と、このパラメータ決定部
２３がパラメータを決定する際に参照するユーザデータ
等を保持するユーザデータベース２４と、を有して構成
されている。

【００２２】次に、このような画像処理システムの動作
について説明する。

【００２３】まず、デジタルカメラ１を使うにあたっ
て、ユーザは、ＩＣカード１４に記憶されているデータ
を上記ユーザＩ／Ｆ１０に読み取らせることにより、ユ
ーザ認証を行う。すなわち、ＩＣカード１４には、ユー
ザを識別するためのユーザＩＤ情報が記憶されていて、
このユーザＩＤがユーザＩ／Ｆ１０に取り込まれる。

【００２４】その後、ユーザが、上記ユーザＩ／Ｆ１０
の２段式でなるレリーズボタンの１段目を押下すると、
上記撮像制御部４が、上記ＣＣＤ２ｂから得られる画像
データに基づいて測光を行うことにより露出時間を含む
露出値を決定するとともに、該画像データに基づいてオ
ートフォーカス機構により焦点位置を決定する。

【００２５】撮像系２は、決定された焦点位置となるよ
うに上記撮像光学系２ａをフォーカス調整する。

【００２６】そして、レリーズボタンの２段目が押下さ
れたところで、まず最初は、上記撮像制御部４により設
定された露出時間の１／８の時間で露光を行うことによ
ってＳＥ（Short Exposure：短時間露光）画像を撮像
し、すぐに引き続いて、設定された露出時間によるＬＥ
（Long Exposure：長時間露光）画像の撮影を行う。

【００２７】これらＳＥ画像とＬＥ画像の各露光が行わ
れる毎に、ＣＣＤ２ｂから読み出される画像信号を信号
処理部２ｃが処理して、最終的に露出の異なる２枚のＲ
ＧＢ画像がメモリ３に記憶される。

【００２８】次に、このメモリ３に記憶された内のＬＥ
画像は、上記ユーザＩ／Ｆ１０により読み出されて、図
２等に示すように、表示装置の画面３１に表示される。

【００２９】このとき同時に、画像をサーバ２１に送っ
て画質補正を行うか否かを、該図２に示すような表示３
２により、ユーザに問い合わせる。

【００３０】この間に、上記トラフィック評価部８は、
通信部７を介してサーバ２１の通信部２２と通信を行う
ことにより、通信回線の通信速度を測定して、その測定
結果を上記ユーザＩ／Ｆ１０に出力する。なお、トラフ
ィック評価部８において、通信回線の通信速度に加え
て、サーバ２１の処理速度も評価するようにするとなお
良い。

【００３１】ユーザＩ／Ｆ１０は、受け取った通信速度
を、図２に示すように、上記表示３２内の所用時間表示
欄３２ａに表示する。

【００３２】表示装置の画面３１には、上記表示３２以
外に、処理選択表示３３が表示されるようになってお
り、画質補正を直ちに実行することを選択するための実
行ボタン３３ａと、後で再生時に画質補正を行うことを
選択するための再生時ボタン３３ｂと、画質補正を行わ
ないことを選択するためのキャンセルボタン３３ｃと、
が選択肢として表示されている。

【００３３】ユーザが上記再生時ボタン３３ｂを選択し
た場合には、メモリカードＩ／Ｆ９は、上記メモリ３に
記憶されているＬＥ画像とＳＥ画像とを読み出して、こ
れらを一体のデータとして（つまり、例えば１つのファ
イルとして）、メモリカードに記録する。

【００３４】そして、再生時には、メモリカードＩ／Ｆ
９がメモリカードから画像を読み出してメモリ３に展開
し、ユーザーＩ／Ｆ１０の表示装置により上記図２に示
したのとほぼ同様に表示を行う。

【００３５】ただし、このときには、メモリカードから
読み出した画像の記録形式がＬＥ画像とＳＥ画像を一体
に記録する形式であって、これを再びメモリカードに記
録し直す必要はないために、上記再生時ボタン３３ｂの
表示は行わず、処理選択表示３３には、実行ボタン３３
ａとキャンセルボタン３３ｃのみが表示されることにな
る。

【００３６】この再生時に実行ボタン３３ａまたはキャ
ンセルボタン３３ｃが選択された場合には、撮影直後に
実行ボタン３３ａまたはキャンセルボタン３３ｃが選択
された場合とほぼ同様の、以下に説明するような処理が
行われることになる。なお、この再生時に実行ボタン３
３ａが選択された場合には、一体に記録されたＬＥ画像
およびＳＥ画像に代えて画質補正後の画像が最終的に記
録され、一方、キャンセルボタン３３ｃが選択された場
合には、一体に記録されたＬＥ画像およびＳＥ画像に代
えてＬＥ画像のみが最終的に記録されることになる。

【００３７】一方、上記図２に示したような画面３１に
おいて、ユーザが、キャンセルボタン３３ｃを選択した
場合は、上記メモリ３に記憶されているＬＥ画像とＳＥ
画像の内の、ＬＥ画像のみが読み出されて、メモリカー
ドＩ／Ｆ９によりメモリカードに記録される。

【００３８】他方、上記図２に示したような画面３１に
おいて、ユーザが、実行ボタン３３ａを選択した場合に
は、ユーザＩ／Ｆ１０が、データ算出部５にユーザＩＤ
を出力する。

【００３９】データ算出部５は、図５に示すようなフロ
ーチャートに従って、上記サーバ２１に送信するための
データを準備する。このサーバに送信するデータは、
「撮像系２におけるＡＦ値」と、「ユーザＩＤ」と、
「サーバ側で、撮影画像がどのようなシーンであるかを
判断するために必要な、原画像の縮小画像」と、「サー
バ側で階調変換曲線を計算する際に必要になるデータで
あって、上記縮小画像からは導くことのできないデー
タ」と、の４種類が含まれている。

【００４０】このようなデータ算出部５の動作につい
て、図５を参照して説明する。

【００４１】データ算出部５の動作が開始されると、ま
ず、上記トラフィック評価部８から、現在のサーバ２１
との間の回線の、最新のトラフィック評価値β（ｂｉｔ
ｓ／ｓｅｃ）を取得するとともに、上記ＣＰＵ１１か
ら、ピクセル（ｐｉｘｅｌ）単位の撮影画像の幅Ｗと、
ピクセル（ｐｉｘｅｌ）単位の撮影画像の高さＨと、秒
（ｓｅｃ）単位の許容通信時間Ｔと、を取得する（ステ
ップＳ１）。

【００４２】次に、許容通信時間Ｔ（ｓｅｃ）の間にサ
ーバ２１にデータを送信するためには、撮影画像をおお
よそ何分の１に間引けば良いかを、次の数式１により計
算する（ステップＳ２）。

【数１】 Ｎ ← ceil(sqrt{[(W×H)×3×2]/[(β×T)/8]}) ここに、ｓｑｒｔ（ｘ）はｘの平方根、ｃｅｉｌ（ｘ）
はｘ以上の最小の整数をそれぞれ表している。

【００４３】なお、この間引き率Ｎは、縦方向と横方向
のそれぞれに何画素毎に１画素を使用するかを示す値で
あり、つまり、Ｎ×Ｎ画素毎に１画素を使用することを
表している。例えばＮ＝８の場合には、８×８画素毎に
１画素を使用するような間引きを行うことになる。この
間引き率Ｎの具体的な数値例としては、例えば８以上の
値が挙げられる。

【００４４】そして、この間引き率Ｎが、所定の最小値
Ｎ_h以下であるか否かを判断する（ステップＳ３）。サ
ーバ２１側では、送られたデータからヒストグラムを計
算して階調変換曲線を決定するが、この所定の最小値Ｎ
_hは、画像からヒストグラムを必要な精度で計算するこ
とができる最小の画像サイズに対応する間引き率となっ
ている。

【００４５】このステップＳ３において、間引き率Ｎが
最小値Ｎ_hよりも大きいと判定された場合には、データ
算出部５は、上記メモリ３に記憶されているＬＥ画像と
ＳＥ画像とを読み出して、これらをそれぞれ１／Ｎに間
引いて縮小することにより、いわゆるサムネール画像を
形成し、縮小されたこれらの画像を送信データＳとする
（ステップＳ４）。

【００４６】また、上記ステップＳ３において、間引き
率Ｎが最小値Ｎ_h以下であると判定された場合には、間
引いた撮影画像はサーバ２１に送信するデータとして適
切でないと判断して、他のデータを送信することにす
る。

【００４７】ここに、サーバ２１に送信されるデータと
は、ＬＥ画像とＳＥ画像のそれぞれについて、 （１）画像をブロックに分割した場合の、各ブロックの
輝度の重み付きヒストグラム （２）サーバ側で撮影画像のシーン分類を行うために必
要な最小サイズの間引き画像 の２種類のデータである。

【００４８】各ブロックのヒストグラムは、輝度の階調
数を８ビット（２５６階調）とし、ヒストグラムの精度
を８ビット（１バイト）とすると、２５６バイトのデー
タサイズとなる。また、最小サイズの間引き画像につい
ては、幅および高さがそれぞれＷ_a、Ｈ_aの規定値にな
るように間引き率１／Ｎが決定される。

【００４９】そこで、許容通信時間Ｔ（ｓｅｃ）の間に
これらのデータを全てをサーバ２１に送信するために
は、撮影画像を縦横何等分してブロックを作れば良いか
を示す画像分割数Ｄを、次の数式２により計算する。

【数２】 Ｄ ← ceil(sqrt{[(β×T)/8-K]/[256×2]}) ここに、各記号等は、上記数式１におけるものと同様で
ある。

【００５０】こうして算出された画像分割数Ｄが、所定
の最小値Ｄ_minよりも小さいか否かを判断する（ステッ
プＳ６）。

【００５１】ここで、小さいと判定された場合には、サ
ーバ２１にデータを送るにはトラフィックが重過ぎる
（回線速度が遅すぎる）と判断し、データ送信を中止す
る（ステップＳ９）。このときに、ユーザＩ／Ｆ１０の
表示装置により、図３に示すような画面３１に、「回線
が混雑しています。送信を中止します。」といったよう
な送信を中止する旨の表示３４を行い、それを見終えた
ユーザが該表示３４を終了させるための了解ボタン３５
も表示する。このときには、メモリカードＩ／Ｆ９が、
ＬＥ画像とＳＥ画像の両方を、上述したようにメモリカ
ードに記録して終了することになる。

【００５２】一方、上記ステップＳ６において、画像分
割数Ｄが所定の最小値Ｄ_min以上であると判定された場
合は、ＬＥ画像とＳＥ画像のそれぞれに対して、以下の
ようにブロック毎の輝度の重み付きヒストグラムを計算
する。

【００５３】すなわち、まず、ＬＥ画像の輝度成分Ｙｌ
ｅと、ＳＥ画像の輝度成分Ｙｓｅとを計算する。次に、
これらに対して、例えばラプラシアンフィルタを用いて
エッジ検出を行い、ＬＥ画像についてのエッジ検出結果
をＥｌｅ、ＳＥ画像についてのエッジ検出結果をＥｓｅ
とする。最後に、上記輝度成分Ｙｌｅ，Ｙｓｅを縦横Ｄ
等分して、各分割領域内のヒストグラムを計算する。そ
の際に、ヒストグラム計算時の重みとして上記エッジ検
出結果Ｅｌｅ，Ｅｓｅを用いる。ここに、エッジ強度に
よって重み付けをする理由は、例えば空などのように面
積が大きく単調な被写体によるヒストグラムへの影響を
低減して、よりエッジが多いと考えられる主要被写体を
重要視するためである。

【００５４】次に、ヒストグラム計算と並行して、ＬＥ
画像とＳＥ画像とをそれぞれ１／Ｎ_aに間引いた画像を
作成する。そして、これらをひとまとめにしたデータ
を、送信データＳとする（ステップＳ７）。

【００５５】上記ステップＳ４またはステップＳ７で作
成された送信データＳと、上記ユーザＩＤと、上記撮像
制御部４から得られる撮像時のＡＦ位置情報と、をサー
バ２１に送信するデータとし、通信部７に出力して（ス
テップＳ８）、終了する。

【００５６】このようにして、サーバ２１に送信するた
めのデータがデータ算出部５から通信部７に出力される
と、通信部７は、該データをサーバ２１に送信する。

【００５７】サーバ２１では、通信部２２によりデータ
を受信して、図６に示すようなフローチャートに従って
処理を行う。ただし、この図６には、デジタルカメラ１
側と交信する処理や、デジタルカメラ１側における処理
も、一部記載されている。

【００５８】このようなサーバ２１における階調変換曲
線決定の処理について、図６を参照して説明する。

【００５９】サーバ２１は、デジタルカメラ１からデー
タを受信すると、このデータの内の、ＡＦ情報と、ＬＥ
の縮小画像と、ＳＥの縮小画像と、を用いて、まず、撮
影されたシーンがどのようなものであるかを判断する処
理を行う。

【００６０】この処理は、画像にキーワードを自動的に
付与する公知技術と、原稿の特定部分が文書画像である
かまたは自然画像であるかを判断する像域分離の公知技
術と、により実現することができる。

【００６１】キーワード付与の公知技術では、画像中の
特定領域を、色やテクスチャ等を用いて予め指定された
幾つかのカテゴリに分類し、その分類結果を用いること
により、画像中に、人物、木、空、建物といった特定の
物体が含まれるかどうかを判断することが可能となって
いる。この実施形態においては、キーワード付与の公知
技術により、縮小画像中に人物、建物、空、海、山の５
つの被写体が含まれるか否かを判断し、さらに被写体の
占める領域を特定するようになっている。

【００６２】また、像域分離の公知技術を用いることに
より、縮小画像中の文書画像の領域を特定することが可
能である。

【００６３】このようにして、ＬＥ画像の縮小画像から
得られたシーンの分析結果と、ＡＦ値と、に基づいて、
図９に示すように、撮影シーンを「室内ポートレー
ト」、「屋外ポートレート」、「風景」、「パンフレッ
ト」、「文書」、「その他」の６つのカテゴリに分類す
る。

【００６４】ここに、ＡＦ値が５ｍ未満で人物があって
空や海がなく文書領域もない場合には「室内ポートレー
ト」であると分類し、ＡＦ値が１０ｍ未満で人物がある
とともに空、海、山、建物の何れかがあり文書領域もな
い場合には「屋外ポートレート」であると分類し、ＡＦ
値が３ｍより大きく空、海、山、建物の何れかに分類さ
れた領域が画像の７０％以上を占め文書領域もない場合
には「風景」であると分類し、ＡＦ値が１ｍ未満で人
物、空、海、山、建物の何れかがあるとともに文書領域
もある場合には「パンフレット」であると分類し、ＡＦ
値が１ｍ未満で特定被写体がなく文書領域がある場合に
は「文書」であると分類し、これら以外を「その他」と
分類するようになっている。

【００６５】こうして、このように得られた分類結果の
番号をＳとする（ステップＳ１１）。

【００６６】このシーン分類結果Ｓに応じて、好ましい
階調変換曲線Ｔを、後で図８を参照して詳しく説明する
ように、計算する（ステップＳ１２）。ここで計算され
た階調変換曲線は、ステップＳ１３以下の処理において
調整されることになるために、基本階調変換特性と呼ぶ
ことにする。

【００６７】次に、上記シーン分類結果Ｓにより指定さ
れる撮影シーンカテゴリに対して、ユーザＩＤで指定さ
れるユーザの好みを、ユーザデータベース２４から検索
する。この実施形態では、画像全体の明るさとコントラ
ストについて、ユーザが階調補正結果に自分の好みを反
映させ、各々５段階に明暗と強弱を設定することができ
るようになっている。この画質設定は、後述するステッ
プＳ１４〜ステップＳ１７の処理においてユーザが対話
的に設定することが可能となっており、設定結果は、そ
の都度ユーザデータベース２４に記録される。ここで
は、この処理における画質設定Ｐの初期値として、同じ
ユーザが同じカテゴリのシーンに対して以前に選択した
画質設定を読み出して用いるようになっている。そし
て、この画質設定の初期値を、通信部２２を経由して、
上記撮影シーンカテゴリとともに、上記デジタルカメラ
１に返信する（ステップＳ１３）。

【００６８】その後、パラメータ決定部２３は、上述し
たように設定された画質設定Ｐを用いて、上記基本階調
変換特性を調整する。この新しい階調変換曲線Ｔnew を
生成するための調整は、次の数式３に示すように、基本
階調変換曲線Ｔを、調整関数Ａという図７に示すような
ガンマ特性を用いて、

【数３】Ｔnew （ｘ） ＝ Ａ（Ｔ（ｘ）） と計算し直すことにより行われる。ここにｘは、０〜２
５５の整数値をとるものである。

【００６９】図７において符号４２として示されている
上記調整関数Ａは、基準となる調整点４１の変換前後の
値Ｐｉ，Ｐｏと、Ｃｉ，Ｃｏにより規定される調整点で
の傾きと、をパラメータとして指定されるようになって
いる。これらのパラメータは、上記ステップＳ１１のシ
ーン分析において、最も重要であると判断された被写体
の、種類および画質設定の段階に応じて設定されてい
る。

【００７０】調整関数Ａにより階調変換曲線Ｔの調整が
終了すると、サーバ２１は、通信部２２を介して、ＬＥ
画像に係る調整後の階調変換曲線とＳＥ画像に係る調整
後の階調変換曲線とをそれぞれデジタルカメラ１に送信
し、該デジタルカメラ１から返信があるのを待機する
（ステップＳ１４）。

【００７１】一方のデジタルカメラ１は、上記ステップ
Ｓ１４においてサーバ２１から送信された調整後の階調
変換曲線に従って、まず、画質補正部６がメモリ３内に
記憶されているＬＥ画像とＳＥ画像とをそれぞれ階調補
正し、その後に、これらを合成することにより、非常に
明るい部分から非常に暗い部分までが適切な階調で再現
された１枚の広ダイナミックレンジ画像を作成する。こ
の合成処理は、例えば上記特開２０００−２２８７４７
号公報に記載されているような公知技術により行われ
る。そして、ＣＰＵ１１は、合成後の画像を、上記ユー
ザＩ／Ｆ１０の表示装置により表示する。

【００７２】次に、デジタルカメラ１のデータ算出部５
は、サーバ２１から上記ステップＳ１３において送信さ
れた画質設定ＰをユーザＩ／Ｆ１０に出力し、該ユーザ
Ｉ／Ｆ１０が、表示装置の画面３１において、図４に示
すように、分類結果表示欄３６にシーン分類結果を表示
するとともに、画質調整欄３７に明るさとコントラスト
に係る画質設定を表示する。この画質設定は、数値等で
表示することも可能であるが、より好ましくは、対応す
る言葉（図示の例では、明るさが「標準」、コントラス
トが「ややソフト」となっている。）に変換して表示を
行う。

【００７３】さらに、この画面３１内に、新たな画質設
定で再度サーバ２１に階調変換曲線を決定してもらう場
合に選択する「再度」と表記された再調整ボタン３８
と、階調補正を承認したことを示す「保存」と表記され
た調整終了ボタン３９と、を表示することにより、ユー
ザに、画質に対する問い合わせを行う。

【００７４】ユーザＩ／Ｆ１０は、図示しない選択キー
により、上記画質調整欄３７の明るさおよびコントラス
トの設定と、上記再調整ボタン３８および調整終了ボタ
ン３９の選択と、を受け付けるようになっている。デジ
タルカメラ１を使用しているユーザが、上記再調整ボタ
ン３８または調整終了ボタン３９を選択した場合には、
その時点の画質設定と、再調整が必要であるか否かを示
すフラグとを、通信部７を介して上記サーバ２１に送信
する（ステップＳ１５）。なお、このとき、調整終了ボ
タン３９が選択された場合には、階調補正された広ダイ
ナミックレンジ画像が、メモリカードに記録される。

【００７５】サーバ２１は、上記デジタルカメラ１から
返信されたデータ中のフラグにより、再調整の処理を行
うか否かを判断する（ステップＳ１６）。

【００７６】ここで、再調整を行う必要がないと判断さ
れた場合には、返信された画質設定を現在のシーンカテ
ゴリに対する最新の画質設定結果として、上記ユーザデ
ータベース２４を更新するように書き込み、この階調変
換曲線決定の処理を終了する（ステップＳ１７）。

【００７７】一方、上記ステップＳ１６において、再調
整を行う必要があると判断された場合には、返信された
画質設定を新たな画質設定Ｐとして（ステップＳ１
８）、該画質設定Ｐに基づき、上述したようなステップ
Ｓ１４以降の処理を繰り返して行う。

【００７８】続いて、上記図６のステップＳ１２におけ
る、シーン分類結果Ｓに基づいた基本階調変換特性の計
算の詳細について、図８を参照して説明する。

【００７９】この基本階調変換特性は、ＬＥ画像とＳＥ
画像とのそれぞれについて、各画像のヒストグラムに基
づき計算され、この図８に示すような処理が、ＬＥ画像
とＳＥ画像との各々についてなされることになる。

【００８０】このヒストグラムの計算を行うときには、
シーン分類に用いた縮小画像（サムネール画像）から、
画像中のどの場所に主要な被写体があるかを判断して、
該主要被写体部分に階調が多く割り当てられるように重
み付けを行い、累積ヒストグラムを作成してそれを正規
化することにより、階調変換曲線を決定するようになっ
ている。以下、その詳細について説明する。

【００８１】この処理が開始されると、まず、縮小画像
内で、ヒストグラム算出用の場所毎の重要度を計算す
る。サーバ２１は、上記ステップＳ１１で求めたシーン
分類結果Ｓと、画素に対する被写体分類結果との組み合
わせに対して、例えば、図１０に示すようなテーブルを
保持している。

【００８２】この図１０に示す例においては、（人物，
海，空，山，建物，文書，その他）の各重みが、シーン
が「室内ポートレート」である場合に（１０，０，１，
２，２，０，１）、「屋外ポートレート」である場合に
（５，２，１，３，２，０，１）、「風景」である場合
に（２，３，２，３，３，０，１）、「パンフレット」
である場合に（２，１，１，２，２，５，１）、「文
書」である場合に（１，０，０，０，１，１０，１）、
「その他」である場合に（３，１，１，２，２，１，
１）、となるようにそれぞれ設定される。

【００８３】そして、縮小画像の各画素（ｉ，ｊ）に対
して、このテーブルに従って、重要度ｗ（ｉ，ｊ）を割
り当てる（ステップＳ２１）。

【００８４】次に、デジタルカメラ１から送信された縮
小画像が、ヒストグラムを算出するのに十分なサイズで
あるか否かを、所定値と比較することにより判断する
（ステップＳ２２）。

【００８５】ここで、縮小画像のサイズが所定値以下で
あると判断された場合には、該縮小画像に基づきヒスト
グラムを計算しても、不正確になる可能性がある。そこ
で、この場合には、上記図５のステップＳ７に示したよ
うに、デジタルカメラ１側で計算したヒストグラムが、
サーバ２１に送信されるようになっている。ただし、こ
のときに送信されるデータは、画像をタイル状ブロック
に荒く分けたときの各ブロック内のヒストグラム（区分
ヒストグラム）であり、タイル（ｐ，ｑ）に対するこの
ヒストグラムを、Ｈ（ｘ；ｐ，ｑ）とする（ステップＳ
２３）。ここに、ｘは０〜２５５の整数値をとり、階調
を表している。また、ｐ，ｑは、１〜Ｄの範囲の整数で
あり、このＤは、上記図５のステップＳ５に示したよう
な分割数である。

【００８６】そして、各タイル（ｐ，ｑ）において、対
応する縮小画像領域上で、上記ステップＳ２１において
得た重要度ｗ（ｉ，ｊ）の平均を計算し、この平均値
を、各タイルのヒストグラムＨ（ｘ；ｐ，ｑ）に対する
重要度ｗａ（ｐ，ｑ）とする（ステップＳ２４）。

【００８７】一方、上記ステップＳ２２において、縮小
画像のサイズが所定値を越えて十分であると判断された
場合には、縮小画像から直接ヒストグラムを計算する。
この場合、上記図５のステップＳ７と同様に、縮小画像
について輝度成分Ｙ（ｉ，ｊ）を計算し、その後に、こ
の輝度成分Ｙ（ｉ，ｊ）のエッジ強度Ｅ（ｉ，ｊ）を計
算する（ステップＳ２５）。

【００８８】次に、このエッジ強度Ｅ（ｉ，ｊ）と上記
ステップＳ２１で得た重要度ｗ（ｉ，ｊ）とを乗算し
て、最終的にヒストグラム計算に用いる重みとする（ス
テップＳ２６）。

【００８９】その後、上記ステップＳ２４またはステッ
プＳ２６で算出された重みを用いて、ヒストグラムを計
算する（ステップＳ２７）。

【００９０】すなわち、まず、縮小画像から計算する場
合には、階調ｘ（ｘは０〜２５５の整数）に対するヒス
トグラムＨ（ｘ）を、次の数式４を用いて算出する。

【数４】Ｈ（ｘ） ＝ Σｗ（ｉ，ｊ） ここに、Σにより和をとる範囲は、輝度成分Ｙ（ｉ，
ｊ）がｘに等しい全ての（ｉ，ｊ）に対してである。

【００９１】一方、区分画像から算出する場合には、次
の数式５を用いてヒストグラムＨ（ｘ）を算出する。

【数５】 Ｈ（ｘ） ＝ ΣＨ（ｘ；ｐ，ｑ）ｗａ（ｐ，ｑ） ここに、Σにより和をとる範囲は、１〜Ｄの範囲の整数
ｐ，ｑに対してである。

【００９２】次に、上記数式４または数式５により得ら
れたヒストグラムＨ（ｘ）に基づいて累積ヒストグラム
を計算し、該累積ヒストグラムを正規化することによ
り、階調変換曲線Ｔとする（ステップＳ２８）。すなわ
ち、この階調変換曲線Ｔは、次の数式６により計算され
る。

【数６】Ｔ（ｘ） ＝ αΣＨ（ｉ）／Ｓｈ＋β ここに、Σにより和をとる範囲は、０〜ｘの整数ｉに対
してである。また、α、βは、正規化定数である。な
お、この数式６におけるＳｈは、次の数式７により算出
されるものである。

【数７】Ｓｈ ＝ ΣＨ（ｉ） ここに、Σにより和をとる範囲は、０〜２５５の整数ｉ
に対してである。

【００９３】上記数式６におけるα，βは、ＬＥ画像と
ＳＥ画像とではそれぞれ異なり、デジタルカメラ１の画
質補正部６において合成を行うときに、これら２枚の画
像の階調が連続的に接続されるように設定する。

【００９４】例えば、合成後の階調範囲０〜２５５の
内、ＬＥ画像が階調０〜Ｖ、ＳＥ画像が階調（Ｖ＋１）
〜２５５を占めるとすると、ＬＥ画像に対してはα＝Ｖ
かつβ＝０、ＳＥ画像に対してはα＝２５５−Ｖかつβ
＝Ｖ＋１となるように設定される。

【００９５】このような実施形態によれば、以下のよう
な効果を奏することができる。

【００９６】まず、デジタルカメラ１により撮影を行っ
たときには、データ算出部５がパラメータ算出に必要な
データのみをサーバ２１に送信し、サーバ２１が画質補
正パラメータを計算してデジタルカメラ１に返信し、こ
の画質補正パラメータを用いて画質補正部６が画質補正
を行うようにしたために、原画像自体はデジタルカメラ
１内に留めたまま、高度な画質補正処理を少ない通信時
間で実現することが可能となる。

【００９７】そして、画質補正内容として階調補正を選
択し、サーバ２１から画質補正パラメータとして階調変
換特性を送信するようにしたために、階調補正の性質を
生かして、少ないパラメータのデータ量で、視覚的に大
きな補正効果を上げることができる。

【００９８】その際に、特に、データとして原画像を縮
小した画像を送信したり、原画像を区分に分割して区分
毎に区分内の総合的な情報を送信したりしているため
に、原画像自体を送信する場合に比してデータ量を大幅
に削減することができるとともに、汎用処理回路等とし
てデジタルカメラに搭載されることの多い拡大縮小処理
のハード資源を有効に活用することができ、画質を補正
するためだけにハードウェアのコストがアップするのを
防ぐことができる。

【００９９】さらに、画質補正に必要な付加情報とし
て、縮小画像等の画像に係るデータだけでなく、撮像系
２のＡＦ値等の、画像を撮像したときの条件も送信する
ようにしたために、サーバ２１における画質補正パラメ
ータの算出が容易となる。

【０１００】また、これらのデータを送信するにあたっ
て、データ算出部５がトラフィック評価部８の通信速度
評価に基づいて送信するデータ量を調整するようにした
ために、通信時間が所定の通信時間内に収まるように保
ったまま、通信速度に応じた内容の画質補正処理をサー
バ２１から受けることができる。

【０１０１】特に、原画像を縮小して送信するにあたっ
て、縮小率を変化させることにより通信データ量を制御
するようにしているために、高速かつ容易に調整するこ
とができる。

【０１０２】さらに、この通信データ量を調整する際
に、データ量を削減することによりサーバ２１側で算出
することができなくなる種類のデータは、デジタルカメ
ラ１側において補足データを計算して送信するようにし
ているために、通信速度が遅い場合であっても、サーバ
２１による処理を行うことができなくなる可能性が低減
する。

【０１０３】また、ユーザの選択に応じて、メモリカー
ドＩ／Ｆ９により補正されていないＬＥ画像およびＳＥ
画像の２枚の画像をメモリカードに保存するようにした
ために、撮影直後に限ることなく任意の時点で画質補正
を行うことが可能となる。その際に、データ算出部５
が、メモリカードに一旦記録された補正前の画像から補
正に必要なデータを算出し、画質補正部６が、サーバ２
１から送られたパラメータに基づき補正を行って、その
補正された画像とメモリカード中の未補正画像とを置き
換えるようにしているために、再生時でもデジタルカメ
ラ１上で画質補正を行うことが可能になる。

【０１０４】また、撮影時の画質補正であっても、通信
速度が非常に遅く、通信に時間を要すると判断される場
合には、処理を中止するようにしたために、画質補正を
行うためにユーザを長時間待たせることがなくなり、使
い勝手が向上する。

【０１０５】また、画質に対するユーザの好みを反映す
る設定を、サーバ２１上のユーザデータベース２４によ
って管理するようにしているために、ユーザは、画質補
正を行う毎に再設定する必要なく、自分の好みに応じた
画質補正を簡便に行うことができる。さらに、データ算
出部５およびユーザＩ／Ｆ１０により階調補正に対する
画質設定を所望に変更することが可能であり、変更した
設定がサーバ２１に送信されてユーザデータベース２４
が更新されるようにしたために、ユーザが好みの設定を
任意に変更することができる。

【０１０６】また、サーバ２１は、主要被写体を判断し
たりシーン分類を行ったりして、その結果に基づいて階
調変換特性を決定するようにしているために、デジタル
カメラ１上では不可能なきめ細かい階調変換特性を決定
して、階調補正を行うことが可能となる。

【０１０７】さらにその際に、送信された原画像の区分
毎の情報を、区分の重要度に応じて重み付けして総合的
な階調変換特性を決定するようにしているために、画像
中における重要な領域の階調特性を適切に向上させるこ
とができる。特に、区分の重要度を、シーン分類結果お
よび区分に主要被写体があるかどうかに基づいて決定し
ているために、適切な補正を行うことができる。

【０１０８】この他、この実施形態では、特に、撮像系
２によって同一被写体に対する露光の異なる２枚の画像
を取得し、これらの各々に対して階調補正曲線を決定す
るのに必要な２組のデータがデータ算出部５により算出
されて通信部７を経由してサーバ２１に送られ、サーバ
２１は２組のデータに対して各々適切な階調変換曲線を
画質補正パラメータとして算出し、算出された２組のパ
ラメータをデジタルカメラ１が受信して画質補正部６に
おける階調補正と合成とに用いる構成をとっているため
に、ダイナミックレンジが適切に拡大された画像を効率
良く得ることができる。

【０１０９】なお、本発明は上述した実施形態に限定さ
れるものではなく、発明の主旨を逸脱しない範囲内にお
いて種々の変形や応用が可能であることは勿論である。

【０１１０】例えば、まず、データ算出部５からサーバ
２１に送信する撮像系２の状態情報としては、ＡＦ値に
限らず、ＡＥ値、ズーム位置、絞り径などでも良い。こ
れらのデータは、それぞれ、撮影シーンが屋内であるか
または屋外であるかを判定するのに利用することがで
き、上記ＡＦ値と組み合わせることにより、サーバ２１
におけるシーン判断の信頼性を向上させることができ
る。

【０１１１】また、上記データ算出部５から送信される
データの種類についても、縮小画像と区分的な輝度の重
み付けヒストグラムに限らず、画素値や輝度成分の単純
ヒストグラム、平均尖鋭度、特定色の出現頻度等であっ
ても良い。単純ヒストグラムは、データ算出部５での計
算量が少なくて済むという利点を有し、平均先鋭度、特
定色の出現頻度は、縮小画像の代わりに、区分の重要度
を評価する際にサーバ２１で有効に利用することができ
る。

【０１１２】また、縮小画像を送信する点についても、
画素数を減じる方式以外に、ＪＰＥＧ２０００等の規格
で可能となっている画像の場所毎に圧縮率を変える圧縮
法をとる方式が考えられる。この場合、図５のステップ
Ｓ７において計算される輝度のエッジ強度の大小によっ
て、原画像を縦横Ｄ等分した区分毎に圧縮率を調整し、
この調整された圧縮率で圧縮された画像をサーバ２１に
送信する。この場合、元々平らな領域の情報が非常に少
なくなる一方で、エッジの多い重要部分の情報はほとん
ど損なわれることなく伝達されるために、単なる縮小画
像を送る場合に比して、サーバ２１でのシーン判断処理
の信頼性を向上させることができる。

【０１１３】さらに、画像処理結果の例をユーザＩ／Ｆ
１０の表示装置に複数種類表示して、使用者の選択を受
け、その選択結果をデータ算出部においてデータとする
ようにしても良い。

【０１１４】サーバ２１におけるヒストグラム重み付け
のための重み計算も、ＡＦ値と被写体の種類に基づくだ
けでなく、例えば撮像系２の絞り値に基づいて重みを考
慮しても良い。絞り値が開放に近い場合には、焦点位置
からずれた被写体は急速にぼけることになるために、そ
のような被写体には階調を割り当てる必要がなくなる。
そこで、絞り値に応じて、図１０に示したテーブルのポ
ートレートシーンにおける人物以外の被写体の重みを調
整することにより、一層効率的かつ適切に階調を割り当
てることができる。

【０１１５】画質補正の内容についても、階調補正に限
らず種々のものが適用可能である。特に、色補正処理
は、デジタルカメラ内で実施するのが困難な主要被写体
判断の処理が非常に重要であること、色補正自体はルッ
クアップテーブルさえあれば簡易なハードにより実現で
きること、等の、階調補正と類似した特性をもってい
る。この色補正処理を行う場合には、上述した実施形態
と同様に、データ算出部５から縮小画像をサーバ２１に
送信し、サーバ２１において階調変換特性の代わりに色
補正用ルックアップテーブルを作成して、パラメータと
してデジタルカメラ１に返信することになる。色補正用
ルックアップテーブルの作成方法は、公知であり、特に
人物、空、緑などの主要被写体に対する好ましい色再現
目標についての研究成果を活用することができる。

【０１１６】また、本実施形態のようなダイナミックレ
ンジ拡大を伴う階調補正においても、さらに工夫を加え
ることができる。特に、ＬＥ画像の飽和領域について
は、階調情報と色情報とが共に失われており、ＳＥ画像
においては逆にＬＥ画像の飽和領域に対応する部分以外
の領域は黒つぶれ気味となって情報としての価値は低
い。そのために、データ算出部５において、ＬＥ画像の
飽和領域のデータをＳＥ画像の対応する領域のデータに
置き換えて、ＳＥ画像のその他の領域のデータは算出し
ないことにすると、必要な部分の情報量を減らすことな
くサーバ２１との通信コストを削減することができる。

【０１１７】そして、上述した実施形態では、画像をデ
ジタルカメラ１に留めたまま、画質補正に必要な情報の
みをサーバ２１と通信することにより、高度な画質補正
を実現するようにしているが、通信速度が非常に速い場
合や、画像をデジタルカメラの外部に送信することが予
め分かっている場合は、システムの構成をさらに柔軟に
することができる。例えば、画質補正部６をサーバ２１
に置いて、該サーバ２１により画質補正を行い、その補
正結果をデジタルカメラ１以外の宛先に送信するといっ
た構成をとることが可能であり、画像を送信するサービ
スに画質補正を容易に組み入れることができる。

【０１１８】［付記］以上詳述したような本発明の上記
実施形態によれば、以下のごとき構成を得ることができ
る。

【０１１９】（１） 端末と、サーバと、これら端末と
サーバとを接続する通信回線と、を含んで構成される画
像処理システムであって、処理前画像を入力する画像入
力手段と、パラメータ決定用のデータを算出するデータ
算出手段と、このデータ算出手段により算出されたデー
タに基づき画像処理用のパラメータを決定するパラメー
タ決定手段と、このパラメータ決定手段により決定され
たパラメータに基づき上記画像入力手段により入力され
た処理前画像に画像処理を行う画像処理手段と、上記通
信回線を介して上記端末と上記サーバとの間の通信を行
う通信手段と、を具備したことを特徴とする画像処理シ
ステム。

【０１２０】（２） 上記端末が、上記画像入力手段
と、上記画像処理手段と、上記データ算出手段と、上記
通信手段と、を有してなり、上記サーバが、上記パラメ
ータ決定手段と、上記通信手段と、を有してなり、上記
通信手段は、上記端末から上記サーバに上記データを送
信し、上記サーバから上記端末に上記パラメータを送信
するものであることを特徴とする付記（１）に記載の画
像処理システム。

【０１２１】（３） 上記データ算出手段は、上記処理
前画像の入出力条件を取得する入出力条件取得手段を有
してなり、この入出力条件取得手段により取得した上記
入出力条件と上記処理前画像とに基づいて、上記パラメ
ータ決定手段がパラメータを決定するために必要なデー
タを算出するものであることを特徴とする付記（１）ま
たは付記（２）に記載の画像処理システム。

【０１２２】（４） 上記データ算出手段は、上記入出
力条件、上記通信回線の通信速度、および上記サーバの
処理速度に基づいて、算出するデータの種類を決定する
最適化手段を有してなるものであることを特徴とする付
記（１）から付記（３）の何れか一項に記載の画像処理
システム。

【０１２３】（５） 上記データ算出手段は、画像処理
結果の例を複数種類表示して、使用者の選択を受ける処
理結果選択手段を有してなり、この処理結果選択手段を
介して受けた選択結果をデータとするものであることを
特徴とする付記（１）から付記（４）の何れか一項に記
載の画像処理システム。

【０１２４】（６） 上記入出力条件取得手段は、上記
画像入力手段の使用者を同定するための使用者認証手段
を有してなり、上記データ算出手段は、上記処理結果選
択手段の選択結果、および上記使用者認証手段により同
定された使用者のＩＤをデータとするものであり、上記
パラメータ決定手段は、上記ＩＤを索引として上記選択
結果を登録および検索可能なユーザデータベースを有し
てなり、上記ユーザデータベースおよびユーザＩＤに基
づいてパラメータ決定を行うものであることを特徴とす
る付記（５）に記載の画像処理システム。

【０１２５】（７） 上記画像処理手段は、上記処理前
画像と、上記画像処理手段による処理後画像と、の少な
くとも一方を記録媒体に記録する記録手段を有してなる
ものであることを特徴とする付記（１）から付記（６）
の何れか一項に記載の画像処理システム。

【０１２６】（８） 上記データ算出手段は、上記通信
回線の通信速度に応じてデータを算出するかどうかを判
断するものであり、上記記録手段は、上記データ算出手
段によりデータ算出がなされないときは、上記処理前画
像を記録媒体に記録するものであることを特徴とする付
記（７）に記載の画像処理システム。

【０１２７】（９） 上記データ算出手段は、上記記録
手段により記録媒体に記録された上記処理前画像に基づ
いて、データを算出するものであり、上記画像処理手段
は、上記記録手段に記録された上記処理前画像に対して
画像処理を行い、記録媒体中の上記処理前画像を画質処
理後の画像に置き換えるものであることを特徴とする付
記（７）に記載の画像処理システム。

【０１２８】（１０） 上記パラメータ決定手段は、上
記デジタル画像内の主要被写体の領域を特定する主要被
写体特定手段を有し、この主要被写体特定手段の結果に
基づいて上記パラメータを決定するものであり、上記デ
ータ算出手段は、上記主要被写体特定手段の処理に必要
なデータを算出するものであることを特徴とする付記
（１）から付記（９）の何れか一項に記載の画像処理シ
ステム。

【０１２９】（１１） 上記パラメータ決定手段は、上
記デジタル画像を所定のカテゴリに分類する画像分類手
段を有し、この画像分類手段の結果に基づいて上記パラ
メータを決定するものであり、上記データ算出手段は、
上記画像分類手段の処理に必要なデータを算出するもの
であることを特徴とする付記（１）から付記（９）の何
れか一項に記載の画像処理システム。

【０１３０】（１２） 上記入出力条件取得手段は、上
記画像入力手段の光学系の絞り値と、露出時間と、フォ
ーカス位置と、ズーム位置と、の少なくとも一つを入出
力条件として取得するものであり、上記データ算出手段
は、上記入出力条件取得手段により取得された入出力条
件をデータとするものであることを特徴とする付記
（１）から付記（１１）の何れか一項に記載の画像処理
システム。

【０１３１】（１３） 上記データ算出手段は、上記デ
ジタル画像を区分に分割して各区分における色および階
調に関する情報を算出する区分情報算出手段を有し、こ
の区分算出手段により算出された区分情報をデータとす
るものであることを特徴とする付記（１）から付記（１
２）の何れか一項に記載の画像処理システム。

【０１３２】（１４） 上記区分情報は、区分における
画素値のヒストグラムと、輝度成分のヒストグラムと、
輝度成分を輝度成分のエッジ強度で重み付けしたヒスト
グラムと、平均尖鋭度と、画素値の平均値と、特定色の
出現頻度と、の少なくとも一つを含むものであることを
特徴とする付記（１３）に記載の画像処理システム。

【０１３３】（１５） 上記最適化手段は、上記区分の
数を変更して通信時間を一定以内に保つものであること
を特徴とする付記（１３）に記載の画像処理システム。

【０１３４】（１６） 上記区分情報は、上記区分の面
積に応じて選択されることを特徴とする付記（１４）に
記載の画像処理システム。

【０１３５】（１７） 上記パラメータ決定手段は、パ
ラメータとして階調変換曲線を決定するものであり、上
記画像処理手段は、このパラメータ決定手段により決定
された階調変換曲線に基づき階調補正を行うものである
ことを特徴とする付記（１）から付記（１６）の何れか
一項に記載の画像処理システム。

【０１３６】（１８） 上記パラメータ決定手段は、パ
ラメータとして色補正用のルックアップテーブルを決定
するものであり、上記画像処理手段は、このパラメータ
決定手段により決定されたルックアップテーブルに基づ
き色補正を行うものであることを特徴とする付記（１）
から付記（１６）の何れか一項に記載の画像処理システ
ム。

【０１３７】（１９） 上記画像入力手段は、同一被写
体を異なる露光で撮像した２枚の画像を入力するもので
あり、上記区分情報算出手段は、この画像入力手段によ
り入力した２枚の画像のそれぞれについて区分情報を算
出してデータとするものであり、上記パラメータ決定手
段は、２枚の画像のそれぞれに関する２組のパラメータ
を算出するものであり、上記画像処理手段は、上記２組
のパラメータを用いて２枚の画像をそれぞれ補正し、そ
の補正結果を合成して１枚の広ダイナミックレンジ画像
を生成するものであることを特徴とする付記（１３）に
記載の画像処理システム。

【０１３８】（２０） 上記区分情報算出手段は、露光
の短い画像の区分情報として、露光の長い画像の飽和部
分に対応する位置の区分情報のみを計算し、露光の長い
画像の飽和部分における区分情報は計算しないものであ
ることを特徴とする付記（１９）に記載の画像処理シス
テム。

【０１３９】（２１） 上記区分情報算出手段は、上記
データに基づいて上記各区分情報の区分重みを決定する
区分重み決定手段と、この区分重み決定手段により決定
された区分重みに従って区分情報を統合する区分情報統
合手段と、を有し、上記区分情報統合手段の統合結果に
基づいて上記階調変換曲線を決定するものであることを
特徴とする付記（１３）に記載の画像処理システム。

【０１４０】（２２） 上記画像分類手段は、上記デー
タにおける各区分の色情報に基づいて画像分類を行うも
のであり、上記区分重み決定手段は、上記画像分類手段
の分類結果に基づいて区分重みを決定するものであるこ
とを特徴とする付記（２１）に記載の画像処理システ
ム。

【０１４１】（２３） 上記主要被写体特定手段は、上
記データにおける各区分の色情報に基づいて上記主要被
写体領域を特定するものであり、上記区分重み決定手段
は、区分内で上記主要被写体領域が占める面積に応じて
重みを決定するものであることを特徴とする付記（２
１）に記載の画像処理システム。

【０１４２】（２４） 上記区分重み決定手段は、上記
データにおける絞り値に基づいて区分重みを決定するも
のであることを特徴とする付記（２１）に記載の画像処
理システム。

【０１４３】従って、付記（１）に記載の発明によれ
ば、画像入力手段が処理前画像を入力し、画像処理に必
要なパラメータを決定するためのデータをデータ算出手
段が算出し、パラメータ決定手段がデータ算出手段によ
り算出されたデータに基づいて高度な判断処理を行うこ
とにより画像処理用のパラメータを決定し、画像処理手
段がこのパラメータ決定手段により決定されたパラメー
タに基づき上記画像入力手段により入力された処理前画
像に画像処理を行う画像処理システムとなる。

【０１４４】こうして、画像処理システムを端末とサー
バとを含んで構成して、通信手段によって端末とサーバ
との間でこれらのデータ、パラメータ、もしくは画像が
通信されるようにしたために、端末、サーバ、通信回線
の各々の資源を最適に利用可能となるようにシステムを
構成することができ、トータルにコストダウンを図るこ
とができる。

【０１４５】また、付記（２）に記載の発明によれば、
付記（１）に記載の発明と同様の効果を奏するととも
に、端末内のデータ算出手段においてサーバでの処理に
必要なデータのみが入力画像等に基づいて算出され、算
出されたデータが通信手段を介してサーバに送信され、
サーバのパラメータ決定手段において高度な判断に基づ
いて画像処理に必要なパラメータが決定されて端末に返
信され、このパラメータを用いて端末内の画像処理手段
により画像処理が行われるために、原画像自体は端末内
に留めたまま、高度な画像処理を少ない通信時間で実現
することができ、特に端末側のコストダウンを図ること
が可能になる。

【０１４６】さらに、付記（３）に記載の発明によれ
ば、付記（１）または付記（２）に記載の発明と同様の
効果を奏するとともに、画像処理に必要な付加情報とし
て、画像が入力あるいは出力された際の条件を入力条件
取得手段により取得してデータとしてサーバに送信する
ようにしたために、サーバにおける画像処理パラメータ
の算出を容易にすることができる。

【０１４７】付記（４）に記載の発明によれば、付記
（１）から付記（３）に記載の発明と同様の効果を奏す
るとともに、データを送信するにあたって、最適化手段
が通信速度に基づいて送信するデータ量を調整するため
に、一定の通信時間内に、通信時間を所定内に保ったま
ま、サーバから通信速度に応じた内容の画像処理を受け
ることができる。

【０１４８】付記（５）に記載の発明によれば、付記
（１）から付記（４）に記載の発明と同様の効果を奏す
るとともに、使用者が処理結果選択手段を通じて好みを
指定すると、データ算出手段が選択結果をデータとして
サーバに送信するようにしたために、使用者が自分の好
みを結果に反映させることができる。

【０１４９】付記（６）に記載の発明によれば、付記
（５）に記載の発明と同様の効果を奏するとともに、選
択された画質設定がサーバに送信されてユーザデータベ
ースに記録されあるいは更新されるために、使用者が自
分の好みを毎回再設定する必要がなく簡便であるととも
に、必要である場合には、好みの設定を任意に変更する
こともできる。

【０１５０】付記（７）に記載の発明によれば、付記
（１）から付記（６）に記載の発明と同様の効果を奏す
るとともに、処理前画像を記録手段に記録することがで
きるために、撮影時だけでなく任意の時点で画像処理を
実行することが可能となる。

【０１５１】付記（８）に記載の発明によれば、付記
（７）に記載の発明と同様の効果を奏するとともに、通
信速度がサーバを使った画像処理に適切でない場合に
は、該サーバを使った処理が中止されるために、通信が
完了するのを長時間待たされることがなくなる。また、
サーバーによる処理が中止された場合には、処理前画像
が記録されるようにしたために、その後の任意の時点、
例えば通信状況が改善した後にサーバを使った画像処理
を行うことが可能となる。

【０１５２】付記（９）に記載の発明によれば、付記
（７）に記載の発明と同様の効果を奏するとともに、記
録媒体に記録された処理前画像を後で改めて画像処理し
た場合には、処理前の画像が処理後の画像に上書きされ
るために、記録媒体の容量を有効に利用することができ
る。

【０１５３】付記（１０）に記載の発明によれば、付記
（１）から付記（９）に記載の発明と同様の効果を奏す
るとともに、サーバ側のパラメータ決定手段において主
要被写体を判断するようにしたために、端末単体では困
難だった高度な補正を行うことが可能となる。

【０１５４】付記（１１）に記載の発明によれば、付記
（１）から付記（９）に記載の発明と同様の効果を奏す
るとともに、サーバ側のパラメータ決定手段において画
像を典型的なシーンに分類するようにしたために、端末
単体では困難だった高度な補正を行うことが可能とな
る。

【０１５５】付記（１２）に記載の発明によれば、付記
（１）から付記（１１）に記載の発明と同様の効果を奏
するとともに、画像入力手段の光学系の状態をデータと
してサーバに送信するようにしたために、サーバ側での
パラメータ決定において光学系の影響を考慮した処理を
行うことが可能となる。

【０１５６】付記（１３）に記載の発明によれば、付記
（１）から付記（１２）に記載の発明と同様の効果を奏
するとともに、原画像を区分に分割して、区分毎の色お
よび階調に関する区分情報を送信するようにしたため
に、データ量を削減するとともに、汎用処理としてデジ
タルカメラに搭載されることの多い拡大縮小処理のハー
ド資源を有効に活用することができ、特定の画像処理の
ためだけのハードウェアを不要としてコストアップを防
止することができる。

【０１５７】付記（１４）に記載の発明によれば、付記
（１３）に記載の発明と同様の効果を奏するとともに、
区分ヒストグラム等をデータとして送信することによ
り、その領域の重要度をサーバ側で判断するのが容易と
なる。

【０１５８】付記（１５）に記載の発明によれば、付記
（１３）に記載の発明と同様の効果を奏するとともに、
データを送信するにあたって、区分の数を変更し、原画
像の縮小率を通信データ量の制御に使うようにしている
ために、調整を高速かつ容易に行うことができる。

【０１５９】付記（１６）に記載の発明によれば、付記
（１４）に記載の発明と同様の効果を奏するとともに、
区分の面積に応じて区分情報を選択するようにしたため
に、すなわち、データ量を調整するときに、データ量を
削減することによりサーバ側で算出ができなくなる種類
のデータは、端末側で補足データを計算して送信するよ
うにしたために、通信速度が遅い場合に、サーバでの処
理ができなくなる可能性が低減する。

【０１６０】付記（１７）に記載の発明によれば、付記
（１）から付記（１６）に記載の発明と同様の効果を奏
するとともに、画像処理内容として階調補正を選択し、
サーバからパラメータとして階調変換曲線を送信するよ
うにしたために、階調補正の性質を生かして少ないデー
タ量のパラメータで視覚的に大きな画質補正効果を上げ
ることができる。

【０１６１】付記（１８）に記載の発明によれば、付記
（１）から付記（１６）に記載の発明と同様の効果を奏
するとともに、画像処理内容として色補正を選択して、
サーバからパラメータとしてルックアップテーブルを送
信するようにしたために、ルックアップテーブルを用い
た色補正の性質を生かして、比較的少ないデータ量のパ
ラメータで視覚的により大きな画質補正効果を上げるこ
とができる。

【０１６２】付記（１９）に記載の発明によれば、付記
（１３）に記載の発明と同様の効果を奏するとともに、
露出を異ならせた２枚の画像の各々に対してサーバで最
適な階調変換曲線が決定され、その階調補正結果が合成
されて広ダイナミックレンジ画像が生成されるために、
より好ましい階調の広ダイナミックレンジ画像を得るこ
とができる。

【０１６３】付記（２０）に記載の発明によれば、付記
（１９）に記載の発明と同様の効果を奏するとともに、
短時間露光画像に対する区分情報を、長時間露光画像の
飽和部分に限定するようにしたために、算出するデータ
の冗長性を取り除くことができる。

【０１６４】付記（２１）に記載の発明によれば、付記
（１３）に記載の発明と同様の効果を奏するとともに、
区分情報を重み付け統合することにより、重要度の高い
部分の情報をより有効に活用することができる。

【０１６５】付記（２２）に記載の発明によれば、付記
（２０）に記載の発明と同様の効果を奏するとともに、
原画を縮小して作成された、原画の区分的な色情報（い
わゆる縮小画像）に基づいて画像を分類し、その結果に
基づいて区分（縮小画像における画素）の重み付けを行
うようにしたために、より適切な重み付けを行うことが
できる。

【０１６６】付記（２３）に記載の発明によれば、付記
（２１）に記載の発明と同様の効果を奏するとともに、
原画を縮小して作成された、原画の区分的な色情報（い
わゆる縮小画像）に基づいて主要被写体領域を特定し、
その各区分に占める面積に基づいて区分（縮小画像にお
ける画素）の重み付けを行うようにしたために、より適
切な重み付けを行うことができる。

【０１６７】付記（２４）に記載の発明によれば、付記
（２１）に記載の発明と同様の効果を奏するとともに、
絞り値に基づいて重み付けをするようにしたために、光
学的にぼけてしまっている部分への重み付けを防止し
て、階調を有効に配分することができる。

【０１６８】

【発明の効果】以上説明したように請求項１による本発
明の画像処理システムによれば、画像処理システムを端
末とサーバとを含んで構成して、通信手段によって端末
とサーバとの間でデータ、パラメータ、もしくは画像が
通信されるようにしたために、端末、サーバ、通信回線
の各々の資源を最適に利用可能となるようにシステムを
構成することができ、トータルにコストダウンを図るこ
とができる。

【０１６９】また、請求項２による本発明の画像処理シ
ステムによれば、請求項１に記載の発明と同様の効果を
奏するとともに、端末内のデータ算出手段においてサー
バでの処理に必要なデータのみが入力画像等に基づいて
算出され、算出されたデータが通信手段を介してサーバ
に送信され、サーバのパラメータ決定手段において高度
な判断に基づいて画像処理に必要なパラメータが決定さ
れて端末に返信され、このパラメータを用いて端末内の
画像処理手段により画像処理が行われるために、原画像
自体は端末内に留めたまま、高度な画像処理を少ない通
信時間で実現することができ、特に端末側のコストダウ
ンを図ることが可能になる。

【０１７０】さらに、請求項３による本発明の画像処理
システムによれば、請求項１または請求項２に記載の発
明と同様の効果を奏するとともに、画像処理に必要な付
加情報として、画像が入力あるいは出力された際の条件
を入力条件取得手段により取得してデータとしてサーバ
に送信するようにしたために、サーバにおける画像処理
パラメータの算出を容易にすることができる。

【図面の簡単な説明】

【図１】本発明の一実施形態における画像処理システム
の構成を示すブロック図。

【図２】上記実施形態において、画像をサーバに送って
画質補正を行うかどうかをユーザに問い合わせる表示を
示す図。

【図３】上記実施形態において、回線が混雑しているた
めに送信を中止する表示を示す図。

【図４】上記実施形態において、シーン分類結果と画質
設定の表示を示す図。

【図５】上記実施形態において、データ算出部における
送信データ計算処理を示すフローチャート。

【図６】上記実施形態のサーバにおける階調変換曲線決
定処理を示すフローチャート。

【図７】上記実施形態において、ユーザの好みに応じて
階調変換曲線を調整する様子を示す線図。

【図８】上記実施形態のサーバにおけるシーン分類結果
に基づいた基本階調変換特性の計算処理を示すフローチ
ャート。

【図９】上記実施形態において、シーンの分類を示す図
表。

【図１０】上記実施形態において、分類されたシーンに
おける重み付けを示す図表。

【符号の説明】

１…デジタルカメラ（端末） ２…撮像系（画像入力手段） ３…メモリ ４…撮像制御部（入出力条件取得手段） ５…データ算出部（データ算出手段、最適化手段、区分
情報算出手段） ６…画質補正部（画像処理手段） ７，２２…通信部（通信手段） ８…トラフィック評価部（データ算出手段） ９…メモリカードＩ／Ｆ（記録手段） １０…ユーザＩ／Ｆ（データ算出手段、入出力条件取得
手段、処理結果選択手段、使用者認証手段） １１…ＣＰＵ １４…ＩＣカード（入出力条件取得手段、使用者認証手
段） ２１…サーバ ２３…パラメータ決定部（パラメータ決定手段、主要被
写体特定手段、画像分類手段、区分重み決定手段、区分
情報統合手段） ２４…ユーザデータベース

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） // Ｈ０４Ｎ 101:00 Ｈ０４Ｎ 1/40 １０１Ｚ Ｆターム(参考） 5B057 AA11 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CE01 CE11 CE17 CH07 CH08 5C022 AA13 AB01 AB21 AB43 AB65 AB68 AC42 AC69 AC75 5C062 AA14 AA29 AB17 AB38 AC24 AC41 AC42 BA04 5C077 LL04 LL19 MP01 MP08 PP01 PP15 PP37 PQ12 PQ18 PQ19 PQ23 TT09

Claims (3)

【特許請求の範囲】
1. 【請求項１】 端末と、サーバと、これら端末とサーバ
   とを接続する通信回線と、を含んで構成される画像処理
   システムであって、 処理前画像を入力する画像入力手段と、 パラメータ決定用のデータを算出するデータ算出手段
   と、 このデータ算出手段により算出されたデータに基づき画
   像処理用のパラメータを決定するパラメータ決定手段
   と、 このパラメータ決定手段により決定されたパラメータに
   基づき上記画像入力手段により入力された処理前画像に
   画像処理を行う画像処理手段と、 上記通信回線を介して上記端末と上記サーバとの間の通
   信を行う通信手段と、 を具備したことを特徴とする画像処理システム。
2. 【請求項２】 上記端末が、上記画像入力手段と、上記
   画像処理手段と、上記データ算出手段と、上記通信手段
   と、を有してなり、 上記サーバが、上記パラメータ決定手段と、上記通信手
   段と、を有してなり、 上記通信手段は、上記端末から上記サーバに上記データ
   を送信し、上記サーバから上記端末に上記パラメータを
   送信するものであることを特徴とする請求項１に記載の
   画像処理システム。
3. 【請求項３】 上記データ算出手段は、上記処理前画像
   の入出力条件を取得する入出力条件取得手段を有してな
   り、この入出力条件取得手段により取得した上記入出力
   条件と上記処理前画像とに基づいて、上記パラメータ決
   定手段がパラメータを決定するために必要なデータを算
   出するものであることを特徴とする請求項１または請求
   項２に記載の画像処理システム。