JP2006251986A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】デジタル画像における上下方向の判定精度が高い画像処理装置、画像処理方法およびプログラムを提供する。
【解決手段】本発明の画像処理装置は、デジタル画像の上方向を判定する上下判定部を有するものであり、この上下判定部は、デジタル画像を複数の画素ブロックに分割し、各画素ブロックの平均明度値を算出する算出部と、全ての画素ブロックについて、近接する画素ブロックのうち、最も平均明度値が高い画素ブロックの方向を検出する検出部と、検出された方向における頻度を求め、検出された方向のうち、頻度が最も高い方向を上方向と判定する判定部とを有する。
【選択図】図２

Description

本発明は、デジタル画像の上下方向の判定を高い精度で実現できる画像処理装置、画像処理方法およびプログラムに関し、特に、ネガフィルムまたは写真プリントに記録された画像から得られたデジタル画像、およびデジタルカメラにより撮影されて得られたデジタル画像などにおける画像の上下方向を効率よく一致させることができる画像処理装置、画像処理方法およびプログラムに関する。

現在、ネガフィルムまたは写真プリントに記録された画像（以下、記録画像という）を、スキャナ等の画像読取装置により読み取り、デジタル画像を取得し、記録画像をＣＤ−Ｒ等の記録媒体に記録して提供するサービスが提案されている。

また、ネガフィルムまたは写真プリント以外にも、デジタルカメラ（以下、ＤＳＣという）で撮影した画像（以下、撮影画像という）を記憶した光磁気記録媒体（ＭＯなど）、小型半導体記憶メディア（スマートメディア^TMまたはコンパクトフラッシュ^TMなど）、磁気記録メディア（フレキシブルディスクなど）、または光ディスク（ＣＤ、ＣＤ−ＲまたはＤＶＤなど）等の記録媒体から、直接的に画像データ（デジタル画像データ）を読み取り、撮影画像をＣＤ−Ｒ等の記録媒体に記録して提供するサービスも提案されている。

このように、記録画像または撮影画像をＣＤ−Ｒ等の記録媒体に記録して提供するサービスにおいては、写真プリンタにかえてパーソナルコンピュータ（以下、ＰＣという）等を再生装置として、ＣＤ−Ｒ等の記録媒体に記録された画像をＰＣのモニタに表示させて鑑賞することができる。また、ＣＤ−Ｒ等の記録媒体に記録された記録画像または撮影画像は、写真プリントなどのハードコピーとして得ることもできる。

また、デジタル画像データを保管する画像保管サーバに、インターネット等のネットワーク経由でデジタル画像データを送信して画像データを保管し、画像保管サーバから遠隔にある端末装置を用いて画像データを鑑賞したり、プリント注文等画像に関する種々の処理を行うことができる画像保管システムを備えたネットワークサービスシステムも提案されている。さらに、ネガフィルムまたはプリントに記録された画像を効率よく整理する画像管理システムも提案されている（特許文献１参照）。

特許文献１の画像保管システムにおいては、１または複数の画像が記録された記録体から１または複数の画像データを取得し、記録体に関する記録体情報およびユーザを表すユーザ情報を取得する。そして、記録体情報が１または複数の画像データと関連付けられ、記録体情報と関連付けられた１または複数の画像データがユーザ情報に基づいてユーザ単位で保管される。

この特許文献１の画像保管システムにおいては、家庭に埋もれている大量のネガフィルムまたはプリントが整理されていなくても、ユーザは画像の読み取りを依頼するのみで、読み取りにより得られた１または複数の画像データを記録体情報に基づいて整理された状態で参照することができる。また、１または複数の画像データはユーザ単位で保管されるため、読み取りにより得られた１または複数の画像データとユーザとの対応付けを容易に行うことができる。さらに、ユーザは整理された１または複数の画像データに基づいてユーザ独自による画像データの整理を容易に行うことができるものである。

特開２００３−２３４９８５号公報

上述の記録画像または撮影画像をＣＤ−Ｒ等の記録媒体に記録して提供するサービス、画像保管システムを備えたネットワークサービスシステム、および特許文献１に開示されている画像管理システムのいずれにおいても、記録画像または撮影画像などの画像は、ＰＣのモニタを用いて鑑賞されることが多く、画像の上下方向が一致していない場合には、その向きを変えることが面倒であり、美感も損ねる。このため、記録画像または撮影画像など画像は、それぞれ上下方向を合わせて各画像（デジタル画像）を記録することが望まれている。
特に、冠婚葬祭、子供の誕生、または還暦など人生の節目に思い出として、各画像を用いてムービーショーまたはスライドショーなどを作成した場合、各画像の上下方向が揃っていることが前提であり、上下方向が揃っていない場合には、美感が著しく損なわれるという問題点がある。
そこで、判定手段により画像の上下方向が判定されている。しかしながら、従来の画像の上下方向を判定する判定手段は判定精度が低い。このため、記録媒体に記録する前、またはデータベースにアップロードする前などに、オペレータが各画像の上下の一致不一致を確認し、各画像の上下を合わせる作業を要するという問題点がある。さらに、画像の量が多い場合、オペレータの作業の負担が大きくなる。

本発明の目的は、前記従来技術に基づく問題点を解消し、デジタル画像における上下方向の判定精度が高い画像処理装置、画像処理方法およびプログラムを提供することにある。
また、本発明の他の目的は、ネガフィルムまたは写真プリント記録された画像から得られたデジタル画像、およびデジタルカメラにより撮影されて得られたデジタル画像などにおける画像の上下方向を効率よく一致させることができる画像処理装置、画像処理方法およびプログラムを提供することにある。

前記目的を達成するために、本発明の第１の態様は、デジタル画像の上方向を判定する上下判定部を有する画像処理装置であって、前記上下判定部は、前記デジタル画像を複数の画素ブロックに分割し、前記各画素ブロックの平均明度値を算出する算出部と、全ての前記画素ブロックについて、近接する画素ブロックのうち、最も平均明度値が高い画素ブロックの方向を検出する検出部と、前記検出された方向における頻度を求め、検出された方向のうち、頻度が最も高い方向を上方向と判定する判定部とを有することを特徴とする画像処理装置を提供するものである。

本発明においては、さらに、前記上下判定部により上方向が判定された複数のデジタル画像の前記上方向が、判定された全てのデジタル画像で一致するように前記デジタル画像に回転処理を施す画像回転部を有することが好ましい。

また、本発明の第２の態様は、デジタル画像の上方向を判定する画像処理方法であって、前記デジタル画像を複数の画素ブロックに分割する工程と、前記各画素ブロックの平均明度値を算出する工程と、全ての前記画素ブロックについて、近接する画素ブロックのうち、最も平均明度値が高い画素ブロックの方向を検出する工程と、前記検出された方向における頻度を求め、検出された方向のうち、頻度が最も高い方向を上方向と判定する工程とを有することを特徴とする画像処理方法を提供するものである。

本発明においては、さらに、前記上方向が判定された複数のデジタル画像の前記上方向が、判定された全てのデジタル画像で一致するように前記デジタル画像に回転処理を施す工程を有することが好ましい。

また、本発明の第３の態様は、画像処理装置により、デジタル画像の上方向を判定するプログラムであって、前記デジタル画像を複数の画素ブロックに分割するステップと、前記各画素ブロックの平均明度値を算出するステップと、全ての前記画素ブロックについて、近接する画素ブロックのうち、最も平均明度値が高い画素ブロックの方向を検出するステップと、前記検出された方向における頻度を求め、検出された方向のうち、頻度が最も高い方向を上方向と判定するステップとを、前記画像処理装置に実行させることを特徴とするプログラムを提供するものである。

本発明においては、さらに、前記上方向が判定された複数のデジタル画像の前記上方向が、全てのデジタル画像で一致するように前記デジタル画像に回転処理を施すステップを、前記画像処理装置に実行させることが好ましい。

本発明の画像処理装置によれば、デジタル画像を複数の画素ブロックに分割し、各画素ブロックの平均明度値を算出する算出部と、全ての画素ブロックについて、近接する画素ブロックのうち、最も平均明度値が高い画素ブロックの方向を検出する検出部と、検出された方向における頻度を求め、検出された方向の中で頻度が最も高い方向を上方向と判定する判定部とを有する上下判定部を設けることにより、画像（シーン）の中で明るい方向を高い精度で特定できる。ここで、本発明は、自然光がさすシーンで撮影した画像は天上から光がさす場合が多く、これにより、画像の上側が明るく、画像の下側が暗いという傾向を利用するものである。すなわち、画像の明るい方向が上方向であることが多いことを利用する。本発明においては、画像の中の明るい方向を高い精度で特定できることにより、デジタル画像における上下の判定精度を高くできる。

また、本発明の画像処理装置によれば、さらに、複数のデジタル画像の上方向を全てのデジタル画像で一致させるための回転処理を施す画像回転部を設けることにより、ネガフィルムまたは写真プリント記録された画像から得られたデジタル画像、およびデジタルカメラにより撮影されて得られたデジタル画像などの複数の画像の上下方向を効率よく一致させることができる。このため、デジタル画像をＣＤ−Ｒ等の記録媒体に記録して提供する場合、画像を鑑賞する際、画像の上下方向の不一致により美感が著しく損なわれることを抑制することができる。
さらに、複数のデジタル画像を用いて、スライドショー、またはフォトムービーなどを作成する場合でも、美感が著しく損なわれることが抑制されるとともに、オペレータが画像の向きを揃える必要がなくなり、オペレータの作業負担が減り、作業効率が高くなる。

本発明の画像処理方法およびプログラムによれば、デジタル画像を複数の画素ブロックに分割し、各画素ブロックの平均明度値を算出し、全ての画素ブロックについて、近接する画素ブロックのうち、最も平均明度値が高い画素ブロックの方向を検出し、検出された方向における頻度を求め、この頻度が最も高い検出された方向を上方向と判定することにより、画像において明るい方向が特定でき、本発明においては、明るい方向を上方向としているため、デジタル画像における上下の判定精度を高くすることができる。

また、本発明の画像処理方法およびプログラムによれば、さらに、複数のデジタル画像の上方向を全てのデジタル画像で一致させるための回転処理を施すことにより、ネガフィルムまたは写真プリント記録された画像から得られたデジタル画像、およびデジタルカメラにより撮影されて得られたデジタル画像などの複数の画像の上下方向を効率よく一致させることができる。このため、デジタル画像をＣＤ−Ｒ等の記録媒体に記録して提供する場合、画像を鑑賞する際、画像の上下方向の不一致により美感が著しく損なわれることを抑制することができる。
さらに、複数のデジタル画像を用いて、スライドショー、またはフォトムービーなどを作成する場合でも、美感が著しく損なわれることが抑制されるとともに、オペレータが画像の向きを揃える必要がなくなり、オペレータの無駄な作業がなくなり、作業効率が高くなる。

以下、本発明の画像処理装置、画像処理方法およびプログラムについて、添付の図面に示される好適実施例を基に詳細に説明する。

図１は、本発明の実施例に係る画像処理装置を備えるプリントシステムを示す模式図である。
図１に示すプリントシステム１０は、ＤＳＣで撮影した撮影画像などのデジタル画像を画像処理して、デジタル画像をＣＤ−ＲまたはＤＶＤ等の記録媒体に記録して、この記録媒体を出力として提供できるものである。なお、プリントシステム１０は、記録媒体への出力以外にも画像処理を施したデジタル画像を、撮影画像を再現したプリント（ハードコピー）として出力することはもちろんのこと、プリントの出力および記録媒体へのデジタル画像の記録の両方を行うこともできる。

本実施例のプリントシステム１０は、基本的に、受付機１２と、入力機１４と、ＤＳＣ１６と、ＰＣ（パーソナルコンピュータ）１８と、携帯電話２０と、画像処理装置２２と、出力機２４と、通信手段２６とを有するものである。
受付機１２、入力機１４、ＤＳＣ１６、ＰＣ１８および携帯電話２０が画像処理装置２２に通信手段２６により接続されている。

受付機１２は、プリント店またはコンビニエンスストアの店頭等に設置され、デジタル画像からのプリント作成等の注文を受け付ける装置であり、ＤＳＣまたは撮像機能付きの携帯電話等の撮像装置、これらの撮像装置で撮影した画像をデジタル画像として記憶した記録媒体から、画像（デジタル画像）を読み取り、自身が有するモニタに読み取った画像を必要に応じて表示し、かつ各画像のプリント枚数、プリントサイズ、仕上がり指示の情報、および各種の特殊処理等などの注文情報の入力機能を有するものである。受付機１２に入力されたデジタル画像が通信手段２６を介して画像処理装置２２に入力画像データとして入力される。

受付機１２においては、注文情報が入力されて注文が確定されると、例えば、受付番号を注文情報に付与するとともに、受付日時も記録する。また、注文情報を照合し、以前に入力された顧客である場合には、予め付与されている顧客ＩＤを付与する。一方、以前に入力された顧客でない場合には、顧客ＩＤを新たに付与する。このように、受付機１２においては、注文情報に受付番号、受付日時、および顧客ＩＤを付与して、プリント注文されたデジタル画像とともに画像処理装置２２に出力する。
さらに、受付機１２は、メモリカード、ＣＤ、ＭＯ、またはＦＤなどの記録媒体から画像データなどを読み出すためのメディアドライブを備えていても良い。

入力機１４は、ネガフィルムに撮影された被写体の画像、または画像が記録された写真プリントを光電的に読み取り、ネガフィルムまたは写真プリントに記録された画像のデジタル画像データを取得するものであり、デジタル画像データが入力画像データとして画像処理装置２２に出力される。
入力機１４は、例えば、ネガフィルム等に撮影された画像を１コマずつ光電的に読み取る透過光を読み取るスキャナである。このスキャナは、光源と、可変絞りと、画像をＲ（赤）、Ｇ（緑）およびＢ（青）の三原色に分解するためのＲ、ＧおよびＢの３枚の色フィルタを有し、回転して任意の色フィルタを光路に作用する色フィルタ板と、フィルムに入射する読取光をフィルムの面方向で均一にする拡散ボックスと、結像レンズユニットと、フィルムの１コマの画像を読み取るエリアセンサであるＣＣＤセンサと、アンプ（増幅器）と、Ｒ，ＧおよびＢの各出力信号を、Ａ／Ｄ（アナログ／デジタル）変換、Ｌｏｇ変換、ＤＣオフセット補正、暗時補正、およびシェーディング補正等を行うデータ処理部を有して構成される。

また、このスキャナは、新写真システム(Advanced Photo System)または１３５サイズのネガ（あるいはリバーサル）フィルム等のフィルムの種類、サイズ、ストリップス、スライド等のフィルムの形態等に応じて、スキャナの本体に装着自在な専用のキャリアが用意されており、キャリアを交換することにより、各種のフィルム、および処理に対応することができる。フィルムに撮影され、プリント作成に供される画像（コマ）は、このキャリアによって所定の読取位置に搬送、保持される。また、周知のように、新写真システムのフィルムには、磁気記録媒体が形成され、カートリッジＩＤまたはフィルム種等が記録されており、さらに、撮影時または現像時等に、撮影日時、撮影時のストロボ発光の有無、撮像倍率、撮影シーンＩＤ、主要部位置の情報、および現像機の種類等の各種のデータが記録可能である。新写真システムのフィルム（カートリッジ）に対応するキャリアには、この磁気情報の読取手段が配置されており、フィルムを読取位置に搬送する際に磁気情報を読み取り、前記各種の情報が画像処理装置に送られる。

このようなスキャナにおいては、光源から射出され、可変絞りによって光量調整され、色フィルタ板を通過して色調整され、拡散ボックスで拡散された読取光が、キャリアによって所定の読取位置に保持されたフィルムの１コマに入射して、透過することにより、フィルムに撮影されたこのコマの画像を担持する投影光を得る。フィルムの投影光は、結像レンズユニットによってＣＣＤセンサの受光面に結像され、ＣＣＤセンサによって光電的に読み取られ、その出力信号がアンプで増幅されて、画像処理装置２２に送られる。ＣＣＤセンサは、例えば、１３８０×９２０画素のエリアＣＣＤセンサが用いられる。

スキャナにおいては、このような画像読取を、色フィルタ板の各色フィルタを順次挿入して３回行うことにより、１コマの画像をＲ，ＧおよびＢの３原色に分解して読み取る。

スキャナは、エリアＣＣＤセンサを用い、色フィルタ板によって読取光を調整することにより、原稿画像（フィルムの投影光）を３原色に分解して画像の読み取りを行っているが、本発明の画像処理装置に画像データを供給するスキャナとしては、Ｒ，ＧおよびＢの３原色のそれぞれの読み取りに対応する３つのラインＣＣＤセンサを用い、フィルムをキャリアで走査搬送しつつスリット状の読取光（投影光）によって画像読取を行う、いわゆるスリット走査によって画像を読み取る画像読取装置であってもよい。

なお、写真プリントなどの反射原稿を読み取り、記録された画像のデジタル画像データを取得する場合には、反射光を読み取るスキャナを入力機１４として用いる。本実施において、入力機１４に用いられるスキャナは、反射原稿または透過原稿など、原稿種に応じて適宜選択することができる。

ＤＳＣ１６は、撮影画像の表示等を行うためのディスプレイを有するものである。ＰＣ１８は、通常のパーソナルコンピュータと同様に、本体、ディスプレイ、マウスやキーボード等の操作手段を有するものである。さらに、携帯電話２０は、撮影機能および撮影画像の表示等を行うためのディスプレイを有するものである。
なお、ＤＳＣ１６、ＰＣ１８、および携帯電話２０はともに、各機器（装置）が有する通常の機能に加え、受付機１２と同様の注文情報の入力機能を有する。

また、受付機１２、ＤＳＣ１６、ＰＣ１８、および携帯電話２０において、注文情報の入力手段は、キーボード、マウス、タッチパネル、操作キー、操作ボタン、ディスプレイなどを用い、ＧＵＩ(Graphical User Interface)などを利用する公知の手段で構成すればよい。

本実施例のプリントシステム１０においては、画像をデジタル画像として取得することができるものであれば、受付機１２、入力機１４、ＤＳＣ１６、ＰＣ１８および携帯電話２０などのデジタル画像の入力手段に限定されるものではなく、撮像機能を含む画像のデジタル画像の取得手段を有し、かつ後述するように通信手段２６によって画像処理装置２２と接続可能なものであれば、各種のものが利用可能である。例えば、デジタルビデオカメラ、ＰＤＡ(Personal Digital Assistance)、ＰＯＳ(Points of Sale)等で使用される撮像機能付きバーコードリーダ、撮像機能付きのリモコン等である。

受付機１２、ＤＳＣ１６、ＰＣ１８、および携帯電話２０（以下、これらをまとめて、単に端末ともいう）は、取得した画像のデジタル画像と注文情報とを対応付けて、通信手段２６を介して画像処理装置２２に供給する。これら受付機１２、入力機１４、ＤＳＣ１６、ＰＣ１８および携帯電話２０は、デジタル画像を入力画像データとして画像処理装置２２に供給する。

通信手段２６は、特に限定されるものではなく、無線でも有線でもよく、インターネット、またはＬＡＮ(Local Area Network)などのコンピュータ通信ネットワーク、専用の通信回線、および電話回線等の公知の各種の通信手段が全て利用可能である。また、各端末が異なる通信手段２６で画像処理装置２２と接続されてもよく、複数の端末で１つの通信手段２６を共用してもよい。

画像処理装置２２は、端末または入力機１４から供給された入力画像データに、注文情報等に応じた必要な画像処理を施すとともに、入力画像データによる画像、すなわち、デジタル画像の上下方向を判定し、上下方向を一致させる処理を施し、さらには出力機２４で出力できる出力用画像データに変換するものである。
図２（ａ）は、本発明の実施例の画像処理装置の構成を示すブロック図であり、（ｂ）は、図２（ａ）に示す上下判定部の構成を示すブロック図である。
図２（ａ）に示すように、画像処理装置２２は、基本画像処理部３０と、画像調整部３２と、画像記憶部３４と、データ変換部３６とを有するものである。

基本画像処理部３０は、入力画像データに、画像の色／濃度（調子再現、色再現）および像構造（鮮鋭度、粒状性）等が適正な画像を出力するための基本的な画像処理をするものである。この基本的な画像処理を入力画像データに行うことにより、入力画像データ（デジタル画像）は画質的には完成したものとなる。基本的な画像処理とは、例えば、ネガ／ポジ変換、画像の拡大もしくは縮小（電子変倍処理）、階調補正、色／濃度補正、彩度補正、覆い焼き処理（画像（濃度）ダイナミックレンジの圧縮／伸長）、シャープネス処理および色空間の変換処理である。

画像調整部３２は、デジタル画像の上下方向を判定する上下判定部４０と、各デジタル画像の上下方向を一致させる回転処理を施す画像回転部４２とを有するものである。

上下判定部４０は、デジタル画像の上下方向を判定するものである。この上下判定部４０におけるデジタル画像の上下判定方法は、自然光がさすシーンで撮影した画像は天上から光がさす場合が多く、これにより、画像の上側が明るく、画像の下側が暗いという傾向を利用するものである。すなわち、本発明は、画像の明るい方向が上方向であることが多いことを利用するものである。

図２（ｂ）に示すように、上下判定部４０は、算出部４０ａ、検出部４０ｂおよび判定部４０ｃを有するものである。
算出部４０ａは、デジタル画像を複数の画素ブロックに分割し、各画素ブロックの平均明度値を算出するものである。
検出部４０ｂは、全ての画素ブロックについて、近接する画素ブロックのうち、最も平均明度値が高い画素ブロックの方向を検出し、その検出された方向の数をカウントするものである。
判定部４０ｃは、検出された方向における頻度を求める。本発明は、自然光がさすシーンで撮影した画像は天上から光がさす場合が多く、画像の明るい方向が上方向であることが多いことを利用するものであるため、検出された方向の中で、最も頻度が高い方向を上方向と判定する。
なお、上下判定部４０による上下判定方法については後に詳細に説明する。

また、上下判定部４０の算出部４０ａによりデジタル画像を分割する画素ブロックの大きさは、特に限定されるものではなく、小さいことが好ましく、画素ブロックの最小の大きさは１画素である。
また、各画素ブロックの平均明度値の算出方法としては、デジタル画像（Ｒ、ＧおよびＢの各色の画像データ）の各画素ブロックにおける全画素の各色の画像データの平均値の３分の１を取る方法（平均明度値：Ｙ＝（Ｒ＋Ｇ＋Ｂ）／３）が例示される。
さらに、平均明度値の算出方法としては、ＹＩＱ規定を用いて各色の画像データから平均明度値を算出する方法等が例示される。ＹＩＱ規定を用いて平均明度値を得る方法としては、例えば、Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂにより、ＹＩＱ規定の輝度のみを、各画素ブロックにおける全画素のＲ、ＧおよびＢの各色の画像データの平均値から算出する方法が例示される。

画像回転部４２は、上下判定部４０により複数のデジタル画像の上方向が判定された場合、上方向が判定された全てのデジタル画像について、上方向が一致するように、判定されたデジタル画像に回転処理を施すものである。例えば、画像回転部４２には、予め画像処理装置２２における画像の上方向が初期設定されている。
画像回転部４２は、上下判定部４０による判定結果と、画像処理装置２２で初期設定されている上方向とを比較し、一致している場合には回転処理を施すことなく画像記憶部３４に入力画像データを出力する。一方、画像回転部４２は、判定結果と、初期設定の上方向とが不一致である場合には、デジタル画像の上方向が初期設定の上方向となるように、入力画像データに回転処理を施し、画像記憶部３４に画像の上方向を一致させた入力画像データを出力する。

画像記憶部３４は、基本画像処理部３０および画像調整部３２により画像処理が施された入力画像データを、例えば、１件分の注文情報毎にまとめて記憶するものである。

データ変換部３６は、基本画像処理部３０および画像調整部３２により画像処理が施された入力画像データを出力機２４から出力できる出力用画像データに変換するものである。画像処理が施された入力画像データから出力用画像データへの変換は、例えば、３次元のルックアップテーブルによりなされる。

出力機２４は、出力用画像データに基づいて、デジタル画像を記録媒体に記録するか、または写真プリントなどのハードコピーを作製するものである。
出力機２４は、例えば、出力用画像データ（画像処理が施された入力画像データ）をメモリカード、ＣＤ、ＭＯまたはＦＤなどの記録媒体に書き込むメディアドライブである。これにより、入力画像データ（デジタル画像）を記録媒体に記録し、記録媒体をユーザに提供することができる。
さらに、出力機２４は、上述のメディアドライブと、音声またはキャプション付きのスライドショーまたはフォトムービーを作成するための画像編集部とを備えたものでもよい。これにより、入力画像データを記録媒体に記録するとともに、単に画像の鑑賞だけではなく、スライドショーまたはフォトムービーとして提供することができる。なお、画像編集部は、例えば、ＰＣとプレゼンテーション作成用のソフトウェアにより構成される。

また、本実施例における出力機２４は、例えば、供給された出力用画像データに応じて変調した記録光によって、印画紙（感光材料）を２次元的に露光して潜像を形成し、露光済の印画紙に、現像／定着／漂白／水洗の所定の湿式の現像処理を施し、乾燥して写真プリントを得るものであり、例えば、デジタルフォトプリンタの出力機である。
さらに、本実施例における出力機２４は、供給された出力用画像データに応じて変調した記録光によって、一様帯電した電子写真感光体を２次元的に露光して静電潜像を形成し、この静電潜像をトナー現像して受像媒体に転写することを、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）、およびＫ（黒）の４色で、順次、行うことによりカラー画像を形成するレーザプリンタを用いることもできる。

さらにまた、本実施例における出力機２４は、供給された出力用画像データに応じて変調して、Ｃ、Ｍ、ＹおよびＫのインクを吐出することによりカラー画像を形成する、インクジェットプリンタを用いることもできる。
なお、出力機２４としては、これらに限定はされず、公知の各種のプリンタが利用可能であり、適宜要求される画質またはプリント形態に応じた方式のものを用いることができ、画像を記録媒体の片面または両面に記録するものであってもよい。

本実施例の画像処理装置２２においては、デジタル画像に基本的な画像処理を施す基本画像処理部３０を設け、さらには、デジタル画像の上下方向を判定する上下判定部４０と、各デジタル画像の上下方向を一致させる回転処理を施す画像回転部４２とを有する画像調整部３２を設けることにより、ネガフィルムまたは写真プリント記録された画像から得られたデジタル画像、およびデジタルカメラにより撮影されて得られたデジタル画像などの複数のデジタル画像について、基本的な画像処理を施し、かつ全てのデジタル画像の上下方向を効率よく一致させることができる。このため、出力用画像データに基づいて得られる、記録媒体に記録されたデジタル画像、または写真プリントなどの画像の上下方向を揃えることができる。

次に、画像処理装置２２の上下判定部４０による画像の上下判定方法について説明する。
図３は、本実施例の画像処理装置の上下判定部によるデジタル画像の上下判定方法を工程順に示すフローチャートである。図４（ａ）および（ｂ）は、本実施例の画像処理装置の上下判定部によるデジタル画像の上下判定方法を工程順に示す模式図である。図５（ａ）および（ｂ）は、図４（ｂ）の次工程を工程順に示す模式図である。図６は、縦軸に頻度をとり、横軸に方向をとって、本実施例の上下判定部によるデジタル画像の上下判定方法における解析結果を示すグラフである。
本実施例においては、例えば、図４（ａ）に示すように、雲５４ａ、５４ｂが浮かんでいる青空５２のもと、二人の男性５８ａ，５８ｂが道５６を走っているシーンのデジタル画像５０を入力画像データとして説明する。

先ず、基本画像処理部３０で基本的な画像処理が施された入力画像データが画像調整部３２の上下判定部４０に入力される。

次に、デジタル画像５０における図４（ｂ）に示す画像領域６０を、上下判定部４０（図２（ｂ）参照）の算出部４０ａ（図２（ｂ）参照）により矩形状の画素ブロック６２に分割する（ステップＳ１）。
次に、全ての画素ブロック６２について、算出部４０ａ（図２（ｂ）参照）により画素ブロック６２の平均明度値を計算する（ステップＳ２）。各画素ブロック６２の平均明度値は、例えば、画素ブロックにおける全画素の各色の画像データの平均値の３分の１を取る方法により計算する。
次に、後述するステップＳ４の処理を全ブロックにわたり実行する（ステップＳ３）。

図４（ｂ）に示すように、画素ブロック６２のうち、１つに注目し注目画素ブロック６６とする。そして、図５（ａ）に示すように、注目画素ブロック６６に近接する８個の画素ブロック６２ａ〜６２ｈのうち、最も平均明度値が高い画素ブロックの方向を検出する（ステップＳ４）。
次に、注目画素ブロック６６に対して、検出された検出方向をカウントする。

本実施例においては、図５（ｂ）に示すように、例えば、注目画素ブロック６６に対して、ａ方向〜ｈ方向の合計８方向を設定しており、図５（ａ）および図４（ｂ）に示す合計９個の画素ブロック６２からなる解析領域６４で解析を行う。
また、図５（ａ）に示す解析領域６４における画素ブロック６２ａは、平均明度値が１００であり、画素ブロック６２ｂは、平均明度値が７０であり、画素ブロック６２ｃは、平均明度値が５０であり、画素ブロック６２ｄ〜６２ｆは、平均明度値が３０であり、画素ブロック６２ｇは、平均明度値が４０であり、画素ブロック６２ｈは、平均明度値が８０である。
この場合、画素ブロック６２ａは平均明度値が１００であり、最も平均明度値が高いと判定され、この画素ブロック６２ａの方向はａ方向である。この場合、最も平均明度が高い画素ブロック６２ａの検出方向（ａ方向）は１方向である。そして、ａ方向の検出数を、例えば、１とカウントする。

次に、画像領域６０における全ての画素ブロック６２について、方向を検出したか否かが判断される（ステップＳ５）。全画素ブロックについて終了していない場合、ステップＳ３に戻り、再度、他の画素ブロック６２を注目画素ブロック６６として、最も平均明度値が高い画素ブロックの方向を検出し、検出数をカウントする（ステップＳ４）。
このようにして、全ての画素ブロック６２について、最も平均明度値が高い画素ブロックの方向を検出し、検出数をカウントする。この結果、図６に示すように検出されたａ方向〜ｈ方向について頻度（検出数）が求められる。

なお、注目画素ブロック６６に近接する８個の画素ブロック６２ａ〜６２ｈのうち、平均明度値が最も高い値の画素が複数ある場合には、複数全ての方向を検出する。そして、１／（平均明度値が最も高い値の画素が検出された方向の数）で得られる値を、各検出方向における検出数としてカウントする。
例えば、平均明度値が１００の画素がｂ方向とｆ方向にあり、２方向検出された場合には、検出数として、１／２＝０．５が得られる。検出されたｂ方向およびｆ方向にそれぞれ検出数として、０．５をカウントする。
また、同様にして、平均明度値が最も高い値の画素ブロックが、３方向検出された場合には、１／３＝０．３を各検出方向における検出数としてカウントする。さらに、平均明度値が最も高い値の画素ブロックが、５方向検出された場合には、１／５＝０．２を各検出方向における検出数としてカウントする。

本実施例においては、ａ方向〜ｈ方向のうちａ方向の頻度が最も高い。これにより、頻度が最も高いａ方向を上方向と判定する（ステップＳ６）。これにより、デジタル画像５０のシーンの中で明るい方向を高い精度で特定することができる。なお、本実施例のデジタル画像５０の上方向はａ方向であり、一致する。このようにして、本実施例の画像処理方法においては、上方向の判定精度を高くすることができる。

本実施例の画像処理方法においては、デジタル画像５０を複数の画素ブロック６２に分割する。そして、各画素ブロック６２の平均明度値を算出する。次に、全ての画素ブロック６２について、近接する画素ブロックのうち、最も平均明度値が高い画素ブロックの方向を検出し、その検出された方向における検出数をカウントして、各方向における頻度を求める。検出された方向のうち、頻度が最も高い方向を上方向と判定する。本発明においては、上述の如く自然光のもとで撮影または記録されたシーンにおいては、上側から光がさすため、明るい方が上側となる。このように、デジタル画像５０における明るい方向を高い精度で特定することにより、画像の上下方向の判定精度を高くすることができる。

なお、本実施例においては、注目画素ブロック６６に近接する８個の画素ブロック６２ａ〜６２ｈのうち、最も平均明度値が高い画素ブロックのａ方向〜ｈ方向（８方向）を検出し、検出数をカウントするものとしたが、本発明は、これに限定されるものではない。例えば、注目画素ブロック６６に辺で接する４個の画素ブロック６２ａ、６２ｃ、６２ｅ、６２ｇについて最も平均明度値が高い画素ブロックの方向を検出し、ａ方向、ｃ方向、ｅ方向およびｇ方向の合計４方向としてもよい。さらには、注目画素ブロック６６に近接する８個の画素ブロック６２ａ〜６２ｈの中で、接する３画素ブロックを組みにして、４組の３画素ブロックを作成する。これらの４組の３画素ブロックの合計で上方向を判定してもよい。すなわち、画素ブロック６２ｈ、６２ａ、６２ｂの合計と、画素ブロック６２ｂ、６２ｃ、６２ｄの合計と、画素ブロック６２ｄ、６２ｅ、６２ｆの合計と、画素ブロック６２ｆ、６２ｇ、６２ｈとの合計に基づいてデジタル画像５０の画像の上方向を判定する。

また、本実施例においては、デジタル画像５０の画像領域６０を複数の画素ブロック６２に分割して、全ての画素ブロック６２を順次注目画素ブロック６６として、この注目画素ブロック６６に近接する８個の画素ブロックのうち、最も平均明度値が高い画素ブロックの方向を検出して、上方向を判定するものとしたが、本発明は、これに限定されるものではない。
本発明においては、例えば、シーンの構成要素を検出し、各構成要素毎に、本実施例の上下判定方法により上方向を検出する。各構成要素で判定された上方向のうち、最も頻度が高い方向を上方向と判定してもよい。
ここで、図７（ａ）および（ｂ）は、本実施例の画像処理装置の上下判定部による画像の上下判定方法の変形例を工程順に示す模式図である。
この場合、図７（ａ）に示すように、青空７２のとも山７４を背景に４人の女性Ｗ_１〜Ｗ_４を撮影したシーンの画像７０について、顔検出により顔ｆ_１〜ｆ_４を検出するとともに、他の画像認識方法により青空７２および山７４を検出する。
図７（ｂ）に示すように、顔ｆ_１〜ｆ_４、青空７２、および山７４について、それぞれ上方向の判定を実施する。このように、シーンの構成要素を検出し、各構成要素毎に上方向を判定し、得られた方向が最も多い方向を画像の上方向とすることにより、画像（シーン）の中で明るい方向を更に一層高い精度で特定することができ、上方向の判定精度を更に一層高くすることができる。

次に、プリントシステム１０の作用について説明する。
例えば、図１に示す受付機１２から、ネガフィルムおよび写真プリントに記録された画像をＣＤ−Ｒなどの記録媒体に画像データを記録する１件分の注文情報が入力された場合について説明する。
この場合、先ず、入力機１４（スキャナ）によりネガフィルムおよび写真プリントに記録された画像のデジタル画像データを取得し、デジタル画像化された画像を入力画像データとして画像解析装置２０に出力する。

次に、基本画像処理部３０により、入力画像データに基本的な画像処理を施し、画像調整部３２に出力する。
この画像調整部３２においては、上下判定部４０によりデジタル画像の上方向が判定される。次に、画像回転部４２により、上下判定部４０による判定結果と、画像処理装置２２で初期設定されている上方向とを比較する。判定結果と、初期設定の上方向とが一致している場合には入力画像データに処理をすることなく、画像記憶部３４に入力画像データを出力する。一方、判定結果と、初期設定の上方向とが不一致である場合には、デジタル画像の上方向が、初期設定の上方向と一致するように入力画像データに回転処理を施す。このようにして、全ての入力画像データの上方向を初期設定の上方向と一致させて、画像記憶部３４に入力画像データを出力する。

次に、画像記憶部３４に、１件の注文毎に入力画像データを記憶する。次に、データ変換部３６で出力用画像データに変換する。
次に、出力機２４（例えば、メディアドライブ）により、１件分のネガフィルムおよび写真プリントに記録された画像（デジタル画像データ）がＣＤ−Ｒなどの記録媒体に記録される。このようにして、ネガフィルムおよび写真プリントに記録された画像をＣＤ−Ｒなどの記録媒体に記録して提供する。

本実施例のプリントシステム１０においては、端末または入力機１４から注文情報とともに入力されたネガフィルムまたは写真プリント記録された画像から得られたデジタル画像、およびデジタルカメラにより撮影されて得られたデジタル画像などの複数のデジタル画像について、画像処理装置２２により、注文情報に応じた基本的な画像処理を施すとともに、画像調整部３２によりデジタル画像の上下方向が判定され、判定された１件分のデジタル画像の上下方向を効率よく一致させることができる。これにより、デジタル画像をＣＤ−Ｒ等の記録媒体に記録して提供する場合、記録媒体に記録された画像を鑑賞する際、見易く、画像の上下方向の不一致による美感が著しく損なわれることを抑制することができる。さらに、複数のデジタル画像を用いて、（ＢＧＭ付き）スライドショーまたはフォトムービーなどを作成する場合でも、美感が著しく損なわれることが抑制されるとともに、オペレータが画像の向きを揃える必要がなくなり、オペレータの作業負担が減り、作業効率が高くなる。

また、本実施例のプリントシステム１０においては、写真プリントなどのハードコピーの形態で提供する場合であっても、各画像の上方向を全て一致させて出力することができるため、確認がしやすいとともに、鑑賞もしやすい。また、オペレータも画像の方向を揃える作業が減り、作業負担が減り、作業効率が高くなる。

さらに、例えば、運動会の様子を撮影したネガフィルム、写真プリントおよびＤＳＣにより記録されたデジタル画像を用いて（ＢＧＭ付き）スライドショーまたはフォトムービーを作成する場合でも、各画像の上方向が全て一致しているため、オペレータによる各画像の上方向を一致させる作業が不要となり、作業効率を高めることができる。

なお、本発明の画像処理装置２２の上下判定部４０および画像回転部４２は、デジタル画像の上方向を判定するための専用装置であってもよいが、例えば、一般的なパーソナルコンピュータシステムと、その上で動作するソフトウェアプログラムによって実現することも可能である。また、本発明のデジタル画像の上方向を判定するプログラムは、本発明の画像の上方向を判定する画像処理方法を適用して、画像処理装置２２によりデジタル画像の上方向を判定させるものである。

以上、本発明の画像処理装置、画像処理方法およびプログラムについて詳細に説明したが、本発明は上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良および変更を行ってもよいのはもちろんである。

本発明の実施例に係る画像処理装置を備えるプリントシステムを示す模式図である。 （ａ）は、本発明の実施例の画像処理装置の構成を示すブロック図であり、（ｂ）は、図２（ａ）に示す上下判定部の構成を示すブロック図である。 本実施例の画像処理装置の上下判定部によるデジタル画像の上下判定方法を工程順に示すフローチャートである。 （ａ）および（ｂ）は、本実施例の画像処理装置の上下判定部によるデジタル画像の上下判定方法を工程順に示す模式図である。 （ａ）は、図４（ｂ）の次工程を工程順に示す模式図であり、（ｂ）は、本実施例の注目画素ブロックに対して設定された８方向を示す模式図である。 縦軸に頻度をとり、横軸に方向をとって本実施例の上下判定部によるデジタル画像の上下判定方法における解析結果を示すグラフである。 （ａ）および（ｂ）は、本実施例の画像処理装置の上下判定部による画像の上下判定方法の変形例を工程順に示す模式図である。

符号の説明

１０ プリントシステム
１２ 受付機
１４ 入力機
１６ デジタルカメラ（ＤＳＣ）
１８ パーソナルコンピュータ（ＰＣ）
２０ 携帯電話
２２ 画像処理装置
２４ 出力機
２６ 通信手段
３０ 基本画像処理部
３２ 画像調整部
３４ 画像記憶部
３６ データ変換部
４０ 上下判定部
４０ａ 算出部
４０ｂ 検出部
４０ｃ 判定部
４２ 画像回転部
６０ 画像領域
６２、６２ａ〜６２ｈ 画素ブロック
６６ 注目画素ブロック

Claims (6)

1. デジタル画像の上方向を判定する上下判定部を有する画像処理装置であって、
   前記上下判定部は、前記デジタル画像を複数の画素ブロックに分割し、前記各画素ブロックの平均明度値を算出する算出部と、全ての前記画素ブロックについて、近接する画素ブロックのうち、最も平均明度値が高い画素ブロックの方向を検出する検出部と、前記検出された方向における頻度を求め、検出された方向のうち、頻度が最も高い方向を上方向と判定する判定部とを有することを特徴とする画像処理装置。
2. さらに、前記上下判定部により上方向が判定された複数のデジタル画像の前記上方向が、判定された全てのデジタル画像で一致するように前記デジタル画像に回転処理を施す画像回転部を有する請求項１に記載の画像処理装置。
3. デジタル画像の上方向を判定する画像処理方法であって、
   前記デジタル画像を複数の画素ブロックに分割する工程と、
   前記各画素ブロックの平均明度値を算出する工程と、
   全ての前記画素ブロックについて、近接する画素ブロックのうち、最も平均明度値が高い画素ブロックの方向を検出する工程と、
   前記検出された方向における頻度を求め、検出された方向のうち、頻度が最も高い方向を上方向と判定する工程とを有することを特徴とする画像処理方法。
4. さらに、前記上方向が判定された複数のデジタル画像の前記上方向が、判定された全てのデジタル画像で一致するように前記デジタル画像に回転処理を施す工程を有する請求項３に記載の画像処理方法。
5. 画像処理装置により、デジタル画像の上方向を判定するプログラムであって、
   前記デジタル画像を複数の画素ブロックに分割するステップと、
   前記各画素ブロックの平均明度値を算出するステップと、
   全ての前記画素ブロックについて、近接する画素ブロックのうち、最も平均明度値が高い画素ブロックの方向を検出するステップと、
   前記検出された方向における頻度を求め、検出された方向のうち、頻度が最も高い方向を上方向と判定するステップとを、前記画像処理装置に実行させることを特徴とするプログラム。
6. さらに、前記上方向が判定された複数のデジタル画像の前記上方向が、全てのデジタル画像で一致するように前記デジタル画像に回転処理を施すステップを、前記画像処理装置に実行させる請求項５に記載のプログラム。

Images