JP2008033655A - 写真画像処理装置 - Google Patents

写真画像処理装置 Download PDF

Info

Publication number
JP2008033655A
JP2008033655A JP2006206693A JP2006206693A JP2008033655A JP 2008033655 A JP2008033655 A JP 2008033655A JP 2006206693 A JP2006206693 A JP 2006206693A JP 2006206693 A JP2006206693 A JP 2006206693A JP 2008033655 A JP2008033655 A JP 2008033655A
Authority
JP
Japan
Prior art keywords
image
print
photographic
frame
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2006206693A
Other languages
English (en)
Inventor
Kouichi Kugo
耕一 久後
Noriyuki Nishi
規之 西
Yuuki Tsuji
勇樹 辻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Noritsu Koki Co Ltd
Original Assignee
Noritsu Koki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Noritsu Koki Co Ltd filed Critical Noritsu Koki Co Ltd
Priority to JP2006206693A priority Critical patent/JP2008033655A/ja
Priority to US11/826,616 priority patent/US20080025560A1/en
Publication of JP2008033655A publication Critical patent/JP2008033655A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/28Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/162Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00442Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00442Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails
    • H04N1/00453Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails arranged in a two dimensional array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00461Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet marking or otherwise tagging one or more displayed image, e.g. for selective reproduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00474Output means outputting a plurality of functional options, e.g. scan, copy or print

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Projection-Type Copiers In General (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

【課題】プリント注文情報に含まれるコマ画像に非着衣の人物画像が含まれるか否かを自動的に判別しながらも、写真プリントの生産効率の低下を来たすことなく、プリント処理される前にオペレータの目視による判断が容易に行なえる写真画像処理装置を提供する。
【解決手段】入力されたプリント注文情報に基づいて所定順序で写真プリントを生成する写真画像処理装置4であって、プリント注文情報に含まれるコマ画像データに対応するコマ画像を表示部31に表示し、コマ画像に対して検閲処理可能な画像検閲部60と、検閲結果に基づいて写真プリントを生成する検閲プリントモードと、検閲無しで写真プリントを生成する自動プリントモードとを切り替えるモード切替部70と、コマ画像データに非着衣人物画像が含まれるか否かを判別する写真画像判別部36とを備え、モード切替部70は、判別結果に基づいて、自動プリントモードから検閲プリントモードに切り替える。
【選択図】図1

Description

本発明は、入力された複数のプリント注文情報に基づいて所定の順序で写真プリントを生成して出力する写真画像処理装置に関する。
写真プリントショップやミニラボでは、写真プリント装置を用いて顧客から依頼されたフィルム画像やデジタルカメラで撮影されたデジタル画像をプリント処理する際に、オペレータは前記写真プリント装置のモニタ画面にプリント対象画像を表示させて、色や濃度等を手動操作で補正する画像検閲処理を行なう。このときに、公序良俗に反するポルノ画像等、非着衣の人物が被写体となる有害画像が発見されると、対応する画像のプリント処理を回避するように設定することができる。
このような写真プリント装置には、オペレータによる画像検閲処理を行なわなくとも適正な写真プリントが生成できるように、色や濃度等を自動補正する自動処理モードが備わっている。
そのため、オペレータによる作業の効率化や人件費の削減等の観点から、自動処理モードで写真プリントを生成して出荷する場合には、本来出荷すべきでない上述の有害画像が誤って出荷される可能性があった。
一方、インターネット上で有害画像の流通を回避する技術として、特許文献1には、複数のユーザーで共有できるフィルタリングデータベースを設けて、前記フィルタリングデータベースに有害情報等の情報を共有することで、訪問販売業者や、セールス電話や、インターネット上の有害情報へのアクセス等を排除するフィルタリングデータサーバーが提案されている。
さらに、有害画像であるか否かを判断する画像分析技術として、特許文献2には以下の手法が記載されている。先ず、領域分割された画像データから抽出された複数の肌色領域が予め設定された面積の組合せパターンの何れに属するか決定して、前記複数の肌色領域の面積と重心から肌色分布特徴量を求める。次に個々の肌色領域に対して、各肌色領域が属すると決定された面積の組合せパターンに適合したパターン別基準に肌色分布特徴量を照らして、有害画像と判断されなかった画像を除外する。そして、除外されなかった画像を予め設定された顔画像データのパターンに照らして、有害画像と判断されなかった画像を除外して、ここでも除外されなかった画像が有害画像であると判断するものである。
特開2004−102662号公報 特開2002−175527号公報
しかし、特許文献1に記載されたフィルタリングデータサーバーは、前記フィルタリングサーバーにおいて共有されている画像にのみ効果を発揮するものであり、個々の画像そのものが有害画像であるか否かを解析する具体的な技術を提供するものではなかった。
また、特許文献2に記載された有害画像の弁別方法は、明度や色相のエッジで分割される肌領域の構成パターンと、多数の猥褻ヌード写真を分析した肌領域の構成パターンとの一致度を照合するものであり、人種による肌領域の色相には相当な開きがあり、対象画像から頭部や胴部等の肌領域を適切に切出すのは容易ではなく、また、弁別処理も煩雑で処理負荷が大きくなり、短時間で多くの写真画像を処理する必要のある写真プリント装置に適用するのは困難であった。
そこで、本願発明者らは、写真プリントのための画像処理に適した非着衣の人物画像の判別方法を研究しているが、そのような判別方法を用いて非着衣の人物画像と判別された画像が必ずしも排除すべき有害画像であると断定することができないため、自動的にプリント処理を回避するのは困難である。
そのため、最終的にオペレータの目視による判断を求めざるを得ないのであるが、多数のプリント注文情報に含まれるコマ画像に対して、非着衣の人物画像と判別されるたびに個別に画像検閲処理を要する場合には、処理に手間が掛かり写真プリントの生産効率が低下するという問題があった。
本発明の目的は、上述した従来の問題点に鑑み、プリント注文情報に含まれるコマ画像に非着衣の人物画像が含まれるか否かを自動的に判別しながらも、写真プリントの生産効率の低下を来たすことなく、プリント処理される前にオペレータの目視による判断が容易に行なえる写真画像処理装置を提供する点にある。
上述の目的を達成するため、本発明による写真画像処理装置の第一の特徴構成は、特許請求の範囲の書類の請求項1に記載した通り、入力された複数のプリント注文情報に基づいて所定の順序で写真プリントを生成して出力する写真画像処理装置であって、入力されたプリント注文情報に含まれる一または複数のコマ画像データに対応するコマ画像を表示部に表示し、表示されたコマ画像に対して所定の検閲処理が可能な画像検閲部と、前記画像検閲部による検閲結果に基づいて写真プリントを生成する検閲プリントモードと、前記画像検閲部を介さずに写真プリントを生成する自動プリントモードとを切り替えるモード切替部と、前記プリント注文情報に含まれるコマ画像データに非着衣の人物画像が含まれるか否かを判別する写真画像判別部とを備え、前記モード切替部は、前記写真画像判別部による判別結果に基づいて、前記自動プリントモードから前記検閲プリントモードに切り替える点にある。
上述の構成によれば、写真画像判別部によりプリント注文情報に含まれるコマ画像データに非着衣の人物画像が含まれていないと判別されたときには、自動プリントモードによる処理が継続されることで高速に写真プリントを生産することができ、写真画像判別部によりプリント注文情報に含まれるコマ画像データに非着衣の人物画像が含まれていると判別されたときには、モード切替部により検閲プリントモードに切り替えられ、オペレータの目視による検閲処理、つまり写真プリントするべきか否かの判断が行なえるようになる。従って、写真プリントの生産効率の低下を来たすことなく、プリント注文情報に含まれるコマ画像データに有害画像が含まれるか否かを確実に判別することが可能になる。
同第二の特徴構成は、同請求項2に記載した通り、上述の第一特徴構成に加えて、前記モード切替部は、前記写真画像判別部によりコマ画像データに非着衣の人物画像が含まれると判別されたときに、当該コマ画像に対してのみ前記自動プリントモードから前記検閲プリントモードに切り替える点にある。
上述の構成によれば、写真画像判別部によりコマ画像データに非着衣の人物画像が含まれると判別される度に検閲プリントモードに切り替えられるので、非着衣の人物画像が含まれると判別されたコマ画像に対するオペレータによる検閲を迅速に行なうことができるようになる。
同第三の特徴構成は、同請求項3に記載した通り、上述の第一特徴構成に加えて、前記モード切替部は、前記写真画像判別部によりコマ画像データに非着衣の人物画像が含まれると判別されたときに、当該コマ画像が含まれるプリント注文情報を単位として、非着衣の人物画像が含まれると判別された一または複数のコマ画像に対してのみ前記自動プリントモードから前記検閲プリントモードに切り替える点にある。
上述の構成によれば、プリント注文情報に含まれるコマ画像データのうち、非着衣の人物画像が含まれないと判別されたコマ画像データはそのまま写真プリントされ、非着衣の人物画像が含まれると判別されたコマ画像データのみが検閲プリントモードに切り替えられるので、効率的に写真プリントを生産し、且つ、オペレータによる効率的な検閲処理を行なうことができるようになるのである。
同第四の特徴構成は、同請求項4に記載した通り、上述の第一または第三特徴構成に加えて、前記モード切替部は、前記写真画像判別部によりコマ画像データに非着衣の人物画像が含まれると判別されたときに、当該コマ画像が含まれるプリント注文情報を単位として、当該プリント注文情報に含まれる非着衣の人物画像が含まれると判別されたコマ画像の枚数または比率が所定値以上のときに、全コマ画像に対して前記自動プリントモードから前記検閲プリントモードに切り替える点にある。
一つのプリント注文情報に非着衣の人物画像が含まれると判別されたコマ画像の枚数または比率が所定値以上であると、当該プリント注文情報において非着衣の人物画像が含まれると判別されなかった他のコマ画像にも有害な画像が含まれている可能性が高く、このような場合に全コマ画像に対して前記自動プリントモードから前記検閲プリントモードに切り替えてオペレータによる検閲処理を行なうことで、前記写真画像判別部で判別できなかった有害画像であっても適切に対処することができるようになる。
同第五の特徴構成は、同請求項5に記載した通り、上述の第一または第三特徴構成に加えて、前記写真画像判別部により非着衣の人物画像が含まれると判別された画像データの有害度を評価する有害度評価部を備え、前記モード切替部は、前記写真画像判別部によりコマ画像データに非着衣の人物画像が含まれると判別され、前記有害度評価部により有害度が高いと評価されたときに、当該コマ画像が含まれるプリント注文情報を単位として、全コマ画像に対して前記自動プリントモードから前記検閲プリントモードに切り替える点にある。
写真画像判別部により非着衣の人物画像が含まれると判別された画像データに対して、有害度評価部により有害度が高いと判断されるような画像を写真プリントするのは極めて不適切である。また、あるプリント注文情報に有害度が高い画像が含まれると判別されたコマ画像が存在する場合には、当該プリント注文情報における他のコマ画像にも有害度が高い画像が含まれている可能性が高い。そこで、一つのプリント注文情報に有害度が高い画像が一枚でも含まれていると判別された場合には、全コマ画像に対して前記自動プリントモードから前記検閲プリントモードに切り替えることにより、オペレータによる厳格な検閲処理を行なうことができるようになる。
同第六の特徴構成は、同請求項6に記載した通り、上述の第一特徴構成に加えて、前記モード切替部は、前記写真画像判別部によりコマ画像データに非着衣の人物画像が含まれると判別されたときに、当該コマ画像が含まれるプリント注文情報を単位として、全コマ画像に対して前記自動プリントモードから前記検閲プリントモードに切り替える点にある。
一つのプリント注文情報に一枚でも非着衣の人物画像が含まれると判別される画像が存在する場合には、当該プリント注文情報に含まれる他の画像にも同様の画像が含まれる可能性が高い傾向がある。そこで、一つのプリント注文情報に非着衣の人物画像と判別される画像が一枚でも含まれている場合には、全コマ画像に対して前記自動プリントモードから前記検閲プリントモードに切り替えることにより、オペレータによる厳格な検閲処理を行なうことができるようになる。
以上説明した通り、本発明によれば、プリント注文情報に含まれるコマ画像に非着衣の人物画像が含まれるか否かを自動的に判別しながらも、写真プリントの生産効率の低下を来たすことなく、プリント処理される前にオペレータの目視による判断が容易に行なえる写真画像処理装置を提供することができるようになった。
以下に、本発明による写真画像処理装置を写真プリント注文システムの一部として適用した実施形態について説明する。
写真プリント注文システムは、図2に示すように、写真ラボ店に設置された複数の受付端末1と、各受付端末1に入力されたプリント注文情報に基づいて写真プリントを生成する写真画像処理装置4としての写真プリント装置とを備えて構成され、来店した顧客Mが、携帯電話やデジタルカメラ等のデジタル撮影機器によって撮影された写真画像データが格納されたメディア2を受付端末1に設けられたメディアドライブに挿入して、操作端末から入力された氏名や連絡先等のID情報、プリント画像情報、プリント枚数、プリントサイズ等を入力すると、内蔵プリンタから受付伝票3が出力されるように構成されている。
受付端末1では入力されたID情報、プリント画像情報、プリント枚数、プリントサイズ等に基づいてプリント注文情報が生成されて写真画像処理装置4に送信され、写真画像処理装置4は受信したプリント注文情報に基づいて写真プリント5を生成する。
受付伝票3にはプリント仕上がり予定時間が記載され、当該仕上がり予定時間に写真ラボ店の受付カウンタの係員に受付伝票3を提示して料金を支払うと、写真プリントが引き渡される。
前記受付端末1は、図3に示すように、ケース10と、ケース10の上部に設置された写真注文受付処理部11とで構成され、図4に示すように、写真注文受付処理部11と写真画像処理装置4とがデータ伝送ラインLで接続されている。
前記写真注文受付処理部11は、顧客が所持するCD、CFカードやSDメモリカード等の各種の可搬性のメディア2に記憶された写真画像データを読取るためのデータ入力手段としての複数種類のメディアドライブ12と、前記メディアドライブ12により読み込まれた写真画像を表示する表示手段としての液晶表示部13と、前記液晶表示部13に表示された写真画像に対してプリント枚数やプリントサイズ等の注文データを入力するべく、前記液晶表示部13の表面に配置された入力手段としてのタッチパネル14等を備えて構成されている。
前記写真画像処理装置4は、各受付端末1から伝送された複数のプリント注文情報に基づいて所定の順序で写真プリントを生成して出力するように構成されており、図4と図1に示すように、前記受付端末1より入力された前記プリント注文情報に含まれる一連のコマ画像データを格納するハードディスク等でなる画像データ記憶部30と、前記コマ画像データを表示する表示部31と、キーボードやマウスを備えた操作入力部32と、後述する画像処理部35による画像処理後のデータに基づいて印画紙Pを露光して写真プリントを生成する写真プリント部33と、所定のオペレーティングシステムによる管理の下でインストールされたアプリケーションプログラムに基づいて上述の各ブロックをシステムとして制御するシステムコントローラ34と、前記表示部31に表示された写真画像に対する前記操作入力部32を介した各種操作に基づいて或いは自動的に前記画像データを編集処理する画像処理部35と、前記プリント注文情報に含まれるコマ画像データに非着衣の人物画像が含まれているか否かを判別する写真画像判別部36と、前記写真画像判別部36により非着衣の人物画像が含まれると判別された画像データの有害度を評価する有害度評価部70と、入力されたプリント注文情報に含まれる一または複数のコマ画像データに対応するコマ画像を前記表示部31に表示し、表示されたコマ画像に対して所定の検閲処理が可能な画像検閲部50と、前記画像検閲部50による検閲結果に基づいて写真プリントを生成する検閲プリントモードと前記画像検閲部50を介さずに写真プリントを生成する自動プリントモードとを切り替えるモード切替部60と、を備えて構成されている。
前記写真プリント部33は、ロール状の印画紙Pが収容されたペーパーマガジン330と、前記ペーパーマガジン330から印画紙Pを引き出して搬送する複数の印画紙搬送ローラ331と、前記搬送ローラ331を駆動するモータ332と、搬送される印画紙Pの感光面を露光する蛍光ビーム方式のプリントヘッド333と、露光済みの印画紙Pに現像、漂白、定着の各処理を施す現像処理部334と、現像処理された印画紙Pを乾燥しながら搬送する乾燥部335と、乾燥された印画紙Pを最終のプリントとして排出する排出部336とを備えて構成され、前記ペーパーマガジン330から引き出された印画紙Pは現像処理の前後何れかに配置されたカッター(図示せず)によって所定のプリントサイズにカットされて前記排出部336に出力される。
前記プリントヘッド333は、赤、緑、青の各波長のレーザから出力され、回転多面鏡で走査される光線束を、後述する画像処理部35で編集処理された写真画像データのR成分、G成分、B成分の各画素データに基づいて変調するレーザ式の露光光学系で構成され、印画紙P上に写真画像を露光する。
前記システムコントローラ34は、前記写真画像処理装置4を動作させるプログラムを格納するROMと、データ処理領域や写真画像データ編集のために使用されるRAMと、前記プログラムを実行するCPUと、周辺回路とを備えており、前記プログラムに基づいて前記写真画像処理装置4の各ブロックを制御するように構成されている。
前記画像処理部35は、前記表示部31に表示された写真画像に対して、階調補正を行なう濃度補正部350と、カラーバランスを調整するカラー補正部351と、対象画像を拡大または縮小処理する拡縮処理部352等を備えて構成される。
前記システムコントローラ34は、操作入力部32を介したオペレータの操作により、画像を自動補正するモードが選択されると、前記画像処理部35を起動して、前記受付端末1から入力されたプリント注文情報に含まれるコマ画像に対して、順番に濃度補正、カラーバランス補正等の必要な画像処理を実行させるとともに、前記写真画像判別部36を起動して画像データに非着衣の人物画像が含まれるか否かを自動判別させる。
尚、オペレータの操作により、画像を手動補正するモードが選択されると、図示しない操作画面に表示される操作ボタンを操作することにより画像処理及び写真画像判別処理がプリント注文情報を単位に起動され、当該プリント注文情報に含まれる各画像のサムネイル画像が前記表示部31に表示される。オペレータは、表示される画像毎に手動操作で画像補正処理を行なうとともに検閲処理を行ない、有害画像のプリント出力を禁止操作することができる。
前記写真画像判別部36は、図5に示すように、入力されたカラー画像データから人物の顔領域を検出する顔情報抽出部41と、前記画像データから人物の肌領域を検出する肌領域検出部42と、前記顔領域と前記肌領域との間の領域連続性を判別する領域判別部43と、前記画像データから人物の特定部位に対応する特定領域を推定する特定領域推定部44と、前記画像データに非着衣の人物画像が含まれるか否かを判別する画像判別部45とを備えて構成されている。
これらの各処理部では、図5に示すように、処理A(実線矢印)、処理B(点線矢印)、処理C(一点鎖線矢印)で示す三通りの処理経路の何れかでデータが処理されることにより非着衣の人物画像が含まれるか否が判別される。
さらに、前記写真画像判別部36は、前記顔領域または前記肌領域から姿態特徴データを抽出する特徴データ抽出部46と、前記姿態特徴データに基づいて被写体の年齢を推定する年齢推定部47を備えて構成されており、図5において処理D(二点鎖線矢印)で示すように、前記年齢推定部47を経ることで、前記画像判別部45における非着衣の人物画像が含まれるか否かの判別結果に、当該人物画像の年齢を加えるように構成されている。
前記顔情報抽出部41は、入力されたカラー画像データから人物の顔領域を検出し、前記顔領域の肌の色差データと、前記顔領域の向きと、前記顔領域の大きさを抽出するように構成されている。
入力されたカラー画像データからの人物の顔領域の検出は、例えば、前記カラー画像データから抽出された濃度エッジやカラーエッジに基づく輪郭が顔領域であるか否かを、予め準備された顔領域の輪郭、目、鼻、口、耳等の複数の要素配置パターンとの一致度を評価することによるパターン認識技術に基づいて検出する等といった公知の技術を用いて実現されるものである。例えば、図6(a)に示すように、顔領域が矩形の枠で検出される。
前記顔領域の肌の色差データは、検出された前記顔領域を構成する画素全てにおいてR成分、G成分、B成分の平均値を導出し、各成分の平均値を〔数1〕に適用してYCC表色系に変換することで得られるYCC表色系におけるCb成分(輝度と青の色差)とCr成分(輝度と赤の色差)として算出される。以下、前記顔領域の肌の色差データのうちCb成分をCbsと表記し、Cr成分をCrsと表記し、まとめて(Cbs,Crs)と表記する。尚、Y成分(輝度)を用いず、Cb成分とCr成分のみを用いることによって、顔領域や肌領域を識別する際に不要な明暗を除外することができる。
前記顔領域の向きは、例えば、検出された顔領域の輪郭、目、鼻、口、耳等の複数の要素間の相対的な位置関係を座標情報として算出して、予め準備された様々な要素間相対位置に対応する顔向きが登録された顔方向パターンを、算出した座標情報と照合することで得られるように構成されている。
前記顔領域の大きさは、検出された前記顔領域の画素数を顔領域の大きさとして算出する。例えば、図6(a)における矩形の枠の面積を顔領域の大きさとして算出する。
前記肌領域検出部42は、前記顔情報抽出部41で抽出された肌の色差データと相関のある領域を、前記カラー画像データまたは後述する特定領域から肌領域として検出するように構成されている。
詳述すると、前記カラー画像データの全ての画素、または、図6(d)において矩形領域T2として示す特定領域内の全ての画素についての各画素の色差データ(Cbn,Crn)を算出する。尚、nは画素の番号を表しており、範囲は1(最小値)から被算出画素データ数(最大値)までである。
次に、算出した各画素の色差データ(Cbn,Crn)と顔領域の肌の色差データ(Cbs,Crs)との距離Dnを〔数2〕により算出して、各画素についての距離Dnが予め設定した閾値よりも大きいか小さいかによって2値化処理を行う。2値化処理の結果、前記距離Dnが前記閾値よりも小さかった領域を肌領域として検出する。尚、前記2値化処理における閾値の算出は、例えば、2値化処理を行う対象である全ての画素を二つのクラスに分けて、二つのクラス間の分離が最大になるように閾値を決める手法である判別分析法等を用いる。
図6(a)に示したカラー画像データの全ての画素について2値化処理を行って肌領域を検出した結果を図6(b)に示す。図6(b)において黒く塗りつぶされた部分が検出された肌領域を示し、灰色部分は肌領域でない領域を示す。
前記領域判別部43は、前記顔領域と前記肌領域検出部42で検出された肌領域との間の領域連続性を判別するように構成されており、前記肌領域検出部42で検出された肌領域に対してラベリング処理を行った後、前記ラベリング処理の結果に基づいて領域連続性の判別を行う。
前記ラベリング処理は、以下のような処理を行うことで、処理を行う画像において連結している画素を一つの領域と見なして共通のラベルを付する処理である。つまり、図7(a)に示すように、画像上でラベルが付されておらず且つ所定の条件(例えば白色でない)との条件を満たす画素を見つけ、新しいラベルR1を付加して、図7(b)に示すように、新しいラベルR1を付加した画素に連結している画素を走査して所定の条件を満たすならば同一のラベルを付加する。図7(c)に示すように、以上の処理を当該画像内にラベルを付加する画素がなくなるまで繰り返す。
一例として、上記の処理を図7(d)に示すような3個の肌領域を有する画像に対して行った場合、図7(e)に示すように、3個の肌領域に対してR1からR3のラベルが付される。よって、前記肌領域に対してラベリング処理を行うと、前記カラー画像データ内に存在する各肌領域に異なるラベルが付されることになる。
前記領域連続性の判別は、例えば、前記顔領域内の任意の画素の探索を行い最初に探索された画素に付されているラベルを顔領域のラベルとして、前記顔領域のラベルと同一のラベルが付されている肌領域を、前記顔領域との間で領域連続性を有する領域として検出する。
図6(b)に示す肌領域を検出した画像データについて、前記領域連続性の判別を行った結果を図6(c)に示す。図6(c)において黒色部分が顔領域と領域連続性を有する領域として検出された肌領域である。
前記特定領域推定部44は、前記顔領域の向き及び大きさに基づいて当該人物の胸部や下腹部等の予め設定された特定部位に対応する特定領域の位置を推定するように構成されている。
例えば、図6(d)に示すように、顔領域を検出した際の矩形領域T1を、前記矩形領域T1の縦幅T1yの1.5倍分、被写体の胴体側へ移動させた矩形領域T2を当該人物の特定部位である胸に対応する特定領域として推定する。
上述の例では、多数の人物画像を分析した結果として、顔領域の縦幅の1.5倍分、被写体の胴体側へ移動させた領域を胸に対応する特定領域として推定したが、推定を行う特定部位によっては、1.5倍ではなく異なる倍率分移動させる構成であってもよいことは言うまでもない。例えば複数の典型的な被写体のポーズを基準に予め顔領域の向き及び大きさと特定部位の相対位置関係を推定データとして備えることにより、被写体の顔領域の向き及び大きさから特定部位の存在位置を推定することができる。
また、上述の例では、被写体の胴体側は下方向であったが、画像によっては必ずしも胴体側が下方向であるとは限らない。例えば、頭を左側にして横になっている人物画像の場合は、胴体側が横方向になるからである。このような場合は、前記顔領域の向きに基づいて前記特定領域を推定する。つまり、口は目の右側にある等の顔を構成する要素間の相対位置から顔領域の向きを割り出して、被写体の胴体側(例えば右側)へ移動させた矩形領域を当該人物の特定部位である胸に対応する特定領域として推定する。
前記画像判別部45は、前記領域判別部43で連続領域と判別された顔領域と肌領域の面積比、または、前記肌領域検出部42による検出情報に基づいて前記特定領域推定部44により推定された特定領域における肌領域と非肌領域の面積比の何れかの面積比に基づいて、前記カラー画像データに非着衣の人物画像が含まれるか否かを判別するように構成されている。
人間の体全体に対する顔の割合は略同一であることから、人物画像において、当該人物画像が非着衣の場合は、ある顔領域と肌領域の面積比は略同一となるが、当該人物画像が服を着用している場合は、服の部分だけ肌領域が減少するので面積比は不自然に小さくなる。この事実に基づき多数の非着衣人物画像を統計分析することによって、当該人物が非着衣であるか否かを判断する基準となる顔領域閾値を算出する。
そして、前記画像判別部45は、ある画像において、顔領域と肌領域の面積比が前記顔領域閾値よりも大きい場合は、当該画像に非着衣人物画像が含まれていると判断し、顔領域と肌領域の面積比が前記顔領域閾値以下の場合は、当該画像に非着衣人物画像は含まれていないと判断する。尚、前記顔領域の面積は、図6(a)に示す矩形の面積、または、図6(a)に示す矩形内に存在する図6(b)において黒色で示される肌領域の面積の何れかである。
また、前記特定領域が胸領域である場合において、非着衣であると領域内の殆どの画素が肌領域となることから、前記特定領域における肌領域の非肌領域に対する面積比は略100パーセントになるくらいに大きくなるが、服を着用していると領域内の服の部分は肌領域ではないことから前記面積比は小さくなる等といった、ある特定領域における肌領域と非肌領域についての面積比が異なる人物画像において略同一となる事実に基づき、多数の非着衣人物画像の様々な特定領域を統計分析することによって、当該人物が非着衣であるか否かを判断する基準となる特定領域閾値を算出する。
そして、前記画像判別部45は、ある画像において、特定領域における肌領域と非肌領域の面積比が前記特定領域閾値よりも大きい場合は、当該画像に非着衣人物画像が含まれていると判断し、特定領域における肌領域と非肌領域の面積比が前記特定領域閾値以下の場合は、当該画像に非着衣人物画像は含まれていないと判断する。
前記特徴データ抽出部46は、前記顔情報抽出部41で抽出された顔領域または前記肌領域検出部42で検出された肌領域から姿態特徴データを抽出するように構成されており、肌の凹凸情報や輪郭情報等、例えば、顔の輪郭、髪型、鼻の高さ、唇の色、皺、眉の形等、胸の形状、または胴体や手足の輪郭、さらには頭部と身長の比率等が姿態特徴データとして抽出される。
このような姿態特徴データの抽出は、顔の構成要素の位置に基づいて、前記構成要素に近いほど密に特徴点の位置を設定し、前記構成要素から離れるほど粗に特徴点を設定するサンプリング手法や、設定された特徴点に対しガボールウェーブレット変換を実行することによって、前記特徴点の周辺における濃淡特徴の周期性や方向性を姿態特徴データとして抽出するといった公知の技術を用いて実現される。
前記年齢推定部47は、前記特徴データ抽出部46で抽出された姿態特徴データと予め年齢層毎にサンプリングされた姿態特徴データに基づいて被写体の年齢を推定するように構成されている。
被写体の年齢の推定は、例えば、構成要素毎に多数のサンプル画像のうちの代表的なサンプル画像が、または、構成要素毎に多数のサンプル画像を平均化したサンプル画像が姿態特徴データとして予め年齢層毎にデータベースとして登録されており、予め登録されている姿態特徴データと前記特徴データ抽出部46で抽出された姿態特徴データとで比較を行うことによって、各構成要素毎に年齢層を推定して、最も多数の構成要素によって推定された年齢層を被写体の年齢層として推定するように構成されている。
前記画像検閲部50は、入力されたプリント注文情報に含まれる一または複数のコマ画像データに対応するコマ画像を表示部31に表示し、表示されたコマ画像に対して所定の検閲処理を行うことができるように構成されている。
前記画像検閲部50によって表示された画面は、図8に示すように、オペレータに対する指示や警告等の所定のメッセージを表示するメッセージ表示エリア501と、コマ画像が表示されるコマ画像表示枠502と、前記コマ画像表示枠502に表示され且つアクティブ化されているコマ画像に対して当該コマ画像の写真プリントを生成するか否か選択するプリント選択スイッチ503と、当該プリント注文情報に含まれるコマ画像の枚数等が表示される枚数表示エリア504と、現画面に表示されていないコマ画像を表示させるための「次ページ」スイッチ505と、押圧することによって前記画像検閲部50での検閲処理の設定を確定して、写真プリントを生成するように選択をしたコマ画像について写真プリントの生成を行わせる「セット」スイッチ506と、現画面が表示される前の直前の設定画面に戻すための「戻る」スイッチ507等を備えて構成されている。
尚、コマ画像のアクティブ化は、アクティブしたいコマ画像上に前記操作入力部32を構成するマウスのカーソルを移動させて、前記マウスをクリックすると当該コマ画像がアクティブ化される。
前記プリント選択スイッチ503による写真プリント生成の選択は、前記プリント選択スイッチ503を押圧することで、前記コマ画像表示枠502に表示され且つアクティブ化されているコマ画像の右下部が「Print」と「PASS」に切替表示される。前記コマ画像表示枠502に表示されているコマ画像の右下部が「Print」表示のときは、前記「セット」スイッチ506を押圧したときに、当該コマ画像の写真プリントが許可され、前記コマ画像表示枠502に表示されているコマ画像の右下部が「PASS」表示のときは、当該コマ画像の写真プリントが禁止される。
前記枚数表示エリア504は、プリント注文情報の識別番号を表示する「No.」表示部504aと、当該プリント注文情報に含まれるコマ画像のうち前記画像検閲部50によって表示部31に表示させられているコマ画像の枚数を表示する「検閲コマ」表示部504bと、当該プリント注文情報に含まれるコマ画像の枚数を表示する「全コマ」表示部504cとを備えて構成されている。
前記モード切替部60は、自動プリントモードが選択されているときに、所定条件を満たすと検閲プリントモードに切り替えるように構成されており、検閲プリントモードに切り替えられた状態で、前記表示部31に表示されたモード切替スイッチを操作することにより、上述の画像を手動補正するモードや自動プリントモードに切り替えられるように構成されている。
前記検閲プリントモードでは、前記画像検閲部50によってコマ画像が表示部31に表示され、表示された全てのコマ画像に対して写真プリントを生成するか否かの選択をオペレータが手動で行った後に、写真プリントを生成する選択がなされたコマ画像のみに対して写真プリントが生成される。一方、自動プリントモードでは、オペレータによる写真プリント生成有無の選択処理が行われることなく写真プリントが生成される。
前記写真画像処理装置4は、通常は、全てのコマ画像に対して自動プリントモードで動作しているが、条件に応じて、つまり、前記コマ画像に対する前記写真画像判別部36による判別結果に基づいて、コマ画像単位またはプリント注文情報単位で、前記モード切替部60に自動プリントモードから検閲プリントモードに切り替えさせるように構成されている。以下に、前記モード切替部60が前記所定条件に基づいて自動プリントモードから検閲プリントモードへの切り替えを行う態様について説明する。
第一の態様
前記モード切替部60は、前記写真画像判別部36によりコマ画像データに非着衣の人物画像が含まれると判別されたときに、当該コマ画像に対してのみ前記自動プリントモードから前記検閲プリントモードに切り替える。
例えば、図9(a)に示すようなAからFの6枚のコマ画像より構成され、コマ画像Bとコマ画像Dが非着衣の人物画像を含む画像であるプリント注文情報について処理を行う場合、前記写真画像判別部36は、先頭のコマ画像Aから順番に自動プリントモードにて非着衣の人物画像が含まれるか否かの判別処理を行う。
自動プリントモードであるので判別処理で非着衣の人物画像が含まれないと判別されたコマ画像から逐一、写真プリントの生成処理が行われる。一方、前記写真画像判別部36による判別処理において、非着衣の人物画像が含まれると判別された時点(コマ画像B)で、前記モード切替部60は、前記画像データ記憶部30に前記コマ画像Bを格納しておく。本例の場合は、前記写真画像判別部36によるコマ画像Dも非着衣の人物画像が含まれると判別されて前記画像データ記憶部30に格納される。
最後のコマ画像Fまで判別処理され、許容される写真プリントの生成処理が完了すると、前記モード切替部60は自動プリントモードから検閲プリントモードに切り替え、前記画像検閲部50は、図9(b)に示すように、格納されていた前記コマ画像B、Dを表示部31に表示させる。
オペレータが、非着衣の人物画像が含まれていると判別されたコマ画像B、Dのうち、写真プリントの生成を行うとの判断を行ない、プリント選択したコマ画像について写真プリントの生成処理が行われる。
第二の態様
前記モード切替部60は、前記写真画像判別部36によりコマ画像データに非着衣の人物画像が含まれると判別されたときに、当該コマ画像が含まれるプリント注文情報を単位として、非着衣の人物画像が含まれると判別された一または複数のコマ画像に対してのみ前記自動プリントモードから前記検閲プリントモードに切り替える。
例えば、図9(a)に示すようなAからFの6枚のコマ画像より構成され、コマ画像Bとコマ画像Dが非着衣の人物画像を含む画像であるプリント注文情報について処理を行う場合、前記写真画像判別部36は、先頭のコマ画像Aから最後のコマ画像Fまで順番に自動プリントモードにて非着衣の人物画像が含まれるか否かの判別処理を行う。本構成の場合は、自動プリントモードであるが、プリント注文情報を単位とするので、当該プリント注文情報についての全てのコマ画像についての判別処理が完了するまでは、写真プリントの生成処理は行われない。
前記写真画像判別部36による判別処理において、あるコマ画像(コマ画像Bおよびコマ画像D)について非着衣の人物画像が含まれると判別されると、前記モード切替部60は、前記画像データ記憶部30に前記コマ画像B、Dを格納しておく。
最後のコマ画像Fまで判別処理が完了すると、前記モード切替部60は、自動プリントモードから検閲プリントモードに切り替え、前記画像検閲部50は、図9(b)に示すように、格納しておいた前記コマ画像B、Dを表示部31に表示させる。
オペレータが非着衣の人物画像が含まれていると判別されたコマ画像B、Dのうち、写真プリントの生成を行うとの判断を行ない、プリント選択したコマ画像と、非着衣の人物画像が含まれていないと判別されたコマ画像A、C、E、Fが写真プリントされる。
第三の態様
前記モード切替部60は、前記写真画像判別部36によりコマ画像データに非着衣の人物画像が含まれると判別されたときに、当該コマ画像が含まれるプリント注文情報を単位として、当該プリント注文情報に含まれる非着衣の人物画像が含まれると判別されたコマ画像の枚数または比率が所定値以上のときに、全コマ画像に対して前記自動プリントモードから前記検閲プリントモードに切り替える。
例えば、図9(a)に示すようなAからFの6枚のコマ画像より構成され、コマ画像Bとコマ画像Dが非着衣の人物画像を含む画像であるプリント注文情報について処理を行う場合、前記写真画像判別部36は、先頭のコマ画像Aから最後のコマ画像Fまで順番に自動プリントモードにて非着衣の人物画像が含まれるか否かの判別処理を行う。本構成の場合は、自動プリントモードであるが、プリント注文情報を単位とするので、当該プリント注文情報についての全てのコマ画像についての判別処理が完了するまでは、写真プリントの生成処理は行われない。
前記写真画像判別部36による判別処理において、あるコマ画像(コマ画像Bおよびコマ画像D)について非着衣の人物画像が含まれると判別されると、前記モード切替部60は、前記画像データ記憶部36に前記コマ画像B、Dを格納しておく。
最後のコマ画像Fまで判別処理が完了すると、前記モード切替部60は、前記画像データ記憶部36に格納されたコマ画像B、Dの枚数(2枚)が予め設定された枚数以上のときに、または、当該プリント注文情報についてのコマ画像B、Dの枚数(2枚)に対する全コマ画像の枚数(6枚)が予め設定された比率以上のときに、自動プリントモードから検閲プリントモードに切り替えて、前記画像検閲部50は、図9(c)に示すように、当該プリント注文情報についての全てのコマ画像を表示部31に表示させる。
オペレータが全てのコマ画像について写真プリントの生成を行うか否かの判断を行った後に、全てのコマ画像のうちオペレータが写真プリントの生成を行うとの判断を行ない、プリント選択したコマ画像について写真プリントの生成処理が行われる。
第四の態様
前記モード切替部60は、前記写真画像判別部36によりコマ画像データに非着衣の人物画像が含まれると判別されたときに、当該コマ画像が含まれるプリント注文情報を単位として、全コマ画像に対して前記自動プリントモードから前記検閲プリントモードに切り替える。
例えば、図9(a)に示すようなAからFの6枚のコマ画像より構成され、コマ画像Bとコマ画像Dが非着衣の人物画像を含む画像であるプリント注文情報について処理を行う場合、前記写真画像判別部36は、先頭のコマ画像Aから最後のコマ画像Fまで順番に自動プリントモードにて非着衣の人物画像が含まれるか否かの判別処理を行う。本構成の場合は、自動プリントモードであるが、プリント注文情報を単位とするので、当該プリント注文情報についての全てのコマ画像についての判別処理が完了するまでは、写真プリントの生成処理は行われない。
前記写真画像判別部36による判別処理において、コマ画像Bについて非着衣の人物画像が含まれると判別されると、前記モード切替部60は、自動プリントモードから検閲プリントモードに切り替えて、前記画像検閲部50は、図9(c)に示すように、当該プリント注文情報についての全てのコマ画像を表示部31に表示させる。
オペレータが全てのコマ画像について写真プリントの生成を行うか否かの判断を行った後に、全てのコマ画像のうち写真プリントの生成を行うとの判断を行ないプリント選択したコマ画像について写真プリントの生成処理が行われる。
第五の態様
前記有害度評価部70は、前記写真画像判別部36により非着衣の人物画像が含まれると判別された画像データの有害度を評価するように構成されている。
例えば、胸のみが非着衣である人物画像と全身が非着衣である人物画像とでは、全身が非着衣である人物画像の有害度が胸のみが非着衣である人物画像の有害度よりも高いといった異なる有害度を設定して、前記有害度の高低によって、前記モード切替部60において自動プリントモードから検閲プリントモードへの切替の有無について判断を行う。
また、別の例として、非着衣の成年人物画像と非着衣の未成年人物画像とでは、未成年人物画像の有害度が成年人物画像の有害度よりも高いといった異なる有害度を設定して、前記有害度の高低によって、前記モード切替部60において自動プリントモードから検閲プリントモードへの切替の有無について判断を行う。
前記モード切替部60は、前記写真画像判別部36によりコマ画像データに非着衣の人物画像が含まれると判別され、前記有害度評価部70により有害度が高いと評価されたときに、当該コマ画像が含まれるプリント注文情報を単位として、全コマ画像に対して前記自動プリントモードから前記検閲プリントモードに切り替える。
例えば、前記有害度評価部70において非着衣の成年人物画像の有害度が「低」で、非着衣の未成年人物画像の有害度が「高」である設定がなされており、有害度が「高」の場合のみ、全コマ画像に対して自動プリントモードから検閲プリントモードに切り替えるように設定されている写真画像処理装置4で、図9(a)に示すようなプリント注文情報(AからFの6枚のコマ画像より構成され、コマ画像Bが非着衣の成年人物画像を含み、コマ画像Dが非着衣の未成年人物画像を含む画像であるプリント注文情報)について処理を行う場合について説明する。
前記写真画像判別部36は、先頭のコマ画像Aから最後のコマ画像Fまで順番に自動プリントモードにて非着衣の人物画像が含まれるか否かの判別処理を行う。本構成の場合は、自動プリントモードであるが、プリント注文情報を単位とするので、当該プリント注文情報についての全てのコマ画像についての判別処理が完了するまでは、写真プリントの生成処理は行われない。
前記写真画像判別部36による判別処理において、コマ画像Bについて非着衣の人物画像が含まれると判別されると、前記有害度評価部70は、前記コマ画像Bの有害度が「高」であるか「低」であるかを判断する。本例の場合は、非着衣の成年人物画像の有害度は「低」であることから、全コマ画像に対する自動プリントモードから検閲プリントモードへの切り替えは行わず、前記判別処理が続行される。
次いで、前記写真画像判別部36によって、コマ画像Dについて非着衣の人物画像が含まれると判別されると、前記有害度評価部70は、前記コマ画像Dの有害度が「高」であるか「低」であるかを判断する。本例の場合は、非着衣の未成年人物画像の有害度は「高」であることから、前記モード切替部60は、自動プリントモードから検閲プリントモードに切り替えて、前記画像検閲部50は、図9(c)に示すように、当該プリント注文情報についての全てのコマ画像を表示部31に表示させる。
オペレータが全てのコマ画像について写真プリントの生成を行うか否かの判断を行った後に、全てのコマ画像のうち写真プリントの生成を行うとの判断を行いプリント選択したコマ画像について写真プリントの生成処理が行われる。
尚、上述の第一の態様から第五の態様は夫々単独で実現されるものであっても、組合せで実現されるものであってもよい。例えば、当該プリント注文情報に含まれる非着衣の人物画像が含まれると判別されたコマ画像の枚数または比率が所定値以上の場合は、全コマ画像に対して前記自動プリントモードから前記検閲プリントモードに切り替えて、当該プリント注文情報に含まれる非着衣の人物画像が含まれると判別されたコマ画像の枚数または比率が所定値より小さい場合は、非着衣の人物画像が含まれるコマ画像のみを表示する構成、つまり、上述の第二の態様と第三の態様を組み合わせた態様で実現されるものであってもよい。
以下、上述の第一の態様から第四の態様について図10から図13に示すフローチャートに基づいてその動作を説明する。
第一の態様を説明する、図10に示すように、プリント注文情報に基づいてコマ画像が入力してくると(SA1)、写真画像判別部36は、当該コマ画像に非着衣の人物画像が含まれるか否かの判別を行って(SA2)、非着衣の人物画像が含まれていない場合は当該コマ画像について写真プリントの生成処理を行い(SA3)、非着衣の人物画像が含まれている場合は、モード切替部60は前記画像データ記憶部30に当該コマ画像を格納しておく(SA4)。上記動作を当該プリント注文情報の全てのコマ画像について行う(SA5)。
全てのコマ画像についてステップSA1からステップSA4までの処理が完了すると(SA5)、前記モード切替部60は、当該プリント注文情報のコマ画像に、少なくとも一枚の非着衣の人物画像が含まれるコマ画像があるか否かを判別し(SA6)、非着衣の人物画像が含まれるコマ画像が一枚もない場合は、全てのコマ画像について写真プリントの生成処理が既に完了していることになるので処理を終了し、非着衣の人物画像が含まれるコマ画像が少なくとも一枚存在する場合は、自動プリントモードから検閲プリントモードに切り替える。
画像検閲部50は、非着衣の人物画像が含まれるコマ画像を表示部31に表示させ(SA7)、オペレータは、図8に示すような表示部31に表示した画面において、表示されたコマ画像について写真プリントを生成するか否かの判断を行う(SA8)。
画面に表示された全てのコマ画像について写真プリントを生成するか否かの判断が終了して(SA9)、オペレータが図8に示す「セット」スイッチ506を押圧すると、写真プリントを生成する選択をしたコマ画像について写真プリントの生成処理を行う(SA10)。
第二の態様を説明する。図11に示すように、プリント注文情報に基づいてコマ画像が入力してくると(SB1)、写真画像判別部36は、当該コマ画像に非着衣の人物画像が含まれるか否かの判別を行って(SB2)、非着衣の人物画像が含まれている場合は、モード切替部60は前記画像データ記憶部30に当該コマ画像を格納しておく(SB3)。上記動作を当該プリント注文情報の全てのコマ画像について行う(SB4)。
全てのコマ画像についてステップSB1からステップSB3までの処理が完了すると(SB4)、前記モード切替部60は、当該プリント注文情報のコマ画像に、少なくとも一枚の非着衣の人物画像が含まれるコマ画像があるか否かを判別し(SB5)、非着衣の人物画像が含まれるコマ画像が一枚もない場合は、全てのコマ画像について写真プリントの生成処理を行って処理を終了し(SB6)、非着衣の人物画像が含まれるコマ画像が少なくとも一枚存在する場合は、自動プリントモードから検閲プリントモードに切り替える。
画像検閲部50は、非着衣の人物画像が含まれるコマ画像を表示部31に表示させ(SB7)、オペレータは、図8に示すような表示部31に表示した画面において、表示されたコマ画像について写真プリントを生成するか否かの判断を行う(SB8)。
画面に表示された全てのコマ画像について写真プリントを生成するか否かの判断が終了して(SB9)、オペレータが図8に示す「セット」スイッチ506を押圧すると、非着衣の人物画像が含まれていないと判別されたコマ画像と、非着衣の人物画像が含まれていると判別されたコマ画像のうちオペレータが写真プリントの生成を行うとの判断を行ったコマ画像とについて、写真プリントの生成処理が行われる(SB10)。
第三の態様を説明する。図12に示すように、プリント注文情報に基づいてコマ画像が入力してくると(SC1)、写真画像判別部36は、当該コマ画像に非着衣の人物画像が含まれるか否かの判別を行って(SC2)、非着衣の人物画像が含まれている場合は、モード切替部60は前記画像データ記憶部30に当該コマ画像を格納しておく(SC3)。上記動作を当該プリント注文情報の全てのコマ画像について行う(SC4)。
全てのコマ画像についてステップSC1からステップSC3までの処理が完了すると(SC4)、前記モード切替部60は、当該プリント注文情報のコマ画像に、少なくとも一枚の非着衣の人物画像が含まれるコマ画像があるか否かを判別し(SC5)、非着衣の人物画像が含まれるコマ画像が一枚もない場合は、全てのコマ画像について写真プリントの生成処理を行って処理を終了し(SC6)、非着衣の人物画像が含まれるコマ画像が少なくとも一枚存在する場合は、非着衣の人物画像が含まれるコマ画像の枚数または比率が予め設定された所定値以上であるか否かの判断を行う(SC7)。
ステップSC7における判断が所定値より小さい場合は(SC7)、全てのコマ画像について写真プリントの生成処理を行って処理を終了し(SC6)、所定値以上の場合は(SC7)、自動プリントモードから検閲プリントモードに切り替える。
画像検閲部50は、当該プリント注文情報についての全てのコマ画像を表示部31に表示させ(SC8)、オペレータは、図8に示すような表示部31に表示した画面において、表示されたコマ画像について写真プリントを生成するか否かの判断を行う(SC9)。
画面に表示された全てのコマ画像について写真プリントを生成するか否かの判断が終了して(SC10)、オペレータが図8に示す「セット」スイッチ506を押圧すると、画面に表示された全てのコマ画像のうちオペレータが写真プリントの生成を行うとの判断を行ったコマ画像について、写真プリントの生成処理が行われる(SC11)。
第四の態様を説明する。図13に示すように、プリント注文情報に基づいてコマ画像が入力してくると(SD1)、写真画像判別部36は、当該コマ画像に非着衣の人物画像が含まれるか否かの判別を行って(SD2)、非着衣の人物画像が含まれている場合は、モード切替部60は前記画像データ記憶部30に当該コマ画像を格納しておく(SD3)。上記動作を当該プリント注文情報の全てのコマ画像について行う(SD4)。
全てのコマ画像についてステップSD1からステップSD3までの処理が完了すると(SD4)、前記モード切替部60は、当該プリント注文情報のコマ画像に、少なくとも一枚の非着衣の人物画像が含まれるコマ画像があるか否かを判別し(SD5)、非着衣の人物画像が含まれるコマ画像が一枚もない場合は、全てのコマ画像について写真プリントの生成処理を行って処理を終了し(SD6)、非着衣の人物画像が含まれるコマ画像が少なくとも一枚存在する場合は、自動プリントモードから検閲プリントモードに切り替える。
画像検閲部50は、当該プリント注文情報についての全てのコマ画像を表示部31に表示させ(SD7)、オペレータは、図8に示すような表示部31に表示した画面において、表示されたコマ画像について写真プリントを生成するか否かの判断を行う(SD8)。
画面に表示された全てのコマ画像について写真プリントを生成するか否かの判断が終了して(SD9)、オペレータが図8に示す「セット」スイッチ506を押圧すると、画面に表示された全てのコマ画像のうちオペレータが写真プリントの生成を行うとの判断を行ったコマ画像について、写真プリントの生成処理が行われる(SD10)。
以下、別実施形態について説明する。上述の実施形態では、特徴データ抽出部46において抽出される姿態特徴データは顔領域から抽出される場合について説明したが、前記姿態特徴データは顔領域以外から抽出されてもよい。例えば、肌領域であれば、身長、胸の大きさや形、ウエストやヒップの輪郭や大きさ等を構成要素とした姿態特徴データとして抽出する構成であってもよい。
モード切替部60により自動プリントモードから検閲プリントモードに切り替えられたときに、オペレータに注意を喚起する警報音を発する発報部を備えた構成であってもよい。
上述の実施形態では、前記写真画像処理装置4は、初期モードが自動プリントモードであり、条件に応じて、つまり、前記写真画像判別部36による判別結果に基づいて、前記モード切替部60に自動プリントモードから検閲プリントモードに切り替えられる構成について説明したが、初期モードが検閲プリントモードに設定されるものであってもよい。
上述の実施形態では、図8に示すような表示部31に表示した画面において、表示された全てのコマ画像についての写真プリントの生成の有無を判断してから、「セット」スイッチ506を押圧することで、表示された全てのコマ画像の写真プリントの生成処理を一括して行う構成について説明したが、表示された各コマ画像について選択する度に写真プリントする構成であってもよい。
例えば、図8において、アクティブ化されているコマ画像に対して当該コマ画像の写真プリントを生成するか否か選択するプリント選択スイッチ503を押圧すると、当該コマ画像に対してのみ即座に写真プリントの生成処理を行う構成であってもよい。
上述の実施形態では、写真画像処理装置4は受付端末1より入力された写真画像データを処理する構成について説明したが、前記写真画像処理装置4はフィルムスキャナを備えて構成されており、顧客2から受け取った写真フィルムに格納されているコマ画像を前記フィルムスキャナで読み取る構成であってもよい。
上述の実施形態では、写真プリント注文システムは、図2に示すように、写真ラボ店に設置された受付端末1が顧客2に対応する、つまり、自動受付を行う構成について説明したが、前記写真プリント注文システムは、上記以外の構成であってもよい。
例えば、前記写真ラボ店に常駐している店員が顧客2から撮影画像データが格納された記憶媒体や写真フィルムを受け取って、出来上がった写真プリントを顧客2に渡す、つまり、店員が顧客2に対応するような構成であってもよい。
また、顧客2が携帯電話やインターネット等によって撮影画像データのプリントを注文するような構成であってもよい。詳述すると、顧客2は、遠隔地より撮影画像データを写真ラボ店または多数の写真ラボ店を統括するWEBサーバ等に送信して、前記撮影画像データのプリントを注文する。料金の決済は携帯電話やインターネット等によるカード決済等で行う。写真プリントが出来上がったら、プリントを行った写真ラボ点から直接、または、前記WEBサーバ経由で、写真プリントが出来上がった旨を顧客2の携帯電話等に知らせ、或いは郵送するような構成であってもよい。
尚、上述した各実施形態は、本発明の一例に過ぎず、本発明の作用効果を奏する範囲において、各ブロックの具体的構成を適宜変更設計できることはいうまでもない。
本発明による写真画像処理装置の説明図 写真プリント注文システムの説明図 受付端末の説明図 写真画像処理装置の外観図 写真画像判別部の機能ブロック構成図 (a)は、顔領域の検出を示し、(b)は、肌領域の検出を示し、(c)は、領域連続性の判別を示し、(d)は、特定領域の検出を示す説明図 (a)は、最初の画素にラベルが付された状態を示し、(b)は、最初の画素に隣接した画素にラベルが付された状態を示し、(c)は、全ての画素のラベルが付された状態を示し、(d)は、3領域を有する画像を示し、(e)は、3領域を有する画像にラベルを付した状態を示すラベリング処理の説明図 画像検閲部によって表示させられる画面の説明図 (a)は、プリント注文情報についてのコマ画像の例を示し、(b)は、非着衣の人物画像を含むコマ画像のみ検閲プリントモードに切り替えた場合の画面を示し、(c)は、全てのコマ画像を検閲プリントモードに切り替えた場合の画面を示す説明図 第一の態様の動作について示すフローチャート 第二の態様の動作について示すフローチャート 第三の態様の動作について示すフローチャート 第四の態様の動作について示すフローチャート
符号の説明
4:写真画像処理装置
31:表示部
36:写真画像判別部
50:画像検閲部
60:モード切替部
70:有害度評価部

Claims (6)

  1. 入力された複数のプリント注文情報に基づいて所定の順序で写真プリントを生成して出力する写真画像処理装置であって、
    入力されたプリント注文情報に含まれる一または複数のコマ画像データに対応するコマ画像を表示部に表示し、表示されたコマ画像に対して所定の検閲処理が可能な画像検閲部と、
    前記画像検閲部による検閲結果に基づいて写真プリントを生成する検閲プリントモードと、前記画像検閲部を介さずに写真プリントを生成する自動プリントモードとを切り替えるモード切替部と、
    前記プリント注文情報に含まれるコマ画像データに非着衣の人物画像が含まれるか否かを判別する写真画像判別部とを備え、
    前記モード切替部は、前記写真画像判別部による判別結果に基づいて、前記自動プリントモードから前記検閲プリントモードに切り替える写真画像処理装置。
  2. 前記モード切替部は、前記写真画像判別部によりコマ画像データに非着衣の人物画像が含まれると判別されたときに、当該コマ画像に対してのみ前記自動プリントモードから前記検閲プリントモードに切り替える請求項1記載の写真画像処理装置。
  3. 前記モード切替部は、前記写真画像判別部によりコマ画像データに非着衣の人物画像が含まれると判別されたときに、当該コマ画像が含まれるプリント注文情報を単位として、非着衣の人物画像が含まれると判別された一または複数のコマ画像に対してのみ前記自動プリントモードから前記検閲プリントモードに切り替える請求項1記載の写真画像処理装置。
  4. 前記モード切替部は、前記写真画像判別部によりコマ画像データに非着衣の人物画像が含まれると判別されたときに、当該コマ画像が含まれるプリント注文情報を単位として、当該プリント注文情報に含まれる非着衣の人物画像が含まれると判別されたコマ画像の枚数または比率が所定値以上のときに、全コマ画像に対して前記自動プリントモードから前記検閲プリントモードに切り替える請求項1または3記載の写真画像処理装置。
  5. 前記写真画像判別部により非着衣の人物画像が含まれると判別された画像データの有害度を評価する有害度評価部を備え、
    前記モード切替部は、前記写真画像判別部によりコマ画像データに非着衣の人物画像が含まれると判別され、前記有害度評価部により有害度が高いと評価されたときに、当該コマ画像が含まれるプリント注文情報を単位として、全コマ画像に対して前記自動プリントモードから前記検閲プリントモードに切り替える請求項1または3記載の写真画像処理装置。
  6. 前記モード切替部は、前記写真画像判別部によりコマ画像データに非着衣の人物画像が含まれると判別されたときに、当該コマ画像が含まれるプリント注文情報を単位として、全コマ画像に対して前記自動プリントモードから前記検閲プリントモードに切り替える請求項1記載の写真画像処理装置。
JP2006206693A 2006-07-28 2006-07-28 写真画像処理装置 Withdrawn JP2008033655A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006206693A JP2008033655A (ja) 2006-07-28 2006-07-28 写真画像処理装置
US11/826,616 US20080025560A1 (en) 2006-07-28 2007-07-17 Photographic image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006206693A JP2008033655A (ja) 2006-07-28 2006-07-28 写真画像処理装置

Publications (1)

Publication Number Publication Date
JP2008033655A true JP2008033655A (ja) 2008-02-14

Family

ID=38986339

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006206693A Withdrawn JP2008033655A (ja) 2006-07-28 2006-07-28 写真画像処理装置

Country Status (2)

Country Link
US (1) US20080025560A1 (ja)
JP (1) JP2008033655A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019053580A (ja) * 2017-09-15 2019-04-04 大日本印刷株式会社 考査処理装置及び印画物作製システム
JP2019144741A (ja) * 2018-02-19 2019-08-29 大日本印刷株式会社 考査処理装置及び印画物作製システム
JP7506109B2 (ja) 2022-04-08 2024-06-25 楽天グループ株式会社 画像評価装置、画像処理システム、ユーザ端末、画像評価方法、画像評価プログラム、および画像表示支援方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001256498A (ja) * 2000-03-10 2001-09-21 Fuji Photo Film Co Ltd 画像判定方法、装置およびコンピュータ読取可能な記録媒体
JP2004054452A (ja) * 2002-07-18 2004-02-19 Fuji Photo Film Co Ltd 画像検閲システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0981246A4 (en) * 1998-03-16 2001-05-30 Seiko Epson Corp MACHINE AND SYSTEM FOR PRINTING PHOTOGRAPHIC IMAGES, COMPUTER READABLE MEMORY MEDIUM WITH STORED PRINTING PROGRAM FOR PHOTOGRAPHIC IMAGES
US6751348B2 (en) * 2001-03-29 2004-06-15 Fotonation Holdings, Llc Automated detection of pornographic images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001256498A (ja) * 2000-03-10 2001-09-21 Fuji Photo Film Co Ltd 画像判定方法、装置およびコンピュータ読取可能な記録媒体
JP2004054452A (ja) * 2002-07-18 2004-02-19 Fuji Photo Film Co Ltd 画像検閲システム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019053580A (ja) * 2017-09-15 2019-04-04 大日本印刷株式会社 考査処理装置及び印画物作製システム
JP7013750B2 (ja) 2017-09-15 2022-02-01 大日本印刷株式会社 考査処理装置及び印画物作製システム
JP2019144741A (ja) * 2018-02-19 2019-08-29 大日本印刷株式会社 考査処理装置及び印画物作製システム
JP7130977B2 (ja) 2018-02-19 2022-09-06 大日本印刷株式会社 考査処理装置及び印画物作製システム
JP7506109B2 (ja) 2022-04-08 2024-06-25 楽天グループ株式会社 画像評価装置、画像処理システム、ユーザ端末、画像評価方法、画像評価プログラム、および画像表示支援方法

Also Published As

Publication number Publication date
US20080025560A1 (en) 2008-01-31

Similar Documents

Publication Publication Date Title
JP2008033654A (ja) 写真画像判別方法、写真画像判別プログラム、及び、写真画像処理装置
JP4718952B2 (ja) 画像補正方法および画像補正システム
US7809197B2 (en) Method for automatically determining the acceptability of a digital image
JP4277534B2 (ja) 画像編集装置および画像編集方法
US9436706B2 (en) Image processing apparatus, image processing method, and storage medium for laying out images
US7889381B2 (en) Photo service system
JP2007500967A (ja) 所望のアスペクト比の画像の生成
JP2008033656A (ja) 写真画像処理装置
JP2006318034A (ja) 画像選択方法、画像選択装置、プログラム、およびプリント注文受付機
JP2012053813A (ja) 人物属性推定装置、人物属性推定方法、及びプログラム
US9904879B2 (en) Image processing apparatus, image processing method, and storage medium
JP2007122533A (ja) 画像におけるコメントレイアウト
JP2010074405A (ja) 画像処理装置および画像処理方法
US9025835B2 (en) Image recomposition from face detection and facial features
JP2005222152A (ja) 画像補正装置
US8203772B2 (en) Image output method, apparatus, and program using one or more attention levels
JP2011186715A (ja) 写真画像評価方法、及び写真画像評価装置
JP2004361989A (ja) 画像選択システム及び画像選択プログラム、並びに画像選択方法
JP2008033655A (ja) 写真画像処理装置
EP1443458A2 (en) Image processing method, apparatus and computer program
JP2007293399A (ja) 画像交換装置および画像交換方法ならびに画像交換処理プログラム
JP2008140107A (ja) 画像処理装置、画像処理方法、制御プログラム及び記録媒体
RU2329535C2 (ru) Способ автоматического кадрирования фотографий
JP2009003842A (ja) 画像処理装置及び画像処理方法
JP2011186714A (ja) アルバム作成方法、及びアルバム作成装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101221

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20110107