JP2022159335A - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

画像処理装置、画像処理方法、および画像処理プログラム Download PDF

Info

Publication number
JP2022159335A
JP2022159335A JP2022119931A JP2022119931A JP2022159335A JP 2022159335 A JP2022159335 A JP 2022159335A JP 2022119931 A JP2022119931 A JP 2022119931A JP 2022119931 A JP2022119931 A JP 2022119931A JP 2022159335 A JP2022159335 A JP 2022159335A
Authority
JP
Japan
Prior art keywords
area
image processing
image
display area
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022119931A
Other languages
English (en)
Other versions
JP7321336B2 (ja
Inventor
昌弘 寺田
Masahiro Terada
覚 若林
Satoru Wakabayashi
太郎 斎藤
Taro Saito
哲也 水澤
Tetsuya MIZUSAWA
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JP2022159335A publication Critical patent/JP2022159335A/ja
Application granted granted Critical
Publication of JP7321336B2 publication Critical patent/JP7321336B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】画像内の一部の領域に対して画像処理を行う場合に、良好な画像処理を施すことが可能な画像処理装置、画像処理方法、および画像処理プログラムを提供する。【解決手段】画像処理装置は、少なくとも1つのプロセッサを備え、プロセッサは、画像データが示す画像内の一部の領域である参照領域を設定し、設定された参照領域の画像内の位置および参照領域の画像処理パラメータを含む参照領域に関する情報を保存し、画像内の任意の領域を表示領域として設定し、参照領域と表示領域とが異なる場合に、参照領域の画像処理パラメータに基づいて表示領域の画像処理パラメータを生成する。【選択図】図9

Description

本開示は、画像処理装置、画像処理方法、および画像処理プログラムに関する。
RAW画像データが示す画像内の一部の領域のみについて、現像処理を行って表示することが可能な画像処理装置が提案されている(特開2004-40559号公報および特開2013-127819号公報参照)。
本開示は、画像データが示す画像内の一部の領域に対して画像処理を行う場合に、良好な画像処理を施すことが可能な画像処理装置、画像処理方法、および画像処理プログラムを提供することを目的とする。
本開示の一態様に係る画像処理装置は、少なくとも1つのプロセッサを備え、プロセッサは、画像データが示す画像内の一部の領域である参照領域を設定し、設定された参照領域の画像内の位置および参照領域の画像処理パラメータを含む参照領域に関する情報を保存し、画像内の任意の領域を表示領域として設定し、参照領域と表示領域とが異なる場合に、参照領域の画像処理パラメータに基づいて表示領域の画像処理パラメータを生成する。
上記態様の画像処理装置においては、プロセッサは、参照領域に関する情報として、参照領域が複数ある場合に、複数の参照領域の画像処理パラメータのうちのどの画像処理パラメータを優先するかを示す参照領域の優先度を設定可能であり、プロセッサは、参照領域の優先度と、参照領域の画像処理パラメータとに基づいて、表示領域の画像処理パラメータを生成してもよい。
また、上記態様の画像処理装置においては、プロセッサは、参照領域と表示領域との距離と、参照領域の画像処理パラメータとに基づいて、表示領域の画像処理パラメータを生成してもよい。
また、上記態様の画像処理装置においては、プロセッサは、参照領域の面積と、参照領域の画像処理パラメータとに基づいて、表示領域の画像処理パラメータを生成してもよい。
また、上記態様の画像処理装置においては、画像データは、RAW画像データであり、プロセッサが行う画像処理は、RAW画像データに対する現像処理を含んでもよい。
前記参照領域に関する情報は、前記参照領域の開始点座標、領域サイズ、優先度、全体領域に対する面積率、および現像パラメータに関する情報を含んでもよい。
前記参照領域と前記表示領域とが一致しない場合とは、前記参照領域に関する情報の少なくとも一つが、前記表示領域の対応する情報と一致しない場合であってもよい。
本開示の一態様に係る画像処理方法は、画像データが示す画像内の一部の領域である参照領域を設定する参照領域設定ステップと、設定された参照領域の画像内の位置および参照領域の画像処理パラメータを含む参照領域に関する情報を保存する保存ステップと、画像内の任意の領域を表示領域として設定する表示領域設定ステップと、参照領域と表示領域とが異なる場合に、参照領域の画像処理パラメータに基づいて表示領域の画像処理パラメータを生成する生成ステップとを備える。
本開示の一態様に係る画像処理プログラムは、画像データが示す画像内の一部の領域である参照領域を設定する参照領域設定ステップと、設定された参照領域の画像内の位置および参照領域の画像処理パラメータを含む参照領域に関する情報を保存する保存ステップと、画像内の任意の領域を表示領域として設定する表示領域設定ステップと、参照領域と表示領域とが異なる場合に、参照領域の画像処理パラメータに基づいて表示領域の画像処理パラメータを生成する生成ステップとをコンピュータに実行させる。
第1の実施の形態による画像処理装置を適用した画像表示システムの概略構成図 上記画像表示システムにおける画像の表示例を示す図 図2に示す画像の構成を示す図 図2に示す画像の構成を示す図 図2に示す画像の一部を拡大した状態を示す図 図2に示す画像の一部を拡大した状態を示す図 図2に示す画像の一部を拡大した状態を示す図 画像処理装置のハードウェア構成を示すブロック図 画像処理装置の機能構成の例を示すブロック図 端末のハードウェア構成を示すブロック図 画像中の参照領域と表示領域との関係を示す図 RAW画像データ毎に設定される現像パラメータ等のデータテーブルの一例を示す図 画像表示システムにおける画像表示時の処理の流れを説明するフローチャート 画像処理装置における現像パラメータ取得時の処理の流れを説明するフローチャート 画像処理装置における現像パラメータ取得時の処理の流れを説明するフローチャート 表示領域の形態毎の現像パラメータ算出方法を示す表 第2の実施の形態による画像表示システムにおける表示領域の形態毎の現像パラメータ算出方法を示す表 画像処理装置における現像パラメータ取得時の処理の流れを説明するフローチャート 画像処理装置における現像パラメータ取得時の処理の流れを説明するフローチャート 画像中の参照領域と表示領域との関係を示す図
[第1の実施の形態]
以下、図面を参照して本開示の実施の形態について説明する。図1は本開示の第1の実施の形態による画像処理装置を適用した画像表示システムの概略構成図である。図1に示す画像表示システム1は、クラウド上で管理されたRAW画像データ(画像データの一例である)に対して、ネットワークを介して接続された端末から現像処理が依頼可能なシステムである。
図2は、画像表示システムにおける画像の表示例を示す図である。図2に示す画像は、川越しに対岸の街を写した風景画像であり、川にはヨットが浮かんでおり、対岸の街には複数のビル群がある。図2に示す画像を、風景全体を写した全体画像G0と呼ぶ。全体画像G0は、後述する通り、画像データの一例であるRAW画像データに基づいて現像されることにより生成された画像である。図3,4は、図2に示す全体画像G0の構成を示す図である。図5~7は、図2に示す全体画像G0の一部を拡大した拡大画像G1A、G2A、およびG3Aを示す図である。
図1に示すように、画像表示システム1は、画像処理装置10と、画像処理装置10と通信可能な複数の端末20とを含む。画像処理装置10と端末20とは、インターネット等のネットワークを介して接続されており、端末20から見ると画像処理装置10は雲の上に存在するようにも見える。そのため、ネットワークを介して接続される画像処理装置10はクラウドと呼ばれる。本明細書では、以下において、画像処理装置10をクラウドと呼ぶ場合がある。
画像処理装置10は、端末20からの指示に基づいてRAW画像データの現像を行い、現像後の画像データを端末20に送信する。より詳細には、画像処理装置10は、端末20から現像対象のRAW画像データの指定を受けると、図2に示すように、指定されたRAW画像データの全体画像G0を生成し、端末20において表示させる。
画像処理装置10で扱うRAW画像データの解像度としては、例えば8K(例えば、7680×4320)解像度、またはそれ以上の解像度等、非常に高解像度のRAW画像データを扱うことができる。このような高解像度のRAW画像データとしては、図3に示すように、1つの高解像度のカメラにより撮影されたRAW画像データでもよいし、図4に示すように、図3に示すカメラよりも解像度が低い複数のカメラにより撮影された画像データを1つに結合したRAW画像データでもよい。
画像処理装置10は、端末20から全体画像G0中の一部の領域のみを拡大表示する指示を受けると、指定された領域のみについて、全体画像G0を拡大することができる。例えば、端末20において、全体画像G0の中から、ビル群を含む表示領域G1が指定された場合、図5に示すように、画像処理装置10は、ビル群を含む表示領域G1のみについて、全体画像G0のRAW画像データに基づいて現像を行って拡大画像G1Aを生成する。そして、画像処理装置10は、拡大画像G1Aを端末20に送信する。端末20は、受信した拡大画像G1Aを表示する。
また、端末20において、全体画像G0の中から、ヨットを含む表示領域G2が指定された場合、図6に示すように、画像処理装置10は、ヨットを含む表示領域G2のみについて、全体画像G0のRAW画像データに基づいて現像を行って拡大画像G2Aを生成する。そして、画像処理装置10は、拡大画像G2Aを端末20に送信する。端末20は、受信した拡大画像G2Aを表示する。
また、端末20において、全体画像G0の中から、太陽を含む表示領域G3が指定された場合、図7に示すように、画像処理装置10は、太陽を含む表示領域G3のみについて、全体画像G0のRAW画像データに基づいて現像を行って拡大画像G3Aを生成する。そして、画像処理装置10は、拡大画像G3Aを端末20に送信する。端末20は、受信した拡大画像G3Aを表示する。
画像処理装置10は、全体画像G0および表示領域G1~G3を生成するときの現像パラメータ(画像処理パラメータの一例である)について、個別に異なる現像パラメータを用いて現像を行うことができる。
例えば、図2に示すように、全体画像G0では、全体の雰囲気を重視して暗めのトーンで現像を行っている。また、図5~7に示すように、表示領域G1~G3では、各領域の被写体のディティールが分かり易いように、全体画像G0よりも明るめのトーンで現像を行っている。
図8は、画像処理装置のハードウェア構成を示すブロック図である。図8に示すように、画像処理装置10は、CPU(Central Processing Unit:プロセッサ)11、ROM(Read Only Memory)12、RAM(Random Access Memory)13、ストレージ14、および通信インタフェース15を有する。各構成は、バス16を介して相互に通信可能に接続されている。画像処理装置10は、いわゆるサーバを構成する。
CPU11は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、CPU11は、ROM12またはストレージ14からプログラムを読み出し、RAM13を作業領域としてプログラムを実行する。CPU11は、ROM12またはストレージ14に記録されているプログラムにしたがって、上記各構成の制御および各種の演算処理を行う。本実施形態では、ROM12またはストレージ14には、画像処理プログラムが格納されている。
ROM12は、各種プログラムおよび各種データを格納する。RAM13は、作業領域として一時的にプログラムまたはデータを記憶する。ストレージ14は、HDD(Hard Disk Drive)またはSSD(Solid State Drive)により構成され、オペレーティングシステムを含む各種プログラム、およびRAW画像データを含む各種データを格納する。
通信インタフェース15は、画像処理装置10が端末20および他の機器と通信するためのインタフェースであり、たとえば、イーサネット(登録商標)、FDDI(Fiber Distributed Data Interface)、Wi-Fi(登録商標)等の規格が用いられる。
上記の画像処理プログラムを実行する際に、画像処理装置10は、上記のハードウェア資源を用いて、各種の機能を実現する。画像処理装置10が実現する機能構成について説明する。
図9は、画像処理装置の機能構成の例を示すブロック図である。図9に示すように、画像処理装置10は、機能構成として、参照領域設定部101、保存部102、表示領域設定部103、および画像出力部104を有する。各機能構成は、CPU11がROM12またはストレージ14に記憶された画像処理プログラムを読み出し、実行することにより実現される。
参照領域設定部101は、RAW画像データが示す画像内の一部の領域である参照領域を設定する。
保存部102は、設定された参照領域の画像内の位置および参照領域の画像処理パラメータを含む参照領域に関する情報と、画像データとを関連付けて保存する。
表示領域設定部103は、画像内の任意の領域を表示領域として設定する。
画像出力部104は、参照領域と表示領域とが異なる場合に、参照領域の画像処理パラメータに基づいて表示領域の画像処理パラメータを生成し、生成した表示領域の画像処理パラメータに基づいて、表示領域に対して現像処理を行った処理済みの画像を出力する。
図10は、端末のハードウェア構成を示すブロック図である。図10に示すように、端末20は、CPU21、ROM22、RAM23、ストレージ24、モニタ25、ユーザインタフェース26、および通信インタフェース27を有する。各構成は、バス28を介して相互に通信可能に接続されている。
CPU21は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、CPU21は、ROM22またはストレージ24からプログラムを読み出し、RAM23を作業領域としてプログラムを実行する。CPU21は、ROM22またはストレージ24に記録されているプログラムにしたがって、上記各構成の制御および各種の演算処理を行う。
ROM22は、各種プログラムおよび各種データを格納する。RAM23は、作業領域として一時的にプログラムまたはデータを記憶する。ストレージ24は、HDD(Hard Disk Drive)またはSSD(Solid State Drive)により構成され、オペレーティングシステムを含む各種プログラム、および各種データを格納する。各種プログラムには、後述する画像表示アプリケーションが含まれる。
モニタ25は、液晶ディスプレイまたは有機EL(Electro Luminescence)ディスプレイ等の表示デバイスが用いられる。
ユーザインタフェース26は、編集者または閲覧者等のユーザが端末20を使用する際のインタフェースである。ユーザインタフェース26は、例えば、ユーザによるタッチ操作を可能とするタッチパネルを備えたディスプレイ、キーボード、およびマウス等の少なくとも一つを含む。
通信インタフェース27は、端末20が画像処理装置10および他の機器と通信するためのインタフェースであり、たとえば、イーサネット(登録商標)、FDDI、Wi-Fi(登録商標)等の規格が用いられる。
[処理の流れ]
次に、本実施の形態において行われる処理について説明する。図11は、画像中の参照領域と表示領域との関係を示す図である。
画像処理装置10においては、画像表示に先だって、RAW画像データ毎に現像の際に必要な現像パラメータが設定される。具体的には、図11に示すように、RAW画像データが示す画像の全体領域R0について、現像パラメータが編集者により設定される。また、RAW画像データが示す画像内の一部の領域である参照領域R1~R5について、各参照領域の座標、サイズ、優先度、および現像パラメータが編集者により設定される。これらの設定は、端末20を介して編集者により行われる。
なお、高解像度のRAW画像データの全領域を細分化し、細分化した全ての領域について個別に現像パラメータを設定することは、手間が非常にかかるため現実的ではない。そのため、一般的に、現像パラメータを設定する参照領域は、RAW画像データ毎に、全体領域R0の中で閲覧者が関心を持ちそうな被写体周辺の領域について、数カ所程度設定する。
図12は、RAW画像データ毎に設定される現像パラメータ等のデータテーブルの一例を示す図である。なお、図12のデータテーブルは、図11に示す画像と参照領域の数、座標、および面積等は対応しておらず、あくまでもデータテーブルの内容の一例を示したものである。
図12に示すように、データテーブルは、全体領域0および複数の参照領域1、2、3・・・について、開始点座標、領域サイズ、優先度、全体領域に対する面積率、および現像パラメータに関する情報を含む。現像パラメータは、明るさ、色濃度、色温度、フィルムモード(図12中におけるF-mode)、シャープネス、およびノイズ等のパラメータを含む。
上記のようなデータテーブルの作成は、端末20を介して一人の編集者によって行われてもよいし、複数の端末20を介して複数の編集者によって行われてもよい。
画像処理装置10においては、RAW画像データとデータテーブルとが関連付けられてストレージ14に保存される。
次に、画像表示時の処理について説明する。図13は、画像表示システムにおける画像表示時の処理の流れを説明するフローチャートである。
編集者によって上記のようにデータテーブルが作成された後は、編集者であっても、編集者以外のユーザであっても、RAW画像データ対して現像パラメータを設定することなく、表示領域を指定するだけで画像表示を行うことができる。以下、画像表示時のユーザを総称して閲覧者と記載する。
図13に示すように、端末20において起動された画像表示アプリケーションを介して、画像の閲覧者が表示するRAW画像データおよび指定されたRAW画像データにおける表示領域を入力すると、CPU21はRAW画像データの特定情報および表示領域情報を含む画像表示要求を画像処理装置10に送信する(ステップST1)。なお、表示領域の入力については、ユーザインタフェース26を介して、RAW画像データが示す画像内の任意の矩形領域を表示領域として設定することができる。
画像処理装置10において端末20からRAW画像データの特定情報および表示領域情報を含む画像表示要求を取得した場合(ステップSS1)、CPU11は、ストレージ14からRAW画像データを取得する(ステップSS2)。次に、CPU11は、RAW画像データを現像するための現像パラメータを取得する(ステップSS3)。
ここで、現像パラメータの取得について詳細に説明する。図14および図15は、画像処理装置における現像パラメータ取得時の処理の流れを説明するフローチャートである。図16は、表示領域の形態毎の現像パラメータ算出方法を示す表である。
図14に示すように、CPU11は、端末20において指定された表示領域と一致する参照領域があるか判定を行う(ステップSS11)。ステップSS11において、表示領域と一致する参照領域があると判定された場合(判定結果Yes)、CPU11は、ストレージ14に保存されているデータテーブルを参照し、表示領域と一致する参照領域の現像パラメータを、表示領域の現像パラメータとして取得する(ステップSS12)。そして、図13のフローチャートのステップSS4に進む。
また、ステップSS11において、表示領域と一致する参照領域がないと判定された場合(判定結果No)、CPU11は、ストレージ14に保存されているデータテーブルを参照し、参照領域の現像パラメータに基づいて表示領域の現像パラメータを生成する(ステップSS13)。
ここで、ステップSS13における処理について詳細に説明する。図15に示すように、CPU11は、端末20において指定された表示領域を完全に含む参照領域があるか判定を行う(ステップSS21)。ステップSS21において、表示領域を完全に含む参照領域があると判定された場合(判定結果Yes)、CPU11は、さらに、表示領域を完全に含む参照領域が複数あるか判定を行う(ステップSS22)。なお、図11では、表示領域S1、S2が、ステップSS21におけるYes判定に該当する。
ステップSS22において、表示領域を完全に含む参照領域が複数あると判定された場合(判定結果Yes)、CPU11は、表示領域を多重内包領域として、現像パラメータを算出する(ステップSS23)。多重内包領域の表示領域は、図11では、表示領域S1が該当する。多重内包領域の表示領域についての現像パラメータの算出方法については、図16に示すように、CPU11は、ストレージ14に保存されているデータテーブルを参照し、表示領域を完全に含む参照領域の中で、最も優先度の高い参照領域の現像パラメータを、表示領域の現像パラメータとして取得する。そして、図13のフローチャートのステップSS4に進む。
ステップSS22において、表示領域を完全に含む参照領域が複数ない(すなわち、1つしかない)と判定された場合(判定結果No)、CPU11は、表示領域を単一内包領域として、現像パラメータを算出する(ステップSS24)。単一内包領域の表示領域は、図11では、表示領域S2が該当する。単一内包領域の表示領域についての現像パラメータの算出方法については、図16に示すように、CPU11は、ストレージ14に保存されているデータテーブルを参照し、表示領域を完全に含む参照領域の現像パラメータを、表示領域の現像パラメータとして取得する。そして、図13のフローチャートのステップSS4に進む。
ステップSS21において、表示領域を完全に含む参照領域がないと判定された場合(判定結果No)、CPU11は、さらに、表示領域と重なる参照領域があるか判定を行う(ステップSS25)。なお、図11では、表示領域S3、S4、S5、S6が、ステップSS21におけるNo判定に該当する。
ステップSS25において、表示領域と重なる参照領域があると判定された場合(判定結果Yes)、CPU11は、表示領域を部分共有領域として、現像パラメータを算出する(ステップSS26)。部分共有領域の表示領域は、図11では、表示領域S3、S4、S5が該当する。部分共有領域の表示領域についての現像パラメータの算出方法については、図16に示すように、CPU11は、ストレージ14に保存されているデータテーブルを参照し、重なりを持つ参照領域の中で、最も優先度の高い参照領域の現像パラメータを、表示領域の現像パラメータとして取得する。そして、図13のフローチャートのステップSS4に進む。
ステップSS25において、表示領域と重なる参照領域がないと判定された場合(判定結果No)、CPU11は、表示領域を孤立領域として、現像パラメータを算出する(ステップSS27)。孤立領域の表示領域は、図11では、表示領域S6が該当する。孤立領域の表示領域についての現像パラメータの算出方法については、図16に示すように、CPU11は、ストレージ14に保存されているデータテーブルを参照し、全体領域の現像パラメータを、表示領域の現像パラメータとして取得する。そして、図13のフローチャートのステップSS4に進む。
図13のフローチャートに戻り、CPU11は、取得した現像パラメータに基づいて、表示領域の現像処理を行う(ステップSS4)。CPU11は、現像処理の結果得られた画像データを端末20に送信する(ステップSS5)。
端末20において、CPU21は、画像処理装置10から画像データを取得し(ステップST2)、取得した画像データをモニタ25に表示して(ステップST3)、処理を終了する。
[作用効果]
従来の特許文献1および2の画像処理装置においては、RAW画像データが示す画像内の一部の領域を表示する場合、現像パラメータが設定されていない表示領域については現像処理を行うことができなかった。そのため、現像パラメータが設定されていない表示領域を拡大表示したい場合等は、全体画像から表示領域を切り抜いて拡大表示する必要があるため、画質の低下を招いていた。
これに対して、本実施の形態の画像処理装置10は、画像表示に先だって、RAW画像データ(画像データの一例である)が示す画像内の一部の領域である参照領域を設定し、参照領域の画像内の位置および参照領域の現像パラメータ(画像処理パラメータの一例である)を含む参照領域に関する情報を、RAW画像データと関連付けて保存する。そして、端末20において指定された表示領域と参照領域が異なる場合に、参照領域の現像パラメータに基づいて表示領域の現像パラメータを生成し、生成した表示領域の現像パラメータに基づいて、表示領域に対して画像処理を行った画像を出力している。
これにより、参照領域と一致しない表示領域についても、RAW画像データから直接現像を行うことができるため、表示領域に合わせた良好な現像処理を施すことが可能となる。
また、参照領域が複数ある場合に、参照領域の優先度を設定し、参照領域の優先度と、参照領域の画像処理パラメータとに基づいて、表示領域の画像処理パラメータを生成している。これにより、参照領域と一致しない表示領域について、編集者の意図を反映させた現像処理を行うことができる。
[第2の実施の形態]
次に、本開示の第2の実施の形態について説明する。本実施の形態の画像表示システムにおいては、表示領域の形態毎の現像パラメータ算出方法のみが第1の実施の形態と異なり、それ以外の部分については共通であるため、第1の実施の形態と重複する内容についての説明は省略する。図17は、表示領域の形態毎の現像パラメータ算出方法を示す表である。
図15のフローチャートのステップSS22において、表示領域を完全に含む参照領域が複数あると判定された場合(判定結果Yes)、CPU11は、表示領域を多重内包領域として、現像パラメータを算出する(ステップSS23)。多重内包領域の表示領域についての現像パラメータの算出方法については、図17に示すように、CPU11は、ストレージ14に保存されているデータテーブルを参照し、表示領域を完全に含む参照領域の中で、最も面積の小さい参照領域の現像パラメータを、表示領域の現像パラメータとして取得する。そして、図13のフローチャートのステップSS4に進む。
図15のフローチャートのステップSS22において、表示領域を完全に含む参照領域が複数ない(すなわち、1つしかない)と判定された場合(判定結果No)、CPU11は、表示領域を単一内包領域として、現像パラメータを算出する(ステップSS24)。単一内包領域の表示領域についての現像パラメータの算出方法については、図17に示すように、CPU11は、ストレージ14に保存されているデータテーブルを参照し、表示領域を完全に含む参照領域の現像パラメータを、表示領域の現像パラメータとして取得する。そして、図13のフローチャートのステップSS4に進む。
図15のフローチャートのステップSS25において、表示領域と重なる参照領域があると判定された場合(判定結果Yes)、CPU11は、表示領域を部分共有領域として、現像パラメータを算出する(ステップSS26)。部分共有領域の表示領域についての現像パラメータの算出方法については、図17に示すように、参照領域の面積を考慮した算出方法により、現像パラメータの算出を行う。
ここで、参照領域の面積を考慮した算出方法について詳細に説明する。図18は、参照領域の面積を考慮した算出方法を説明するフローチャートである。
図18に示すように、CPU11は、端末20において指定された表示領域と重なる参照領域が複数あるか判定を行う(ステップSS31)。ステップSS31において、表示領域と重なる参照領域が複数あると判定された場合(判定結果Yes)、CPU11は、参照領域Aのサイズ=面積最大の参照領域の値、参照領域Aの調整値=面積最大の参照領域の値、参照領域Bのサイズ=2番目の面積の参照領域の値、参照領域Bの調整値=2番目の面積の参照領域の値、デフォルト現像パラメータ=参照領域Aの現像パラメータとする設定を行う(ステップSS32)。
ステップSS31において、表示領域と重なる参照領域が複数ないと判定された場合(判定結果No)、CPU11は、参照領域Aのサイズ=面積最大の参照領域の値、参照領域Aの調整値=面積最大の参照領域の値、参照領域Bのサイズ=表示領域の値、参照領域Bの調整値=全体領域の値、デフォルト現像パラメータ=参照領域Aの現像パラメータとする設定を行う(ステップSS33)。
ステップSS32またはステップSS33の後、CPU11は、参照領域A,Bがもつ調整値のうち、明るさ、色濃度、および色温度について、参照領域A,Bの面積比×表示領域と参照領域A,Bの重なり部分の面積比で加重平均した値を算出する(ステップSS34)。
具体的には、下記式により算出される。
P=Pa・{A・/(A+B)}・{a/(a+b)}
+Pb・{B・/(A+B)}・{b/(a+b)}
ここで、
P:加重平均値
Pa,Pb:参照領域A,Bの現像パラメータ
A,B:参照領域A,Bの面積
a,b:表示領域と参照領域A,Bの重なり部分の面積
次に、CPU11は、デフォルト現像パラメータについて、明るさ、色濃度、および色温度を算出値に変更する(ステップSS35)。そして、図13のフローチャートのステップSS4に進む。
図15のフローチャートのステップSS25において、表示領域と重なる参照領域がないと判定された場合(判定結果No)、CPU11は、表示領域を孤立領域として、現像パラメータを算出する(ステップSS27)。孤立領域の表示領域についての現像パラメータの算出方法については、図17に示すように、参照領域と表示領域との距離を考慮した算出方法により、現像パラメータの算出を行う。
ここで、参照領域と表示領域との距離を考慮した算出方法について詳細に説明する。図19は、参照領域の面積を考慮した算出方法を説明するフローチャートである。また、図20は、画像中の参照領域と表示領域との関係を示す図である。
図19に示すように、CPU11は、端末20において指定された表示領域からの距離が基準値D以内の参照領域があるか判定を行う(ステップSS41)。ここでの判定は、図20の表示領域S13に示すように、表示領域の4つの頂点の各々から、距離が基準値D以内の領域に参照領域があるか判定を行う。ステップSS41において、表示領域からの距離が基準値D以内の参照領域があると判定された場合(判定結果Yes)、CPU11は、端末20において指定された表示領域からの距離が基準値D以内の参照領域が複数あるか判定を行う(ステップSS42)。
ステップSS42において、表示領域からの距離が基準値D以内の参照領域が複数あると判定された場合(判定結果Yes)、CPU11は、参照領域Aの位置とサイズ=最も近い参照領域の値、参照領域Aの調整値=最も近い参照領域の値、参照領域Bの位置とサイズ=2番目に近い参照領域の値、参照領域Bの調整値=2番目に近い参照領域の値、デフォルト現像パラメータ=参照領域Aの現像パラメータとする設定を行う(ステップSS43)。この態様は、図20では、表示領域S12が該当する。
次に、CPU11は、参照領域A,Bがもつ調整値のうち、明るさ、色濃度、および色温度について、表示領域から参照領域A,Bまでの距離の逆数で加重平均した値を算出する(ステップSS44)。
具体的には、下記式により算出される。
P=Pa・{Da・/(Da+Db)}+Pb・{Db・/(Da+Db)}
ここで、
P:加重平均値
Pa,Pb:参照領域A,Bの現像パラメータ
Da,Db:表示領域と参照領域A,Bまでの距離
次に、CPU11は、デフォルト現像パラメータについて、明るさ、色濃度、および色温度を算出値に変更する(ステップSS45)。そして、図13のフローチャートのステップSS4に進む。
ステップSS42において、表示領域からの距離が基準値D以内の参照領域が複数ないと判定された場合(判定結果No)、CPU11は、参照領域Aの位置とサイズ=最も近い参照領域の値、参照領域Aの調整値=最も近い参照領域の値、参照領域Bの位置とサイズ=表示領域の値、参照領域Bの調整値=全体領域の値、デフォルト現像パラメータ=参照領域Aの現像パラメータとする設定を行う(ステップSS46)。この態様は、図20では、表示領域S11が該当する。
次に、CPU11は、参照領域A,Bがもつ調整値のうち、明るさ、色濃度、および色温度について、基準値Dに対する表示領域から参照領域Aまでの距離の比率で加重平均した値を算出する(ステップSS47)。
具体的には、下記式により算出される。
P=Pa・(D-d)/D+Pb・d/D
ここで、
P:加重平均値
Pa,Pb:参照領域A,Bの現像パラメータ
D:基準値
d:参照領域A,B間の距離
次に、CPU11は、デフォルト現像パラメータについて、明るさ、色濃度、および色温度を算出値に変更する(ステップSS45)。そして、図13のフローチャートのステップSS4に進む。
ステップSS41において、表示領域からの距離が基準値D以内の参照領域がないと判定された場合(判定結果No)、CPU11は、ストレージ14に保存されているデータテーブルを参照し、全体領域の現像パラメータを、表示領域の現像パラメータとして取得する(ステップSS48)。この態様は、図20では、表示領域S13が該当する。そして、図13のフローチャートのステップSS4に進む。
[作用効果]
本実施の形態においても、上記第1の実施の形態と同様の効果を得ることができる。
また、部分共有領域の表示領域について、参照領域の面積を考慮した算出方法により、現像パラメータの算出を行っているため、編集者の意図をより反映させた現像処理を行うことができる。
また、孤立領域の表示領域について、参照領域と表示領域との距離を考慮した算出方法により、現像パラメータの算出を行っているため、編集者の意図をより反映させた現像処理を行うことができる。
[変形例]
以上、本開示をその好適な実施の形態に基づいて説明したが、本開示を適用可能な実施の形態は、上述の実施の形態に限定されものではない。
例えば、本開示の画像処理装置で扱う画像データは、RAW画像データに限らず、例えば高解像度のレンダリング画像データ等、どのような画像データとしてもよい。また、画像処理についても、現像処理に限らず、どのような画像処理としてもよい。
画像データの保存先については、画像処理装置内のストレージに保存する態様に限らず、画像処理装置とは別体の画像サーバに保存する態様としてもよい。
また、上記各実施形態でCPU11、21がソフトウェア(プログラムの一例である)を読み込んで実行した処理を、CPU以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、FPGA(Field-Programmable Gate Array)等の製造後に回路構成を変更可能なPLD(Programmable Logic Device)、及びASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、各処理を、これらの各種のプロセッサのうちの1つで実行してもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGA、及びCPUとFPGAとの組み合わせ等)で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
また、上記各実施形態では、画像表示プログラムがROM12またはストレージ14に予め記憶(例えば、インストール)されている態様を説明したが、これに限定されない。プログラムは、CD-ROM(Compact Disk Read Only Memory)、DVD-ROM(Digital Versatile Disk Read Only Memory)、およびUSB(Universal Serial Bus)メモリ等の記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
上記以外にも、本開示の趣旨を逸脱しない範囲で適宜変更可能なのは勿論である。また、本開示の技術は、プログラムに加えて、プログラムを非一時的に記憶する記憶媒体にもおよぶ。
本明細書に記載された全ての文献、特許出願、及び技術規格は、個々の文献、特許出願、及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (9)

  1. 少なくとも1つのプロセッサを備え、
    前記プロセッサは、
    画像データが示す画像内の一部の領域である参照領域を設定し、
    設定された前記参照領域の前記画像内の位置および前記参照領域の画像処理パラメータを含む参照領域に関する情報を保存し、
    前記画像内の任意の領域を表示領域として設定する、ユーザによる入力を受信し、
    前記参照領域と前記表示領域とが一致しない場合に、前記参照領域の画像処理パラメータに基づいて前記表示領域の画像処理パラメータを生成する
    画像処理装置。
  2. 前記プロセッサは、前記参照領域に関する情報として、前記参照領域が複数ある場合に、複数の前記参照領域の前記画像処理パラメータのうちのどの画像処理パラメータを優先するかを示す参照領域の優先度を設定可能であり、
    前記プロセッサは、前記参照領域の優先度と、前記参照領域の画像処理パラメータとに基づいて、前記表示領域の画像処理パラメータを生成する
    請求項1に記載の画像処理装置。
  3. 前記プロセッサは、前記参照領域と前記表示領域との距離と、前記参照領域の画像処理パラメータとに基づいて、前記表示領域の画像処理パラメータを生成する
    請求項1または2に記載の画像処理装置。
  4. 前記プロセッサは、前記参照領域の面積と、前記参照領域の画像処理パラメータとに基づいて、前記表示領域の画像処理パラメータを生成する
    請求項1から3のいずれか1項に記載の画像処理装置。
  5. 前記画像データは、RAW画像データであり、
    前記プロセッサが行う画像処理は、前記RAW画像データに対する現像処理を含む
    請求項1から4のいずれか1項に記載の画像処理装置。
  6. 前記参照領域に関する情報は、前記参照領域の開始点座標、領域サイズ、優先度、全体領域に対する面積率、および現像パラメータに関する情報を含む、
    請求項1に記載の画像処理装置。
  7. 前記参照領域と前記表示領域とが一致しない場合とは、前記参照領域に関する情報の少なくとも一つが、前記表示領域の対応する情報と一致しない場合である、
    請求項1に記載の画像処理装置。
  8. 画像データが示す画像内の一部の領域である参照領域を設定する参照領域設定ステップと、
    設定された前記参照領域の前記画像内の位置および前記参照領域の画像処理パラメータを含む参照領域に関する情報を保存する保存ステップと、
    前記画像内の任意の領域を表示領域として設定する、ユーザによる入力を受信する、表示領域設定ステップと、
    前記参照領域と前記表示領域とが一致しない場合に、前記参照領域の画像処理パラメータに基づいて前記表示領域の画像処理パラメータを生成する生成ステップと
    を備える画像処理方法。
  9. 画像データが示す画像内の一部の領域である参照領域を設定する参照領域設定ステップと、
    設定された前記参照領域の前記画像内の位置および前記参照領域の画像処理パラメータを含む参照領域に関する情報を保存する保存ステップと、
    前記画像内の任意の領域を表示領域として設定する、ユーザによる入力を受信する、表示領域設定ステップと、
    前記参照領域と前記表示領域とが一致しない場合に、前記参照領域の画像処理パラメータに基づいて前記表示領域の画像処理パラメータを生成する生成ステップと
    をコンピュータに実行させる画像処理プログラム。

JP2022119931A 2019-05-31 2022-07-27 画像処理装置、画像処理方法、および画像処理プログラム Active JP7321336B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019103132 2019-05-31
JP2019103132 2019-05-31
JP2021522914A JP7114807B2 (ja) 2019-05-31 2020-05-29 画像処理装置、画像処理方法、および画像処理プログラム
PCT/JP2020/021429 WO2020241855A1 (ja) 2019-05-31 2020-05-29 画像処理装置、画像処理方法、および画像処理プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021522914A Division JP7114807B2 (ja) 2019-05-31 2020-05-29 画像処理装置、画像処理方法、および画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2022159335A true JP2022159335A (ja) 2022-10-17
JP7321336B2 JP7321336B2 (ja) 2023-08-04

Family

ID=73553198

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021522914A Active JP7114807B2 (ja) 2019-05-31 2020-05-29 画像処理装置、画像処理方法、および画像処理プログラム
JP2022119931A Active JP7321336B2 (ja) 2019-05-31 2022-07-27 画像処理装置、画像処理方法、および画像処理プログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021522914A Active JP7114807B2 (ja) 2019-05-31 2020-05-29 画像処理装置、画像処理方法、および画像処理プログラム

Country Status (3)

Country Link
US (1) US20220070370A1 (ja)
JP (2) JP7114807B2 (ja)
WO (1) WO2020241855A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020196672A1 (ja) * 2019-03-28 2020-10-01 富士フイルム株式会社 画像処理装置、画像処理方法、及び画像処理プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004040559A (ja) * 2002-07-04 2004-02-05 Fuji Photo Film Co Ltd 画像処理方法、画像処理装置、及び画像処理プログラム
JP2006121326A (ja) * 2004-10-20 2006-05-11 Nikon Corp 電子カメラ
JP2006311108A (ja) * 2005-04-27 2006-11-09 Fuji Photo Film Co Ltd 画像処理装置、画像処理方法、画像処理プログラムおよびカメラ
JP2013127819A (ja) * 2013-03-14 2013-06-27 Canon Inc 画像処理装置およびその方法
JP2018007062A (ja) * 2016-07-04 2018-01-11 キヤノン株式会社 投影装置、その制御方法、および制御プログラム、並びに投影システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI342155B (en) * 2006-11-07 2011-05-11 Realtek Semiconductor Corp Methods for processing image signals and related apparatuses
JP5290915B2 (ja) * 2009-09-03 2013-09-18 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2011216948A (ja) * 2010-03-31 2011-10-27 Sony Corp カメラシステム、映像処理装置及びカメラ装置
EP3255603B1 (en) * 2015-02-05 2022-09-07 Ricoh Company, Limited Image processing device, image processing system, and image processing method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004040559A (ja) * 2002-07-04 2004-02-05 Fuji Photo Film Co Ltd 画像処理方法、画像処理装置、及び画像処理プログラム
JP2006121326A (ja) * 2004-10-20 2006-05-11 Nikon Corp 電子カメラ
JP2006311108A (ja) * 2005-04-27 2006-11-09 Fuji Photo Film Co Ltd 画像処理装置、画像処理方法、画像処理プログラムおよびカメラ
JP2013127819A (ja) * 2013-03-14 2013-06-27 Canon Inc 画像処理装置およびその方法
JP2018007062A (ja) * 2016-07-04 2018-01-11 キヤノン株式会社 投影装置、その制御方法、および制御プログラム、並びに投影システム

Also Published As

Publication number Publication date
US20220070370A1 (en) 2022-03-03
JP7321336B2 (ja) 2023-08-04
JP7114807B2 (ja) 2022-08-08
JPWO2020241855A1 (ja) 2020-12-03
WO2020241855A1 (ja) 2020-12-03

Similar Documents

Publication Publication Date Title
JP4934714B2 (ja) 情報処理装置及びその制御方法とプログラム
JP2011510331A (ja) チャート表示装置およびチャートを表示する方法
JP7321336B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP2008084329A (ja) デジタル画像の連接型レンダリング方法
JP2004334852A (ja) ピクセルタイプによる画像処理
EP2811732B1 (en) Image processing apparatus, image processing method, computer-readable storage medium and program
JP2004054898A (ja) 印刷データ生成装置、印刷データ生成方法およびそのプログラム
JP2005012741A (ja) ファインダービュー補助方法と装置
JP2007208430A (ja) 画像処理システム
JP6677593B2 (ja) 画像処理装置及びその制御方法
JP2007104563A (ja) レイアウト編集装置、レイアウト編集方法及びレイアウト編集プログラム
JP7370814B2 (ja) 画像処理装置、その制御方法及びプログラム
JP2005196444A (ja) 画像データ処理装置、画像データ処理方法及びそのプログラム
US20040202378A1 (en) Method and apparatus for enhancing images based on stored preferences
JP7392341B2 (ja) 情報処理装置、及び情報処理プログラム
JP7197875B1 (ja) プログラム、画像処理方法及び画像処理装置
JP6593112B2 (ja) 画像処理装置、表示システムおよびプログラム
JP2011130087A (ja) 画像処理装置および画像処理方法
JP7063105B2 (ja) 識別装置
WO2019188167A1 (ja) 画像のレイアウト・サイズ算出装置および方法ならびに画像のレイアウト・サイズ算出プログラムおよびそのプログラムを格納した記録媒体
JP5292662B2 (ja) 文書表示装置、文書表示装置の制御方法及びプログラム
JP2017034376A (ja) 画像処理装置、画像処理方法、コンピュータプログラム
JP2007087003A (ja) 画像処理プログラム、装置および方法
JP5609341B2 (ja) 画像処理装置、画像形成装置、画像処理方法及び画像処理プログラム
JP6518155B2 (ja) 情報処理装置、情報処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220729

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230626

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230725

R150 Certificate of patent or registration of utility model

Ref document number: 7321336

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150