JP2017199982A - 画像処理装置及びこれを備えた撮像システムならびにキャリブレーション方法 - Google Patents

画像処理装置及びこれを備えた撮像システムならびにキャリブレーション方法 Download PDF

Info

Publication number
JP2017199982A
JP2017199982A JP2016087443A JP2016087443A JP2017199982A JP 2017199982 A JP2017199982 A JP 2017199982A JP 2016087443 A JP2016087443 A JP 2016087443A JP 2016087443 A JP2016087443 A JP 2016087443A JP 2017199982 A JP2017199982 A JP 2017199982A
Authority
JP
Japan
Prior art keywords
image
adjustment
camera
touch operation
camera image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016087443A
Other languages
English (en)
Other versions
JP6323729B2 (ja
JP2017199982A5 (ja
Inventor
亮司 荻野
Ryoji Ogino
亮司 荻野
純哉 桑田
Junya Kuwata
純哉 桑田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2016087443A priority Critical patent/JP6323729B2/ja
Priority to PCT/JP2017/014327 priority patent/WO2017187923A1/ja
Priority to US16/088,697 priority patent/US10872395B2/en
Publication of JP2017199982A publication Critical patent/JP2017199982A/ja
Publication of JP2017199982A5 publication Critical patent/JP2017199982A5/ja
Application granted granted Critical
Publication of JP6323729B2 publication Critical patent/JP6323729B2/ja
Priority to US16/952,827 priority patent/US20210073942A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーションのための調整作業をユーザが手際よく行うことができるようにする。【解決手段】予め設定された処理条件により撮像画像から生成した合成元画像を合成して合成画像を生成するスティッチング処理部３１と、合成画像を表示する画面を生成して表示入力装置４に出力する画面生成部３２と、画面上でのタッチ操作の検出結果に基づいて、調整対象となるカメラ画像領域を判定すると共に、タッチ操作の操作形態に応じた調整項目を判定するタッチ操作判定部３３と、調整対象となるカメラ画像領域に関する暫定的な処理条件を設定する処理条件設定部３４と、を備え、スティッチング処理部は、暫定的な処理条件により調整対象となるカメラ画像領域に対応するカメラの撮像画像から合成元画像を生成して、この合成元画像を合成して合成画像を更新する。【選択図】図３

Description

本発明は、複数のカメラごとの画像に対して画像合成処理を行って合成画像を出力する画像処理装置及びこれを備えた撮像システム、ならびに合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーション方法に関するものである。
複数のカメラにより撮像された画像を合成して１つの合成画像を生成する、いわゆるスティッチング処理を行うことで、１台のカメラでは得ることができない広角画像をシームレスな状態で生成することができる。このようなスティッチング処理では、隣り合う２つのカメラを、各々の撮像エリアが一部重複するように配置して、２つのカメラの撮像エリアの重複部分に対応する境界部の画像領域を重ね合わせ、また、適宜にトリミングを行って画像を合成する。
一方、２つのカメラの撮像エリアの重複部分に、カメラからの距離が大きく異なる被写体が存在する、すなわち、遠景となる被写体と近影となる被写体とが存在すると、２つのカメラの各撮像画像の間には、遠景となる被写体の像と近影となる被写体の像との位置関係がずれた状態、いわゆる視差が発生し、合成画像に、近影の像が２重に現れたり、近影の像の一部が消失したりする不具合が発生する。そこで、スティッチングでは、視差に起因する画像の不具合を抑制する視差補正が行われる。
このような視差補正に関するものとして、従来、エッジや特徴量に基づくブロックマッチングにより、２つのカメラの各撮像画像に現れる被写体の像の位置関係を取得して、この情報に基づいて画像を変形させる視差補正を行う技術が知られている（特許文献１参照）。特にこの技術では、視差補正時の画像の変形度合いを規定するスティッチングポイントをフレームごとに変化させて、フレームごとに適切な合成画像を生成するようにしている。
特開２０１０−５０８４２号公報
さて、複数のカメラが搭載されたカメラユニットでは、カメラを構成する光学系を組み付ける際に、位置や角度などの機構的配置に誤差が発生する。この機構的配置の誤差は、画像合成処理で得られた合成画像において、カメラごとの画像領域が適切に整合しない状態を招き、合成画像の品質を低下させる原因となる。
一方、製品出荷後に機構的配置自体をユーザが調整することは難しい。また、機構的配置の誤差は、設置された環境の違いにより変化し、また、時間が経過することでも変化する。このため、画像処理の処理条件を変更することで、合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーションを行い、特に、撮影の直前などの適宜なタイミングで、キャリブレーションのための調整作業をユーザが手際よく行うことができる技術が望まれる。
しかしながら、前記従来の技術では、合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーションに関する開示はなんらなく、キャリブレーションのための調整作業を手際よく行いたいという要望に応えることができない。
そこで、本発明は、合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーションのための調整作業をユーザが手際よく行うことができる画像処理装置及びこれを備えた撮像システムならびにキャリブレーション方法を提供することを主な目的とする。
本発明の画像処理装置は、複数のカメラごとの画像に対して画像合成処理を行って合成画像を出力する画像処理装置であって、予め設定された処理条件に基づいて、前記カメラごとの撮像画像からそれぞれ複数の合成元画像を生成して、その複数の合成元画像に対して画像合成処理を行って、プレビュー用の合成画像を生成する画像処理部と、前記プレビュー用の合成画像を表示するプレビュー表示画面を生成して表示入力装置に出力する画面生成部と、前記表示入力装置に表示された前記プレビュー表示画面上でユーザが行ったタッチ操作の検出結果に基づいて、前記プレビュー用の合成画像における調整対象となるカメラ画像領域を判定するとともに、タッチ操作の操作形態に応じた調整項目を判定するタッチ操作判定部と、このタッチ操作判定部の判定結果に基づいて、前記調整対象となるカメラ画像領域に関する暫定的な処理条件を設定する処理条件設定部と、を備え、前記画像処理部は、前記暫定的な処理条件に基づいて、前記調整対象となるカメラ画像領域に対応する前記カメラの撮像画像から合成元画像を生成して、この合成元画像に対して前記画像合成処理を行って前記プレビュー用の合成画像を更新する構成とする。
また、本発明の撮像システムは、前記画像処理装置と、前記複数のカメラと、前記表示入力装置とを備えた構成とする。
また、本発明のキャリブレーション方法は、複数のカメラごとの画像に対して画像合成処理を行って生成した合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーション方法であって、予め設定された処理条件に基づいて、前記カメラごとの撮像画像からそれぞれ複数の合成元画像を生成して、その複数の合成元画像に対して画像合成処理を行って、プレビュー用の合成画像を生成し、このプレビュー用の合成画像を表示するプレビュー表示画面を生成して表示入力装置に出力し、前記表示入力装置に表示された前記プレビュー表示画面上でユーザが行ったタッチ操作の検出結果に基づいて、前記プレビュー用の合成画像における調整対象となるカメラ画像領域を判定するとともに、タッチ操作の操作形態に応じた調整項目を判定し、この判定結果に基づいて、前記調整対象となるカメラ画像領域に関する暫定的な処理条件を設定し、この暫定的な処理条件に基づいて、前記調整対象となるカメラ画像領域に対応する前記カメラの撮像画像から合成元画像を生成して、この合成元画像に対して前記画像合成処理を行って前記プレビュー用の合成画像を更新する構成とする。
本発明によれば、合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーションを、表示入力装置に表示されるプレビュー表示画面上でユーザがタッチ操作を行うことで実施することができる。これにより、キャリブレーションのための調整作業をユーザが直感的な操作で手際よく行うことができる。
本実施形態に係る撮像システムの全体構成図 画像処理装置３で生成されて表示入力装置４で表示される合成画像を示す説明図 画像処理装置３の概略構成を示す機能ブロック図 画像処理装置３で行われるスティッチング処理の概要を説明する説明図 視差補正を実施しない場合および視差補正を実施した場合の画像の状態を模式的に示す説明図 カメラ画像領域１２の調整の要領を説明する説明図 タッチ操作の操作形態に応じた調整項目の一覧を示す説明図 横向きのカメラ１の各カメラ画像領域１２を個別に調整する場合のタッチ操作を示す説明図 上向きのカメラ１のカメラ画像領域１２を個別に調整する場合のタッチ操作を示す説明図 全てのカメラ画像領域１２を一体的に調整する場合のタッチ操作を示す説明図 全てのカメラ画像領域１２を一体的に調整する場合のタッチ操作を示す説明図 ユーザのタッチ操作に応じて画像処理装置３で行われる処理の手順を示すフロー図 ユーザのタッチ操作に応じて画像処理装置３で行われる処理の手順を示すフロー図 ユーザのタッチ操作に応じて画像処理装置３で行われる処理の手順を示すフロー図 調整対象となるカメラ画像領域１２の視認性を向上させる画像処理を説明する説明図 調整対象となるカメラ画像領域１２のジャストフィット状態をユーザに認識させる制御を説明する説明図 カメラ画像領域１２の色合いおよび明るさを調整する際のタッチ操作を示す説明図
前記課題を解決するためになされた第１の発明は、複数のカメラごとの画像に対して画像合成処理を行って合成画像を出力する画像処理装置であって、予め設定された処理条件に基づいて、前記カメラごとの撮像画像からそれぞれ複数の合成元画像を生成して、その複数の合成元画像に対して画像合成処理を行って、プレビュー用の合成画像を生成する画像処理部と、前記プレビュー用の合成画像を表示するプレビュー表示画面を生成して表示入力装置に出力する画面生成部と、前記表示入力装置に表示された前記プレビュー表示画面上でユーザが行ったタッチ操作の検出結果に基づいて、前記プレビュー用の合成画像における調整対象となるカメラ画像領域を判定するとともに、タッチ操作の操作形態に応じた調整項目を判定するタッチ操作判定部と、このタッチ操作判定部の判定結果に基づいて、前記調整対象となるカメラ画像領域に関する暫定的な処理条件を設定する処理条件設定部と、を備え、前記画像処理部は、前記暫定的な処理条件に基づいて、前記調整対象となるカメラ画像領域に対応する前記カメラの撮像画像から合成元画像を生成して、この合成元画像に対して前記画像合成処理を行って前記プレビュー用の合成画像を更新する構成とする。
これによると、合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーションを、表示入力装置に表示されるプレビュー表示画面上でユーザがタッチ操作を行うことで実施することができる。これにより、キャリブレーションのための調整作業をユーザが直感的な操作で手際よく行うことができる。
また、第２の発明は、前記タッチ操作判定部は、１本又は２本の指でタッチ操作が行われた場合には、タッチ操作が行われた１つの前記カメラ画像領域を調整対象とし、３本以上の指でタッチ操作が行われた場合には、全ての前記カメラ画像領域を調整対象とする構成とする。
これによると、各カメラ画像領域を個別に調整することができ、また、全てのカメラ画像領域を一体的に調整することができる。
また、第３の発明は、さらに、２つの前記カメラ画像領域間の画像調整を行う画像調整部を備え、前記タッチ操作判定部は、タッチ操作の操作形態が、２本の指による異なる前記カメラ画像領域に対するタッチ操作である場合には、そのタッチ操作が行われた２つのカメラ画像領域間の画像調整を行うものとする構成とする。
これによると、２つのカメラ画像領域間の画像調整を簡単に行うことができる。
また、第４の発明は、前記タッチ操作判定部は、１本又は２本の指でタッチ操作が行われた場合に、そのタッチ操作が行われた１つの前記カメラ画像領域を調整対象として、タッチ操作の操作形態に応じた調整項目を判定する構成とする。
これによると、各カメラ画像領域を個別に調整することができる。
また、第５の発明は、前記タッチ操作判定部は、タッチ操作の操作形態が、１本の指による横方向のスワイプ操作である場合には、１つの前記カメラ画像領域を調整対象としてパン調整を行うものとし、タッチ操作の操作形態が、１本の指による縦方向のスワイプ操作である場合には、１つの前記カメラ画像領域を調整対象としてチルト調整を行うものとし、タッチ操作の操作形態が、２本の指による回転操作である場合には、１つの前記カメラ画像領域を調整対象としてローリング調整を行うものとし、タッチ操作の操作形態が、２本の指によるピンチ操作である場合には、１つの前記カメラ画像領域を調整対象としてズーム調整を行うものとする構成とする。
これによると、カメラ画像領域の各々を対象にしたパン調整、チルト調整、ローリング調整、およびズーム調整をユーザが簡単に行うことができる。
また、第６の発明は、前記画像処理部は、前記プレビュー用の合成画像における調整対象外の前記カメラ画像領域の色合いを初期の色合いから変更する画像処理を行う構成とする。
これによると、プレビュー表示画面において調整対象となるカメラ画像領域の視認性を向上させることができるため、調整対象となるカメラ画像領域をユーザが直感的に把握することができる。
また、第７の発明は、前記画像処理部は、前記調整対象外のカメラ画像領域に対して少なくとも輝度を変更する画像処理を行う構成とする。
これによると、調整対象外のカメラ画像領域の輝度を変更することで、調整対象となるカメラ画像領域の視認性を向上させることができる。この場合、例えば、調整対象外のカメラ画像領域の輝度を下げることで、調整対象外のカメラ画像領域をグレーアウトで暗く表示することができる。
また、第８の発明は、前記タッチ操作判定部は、３本以上の指でタッチ操作が行われる場合に、全ての前記カメラ画像領域を調整対象として、タッチ操作の操作形態に応じた調整項目を判定する構成とする。
これによると、全てのカメラ画像領域を一体的に調整することができる。
また、第９の発明は、前記タッチ操作判定部は、タッチ操作の操作形態が、３本以上の指による横方向のスワイプ操作である場合には、全ての前記カメラ画像領域を調整対象としてパン調整を行うものとし、タッチ操作の操作形態が、３本以上の指による縦方向のスワイプ操作である場合には、全ての前記カメラ画像領域を調整対象としてチルト調整を行うものとし、タッチ操作の操作形態が、３本以上の指による回転操作である場合には、全ての前記カメラ画像領域を調整対象としてローリング調整を行うものとし、タッチ操作の操作形態が、３本以上の指によるピンチ操作である場合には、全ての前記カメラ画像領域を調整対象としてズーム調整を行うものとする構成とする。
これによると、カメラ画像領域の全てを対象にしたパン調整、チルト調整、ローリング調整、およびズーム調整をユーザが簡単に行うことができる。
また、第１０の発明は、さらに、前記プレビュー用の合成画像において調整対象となる前記カメラ画像領域とこれに隣り合う前記カメラ画像領域と間の繋ぎ目部分の整合性が高いジャストフィット状態を検知するジャストフィット検知部を備え、前記画像処理部は、前記ジャストフィット検知部でジャストフィット状態が検知されると、そのタイミングでの前記プレビュー用の合成画像を所定の範囲で継続して出力する構成とする。
これによると、プレビュー表示画面において、調整対象となるカメラ画像領域が所定の範囲でタッチ操作に連動せずに静止した状態で表示されるようになるため、ジャストフィット状態をユーザが直感的に把握することができることから、調整操作を迅速に行うことができる。
また、第１１の発明は、さらに、２つの前記カメラ画像領域間の画像調整を行う画像調整部を備え、この画像調整部は、２つの前記カメラ画像領域に対して同時にタッチ操作が行われた場合に、その２つのカメラ画像領域におけるタッチ領域の色合いおよび明るさの少なくともいずれかが一致するように画像調整を行う構成とする。
これによると、異なるカメラ画像領域同士で、本来であれば色合いや明るさが一致すべき部分において明るさや色合いに差異が生じている場合に、その部分でタッチ操作を行うことで、色合いや明るさを簡単に一致させることができる。
また、第１２の発明は、前記画像処理部は、通常時には、前記画像合成処理の前段で前記合成元画像に対して視差補正処理を行い、前記プレビュー表示画面を表示する際には、前記合成元画像に対して前記視差補正処理を行わない構成とする。
これによると、プレビュー表示画面を表示する場合に視差補正処理を行なわないため、画像処理の負荷を軽減して、プレビュー表示画面を円滑に表示させることができる。
また、第１３の発明は、第１から第１２の発明のいずれかに係る前記画像処理装置と、前記複数のカメラと、前記表示入力装置とを備えた撮像システムである。
これによると、第１の発明と同様に、合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーションのための調整作業をユーザが手際よく行うことができる。
また、第１４の発明は、複数のカメラごとの画像に対して画像合成処理を行って生成した合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーション方法であって、予め設定された処理条件に基づいて、前記カメラごとの撮像画像からそれぞれ複数の合成元画像を生成して、その複数の合成元画像に対して画像合成処理を行って、プレビュー用の合成画像を生成し、このプレビュー用の合成画像を表示するプレビュー表示画面を生成して表示入力装置に出力し、前記表示入力装置に表示された前記プレビュー表示画面上でユーザが行ったタッチ操作の検出結果に基づいて、前記プレビュー用の合成画像における調整対象となるカメラ画像領域を判定するとともに、タッチ操作の操作形態に応じた調整項目を判定し、この判定結果に基づいて、前記調整対象となるカメラ画像領域に関する暫定的な処理条件を設定し、この暫定的な処理条件に基づいて、前記調整対象となるカメラ画像領域に対応する前記カメラの撮像画像から合成元画像を生成して、この合成元画像に対して前記画像合成処理を行って前記プレビュー用の合成画像を更新する構成とする。
これによると、第１の発明と同様に、合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーションのための調整作業をユーザが手際よく行うことができる。
以下、本発明の実施の形態を、図面を参照しながら説明する。
図１は、本実施形態に係る撮像システムの全体構成図である。図２は、画像処理装置３で生成されて表示入力装置４で表示される合成画像を示す説明図である。
本撮像システムは、図１に示すように、複数のカメラ１を有するカメラユニット２と、画像処理装置３と、表示入力装置４と、を備えている。
カメラユニット２には、光軸が略垂直方向上向きとなるように配置された１つの上向きのカメラ１と、光軸が略水平方向の放射状となるように周方向に等間隔をおいて配置された６つの横向きのカメラ１との合計７つのカメラ１が搭載されている。各カメラ１は、広角な画角（例えば１２０°）を有するものであり、隣り合う２つのカメラ１同士で撮像エリアが一部重複するように配置される。
画像処理装置３では、図２に示すように、各カメラ１により撮像された撮像画像を合成して１つの合成画像１１を生成するスティッチング処理が行われ、合成画像１１には、各カメラ１により撮像された各撮像画像に基づくカメラ画像領域１２が結合された状態で現れる。また、スティッチング処理は撮像画像のフレームごとに行われ、このフレームごとの合成画像が表示入力装置４に出力されて、表示入力装置４に合成画像が動画で表示される。
なお、本実施形態では、画像処理装置３において、合成画像がリアルタイムに生成されて表示入力装置４に出力されて、ユーザが合成画像をリアルタイムで閲覧することができるが、この画像処理装置３で生成した合成画像を、画像処理装置３が備える情報記憶部や、画像処理装置３に接続された情報記憶装置に記憶するようにしてもよい。
表示入力装置４は、表示パネル（表示装置）とタッチパネル（位置入力装置）とを組み合わせた、いわゆるタッチパネルディスプレイであり、画像処理装置３から出力される合成画像の画面を表示するとともに、その画面上でユーザがタッチ操作を行うことで、合成画像における各カメラ画像領域１２に対して各種の調整を行うことができる。
ここで、カメラユニット２では、カメラ１を構成する光学系を組み付ける際や、カメラ１自体を基台に組み付ける際に、位置や角度などの機構的配置に誤差が発生する。この機構的配置の誤差は、画像合成処理で得られた合成画像において、各カメラ画像領域１２が適切に整合しない状態を招き、合成画像の品質を低下させる原因となる。
そこで、本実施形態では、合成画像における各カメラ画像領域１２間の整合性を確保するキャリブレーションとして、画像処理装置３で行われる画像処理の処理条件を変更することで、合成画像１１において隣り合うカメラ画像領域１２同士の繋ぎ目部分が概ね整合するように、カメラ画像領域１２の位置、角度、および大きさを調整する操作をユーザが行う。
また、合成画像１１では、異なるカメラ画像領域１２同士で、本来であれば色合いや明るさが一致すべき部分において明るさや色合いに差異が生じる場合がある。そこで、本実施形態では、合成画像におけるカメラ画像領域１２間の整合性を確保するキャリブレーションとして、カメラ１の撮像条件を変更することで、カメラ画像領域１２の色合いおよび明るさを調整する操作をユーザが行う。
また、本実施形態では、このような合成画像におけるカメラ画像領域１２間の整合性を確保するキャリブレーションのための調整作業を、表示入力装置４におけるタッチ操作で行い、不具合のあるカメラ画像領域１２で所定のタッチ操作を行うことで、キャリブレーションが実施される。
次に、画像処理装置３の概略構成について説明する。図３は、画像処理装置３の概略構成を示す機能ブロック図である。図４は、画像処理装置３で行われるスティッチング処理の概要を説明する説明図である。
カメラは、レンズ部２１と、イメージセンサ部２２と、信号処理部２３と、制御部２４と、を備えている。
イメージセンサ部２２は、レンズ部２１を介して被写体を撮像して、画像信号を出力する。信号処理部２３は、イメージセンサ部２２から出力される画像信号に対して所要の信号処理を実施して、撮像画像を出力する。制御部２４は、イメージセンサ部２２および信号処理部２３の動作を制御する。
画像処理装置３は、スティッチング処理部（画像処理部）３１と、画面生成部３２と、タッチ操作判定部３３と、処理条件設定部３４と、画像調整部３５と、を備えている。スティッチング処理部３１は、視差補正量算出部４１と、パノラマ画像生成部４２と、プレビュー出力切換部４３と、視差補正部４４と、画像合成部４５と、ジャストフィット検知部４６と、を備えている。
なお、ここでは、２つのカメラ１の撮像画像を処理する部分のみを示しているが、図１に示したように、本実施形態では、７つのカメラ１が設けられており、視差補正量算出部４１は、隣り合う２つのカメラ１の組み合わせごとに設けられ、また、パノラマ画像生成部４２、プレビュー出力切換部４３および視差補正部４４はカメラ１ごとに設けられる。
視差補正量算出部４１では、視差補正時の画像の変形度合いを規定する視差補正量をフレームごとに算出する処理が行われる。具体的には、図４に示すように、平行化（円柱への投影）、処理領域切り出し、および視差算出の各処理が行われる。視差算出処理では、２つの撮像画像間のブロックマッチングにより視差（ずれ量）を算出する。すなわち、２つの撮像画像を少しずつずらしながら２つの撮像画像間の差分を算出し、その差分が最も小さくなる位置関係から視差を求める。
パノラマ画像生成部４２では、カメラ１からそれぞれ出力される撮像画像に対してパノラマ化（球への投影）を行って、パノラマ画像（合成元画像）を生成する処理が行われる。このパノラマ画像生成部４２では、まず、予め設定された制御パラメータ（処理条件）に基づいてパノラマ画像を生成し、ユーザのタッチ操作に応じて、処理条件設定部３４において暫定的な制御パラメータが設定されると、その暫定的な制御パラメータに基づいてパノラマ画像を生成する。
プレビュー出力切換部４３では、通常時には、パノラマ画像生成部４２で生成したパノラマ画像を視差補正部４４に出力し、プレビュー表示画面を表示する際には、パノラマ画像生成部４２で生成したパノラマ画像を画像合成部４５に出力する。これにより、プレビュー表示画面を表示する際には、視差補正処理を行なわずに画像合成処理が行われる。
視差補正部４４では、視差補正量算出部４１から出力される視差補正量に基づいて、パノラマ画像生成部４２で生成したパノラマ画像に対して視差補正を行って、視差補正画像を生成する処理が行われる。
画像合成部４５では、通常時には、視差補正部４４で生成した複数の視差補正画像に対して画像合成処理を行って合成画像を生成する処理が行われる。また、プレビュー表示画面を表示する際には、パノラマ画像生成部４２で生成した複数のパノラマ画像に対して画像合成処理を行ってプレビュー用の合成画像を生成する処理が行われる。このプレビュー用の合成画像は、通常時の合成画像より解像度が低くなっている。
なお、プレビュー表示画面を表示する際には、タッチ操作に応じて調整対象となるカメラ画像領域１２のみが変化することから、調整対象となるカメラ画像領域１２を元の合成画像に重畳することで、新たな合成画像に生成することができる。
ジャストフィット検知部４６では、合成画像において調整対象となるカメラ画像領域１２とこれに隣り合うカメラ画像領域１２と間の繋ぎ目部分の整合性が高いジャストフィット状態を検知する。
ここで、ジャストフィット状態を検知するには、まず、隣り合うカメラ画像領域１２の繋ぎ目部分に位置する画素同士、すなわち、カメラ画像領域１２の境界線を挟んで隣り合う画素同士で、画素値の差分の絶対値を求め、その差分の絶対値を加算して、差分の絶対値の和を求める。そして、その差分の絶対値の和の大小により、隣り合うカメラ画像領域１２の位置ずれの程度（誤差）を判断し、差分の絶対値の和が、周辺で最小値となるときにジャストフィット状態と判定する。
このようにしてジャストフィット検知部４６でジャストフィット状態が検知されると、そのタイミングでの合成画像を所定の範囲で継続して出力する。これにより、プレビュー表示画面において、調整対象となるカメラ画像領域１２が所定の範囲でタッチ操作に連動せずに静止した状態で表示されるようになる。
画面生成部３２では、通常時には、画像合成部４５において視差補正画像に対して画像合成処理を行って生成した合成画像を表示する正規の表示画面を生成して表示入力装置４に出力する処理が行われる。また、画像合成部４５においてパノラマ画像に対して画像合成処理を行って生成したプレビュー用の合成画像を表示するプレビュー表示画面を生成して表示入力装置４に出力する処理が行われる。
タッチ操作判定部３３では、表示入力装置４に表示されたプレビュー表示画面上でユーザが行ったタッチ操作の検出結果を表示入力装置４から取得して、そのタッチ操作の検出結果に基づいて、合成画像１１における調整対象となるカメラ画像領域１２を判定するとともに、タッチ操作の操作形態に応じた調整項目（パン調整、チルト調整、ローリング調整、ズーム調整）を判定する。
本実施形態では、１本又は２本の指でタッチ操作が行われた場合には、タッチ操作が行われた１つのカメラ画像領域１２を調整対象とし、各カメラ画像領域１２を個別に調整する個別調整が行われる。また、３本以上の指でタッチ操作が行われた場合には、全てのカメラ画像領域１２を調整対象とし、全てのカメラ画像領域１２を一体的に調整する全体調整が行われる。
また、タッチ操作の操作形態が、２本の指による異なるカメラ画像領域１２に対するタッチ操作である場合に、タッチ操作が行われた２つのカメラ画像領域１２を調整対象として、その２つのカメラ画像領域１２間の画像調整を行うものと判定する。
処理条件設定部３４では、タッチ操作判定部３３の判定結果に基づいて、調整対象となるカメラ画像領域１２に関する暫定的な処理条件を設定する処理が行われる。本実施形態では、処理条件として、パノラマ画像生成部４２でのパノラマ画像（合成元画像）の生成に関する制御パラメータを設定する。
この処理条件設定部３４において、暫定的な処理条件が設定されると、スティッチング処理部３１において、その暫定的な処理条件に基づいて、調整対象となるカメラ画像領域１２に対応するカメラ１の撮像画像から合成元画像を生成して、この合成元画像に対して画像合成処理を行ってプレビュー用の合成画像を更新する。
画像調整部３５では、２つのカメラ画像領域１２間の画像調整が行われる。本実施形態では、２つのカメラ画像領域１２におけるタッチ領域の色合いおよび明るさの少なくともいずれかが一致するように画像調整を行う。この画像調整は、タッチ操作の操作形態が、２本の指による異なるカメラ画像領域１２に対するタッチ操作である場合に実施される。
また、本実施形態では、２つのカメラ画像領域１２におけるタッチ領域の色合いおよび明るさが一致するように、カメラ１の撮像条件、すなわち、色合いおよび明るさに関する制御パラメータが設定され、この制御パラメータが画像調整部３５からカメラ１の制御部２４に出力され、制御部２４において、制御パラメータに基づいてイメージセンサ部２２および信号処理部２３が制御される。
なお、図３に示した画像処理装置３は、汎用的な情報処理装置で構成することができ、この画像処理装置３の各部は、メモリに記憶された画像処理用のプログラムをプロセッサに実行させることで実現することができる。また、画像処理装置３の少なくとも一部を、画面処理専用のハードウェア（画面処理回路）により実現することもできる。
次に、視差補正部４４で行われる視差補正について説明する。図５は、視差補正を実施しない場合および視差補正を実施した場合の画像の状態を模式的に示す説明図である。なお、ここでは、説明の便宜上、隣り合う２つのカメラ１の画像を処理する例を示す。
図５（Ａ）は、隣り合う２つのカメラ１による撮像状況を示している。この図５（Ａ）に示す例では、人物とその背景となる山とが２つのカメラ１により同時に撮像される。
図５（Ｂ−１），（Ｂ−２）は、２つのカメラ１による撮像画像を示している。この図５（Ｂ−１），（Ｂ−２）に示すように、２つのカメラ１による撮像画像には、２つのカメラ１の撮像エリアの重複部分に対応する境界部の画像領域に、山を表す遠景の像と人物を表す近影の像とが現れる。ここで、遠景となる山と近影となる人物とでは、カメラ１からの距離が大きく異なり、２つの撮像画像では、遠景の像と近影の像との位置関係がずれた状態となる。
図５（Ｃ−１），（Ｃ−２）は、２つのカメラ１による撮像画像に対して遠景の像を基準にした単純合成を行って得られた合成画像を示している。前記のように、２つの撮像画像では遠景の像と近影の像との位置関係がずれているため、遠景の像を基準にして２つの撮像画像を単純に合成すると、図５（Ｃ−１），（Ｃ−２）に示すように、合成画像に、近影の像が２重に現れたり、近影の像の一部が消失したりする不具合が発生する。
ここで、遠景の像を基準にしたときの近影の像のずれは、２つのカメラ１の各撮像画像の間の視差を表している。２つのカメラ１にそれぞれ現れる遠景の像の位置関係は、近影がない状態で予め求めておくことができ、この情報に基づいて画像合成が行われる。したがって、近影の像がない状態では２つのカメラ１の撮像画像には視差は存在せず、近影の像が現れると、２つのカメラ１の撮像画像間に視差が発生する。
このように、２つのカメラ１の撮像画像における境界部の画像領域に遠景の像と近影の像とが現れる状態では、２つの撮像画像間に発生する視差が原因で、合成画像に近影の像が２重に現れるなどの不具合が発生する。そこで、この不具合を解消するための視差補正が必要となり、この視差補正には代表的には２種類の補正方式がある。図５（Ｃ−３）は、第１の補正方式による場合であり、図５（Ｃ−４）は、第２の補正方式による場合である。
図５（Ｃ−３）に示すように、第１の補正方式は、２つのカメラ１の撮像画像の間で遠景の像と近影の像との位置関係が整合するように、２つのカメラ１の撮像画像に対して、主に近影の像が現れる画像領域を横方向にずらすように画像を変形させる視差補正を行った上で画像合成するものである。
図５（Ｃ−４）に示すように、第２の補正方式は、近影の像が現れる画像領域を避けるように屈曲したスティッチング境界を設定し、このスティッチング境界に沿って２つのカメラ１の撮像画像を切り出すトリミングを行った上で画像合成するものである。
このように視差補正を行うことで適切な画像を生成することができ、本実施形態では、第１の補正方式、すなわち、２つのカメラ１の撮像画像の間で遠景の像と近影の像との位置関係が整合するように、２つのカメラ１の撮像画像に対して、主に近影の像が現れる画像領域を横方向にずらすように画像を変形させる視差補正を行う。
次に、カメラ画像領域１２の調整の要領について説明する。図６は、カメラ画像領域１２の調整の要領を説明する説明図である。
本実施形態では、プレビュー表示画面を表示する際に、パノラマ画像生成部４２において、カメラ１から取得した撮像画像に対してパノラマ化（球への投影）を行ってパノラマ画像（合成元画像）を生成し、このパノラマ画像から所要の領域を切り出して画像合成を行う。このとき、パノラマ化における投影位置（投影領域の中心位置）および投影サイズ（投影領域の大きさ）に応じて、合成画像１１上での各カメラ画像領域１２の位置および大きさが規定される。
一方、各カメラ１では被写体を広角で撮像することで、撮像画像５１には、最終的に合成画像上に表示されるカメラ画像領域１２に対応する使用領域５２の外側に、余白領域５３が形成されており、この余白領域５３の範囲内で、パノラマ化における投影位置および投影サイズを調整することができる。
ここで、本実施形態では、タッチ操作により、パン調整、チルト調整、ローリング調整およびズーム調整を行うことができる。
図６（Ａ）に示すように、パン調整（水平方向位置調整）では、カメラ画像領域１２を横方向に移動させることができ、このとき、画像の水平方向の投影位置を調整する処理が行われる。図６（Ｂ）に示すように、チルト調整（垂直方向位置調整）では、カメラ画像領域１２を縦方向に移動させることができ、このとき、画像の縦方向の投影位置を調整する処理が行われる。図６（Ｃ）に示すように、ローリング調整（回転方向位置調整）では、カメラ画像領域１２を回転させることができ、このとき、画像の回転方向の投影位置を調整する処理が行われる。図６（Ｄ）に示すように、ズーム調整（拡大縮小調整）では、カメラ画像領域１２を拡大したり縮小したりすることができ、このとき、画像の投影サイズを調整する処理が行われる。
また、本実施形態では、処理条件設定部３４において、タッチ操作に応じて、投影位置および投影サイズに関する設定値が、パノラマ画像（合成元画像）の生成に関する制御パラメータとして設定され、この制御パラメータに基づいて、パノラマ画像生成部４２において、パノラマ化における投影位置および投影サイズの調整が行われる。
ここで、各カメラ画像領域１２に関して、パン調整、チルト調整、ローリング調整およびズーム調整の各調整項目に関する制御パラメータが予め設定されており、パン調整、チルト調整、ローリング調整およびズーム調整のいずれかに関するタッチ操作が行われると、調整対象となるカメラ画像領域１２の該当する調整項目に関する制御パラメータが更新される。
次に、タッチ操作の操作形態に応じた調整項目について説明する。図７は、タッチ操作の操作形態に応じた調整項目の一覧を示す説明図である。
本実施形態では、１本又は２本の指でタッチ操作が行われた場合には、タッチ操作が行われた１つのカメラ画像領域１２を調整対象として、各カメラ画像領域１２を個別に調整する個別調整を行うことができる。また、３本以上の指でタッチ操作が行われた場合には、全てのカメラ画像領域１２を調整対象として、全てのカメラ画像領域１２を一体的に調整する全体調整を行うことができる。
また、本実施形態では、調整対象となるカメラ画像領域１２を横方向に移動させるパン調整（水平方向位置調整）と、調整対象となるカメラ画像領域１２を縦方向に移動させるチルト調整（垂直方向位置調整）と、調整対象となるカメラ画像領域１２を回転させるローリング調整（回転方向位置調整）と、調整対象となるカメラ画像領域１２を拡大したり縮小したりするズーム調整（拡大縮小調整）と、を行うことができる。
以下に、タッチ操作の操作形態に応じた調整項目を具体的に説明する。
まず、各カメラ画像領域１２を個別に調整する場合について説明する。図８は、横向きのカメラ１の各カメラ画像領域１２を個別に調整する場合のタッチ操作を示す説明図である。図９は、上向きのカメラ１のカメラ画像領域１２を個別に調整する場合のタッチ操作を示す説明図である。
本実施形態では、１本又は２本の指でタッチ操作が行われた場合に、タッチ操作が行われた１つのカメラ画像領域１２を調整対象として、そのカメラ画像領域１２を個別に調整することができる。
まず、横向きのカメラ１に関するカメラ画像領域１２の場合には、図８（Ａ）に示すように、画面に触れた１本の指を横方向（画面の左右方向）にスライドさせるスワイプ操作により、操作対象となるカメラ画像領域１２を横方向に移動させるパン調整（水平方向位置調整）を行うことができる。
また、図８（Ｂ）に示すように、画面に触れた１本の指を縦方向（画面の上下方向）にスライドさせるスワイプ操作により、操作対象となるカメラ画像領域１２を縦方向に移動させるチルト調整（垂直方向位置調整）を行うことができる。
また、図８（Ｃ）に示すように、画面に触れた２本の指を円を描くように動かす回転操作により、操作対象となるカメラ画像領域１２を回転させるローリング調整（回転方向位置調整）を行うことができる。
また、図８（Ｄ）に示すように、画面に触れた２本の指の間隔を広げたり狭めたりするように指を動かすピンチ操作（ピンチイン操作、ピンチアウト操作）により、操作対象となるカメラ画像領域１２を拡大したり縮小したりするズーム調整（拡大縮小調整）を行うことができる。
一方、上向きのカメラ１に関するカメラ画像領域１２の場合には、図９（Ａ−１）に示すように、画面に触れた１本の指を横方向（画像の左右方向）にスライドさせるスワイプ操作により、カメラ画像領域１２に現れる像を横方向に移動させることができる。
ここで、上向きのカメラ１１に関するカメラ画像領域１２では、合成画像１１上の横方向の移動が、図９（Ａ−２）に示すように、投影球体６１上で投影領域６２を緯線方向に回転させることに相当する。このため、横方向のスワイプ操作が行われると、画像の回転方向の投影位置を調整するローリング調整（回転方向位置調整）が実施される。
また、図９（Ｂ−１）に示すように、画面に触れた１本の指を縦方向（画像の上下方向）にスライドさせるスワイプ操作により、カメラ画像領域１２に現れる像を縦方向に移動させることができる。
ここで、上向きのカメラ１に関するカメラ画像領域１２では、合成画像１１上の縦方向の移動が、図９（Ｂ−２）に示すように、投影球体６１上で投影領域６２を経線方向に移動させることに相当する。このため、縦方向のスワイプ操作が行われると、画像の縦方向の投影位置を調整するチルト調整（径方向位置調整）が実施される。
次に、全てのカメラ画像領域１２を一体的に調整する場合について説明する。図１０および図１１は、全てのカメラ画像領域１２を一体的に調整する場合のタッチ操作を示す説明図である。
本実施形態では、３本以上の指でタッチ操作が行われた場合に、全てのカメラ画像領域１２を調整対象として、全てのカメラ画像領域１２を一体的に調整することができる。
まず、図１０（Ａ−１）に示すように、画面に触れた３本以上の指を横方向（画面の左右方向）にスライドさせるスワイプ操作により、全てのカメラ画像領域１２を横方向に移動させるパン調整（水平方向位置調整）を行うことができる。このとき、横向きのカメラ１に関するカメラ画像領域１２の移動に応じて、上向きのカメラ１に関するカメラ画像領域１２に現れる像が横方向に移動する。
この場合、スワイプ操作を大きく行うことで、横向きのカメラ１に関するカメラ画像領域１２が循環するように表示される。これにより、例えば、図１０（Ａ−１）に示す状態では左右の端に位置していたカメラ画像領域１２を、図１０（Ａ−２）に示すように、画面の中心に配置することができる。
また、図１０（Ｂ−１）に示すように、画面に触れた３本以上の指を縦方向（画面の上下方向）にスライドさせるスワイプ操作により、全てのカメラ画像領域１２を縦方向に移動させるチルト調整（垂直方向位置調整）を行うことができる。
この場合、スワイプ操作を大きく行うことで、カメラ画像領域１２が縦方向に循環するように表示される。これにより、例えば、図１０（Ｂ−１）に示す状態では画面の上端に位置していた上向きのカメラ１に関するカメラ画像領域１２を、図１０（Ｂ−２）に示すように、画面の中心に配置することができる。この場合、上向きのカメラ１に関するカメラ画像領域１２を挟んで、横向きのカメラ１に関するカメラ画像領域１２がそれぞれ２つに分割された状態で表示される。
また、図１１（Ａ）に示すように、画面に触れた３本以上の指を円を描くように動かす回転操作により、全てのカメラ画像領域１２を回転させるローリング調整（回転方向位置調整）を行うことができる。
また、図１１（Ｂ）に示すように、画面に触れた３本以上の指の間隔を広げたり狭めたりするように指を動かすピンチ操作（ピンチイン操作、ピンチアウト操作）により、全てのカメラ画像領域１２を拡大したり縮小したりするズーム調整（拡大縮小調整）を行うことができる。
次に、ユーザのタッチ操作に応じて画像処理装置３で行われる処理の手順について説明する。図１２、図１３および図１４は、ユーザのタッチ操作に応じて画像処理装置３で行われる処理の手順を示すフロー図である。
まず、タッチ操作判定部３３において、タッチ操作が検出されたか否かを判定する（ＳＴ１０１）。ここで、タッチ操作が検出された場合には（ＳＴ１０１でＹｅｓ）、視差補正を解除する（ＳＴ１０２）。そして、１本指による操作か否かを判定する（ＳＴ１０３）。
ここで、１本指による操作である場合には（ＳＴ１０３でＹｅｓ）、次に、操作対象が上向きのカメラ１に関するカメラ画像領域１２であるか否かを判定する（ＳＴ１０４）。
ここで、操作対象が上向きのカメラ１に関するカメラ画像領域１２でない、すなわち、操作対象が横向きのカメラ１に関するカメラ画像領域１２である場合には（ＳＴ１０４でＮｏ）、次に、横方向のスワイプ操作か否かを判定する（ＳＴ１０５）。ここで、横方向のスワイプ操作である場合には（ＳＴ１０５でＹｅｓ）、処理条件設定部３４において、指の動きに応じてパン調整（水平方向位置調整）を実施し、パンの制御パラメータを更新する（ＳＴ１０６）。
また、横方向のスワイプ操作でない場合には（ＳＴ１０５でＮｏ）、次に、縦方向のスワイプ操作か否かを判定する（ＳＴ１０７）。ここで、縦方向のスワイプ操作である場合には（ＳＴ１０７でＹｅｓ）、処理条件設定部３４において、指の動きに応じてチルト調整（垂直方向位置調整）を実施し、チルトの制御パラメータを更新する（ＳＴ１０８）。
一方、操作対象が上向きのカメラ１に関するカメラ画像領域１２である場合には（ＳＴ１０４でＹｅｓ）、次に、横方向のスワイプ操作か否かを判定する（ＳＴ１０９）。ここで、横方向のスワイプ操作である場合には（ＳＴ１０９でＹｅｓ）、処理条件設定部３４において、指の動きに応じてローリング調整（回転方向位置調整）を実施し、ローリングの制御パラメータを更新する（ＳＴ１１０）。
また、横方向のスワイプ操作でない場合には（ＳＴ１０９でＮｏ）、次に、縦方向のスワイプ操作か否かを判定する（ＳＴ１１１）。ここで、縦方向のスワイプ操作である場合には（ＳＴ１１１でＹｅｓ）、処理条件設定部３４において、指の動きに応じてチルト調整（垂直方向位置調整）を実施し、チルトの制御パラメータを更新する（ＳＴ１１２）。
一方、１本指による操作でない場合には（ＳＴ１０３でＮｏ）、次に、２本指による操作か否かを判定する（ＳＴ１１３）。
ここで、２本指による操作である場合には（ＳＴ１１３でＹｅｓ）、次に、回転操作か否かを判定する（ＳＴ１１４）。ここで、回転操作である場合には（ＳＴ１１４でＹｅｓ）、処理条件設定部３４において、指の動きに応じてローリング調整（回転方向位置調整）を実施し、ローリングの制御パラメータを更新する（ＳＴ１１５）。
また、回転操作でない場合には（ＳＴ１１４でＮｏ）、次に、ピンチ操作か否かを判定する（ＳＴ１１６）。ここで、ピンチ操作である場合には（ＳＴ１１６でＹｅｓ）、処理条件設定部３４において、指の動きに応じてズーム調整（拡大縮小調整）を実施し、ズームの制御パラメータを更新する（ＳＴ１１７）。
一方、２本指による操作でない場合には（ＳＴ１１３でＮｏ）、３本以上の指による操作と判断して、次に、横方向のスワイプ操作か否かを判定する（ＳＴ１１８）。ここで、横方向のスワイプ操作である場合には（ＳＴ１１８でＹｅｓ）、処理条件設定部３４において、指の動きに応じてパン調整（水平方向位置調整）を実施し、パンの制御パラメータを更新する（ＳＴ１１９）。
また、横方向のスワイプ操作でない場合には（ＳＴ１１８でＮｏ）、次に、縦方向のスワイプ操作か否かを判定する（ＳＴ１２０）。ここで、縦方向のスワイプ操作である場合には（ＳＴ１２０でＹｅｓ）、処理条件設定部３４において、指の動きに応じてチルト調整（垂直方向位置調整）を実施し、チルトの制御パラメータを更新する（ＳＴ１２１）。
一方、縦方向のスワイプ操作でない場合には（ＳＴ１２０でＮｏ）、次に、回転操作か否かを判定する（ＳＴ１２２）。ここで、回転操作である場合には（ＳＴ１２２でＹｅｓ）、処理条件設定部３４において、指の動きに応じてローリング調整（回転方向位置調整）を実施し、ローリングの制御パラメータを更新する（ＳＴ１２３）。
また、回転操作でない場合には（ＳＴ１２２でＮｏ）、次に、ピンチ操作か否かを判定する（ＳＴ１２４）。ここで、ピンチ操作である場合には（ＳＴ１２４でＹｅｓ）、処理条件設定部３４において、指の動きに応じてズーム調整（拡大縮小調整）を実施し、ズームの制御パラメータを更新する（ＳＴ１２５）。
このようにして、ユーザのタッチ操作に応じて、パン、チルト、ローリング、ズームの制御パラメータが更新されると、スティッチング処理部３１のパノラマ画像生成部４２において、更新された制御パラメータに基づいてパノラマ画像を生成する処理を行い、次に、画像合成部４５において、パノラマ画像を合成する処理を行い、ここで生成した合成画像をプレビュー表示画面に表示する（ＳＴ１２６）。
次に、調整対象となるカメラ画像領域１２の視認性を向上させる画像処理について説明する。図１５は、調整対象となるカメラ画像領域１２の視認性を向上させる画像処理を説明する説明図である。
本実施形態では、画像合成部４５において、合成画像１１において調整対象外のカメラ画像領域１２の色合いを初期の色合いから変更して、調整対象となるカメラ画像領域１２を際立たせる視認性向上の画像処理が行われる。特に本実施形態では、調整対象外のカメラ画像領域１２に対して少なくとも輝度を変更する画像処理が行われる。図１５に示す例では、調整対象外のカメラ画像領域１２に対して輝度を下げる画像処理が行われ、調整対象外のカメラ画像領域１２がグレーアウトで暗く表示されている。
これにより、合成画像１１を表示するプレビュー表示画面において、調整対象となるカメラ画像領域１２が目立つようになり、調整対象となるカメラ画像領域１２をユーザが直感的に把握することができる。
次に、調整対象となるカメラ画像領域１２のジャストフィット状態をユーザに認識させる制御について説明する。図１６は、調整対象となるカメラ画像領域１２のジャストフィット状態をユーザに認識させる制御を説明する説明図である。
本実施形態では、プレビュー表示画面でカメラ画像領域１２を調整するタッチ操作が行われると、そのタッチ操作に応じて、スティッチング処理部３１の処理条件（パノラマ画像生成に関する制御パラメータ）が定期的に更新され、これに応じて合成元画像が更新されて、その合成元画像を合成した合成画像がスティッチング処理部３１から定期的に出力される。これにより、プレビュー表示画面では合成画像が動画で表示され、このとき、操作対象となるカメラ画像領域１２が指の動きに連動して変化するアニメーションが実行される。
また、本実施形態では、ジャストフィット検知部４６において、操作対象となるカメラ画像領域１２とこれに隣り合うカメラ画像領域１２との間における繋ぎ目部分の整合性が高いジャストフィット状態を検知する。そして、ジャストフィット検知部４６でジャストフィット状態が検知されると、操作対象となるカメラ画像領域１２のアニメーション、すなわち、指の動きに連動するカメラ画像領域１２の動きを停止する。
このとき、画像合成部４５では、ジャストフィット状態が検知されたタイミングで取得した合成元画像（パノラマ画像）に基づく合成画像を所定の範囲で継続して出力する。これにより、プレビュー表示画面において、操作対象となるカメラ画像領域１２が、指の動きに連動せずに静止した状態で表示される。
また、アニメーションの停止は所定の範囲で行われ、その範囲外となると、アニメーションの停止を解除する。この場合、アニメーションの停止を解除するタイミングを距離で規定することができる。すなわち、ジャストフィット状態の位置からタッチ位置までの距離が所定の距離より大きくなると、アニメーションの停止を解除する。また、アニメーションの停止を解除するタイミングを時間で規定することができる。すなわち、ジャストフィット状態が検知されてから所定の時間（例えば１秒間）が経過すると、アニメーションの停止を解除する。
図１６に示す例は、画面に触れた１本の指を縦方向（画像の上下方向）にスライドさせるスワイプ操作を行う場合である。図１６（Ａ）に示すように、指を動かすと、指の動きに応じて操作対象となるカメラ画像領域１２が縦方向に移動する。そして、図１６（Ｂ）に示すタイミングで、ジャストフィット状態が検知されると、図１６（Ｃ）に示すように、指をさらに動かしても、操作対象となるカメラ画像領域１２は静止したままである。そして、図１６（Ｄ）に示すように、指をさらに動かすと、指の動きに応じて操作対象となるカメラ画像領域１２が縦方向に移動する。
このように本実施形態では、調整対象となるカメラ画像領域１２のジャストフィット状態が検知されると、そのカメラ画像領域１２のアニメーションが停止するため、ジャストフィット状態をユーザが直感的に把握することができ、調整操作を迅速に行うことができる。
なお、本実施形態では、操作対象となるカメラ画像領域１２のアニメーションを停止することで、ジャストフィット状態をユーザに認識させるようにしたが、ジャストフィット状態をユーザに認識させる方法はこれに限定されるものではない。例えば、ジャストフィットのタイミングで、カメラ画像領域１２をフラッシュ（点滅）させるようにしてもよい。また、ジャストフィットのタイミングで、カメラ画像領域１２を取り囲む枠線を表示するようにしてもよい。
次に、カメラ画像領域１２の色合いおよび明るさを調整する際のタッチ操作について説明する。図１７は、カメラ画像領域１２の色合いおよび明るさを調整する際のタッチ操作を示す説明図である。
本実施形態では、２本の指で２つのカメラ画像領域１２に対して同時にタッチ操作が行われた場合に、そのタッチ操作が行われた２つのカメラ画像領域１２を調整対象として、その２つのカメラ画像領域１２間の画像調整が画像調整部３５で行われる。
特に本実施形態では、タッチ操作が行われた２つのカメラ画像領域１２におけるタッチ領域７１（タッチ位置を中心とした所定の範囲）の色合いおよび明るさが一致するように画像調整が行われる。図１７に示す例では、２つのカメラ画像領域１２における空の色合いおよび明るさが一致するように、２つのカメラ画像領域１２における空の領域でタッチ操作が行われている。
これにより、２つのカメラ画像領域１２同士で、本来であれば色合いや明るさが一致すべき領域で、明るさや色合いに差異が生じている場合に、その領域でタッチ操作を行うことで、２つのカメラ画像領域１２の色合いや明るさを簡単に一致させることができる。
この画像調整では、調整対象となる２つのカメラ画像領域１２におけるタッチ領域の色合いおよび明るさに関する情報を取得し、この情報に基づいて、２つのカメラ画像領域１２におけるタッチ領域の色合いおよび明るさが一致するように、２つのカメラ画像領域１２の撮像元のカメラ１が制御される。
このとき、２つのカメラ画像領域１２におけるタッチ領域の色合いおよび明るさが一致するように、カメラ１の撮像条件、すなわち、色合いおよび明るさに関する制御パラメータを調整する。具体的には、色合い（ホワイトバランス）に関する制御パラメータとして、信号処理部２３におけるホワイトバランスゲイン値を調整する。また、明るさ（露出）に関する制御パラメータとして、イメージセンサ部２２におけるシャッタ値（シャッタ速度）およびセンサゲイン値、ならびに信号処理部２３におけるデジタルゲイン値を調整する。
なお、本実施形態では、２本の指で２つのカメラ画像領域１２に対して同時にタッチ操作を行うことで、２つのカメラ画像領域１２の画像調整を行うようにしたが、３本以上の指で３つ以上のカメラ画像領域１２に対して同時にタッチ操作を行えば、３つ以上のカメラ画像領域１２の画像調整を行うことができる。また、本実施形態では、色合いおよび明るさの両方が一致するように制御したが、色合いおよび明るさのいずれか一方、例えば色合いのみが一致するように制御してもよい。
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
例えば、前記の実施形態では、複数のカメラを備えたカメラユニットと別に設けられた画像処理装置（ＰＣを含む）で、画像合成処理などを行って合成画像を出力するようにしたが、画像処理装置を内蔵するカメラユニット（撮像装置）として構成することもできる。
また、前記の実施形態では、上向きのカメラおよび横向きのカメラを備えた構成としたが、上向きのカメラの代わりに下向きのカメラを備えた構成としてもよい。また、上向きのカメラおよび下向きのカメラの両方を備えた構成としてもよい。
また、前記の実施形態では、プレビュー表示画面を表示する際に、プレビュー出力切換部において、入力された合成元画像（パノラマ画像）を画像合成部に出力して、合成元画像を視差補正部に入力しないようにしたが、合成元画像を視差補正部に入力した上で、視差補正量を０とすることで、実質的に視差補正処理を行わないようにしてもよい。
また、前記の実施形態では、通常の合成画像を生成する画像処理装置において、合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーションを実施するようにしたが、キャリブレーション専用の装置として構成し、また、情報処理装置にキャリブレーション専用のプログラムをインストールして、キャリブレーションを実施するようにしてもよい。
本発明に係る画像処理装置及びこれを備えた撮像システムならびにキャリブレーション方法は、合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーションのための調整作業をユーザが手際よく行うことができる効果を有し、複数のカメラごとの画像に対して画像合成処理を行って合成画像を出力する画像処理装置及びこれを備えた撮像システム、ならびに合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーション方法などとして有用である。
１ カメラ
２ カメラユニット
３ 画像処理装置
４ 表示入力装置
１１ 合成画像
１２ カメラ画像領域
３１ スティッチング処理部（画像処理部）
３２ 画面生成部
３３ タッチ操作判定部
３４ 処理条件設定部
３５ 画像調整部
４１ 視差補正量算出部
４２ パノラマ画像生成部
４３ プレビュー出力切換部
４４ 視差補正部
４５ 画像合成部
４６ ジャストフィット検知部

Claims (14)

  1. 複数のカメラごとの画像に対して画像合成処理を行って合成画像を出力する画像処理装置であって、
    予め設定された処理条件に基づいて、前記カメラごとの撮像画像からそれぞれ複数の合成元画像を生成して、その複数の合成元画像に対して画像合成処理を行って、プレビュー用の合成画像を生成する画像処理部と、
    前記プレビュー用の合成画像を表示するプレビュー表示画面を生成して表示入力装置に出力する画面生成部と、
    前記表示入力装置に表示された前記プレビュー表示画面上でユーザが行ったタッチ操作の検出結果に基づいて、前記プレビュー用の合成画像における調整対象となるカメラ画像領域を判定するとともに、タッチ操作の操作形態に応じた調整項目を判定するタッチ操作判定部と、
    このタッチ操作判定部の判定結果に基づいて、前記調整対象となるカメラ画像領域に関する暫定的な処理条件を設定する処理条件設定部と、
    を備え、
    前記画像処理部は、前記暫定的な処理条件に基づいて、前記調整対象となるカメラ画像領域に対応する前記カメラの撮像画像から合成元画像を生成して、この合成元画像に対して前記画像合成処理を行って前記プレビュー用の合成画像を更新することを特徴とする画像処理装置。
  2. 前記タッチ操作判定部は、１本又は２本の指でタッチ操作が行われた場合には、タッチ操作が行われた１つの前記カメラ画像領域を調整対象とし、３本以上の指でタッチ操作が行われた場合には、全ての前記カメラ画像領域を調整対象とすることを特徴とする請求項１に記載の画像処理装置。
  3. さらに、２つの前記カメラ画像領域間の画像調整を行う画像調整部を備え、
    前記タッチ操作判定部は、タッチ操作の操作形態が、２本の指による異なる前記カメラ画像領域に対するタッチ操作である場合には、そのタッチ操作が行われた２つのカメラ画像領域間の画像調整を行うものとすることを特徴とする請求項２に記載の画像処理装置。
  4. 前記タッチ操作判定部は、１本又は２本の指でタッチ操作が行われた場合に、そのタッチ操作が行われた１つの前記カメラ画像領域を調整対象として、タッチ操作の操作形態に応じた調整項目を判定することを特徴とする請求項１に記載の画像処理装置。
  5. 前記タッチ操作判定部は、タッチ操作の操作形態が、１本の指による横方向のスワイプ操作である場合には、１つの前記カメラ画像領域を調整対象としてパン調整を行うものとし、タッチ操作の操作形態が、１本の指による縦方向のスワイプ操作である場合には、１つの前記カメラ画像領域を調整対象としてチルト調整を行うものとし、タッチ操作の操作形態が、２本の指による回転操作である場合には、１つの前記カメラ画像領域を調整対象としてローリング調整を行うものとし、タッチ操作の操作形態が、２本の指によるピンチ操作である場合には、１つの前記カメラ画像領域を調整対象としてズーム調整を行うものとすることを特徴とする請求項４に記載の画像処理装置。
  6. 前記画像処理部は、前記プレビュー用の合成画像における調整対象外の前記カメラ画像領域の色合いを初期の色合いから変更する画像処理を行うことを特徴とする請求項１に記載の画像処理装置。
  7. 前記画像処理部は、前記調整対象外のカメラ画像領域に対して少なくとも輝度を変更する画像処理を行うことを特徴とする請求項６に記載の画像処理装置。
  8. 前記タッチ操作判定部は、３本以上の指でタッチ操作が行われる場合に、全ての前記カメラ画像領域を調整対象として、タッチ操作の操作形態に応じた調整項目を判定することを特徴とする請求項１に記載の画像処理装置。
  9. 前記タッチ操作判定部は、タッチ操作の操作形態が、３本以上の指による横方向のスワイプ操作である場合には、全ての前記カメラ画像領域を調整対象としてパン調整を行うものとし、タッチ操作の操作形態が、３本以上の指による縦方向のスワイプ操作である場合には、全ての前記カメラ画像領域を調整対象としてチルト調整を行うものとし、タッチ操作の操作形態が、３本以上の指による回転操作である場合には、全ての前記カメラ画像領域を調整対象としてローリング調整を行うものとし、タッチ操作の操作形態が、３本以上の指によるピンチ操作である場合には、全ての前記カメラ画像領域を調整対象としてズーム調整を行うものとすることを特徴とする請求項８に記載の画像処理装置。
  10. さらに、前記プレビュー用の合成画像において調整対象となる前記カメラ画像領域とこれに隣り合う前記カメラ画像領域と間の繋ぎ目部分の整合性が高いジャストフィット状態を検知するジャストフィット検知部を備え、
    前記画像処理部は、前記ジャストフィット検知部でジャストフィット状態が検知されると、そのタイミングでの前記プレビュー用の合成画像を所定の範囲で継続して出力することを特徴とする請求項１に記載の画像処理装置。
  11. さらに、２つの前記カメラ画像領域間の画像調整を行う画像調整部を備え、
    この画像調整部は、２つの前記カメラ画像領域に対して同時にタッチ操作が行われた場合に、その２つのカメラ画像領域におけるタッチ領域の色合いおよび明るさの少なくともいずれかが一致するように画像調整を行うことを特徴とする請求項１に記載の画像処理装置。
  12. 前記画像処理部は、通常時には、前記画像合成処理の前段で前記合成元画像に対して視差補正処理を行い、前記プレビュー表示画面を表示する際には、前記合成元画像に対して前記視差補正処理を行わないことを特徴とする請求項１に記載の画像処理装置。
  13. 請求項１から請求項１２のいずれかに記載の前記画像処理装置と、前記複数のカメラと、前記表示入力装置とを備えた撮像システム。
  14. 複数のカメラごとの画像に対して画像合成処理を行って生成した合成画像におけるカメラ画像領域間の整合性を確保するキャリブレーション方法であって、
    予め設定された処理条件に基づいて、前記カメラごとの撮像画像からそれぞれ複数の合成元画像を生成して、その複数の合成元画像に対して画像合成処理を行って、プレビュー用の合成画像を生成し、
    このプレビュー用の合成画像を表示するプレビュー表示画面を生成して表示入力装置に出力し、
    前記表示入力装置に表示された前記プレビュー表示画面上でユーザが行ったタッチ操作の検出結果に基づいて、前記プレビュー用の合成画像における調整対象となるカメラ画像領域を判定するとともに、タッチ操作の操作形態に応じた調整項目を判定し、
    この判定結果に基づいて、前記調整対象となるカメラ画像領域に関する暫定的な処理条件を設定し、
    この暫定的な処理条件に基づいて、前記調整対象となるカメラ画像領域に対応する前記カメラの撮像画像から合成元画像を生成して、この合成元画像に対して前記画像合成処理を行って前記プレビュー用の合成画像を更新することを特徴とするキャリブレーション方法。
JP2016087443A 2016-04-25 2016-04-25 画像処理装置及びこれを備えた撮像システムならびにキャリブレーション方法 Active JP6323729B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016087443A JP6323729B2 (ja) 2016-04-25 2016-04-25 画像処理装置及びこれを備えた撮像システムならびにキャリブレーション方法
PCT/JP2017/014327 WO2017187923A1 (ja) 2016-04-25 2017-04-06 画像処理装置及びこれを備えた撮像システムならびにキャリブレーション方法
US16/088,697 US10872395B2 (en) 2016-04-25 2017-04-06 Image processing device, imaging system provided therewith, and calibration method
US16/952,827 US20210073942A1 (en) 2016-04-25 2020-11-19 Image processing device, imaging system provided therewith, and calibration method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016087443A JP6323729B2 (ja) 2016-04-25 2016-04-25 画像処理装置及びこれを備えた撮像システムならびにキャリブレーション方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018059322A Division JP2018137786A (ja) 2018-03-27 2018-03-27 画像処理装置及びこれを備えた撮像システムならびにキャリブレーション方法

Publications (3)

Publication Number Publication Date
JP2017199982A true JP2017199982A (ja) 2017-11-02
JP2017199982A5 JP2017199982A5 (ja) 2018-03-29
JP6323729B2 JP6323729B2 (ja) 2018-05-16

Family

ID=60161597

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016087443A Active JP6323729B2 (ja) 2016-04-25 2016-04-25 画像処理装置及びこれを備えた撮像システムならびにキャリブレーション方法

Country Status (3)

Country Link
US (2) US10872395B2 (ja)
JP (1) JP6323729B2 (ja)
WO (1) WO2017187923A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020039605A1 (ja) * 2018-08-20 2020-02-27 コニカミノルタ株式会社 ガス検出装置、情報処理装置およびプログラム
CN110995982A (zh) * 2018-10-03 2020-04-10 佳能株式会社 图像处理装置及其控制方法、摄像装置、以及记录介质
WO2020241038A1 (ja) * 2019-05-27 2020-12-03 ソニー株式会社 構図制御装置、構図制御方法、プログラム
JP2021514593A (ja) * 2018-02-22 2021-06-10 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ パノラマ画像の生成

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AR106558A1 (es) 2015-11-03 2018-01-24 Spraying Systems Co Aparato y método de secado por pulverización
US9912860B2 (en) 2016-06-12 2018-03-06 Apple Inc. User interface for camera effects
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US10674072B1 (en) 2019-05-06 2020-06-02 Apple Inc. User interfaces for capturing and managing visual media
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
CN113965743A (zh) * 2020-07-21 2022-01-21 珠海格力电器股份有限公司 一种图像拍摄方法和装置及电子设备
US11212449B1 (en) * 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
US11394851B1 (en) * 2021-03-05 2022-07-19 Toshiba Tec Kabushiki Kaisha Information processing apparatus and display method
CN113032217B (zh) * 2021-03-26 2023-03-10 山东英信计算机技术有限公司 一种集群监控方法及相关装置
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US12112024B2 (en) 2021-06-01 2024-10-08 Apple Inc. User interfaces for managing media styles

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008070968A (ja) * 2006-09-12 2008-03-27 Funai Electric Co Ltd 表示処理装置
WO2012160833A1 (ja) * 2011-05-26 2012-11-29 パナソニック株式会社 電子機器および合成画像の編集方法
JP2014147057A (ja) * 2013-01-30 2014-08-14 Fujitsu Ten Ltd 画像処理装置および画像処理方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6324545B1 (en) * 1997-10-15 2001-11-27 Colordesk Ltd. Personalized photo album
US7663607B2 (en) * 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
US8416217B1 (en) * 2002-11-04 2013-04-09 Neonode Inc. Light-based finger gesture user interface
US7260258B2 (en) * 2003-06-12 2007-08-21 Fuji Xerox Co., Ltd. Methods for multisource color normalization
WO2009105544A2 (en) * 2008-02-19 2009-08-27 The Board Of Trustees Of The University Of Illinois Large format high resolution interactive display
JP2010050842A (ja) 2008-08-22 2010-03-04 Sony Taiwan Ltd マルチレンズカメラシステムのための高度な動的スティッチング方法
US8677282B2 (en) * 2009-05-13 2014-03-18 International Business Machines Corporation Multi-finger touch adaptations for medical imaging systems
NO332170B1 (no) * 2009-10-14 2012-07-16 Cisco Systems Int Sarl Anordning og fremgangsmate for kamerakontroll
US20110195781A1 (en) * 2010-02-05 2011-08-11 Microsoft Corporation Multi-touch mouse in gaming applications
US8490002B2 (en) * 2010-02-11 2013-07-16 Apple Inc. Projected display shared workspaces
US8489065B2 (en) * 2011-05-03 2013-07-16 Robert M Green Mobile device controller application for any security system
EP2759921B1 (en) * 2013-01-25 2020-09-23 Morpho, Inc. Image display apparatus, image displaying method and program
US20150277705A1 (en) * 2014-03-25 2015-10-01 Youlapse Oy Graphical user interface user input technique for choosing and combining digital images as video

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008070968A (ja) * 2006-09-12 2008-03-27 Funai Electric Co Ltd 表示処理装置
WO2012160833A1 (ja) * 2011-05-26 2012-11-29 パナソニック株式会社 電子機器および合成画像の編集方法
JP2014147057A (ja) * 2013-01-30 2014-08-14 Fujitsu Ten Ltd 画像処理装置および画像処理方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021514593A (ja) * 2018-02-22 2021-06-10 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ パノラマ画像の生成
US11310420B2 (en) 2018-02-22 2022-04-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Generating panoramic images
JP7109559B2 (ja) 2018-02-22 2022-07-29 フラウンホッファー－ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ パノラマ画像の生成
WO2020039605A1 (ja) * 2018-08-20 2020-02-27 コニカミノルタ株式会社 ガス検出装置、情報処理装置およびプログラム
US11012656B2 (en) 2018-08-20 2021-05-18 Konica Minolta, Inc. Gas detection device, information processing device, and program
CN110995982A (zh) * 2018-10-03 2020-04-10 佳能株式会社 图像处理装置及其控制方法、摄像装置、以及记录介质
US11301955B2 (en) 2018-10-03 2022-04-12 Canon Kabushiki Kaisha Image processing apparatus, imaging apparatus, method for controlling image processing apparatus and recording medium
WO2020241038A1 (ja) * 2019-05-27 2020-12-03 ソニー株式会社 構図制御装置、構図制御方法、プログラム
JPWO2020241038A1 (ja) * 2019-05-27 2020-12-03
JP7384200B2 (ja) 2019-05-27 2023-11-21 ソニーグループ株式会社 構図制御装置、構図制御方法、プログラム
US11991450B2 (en) 2019-05-27 2024-05-21 Sony Group Corporation Composition control device, composition control method, and program

Also Published As

Publication number Publication date
JP6323729B2 (ja) 2018-05-16
US20190114740A1 (en) 2019-04-18
WO2017187923A1 (ja) 2017-11-02
US10872395B2 (en) 2020-12-22
US20210073942A1 (en) 2021-03-11

Similar Documents

Publication Publication Date Title
JP6323729B2 (ja) 画像処理装置及びこれを備えた撮像システムならびにキャリブレーション方法
JP5865941B2 (ja) 撮影装置、携帯型情報処理端末、撮影装置のモニタ表示方法およびプログラム
WO2014064783A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
CN111316629B (zh) 图像处理装置和方法、成像装置和程序
JP2013236215A (ja) 表示映像形成装置及び表示映像形成方法
JP2004056779A (ja) 画像入力装置
JP6253030B2 (ja) 画像処理装置、撮像装置および画像処理方法
US11416978B2 (en) Image processing apparatus, control method and non-transitory computer-readable recording medium therefor
JP2003134375A (ja) 画像撮影システム
JP5492651B2 (ja) 撮影装置、パノラマ撮影方法
US8731327B2 (en) Image processing system and image processing method
JP2018186514A (ja) 画像処理装置及びこれを備えた撮像システムならびに画像処理方法
JP2024513783A (ja) カメラの制御方法
JP6708407B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6541501B2 (ja) 画像処理装置、撮像装置、及び画像処理方法
JP2018137786A (ja) 画像処理装置及びこれを備えた撮像システムならびにキャリブレーション方法
WO2018087856A1 (ja) 映像合成装置及び映像合成方法
US11830177B2 (en) Image processing apparatus, control method and non-transitory computer-readable recording medium therefor
JP6323739B2 (ja) 画像処理システム、画像処理装置および画像処理方法
JP2002112094A (ja) パノラマプロジェクタ装置およびパノラマ撮影装置
JP2016096482A (ja) 画像処理装置、画像処理方法、及びプログラム
JP6664082B2 (ja) 画像処理システム、画像処理装置および画像処理方法
JP2014086097A (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
JP2009258862A (ja) 映像表示装置及び映像表示方法
JP2022066711A (ja) 広視野映像撮影支援装置およびそのプログラム、ならびに、広視野映像撮影システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171121

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180328

R151 Written notification of patent or utility model registration

Ref document number: 6323729

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151