WO2018092379A1 - 画像処理装置と画像処理方法 - Google Patents

画像処理装置と画像処理方法 Download PDF

Info

Publication number
WO2018092379A1
WO2018092379A1 PCT/JP2017/030720 JP2017030720W WO2018092379A1 WO 2018092379 A1 WO2018092379 A1 WO 2018092379A1 JP 2017030720 W JP2017030720 W JP 2017030720W WO 2018092379 A1 WO2018092379 A1 WO 2018092379A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
fusion
angle
unit
quality
Prior art date
Application number
PCT/JP2017/030720
Other languages
English (en)
French (fr)
Inventor
英之 市橋
真史 内田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/333,825 priority Critical patent/US10957029B2/en
Priority to JP2018551041A priority patent/JP7047767B2/ja
Priority to DE112017005807.4T priority patent/DE112017005807T5/de
Priority to CN201780069819.5A priority patent/CN109937568B/zh
Publication of WO2018092379A1 publication Critical patent/WO2018092379A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Definitions

  • This technique relates to an image processing apparatus and an image processing method, and enables generation of a high-resolution captured image with a wide angle of view without using a captured image having a different angle of view and resolution without reducing image quality.
  • an information processing terminal such as a portable electronic device such as a smartphone
  • the image quality of an imaging unit is lower than that of a single-lens reflex camera or the like due to downsizing and thinning.
  • a plurality of imaging units are provided to simultaneously generate a plurality of images with different image quality, for example, a first field angle and a second field angle narrower than the first field angle. Is disclosed.
  • an object of the present technology is to provide an image processing apparatus and an image processing method capable of generating a high-quality captured image with a wide angle of view using a plurality of captured images having different angles of view and image quality without reducing the image quality. To do.
  • the first aspect of this technology is Warping based on the high-quality image is performed on a wide-angle image having a lower image quality and a wider angle of view than the high-quality image, and the high-quality image and the wide-angle image after warping are image overlap regions
  • the image processing apparatus includes a fusion processing unit that performs high-quality image reference fusion processing for generating a fusion image by matching the positions of the two.
  • the fusion processing unit performs high-quality image reference fusion processing.
  • the fusion processing unit warps a wide-angle image having a lower image quality and a wider angle of view than the high-quality image with reference to the high-quality image. Warping is performed based on the disparity information about the high-quality image and the wide-angle image, and the disparity information of the image non-overlapping region that is not included in the high-quality image in the wide-angle image uses the disparity information of the image overlapping region. To interpolate.
  • the fusion processing unit generates a fusion image by matching the position of the image overlap area between the high-quality image having a higher image quality than the wide-angle image and the warped wide-angle image.
  • the fusion processing unit performs high-quality image reference fusion processing when the predetermined condition is satisfied based on the determination result of the determination unit, and performs wide-angle image reference fusion processing when the predetermined condition is not satisfied.
  • wide-angle image reference fusion processing warping is performed using high-quality images as a reference, and high-quality images after warping and wide-angle images that have not been warped are positioned in the image overlap area. Are matched to generate a fusion image.
  • the determination unit sets a predetermined condition that, for example, a subject distance determined based on parallax information for a subject located in an image non-overlapping region that is not included in a high-quality image in a wide-angle image is longer than a determination threshold.
  • the determination unit sets, as a predetermined condition, that the luminance difference of the average luminance in an image region within a predetermined range from the boundary between the image overlap region and the non-image overlap region is equal to or less than a determination threshold.
  • the fusion processing unit performs a narrow angle fusion process.
  • the fusion processing unit warps on the basis of the high-quality image using the wide-angle image, and matches the position of the image overlap area between the high-quality image and the wide-angle image after warping. A fusion image is generated.
  • the fusion processing unit When the fusion processing unit generates a fusion image in which the high-quality image and the wide-angle image are moving images and the angle of view of the wide-angle image, the fusion processing unit generates a high-quality image reference fusion process or a wide-angle image based on the determination result of the determination unit Perform reference fusion processing. When the high-quality image and the wide-angle image are still images, the fusion processing unit performs a high-quality image reference fusion process, a wide-angle image reference fusion process, or a narrow-angle image fusion process. Based on the determination result of the determination unit, the fusion processing unit performs the wide-angle image reference fusion process or the narrow-field-angle fusion process when the predetermined condition is not satisfied.
  • the fusion processing unit determines that the mode selection for automatically setting the angle of view of the fusion image is performed in the determination unit when the predetermined condition is not satisfied, the narrow angle of view fusion processing is performed. I do.
  • the determination unit determines the user selection operation of the fusion processing, and the fusion processing unit determines whether or not the predetermined condition is satisfied when the determination unit determines that the narrow angle of view fusion processing is selected. First, narrow-angle fusion processing is performed.
  • the second aspect of this technology is Warping based on the high-quality image is performed on a wide-angle image having a lower image quality and a wider angle of view than the high-quality image, and the high-quality image and the wide-angle image after warping are image overlap regions
  • the fusion processing unit performs high-quality image reference fusion processing for generating a fusion image by matching the positions of the two.
  • warping is based on a high-quality image with respect to a wide-angle image having a lower image quality and a wider angle of view than a high-quality image, and a high-quality image having a higher image quality than a wide-angle image.
  • the fusion image is generated by performing a process of combining the warped wide-angle image with the positions of the image overlapping regions being matched. Accordingly, it is possible to generate a high-quality captured image with a wide angle of view by using a plurality of captured images having different image angles and image quality without reducing the image quality. Note that the effects described in the present specification are merely examples and are not limited, and may have additional effects.
  • FIG. 1 exemplifies the appearance of a device to which the image processing apparatus of this technique is applied.
  • FIG. 1 exemplifies the appearance of a device to which the image processing apparatus of this technique is applied.
  • an image processing apparatus is applied to an information processing terminal.
  • FIG. 1A shows the front side of the information processing terminal 10, and a display unit 53, a touch panel 54, and an operation unit 55 are provided on the front side.
  • FIG. 1B shows the back side of the information processing terminal 10, and a plurality of imaging units, for example, two imaging units 21-H and 21-W are provided on the back side.
  • FIG. 2 illustrates the configuration of the information processing terminal.
  • the information processing terminal 10 includes a plurality of imaging units, for example, two imaging units 21-H and 21-W, an image processing unit 30, a sensor unit 51, a communication unit 52, a display unit 53, a touch panel 54, an operation unit 55, and a storage unit 56. And a control unit 60.
  • the image processing unit 30 corresponds to an image processing device of this technology.
  • the imaging units 21-H and 21-W are provided on the same surface side of the information processing terminal 10 as shown in FIG.
  • the imaging units 21-H and 21-W are configured using an imaging element such as a CMOS (Complementary Metal Oxide Semiconductor) image sensor, and perform photoelectric conversion of light captured by a lens (not shown) to capture an image.
  • the image data of the image is generated and output to the image processing unit 30.
  • the imaging units 21-H and 21-W have characteristic differences, the imaging unit 21-H has higher image quality than the imaging unit 21-W, and the imaging unit 21-W is higher than the imaging unit 21-H. Has a wide angle of view.
  • FIG. 3 illustrates the pixel array of the imaging unit.
  • FIG. 3A shows a pixel array of the imaging unit 21-H.
  • all pixels are configured by W (white) pixels that output an electrical signal based on the amount of incident light in the entire wavelength region of visible light. Accordingly, the imaging unit 21-H generates image data of a monochrome captured image.
  • FIG. 3B shows a pixel array of the imaging unit 21-W.
  • the imaging unit 21-W is configured using, for example, a color filter in which red (R) pixels, blue (B) pixels, and green (G) pixels are arranged in a Bayer array.
  • the imaging unit 21-W is configured by color pixels that each pixel outputs an electrical signal based on the amount of incident light of any one of red, blue, and green color components. Accordingly, the imaging unit 21-W generates image data of a color captured image in which each pixel indicates one of the three primary color (RGB) components.
  • the image processing unit 30 performs image processing using a high-quality captured image generated by the imaging unit 21-H and a wide-angle captured image generated by the imaging unit 21-W, and performs a high-quality image with a wide angle of view.
  • the captured image is generated and output to the display unit 53 and the storage unit 56. Details of the configuration and operation of the image processing unit 30 will be described later.
  • the sensor unit 51 is configured by using a gyro sensor or the like, and detects shaking generated in the information processing terminal 10.
  • the sensor unit 51 outputs the detected shake information to the control unit 60.
  • the communication unit 52 communicates with devices on a network such as a LAN (Local Area Network) or the Internet.
  • a network such as a LAN (Local Area Network) or the Internet.
  • the display unit 53 displays a captured image based on the image data supplied from the image processing unit 30 and displays a menu screen and various application screens based on an information signal from the control unit 60.
  • a touch panel 54 is placed on the display surface side of the display unit 53 so that the GUI function can be used.
  • the operation unit 55 is configured by using an operation switch or the like, and generates an operation signal corresponding to a user operation and outputs the operation signal to the control unit 60.
  • the storage unit 56 stores information generated by the information processing terminal 10, for example, image data supplied from the image processing unit 30, and various types of information used for executing communication and applications in the information processing terminal 10.
  • the control unit 60 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory) (not shown), and the like.
  • the control unit 60 executes a program stored in the ROM or RAM, and controls the operation of each unit so that the operation according to the user operation on the touch panel 54 or the operation unit 55 is performed on the information processing terminal 10.
  • the information processing terminal 10 is not limited to the configuration shown in FIG. 2.
  • an encoding processing unit for encoding image data and storing it in the storage unit 56, a resolution conversion unit for matching the image data with the resolution of the display unit, etc. May be provided.
  • Embodiment of Image Processing Device> ⁇ 2-1. Configuration of Embodiment>
  • the image processing unit 30 performs fusion processing using the high-quality black-and-white captured image acquired by the imaging unit 21-H and the wide-angle color captured image acquired by the imaging unit 21-W.
  • the image processing unit 30 performs high-quality image reference fusion processing as fusion processing.
  • the image processing unit 30 sets a color image having a lower image quality and a wider angle of view than a monochrome image as a viewpoint of the monochrome image. Warping is performed, and a fusion image is generated by matching the positions of the image overlap areas of the black and white captured image and the color captured image after warping.
  • the image processing unit 30 performs high-quality image reference fusion processing, and an image overlapping region that is a subject region imaged by the imaging unit 21-H and the imaging unit 21-W is high according to the performance of the imaging unit 21-H. It is assumed that the image quality is set, and a fusion image whose angle of view is the angle of view of the imaging unit 21-W is generated.
  • FIG. 4 shows occlusion when a black and white captured image acquired by the imaging unit 21-H is used as a reference.
  • the occlusion occurs due to the parallax, there is no image data corresponding to the occlusion area in the color captured image acquired by the imaging unit 21-W.
  • the fusion image generated by the fusion processing based on the black and white captured image the color information is lost in the occlusion area, and the image quality of the fusion image is deteriorated as compared with the color captured image acquired by the imaging unit 21-W. There is a case.
  • the angle of view is different between the imaging unit 21-H and the imaging unit 21-W. Therefore, as shown in FIG. 5, in the captured image used for generating the fusion image, an image non-overlapping region (hereinafter referred to as a “frame region”) that is indicated only by a wide-angle color image captured by the imaging unit 21-W.
  • the black and white image Gbw-H and the color image Gcr-W have different luminance due to sensitivity difference or exposure difference between the image pickup unit 21-H and the image pickup unit 21-W, a fusion process based on the black and white image pickup image.
  • the boundary becomes conspicuous due to the luminance difference between the frame area ARa and the image overlap area ARb.
  • the image processing unit 30 determines whether the predetermined condition is satisfied and determines that the predetermined condition is satisfied, that is, when it is determined that the image quality is not deteriorated due to the subject distance, the luminance difference, or the like, Perform high-quality image reference fusion processing. Further, when the image processing unit 30 determines that the predetermined condition is not satisfied, that is, when it is determined that the image quality is deteriorated due to at least one of the subject distance and the luminance difference, the wide-angle image reference fusion processing is performed. I do.
  • the image processing unit 30 When performing the wide-angle image reference fusion process, the image processing unit 30 performs warping using a color image with a wide angle of view as a reference and a monochrome image with high image quality as a viewpoint of the color image, thereby performing color imaging.
  • the fusion image is generated by matching the positions of the image overlapping areas of the image and the warped monochrome captured image.
  • the image processing unit 30 performs such wide-angle image reference fusion processing to prevent image quality deterioration due to subject distance, luminance difference, and the like.
  • FIG. 6 illustrates the configuration of the embodiment.
  • the image processing unit 30 includes preprocessing units 31-H and 31-W, a fusion processing unit 32, and a determination unit 33.
  • the fusion processing unit 32 includes a parallax detection unit 321, a frame region interpolation unit 322, warping units 323-H and 323-W, and an image composition unit 324.
  • the determination unit 33 includes a distance measurement unit 331, a distance A determination unit 332, a luminance difference determination unit 333, and an integrated determination unit 334 are included.
  • the pre-processing unit 31-H performs correction processing such as lens distortion correction and defective pixel correction on the image data of the monochrome captured image acquired by the imaging unit 21-H.
  • the preprocessing unit 31-H outputs the corrected image data (hereinafter referred to as “monochrome image data”) to the fusion processing unit 32.
  • the pre-processing unit 31-W performs correction processing such as lens distortion correction and defective pixel correction on the image data of the color captured image acquired by the imaging unit 21-W.
  • the preprocessing unit 31-W performs demosaic processing using the image data after the correction processing. In the demosaic process, three primary color image data indicating each color component of red, blue, and green is generated for each pixel from imaging data in which each pixel indicates any one color component of red, blue, and green. Further, the preprocessing unit 31-W performs color space conversion of the three primary color image data, generates color image data including luminance data that is the same component as the color difference data and the monochrome image, and outputs the color image data to the fusion processing unit 32.
  • the parallax detection unit 321 of the fusion processing unit 32 performs parallax detection based on the black and white image data supplied from the preprocessing unit 31-H and the color image data supplied from the preprocessing unit 31-W, and detects the detected parallax.
  • the disparity information shown is generated. Since the imaging unit 21-H and the imaging unit 21-W perform imaging from different viewpoint positions as illustrated in FIG. 1B, the captured images acquired by the imaging unit 21-H and the imaging unit 21-W are The image has parallax. Therefore, the parallax detection unit 321 generates parallax information indicating the parallax for each pixel based on the image data supplied from the preprocessing unit 31-H and the preprocessing unit 31-W.
  • the parallax detection unit 321 performs parallax detection using black and white image data and color image data, and generates parallax information indicating the parallax between the black and white captured image and the color captured image.
  • the parallax detection unit 321 uses the black and white captured image or the color captured image as a reference based on the fusion determination information supplied from the determination unit 33 described later. For example, when the fusion determination information indicates that the fusion processing based on the color captured image (wide-angle image reference fusion processing) is performed, the parallax detection unit 321 uses the color captured image as the reference image. Is generated.
  • the parallax detection unit 321 performs the parallax information with the black and white captured image as the reference image when the fusion determination information indicates that the fusion processing with the black and white captured image as a reference (high quality image reference fusion processing) is performed. Generate.
  • the parallax detection unit 321 performs corresponding point detection processing such as block matching and generates parallax information. For example, the parallax detection unit 321 detects the block region on the other captured image that is most similar to the reference block region based on the target position on the reference captured image. In addition, the parallax detection unit 321 calculates a parallax vector indicating a difference in position between the detected block area and the reference block area.
  • the parallax detection unit 321 calculates a parallax vector with each pixel on the reference captured image as a target position, and generates parallax information indicating the calculated parallax vector for each pixel.
  • the parallax detection unit 321 outputs the generated parallax information to the frame region interpolation unit 322, the warping unit 323-H, and the determination unit 33.
  • the frame region interpolation unit 322 When the fusion determination information supplied from the determination unit 33 indicates that the frame region interpolation unit 322 performs the high-quality image reference fusion processing based on the black and white captured image, the frame region interpolation unit 322 performs the parallax information on the frame region by the interpolation processing. Generate. Since the color captured image has a wider angle of view than the monochrome captured image, the disparity information generated by the disparity detection unit 321 includes disparity information of the frame area that is not included in the monochrome captured image in the color captured image. Absent.
  • the frame area interpolation unit 322 performs the parallax information on the frame area by the interpolation process using the parallax information generated based on the black and white captured image so that the color captured image can be warped with the viewpoint of the black and white captured image. Is generated.
  • the warping unit 323-H warps the black and white captured image based on the fusion determination information from the determination unit 33.
  • the warping unit 323-H performs warping using the monochrome captured image as the viewpoint image of the color captured image.
  • the warping unit 323 -H generates black-and-white image data at the viewpoint of the color captured image from the black-and-white image data, and outputs the black-and-white image data to the image composition unit 324.
  • the warping unit 323 -H outputs the black and white image data before changing the viewpoint to the image composition unit 324.
  • the warping unit 323 -W warps a color image based on the fusion determination information from the determination unit 33.
  • the warping unit 323 -W performs warping that uses the color captured image as the viewpoint image of the monochrome captured image.
  • the warping unit 323 -W generates color image data of the viewpoint of the monochrome captured image from the color image data and outputs the color image data to the image composition unit 324.
  • the warping unit 323 -W outputs the color image data before changing the viewpoint to the image composition unit 324.
  • the image composition unit 324 composes a black and white image and a color image.
  • the image composition unit 324 matches the position of the image overlap area between the monochrome image data output from the warping unit 323-H and the color image data output from the warping unit 323-W, and then the monochrome image data and color image data.
  • the luminance image data at is synthesized.
  • the image synthesizing unit 324 outputs color image data composed of color difference data and synthesized luminance data as image data of a fusion image.
  • the determination unit 33 determines whether or not a predetermined condition regarding image quality degradation in the generation of a fusion image is satisfied, generates fusion determination information based on the determination result, and outputs the fusion determination information to the fusion processing unit 32. In addition, the determination unit 33 generates fusion determination information based on setting information corresponding to a user operation. For example, the determination unit 33 sets a predetermined condition that the subject distance determined based on the parallax information is longer than the determination threshold. The determination unit 33 sets a predetermined condition that, for example, the luminance difference between the high-quality image and the wide-angle image is equal to or less than a determination threshold.
  • the distance measurement unit 331 of the determination unit 33 generates distance measurement information of the subject.
  • the distance measuring unit 331 may be provided in the imaging unit 21-H or the imaging unit 21-W, or may be provided separately from the imaging unit.
  • the distance measurement unit 331 may generate distance measurement information using any one of a passive method and an active method.
  • the imaging unit uses an imaging element in which an image plane phase difference detection pixel is provided on an imaging surface.
  • the image plane phase difference detection pixels individually generate image signals of one image and the other image divided by pupil division.
  • the ranging unit detects the phase difference between one image and the other image using the image signal generated by the image plane phase difference detection pixel, and calculates the subject distance that is the distance to the subject based on the phase difference.
  • the distance measuring unit using the passive method is provided separately from the imaging unit, for example, the distance measuring unit is provided with a pair of line sensors separately from the imaging unit, and one image divided by pupil division and the other image Is imaged on a pair of line sensors.
  • the distance measuring unit detects a phase difference between the images formed on the pair of line sensors, and calculates a subject distance based on the phase difference.
  • the distance measuring unit 331 outputs light and radio waves, and measures a subject distance that is a distance to the subject based on the reflected light and radio waves.
  • the ranging unit 331 outputs ranging information indicating the subject distance to the distance determining unit 332.
  • the distance measuring unit 331 may generate a depth map indicating the depth of field for each pixel in the captured image and output the depth map to the distance determining unit 332 as distance measurement information.
  • the distance determination unit 332 determines a reference image in the fusion process based on the distance measurement information generated by the distance measurement unit 331.
  • the distance determination unit 332 determines that the reference image in generating the fusion image is a color captured image when the subject distance of the subject in the preset foreground detection area is equal to or less than the determination threshold, and the subject distance is greater than the determination threshold. If it is long, the reference image is determined as a black and white captured image. The foreground detection area will be described later.
  • the distance determination unit 332 outputs a reference image determination result based on the subject distance to the integrated determination unit 334.
  • the luminance difference determination unit 333 determines a reference image in the fusion process based on the black and white captured image output from the warping unit 323-H and the color captured image output from the warping unit 323-W.
  • the luminance difference determination unit 333 calculates, for example, a luminance average value in the luminance calculation region using the black-and-white captured image and the color captured image from the boundary with the frame region in the image overlap region as a luminance calculation region. Further, the luminance difference determination unit 333 determines that the reference image is a color captured image when the difference between the average luminance values calculated for the black-and-white captured image and the color captured image is larger than the determination threshold, and the difference between the average luminance values is determined. Is equal to or smaller than the determination threshold, the reference image is determined as a black and white captured image.
  • the luminance difference determination unit 333 outputs the reference image determination result based on the luminance difference to the integrated determination unit 334.
  • the integrated determination unit 334 determines what fusion processing is performed based on the reference image determination result of the distance determination unit 332 and the luminance difference determination unit 333 and the setting information corresponding to the user operation supplied from the control unit 60.
  • the integrated determination unit 334 determines whether to perform high-quality image reference fusion processing, wide-angle image reference fusion processing, or narrow-view angle fusion processing based on the reference image determination result or setting information.
  • the integrated determination unit 334 also determines whether to perform high-quality image reference fusion processing or wide-angle image reference fusion processing during motion imaging based on the reference image determination result.
  • narrow-angle fusion processing color imaging is used to perform warping on the basis of black-and-white captured images, and the black-and-white captured image and the color-captured image after warping are combined by matching the positions of the image overlap areas.
  • a fusion image that is the angle of view of the black and white captured image is generated.
  • the integrated determination unit 334 outputs fusion determination information indicating the determination result of the fusion process to the fusion processing unit 32. Therefore, the fusion processing unit 32 can generate a high-quality fusion image based on the determination result of the determination unit 33, that is, the fusion determination information, so that a high-quality image reference fusion process, a wide-angle image reference fusion process, or a narrow angle of view can be generated.
  • a fusion process is selectively performed.
  • FIG. 7 is a flowchart showing the operation of the embodiment of the image processing unit.
  • the image processing unit performs preprocessing.
  • the pre-processing units 31-H and 31-W of the image processing unit 30 acquire image data of captured images from the imaging units 21-H and 21-W, and perform correction processing such as lens distortion correction and defective pixel correction. .
  • the preprocessing unit 31-W performs demosaic processing, color space conversion processing, and the like using the image data of the color captured image acquired from the imaging unit 21-W, and the monochrome captured image acquired from the imaging unit 21-H. Color image data composed of luminance data and color difference data, which are equal components, is generated.
  • the preprocessing units 31-H and 31-W of the image processing unit 30 perform preprocessing using the image data of the black-and-white captured image and the color captured image, and proceed to step ST2.
  • step ST2 the image processing unit performs fusion processing determination.
  • the determination unit 33 of the image processing unit 30 performs high-quality image reference fusion processing, wide-angle image reference fusion processing, and narrow-view angle fusion processing based on the user's setting operation and the determination results of the distance determination unit and the luminance difference determination unit. It is determined which one is performed, and fusion determination information indicating the determination result is generated.
  • FIG. 8 is a flowchart showing the fusion process determination.
  • step ST11 the image processing unit acquires setting information.
  • the determination unit 33 of the image processing unit 30 acquires setting information according to a user operation from the control unit 60, for example, information indicating whether to generate a moving image or a still image, information indicating a fusion image generation mode, and the like. Proceed to step ST12.
  • step ST12 the image processing unit performs reference image determination based on the distance.
  • 9 and 10 are diagrams for explaining reference image determination based on distance.
  • FIG. 9 schematically shows the positional relationship between the imaging unit and the subject.
  • the imaging unit 21-H is arranged on the left side of the subject OBa, and the imaging unit 21-W is arranged on the right side of the subject OBa. ing.
  • the subject OBb is provided at a remote position.
  • the field angle CVs of the imaging unit 21-H is a normal field angle
  • the field angle CVw of the imaging unit 21-W is wider than the normal field angle and has a wide field angle.
  • FIG. 10 shows the relationship between the subject distance and the captured image acquired by the imaging unit.
  • the position of the subject OBa moves in the right direction in the black and white captured image Gbw-H obtained by the imaging unit 21-H, and the color captured image Gcr-W obtained by the imaging unit 21-W. Then, the position of the subject OBa moves to the left. Further, when the distance to the subject OBa is shortened, the subject OBb is hidden by the subject OBa in the color captured image Gcr-W.
  • the image processing unit When the image processing unit generates a fusion image with a wide angle of view based on the black and white captured image Gbw-H, it is necessary to use the color captured image Gcr-W for the frame area ARa indicated by a broken line.
  • the image processing unit sets the foreground detection area ARd for the color captured image Gcr-W having a wide angle of view, and the subject distance of the subject included in the foreground detection area ARd is set in advance.
  • the reference image is switched according to whether or not it is longer than the set determination threshold.
  • a color captured image is used for the frame area. Therefore, a discrimination threshold is set in advance with the frame area as the foreground detection area so that it can be determined whether there is a possibility that a distant subject may be hidden by a close subject in the frame area.
  • FIG. 12 is a flowchart showing reference image determination based on distance.
  • the determination unit detects the subject distance of the subject in the foreground detection area.
  • the determination unit 33 detects the subject distance of the subject in the foreground detection area (for example, the frame area) in the color captured image using a passive or active range sensor, a depth map, or the like, and proceeds to step ST22.
  • step ST22 the determination unit determines whether the subject distance is longer than the determination threshold.
  • the determination unit 33 proceeds to step ST23 when the subject distance detected in step ST21 is longer than the determination threshold, and proceeds to step ST24 when the distance is equal to or less than the determination threshold.
  • step ST23 the determination unit determines that the black-and-white captured image is a reference image.
  • the determination unit 33 determines the black and white captured image as the reference image.
  • step ST24 the determination unit determines that the color image is a reference image.
  • the fusion image generated using the black-and-white captured image as a reference image has the occlusion area increased due to the proximity of the subject, and the missing image in the frame area becomes conspicuous. . Therefore, the determination unit 33 determines the color captured image as the reference image.
  • the image processing unit determines which of the black-and-white captured image and the color captured image is used as the reference image based on the subject distance in the foreground detection area, and proceeds to step ST13 in FIG.
  • step ST13 the image processing unit performs reference image determination based on the luminance difference.
  • FIG. 13 is a diagram for explaining reference image determination based on a luminance difference.
  • FIG. 13 illustrates a black-and-white captured image and a color captured image.
  • the monochrome captured image Gbw-H is a brighter image than the color captured image Gcr-W.
  • the image processing unit converts, for example, the average luminance value of the luminance calculation area ARe to the black and white captured image Gbw-H. And the color image Gcr-W.
  • the image processing unit determines whether the reference image is a luminance difference that is a difference between the average luminance value calculated from the black and white captured image and the average luminance value calculated from the color captured image is equal to or less than a predetermined determination threshold value. Set up.
  • FIG. 15 is a flowchart showing the reference image determination based on the luminance difference.
  • the determination unit performs alignment processing.
  • the determination unit 33 aligns the black and white captured image and the color captured image so that the positions of the image overlap areas of the black and white captured image and the color captured image coincide with each other, and the process proceeds to step ST32.
  • step ST32 the determination unit calculates the average luminance using the black and white captured image.
  • the determination unit 33 calculates the average luminance of the luminance calculation area ARe in the black and white captured image, and proceeds to step ST33.
  • step ST33 the determination unit calculates the average luminance using the color captured image.
  • the determination unit 33 calculates the average luminance of the luminance calculation area ARe in the color captured image, and proceeds to step ST34.
  • step ST34 the determination unit calculates a luminance difference.
  • the determination unit 33 calculates a luminance difference between the average luminance calculated in step ST32 and the average luminance calculated in step ST33, and proceeds to step ST35.
  • step ST35 the determination unit determines whether the luminance difference is equal to or less than a determination threshold value.
  • the determination unit 33 proceeds to step ST36 when the luminance difference calculated in step ST34 is equal to or smaller than the determination threshold, and proceeds to step ST37 when the luminance difference is larger than the determination threshold.
  • step ST36 the determination unit determines that the black-and-white captured image is a reference image.
  • the determination unit 33 determines that the black and white captured image is the reference image.
  • step ST37 the determination unit determines that the color image is a reference image.
  • the determination unit 33 determines the color captured image as the reference image.
  • the image processing unit determines which of the black-and-white captured image and the color captured image is used as the reference image based on the luminance difference between the black-and-white captured image and the color captured image, and proceeds to step ST14 in FIG.
  • step ST14 the image processing unit performs integration determination.
  • the determination unit 33 of the image processing unit 30 determines what fusion processing is performed based on the setting information acquired in step ST11 and the determination results obtained in step ST12 and step ST13, and indicates the determination result. Is generated.
  • FIG. 16A and 16B are diagrams for explaining the integration determination.
  • FIG. 16A illustrates a case where a moving image is generated as a fusion image
  • FIG. 16B illustrates a case where a still image is generated as a fusion image. Yes.
  • the determination unit 33 generates fusion determination information based on (a) of FIG. 16 when determining that the user has selected generation of a moving image based on the acquired setting information, and determines that the user has selected generation of a still image. In this case, fusion determination information is generated based on (b) of FIG.
  • the determination unit 33 sets the angle of view as the wide angle of view and determines the distance determination result and the luminance difference.
  • the reference image is switched based on the determination result. For example, when the black-and-white captured image is determined to be the reference image in both the distance determination result and the luminance difference determination result, the determination unit 33 sets the fusion process as the high-quality image reference fusion process and displays the black-and-white captured image as the reference image.
  • the corner is a wide angle of view.
  • the determination unit 33 sets the fusion processing as the wide-angle image reference fusion processing and uses the color captured image as a reference.
  • the angle of view is wide in the image.
  • the determination unit 33 uses the color captured image as the reference image, and if the image quality is not allowed to deteriorate compared to the case where the black and white captured image is used as the reference image, the image quality priority mode Can be selected.
  • the fusion process is a narrow-angle fusion process
  • the monochrome image is a reference image with a narrow angle of view (a normal image that is the angle of view of a monochrome image). Corner).
  • the angle of view is set to a narrow angle of view in this way, the fusion image is not affected by the luminance difference between the close subject in the foreground detection region or the image overlap region and the frame region.
  • the fusion image may be generated by setting the reference image and the angle of view using the analysis result of the captured image.
  • a mode for generating a fusion image with a wide angle of view wide angle of view mode
  • a mode for generating a fusion image with a normal angle of view normal angle of view mode
  • the user may be able to select a mode (auto view angle mode) for automatically setting the view angle.
  • the determination unit 33 switches the reference image based on the distance determination result and the luminance difference determination result with the angle of view as the wide angle of view. For example, when the black-and-white captured image is determined to be the reference image in both the distance determination result and the luminance difference determination result, the determination unit 33 sets the fusion process as the high-quality image reference fusion process and displays the black-and-white captured image as the reference image. The corner is a wide angle of view.
  • the determination unit 33 sets the fusion processing as the wide-angle image reference fusion processing and uses the color captured image as a reference. The angle of view is wide in the image.
  • the determination unit 33 sets the angle of view of the fusion image as a normal angle of view (narrow angle of view). If the angle of view is a normal angle of view, the fusion image is not affected by the luminance difference between the close subject in the foreground detection region or the image overlap region and the frame region. Therefore, when the user selects the normal view angle mode, the determination unit 33 sets the fusion process to the narrow view angle fusion process regardless of whether or not the predetermined condition is satisfied, and sets the angle of view to the black and white captured image as the reference image. Angle of view.
  • the determination unit 33 switches the reference image and changes the angle of view based on the distance determination result and the luminance difference determination result. Set up. For example, when the black-and-white captured image is determined to be the reference image in both the distance determination result and the luminance difference determination result, the determination unit 33 sets the fusion process as the high-quality image reference fusion process and displays the black-and-white captured image as the reference image. The corner is a wide angle of view.
  • the determination unit 33 sets the black and white captured image as the reference image by using the fusion processing as the narrow angle fusion processing.
  • the angle of view is the normal angle of view. As described above, if the auto angle-of-view mode can be selected, the reference image and the angle of view can be automatically set so that the image overlap area has high image quality.
  • the determination unit 33 determines what fusion processing is performed based on the setting information, the determination result of the distance, and the determination of the luminance difference, generates fusion determination information indicating the determination result, and proceeds to step ST3 in FIG. .
  • step ST3 the image processing unit performs parallax detection.
  • the parallax detection unit 321 of the image processing unit 30 detects the parallax of another captured image with respect to the reference image based on the fusion determination information generated in step ST2.
  • the parallax detection unit 321 detects the parallax for each pixel of the reference image.
  • the frame area interpolation unit 322 performs an interpolation process to generate a parallax of the frame area, and image overlap
  • the parallax of the boundary portion in the area is set as the parallax of the frame area.
  • FIG. 17 is a diagram for explaining the parallax detection.
  • the parallax detection unit 321 detects the parallax of another captured image with respect to the reference image based on the fusion determination information using the black and white captured image Gbw-H and the color captured image Gcr-W illustrated in FIG. To do.
  • the fusion determination information indicates that the reference image is a black-and-white captured image and the angle of view is a wide angle of view
  • the parallax of the frame area ARa is detected as shown in FIG. Absent.
  • the detected parallax (parallax vector) is schematically indicated by an arrow.
  • the frame area interpolation unit 322 uses the parallax of the pixel located at the boundary with the frame area ARa in the image overlap area ARb as the parallax of the frame area ARa as shown in FIG. 17C and proceeds to step ST4. .
  • step ST4 the image processing unit performs warping.
  • the warping units 323-H and 323-W of the image processing unit 30 perform warping based on the fusion determination information generated in step ST2 and the parallax detected in step ST3.
  • the warping unit 323 -W detects the amount of parallax detected by the parallax detection unit 321 and the frame region interpolation unit 322. Based on the interpolated frame region parallax amount, a color captured image that is the viewpoint of the black and white captured image is generated from the color captured image and output to the image composition unit 324. Further, when the fusion determination information indicates that the black-and-white captured image is a reference image and the angle of view is a normal angle of view, the warping unit 323 -W determines the color based on the amount of parallax detected by the parallax detection unit 321.
  • a color captured image that is the viewpoint of the black-and-white captured image is generated from the image in the image overlap area in the captured image, and is output to the image composition unit 324.
  • the warping unit 323 -H outputs the black and white captured image supplied from the preprocessing unit 31 -H to the image composition unit 324.
  • the warping unit 323-W When the fusion determination information indicates that the color captured image is the reference image, the warping unit 323-W outputs the color captured image supplied from the preprocessing unit 31-W to the image composition unit 324. Further, when the fusion determination information indicates that the color captured image is the reference image, the warping unit 323 -H determines the viewpoint of the color captured image from the black and white captured image based on the amount of parallax detected by the parallax detecting unit 321. Are generated and output to the image composition unit 324.
  • the image processing unit 30 warps based on the fusion determination information and the amount of parallax, generates a captured image of the viewpoint of the reference image from a captured image different from the reference image, and proceeds to step ST5.
  • step ST5 the image processing unit performs image composition.
  • the image synthesizing unit 324 of the image processing unit 30 synthesizes the black and white image supplied from the warping unit 323-H and the luminance component image in the color captured image supplied from the warping unit 323-W by matching the positions of the image overlapping regions. To do. Further, the image processing unit 30 generates and outputs color image data composed of luminance data that is the same component as the color difference data and the black and white captured image. Note that the image processing unit 30 is not limited to the sequential processing in which the processing is performed in the order of steps when generating a moving image, but when pipeline processing or parallel processing is performed, for example, before it is determined that the synthesis processing of all lines has been completed. Generation of the fusion image of the next frame may be started.
  • FIG. 18 shows the performance of a fusion image generated based on the fusion determination information and an example fusion image.
  • 18B illustrates the color image Gcr-W
  • FIGS. 18C to 18E illustrate the fusion image GFu.
  • 18C is a fusion image generated by the high-quality image reference fusion process
  • FIG. 18D is a fusion image generated by the wide-angle image reference fusion process
  • FIG. 18E is a narrow image.
  • generated by the angular fusion process is illustrated.
  • a fusion image having a wide angle of view is generated using the reference image as a monochrome captured image. Since this fusion image uses a black-and-white captured image as a reference image, the image quality of the image overlap region is high (double circle mark). In addition, since the frame area uses a color captured image in the generation of the fusion image, the image quality of the frame area is equivalent to the color captured image, and the angle of view is a wide angle of view that is the angle of view of the color captured image.
  • a wide-angle fusion image is generated using the reference image as a color captured image. Since this fusion image uses a color captured image as a reference image, the image quality of the image overlap region is lower than that of the high-quality image reference fusion process (circle mark). In addition, since the frame area uses a color captured image in the generation of the fusion image, the image quality of the frame area is equivalent to the color captured image, and the angle of view is a wide angle of view that is the angle of view of the color captured image.
  • a fusion image with a narrow angle of view (normal angle of view) is generated using the reference image as a black and white captured image. Since this fusion image uses a black-and-white captured image as a reference image, the image quality of the image overlap area is high (double circle mark) as in the high-quality image reference fusion process. In addition, since it has a narrow angle of view, there is no frame area, and the fusion image has a normal angle of view that is the angle of view of the black-and-white captured image.
  • the image processing unit determines the distance and the luminance difference based on the generated captured image, and the fusion of the captured image generated thereafter based on the fusion determination information generated according to the determination result. It is not restricted to the structure which processes. For example, the image processing unit determines the distance and the luminance difference based on the captured image, and performs the fusion processing of the captured image used for the determination of the distance and the luminance difference based on the fusion determination information generated according to the determination result. Also good. In this case, in the image processing unit 30, the determination unit 33 outputs the fusion determination information to the image composition unit 324.
  • the warping unit 323-H generates a monochrome captured image of the viewpoint of the color captured image
  • the warping unit 323-W generates a color captured image of the viewpoint of the monochrome captured image, respectively, and the monochrome captured image, the color captured image, and the viewpoint converted
  • the monochrome captured image and the color captured image are output to the image composition unit 324.
  • the image composition unit 324 generates a fusion image based on a black and white captured image or a fusion image based on a color captured image based on the fusion determination information from the determination unit 33.
  • the image processing unit 30 can perform the fusion processing of the captured image used for the determination of the distance and the luminance difference according to the determination result of the distance and the luminance difference.
  • the high-quality captured image is the black-and-white captured image and the wide-angle captured image is the color captured image is illustrated, but the captured image is not limited to the above-described embodiment.
  • the high-quality captured image may be a high-resolution color captured image or a high-quality color captured image with different color components.
  • the high-quality captured image may be a captured image generated by an imaging unit having sensitivity in a wavelength region different from that of the color captured image.
  • an imaging unit having sensitivity in a wavelength region different from that of the color imaging image for example, an imaging unit having sensitivity in the infrared region is used.
  • a black-and-white captured image is acquired as an imaging unit 21-H using an imaging unit that has sensitivity in the infrared region, the subject located in the image overlap region has a high image quality at dusk, nighttime, etc.
  • a fusion image can be generated.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is not limited to an information processing terminal, but is an automobile, an electric car, a hybrid electric car, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, a robot, a construction machine, an agricultural machine (tractor), etc. It may be realized as an apparatus mounted on any kind of moving body.
  • FIG. 19 is a block diagram illustrating a schematic configuration example of a vehicle control system 7000 that is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 7000 includes a plurality of electronic control units connected via a communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, an outside information detection unit 7400, an in-vehicle information detection unit 7500, and an integrated control unit 7600. .
  • the communication network 7010 for connecting the plurality of control units conforms to an arbitrary standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used for various calculations, and a drive circuit that drives various devices to be controlled. Is provided.
  • Each control unit includes a network I / F for communicating with other control units via a communication network 7010, and is connected to devices or sensors inside and outside the vehicle by wired communication or wireless communication. A communication I / F for performing communication is provided. In FIG.
  • a microcomputer 7610 As a functional configuration of the integrated control unit 7600, a microcomputer 7610, a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F 7660, an audio image output unit 7670, An in-vehicle network I / F 7680 and a storage unit 7690 are illustrated.
  • other control units include a microcomputer, a communication I / F, a storage unit, and the like.
  • the drive system control unit 7100 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 7100 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • a vehicle state detection unit 7110 is connected to the drive system control unit 7100.
  • the vehicle state detection unit 7110 includes, for example, a gyro sensor that detects the angular velocity of the rotational movement of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, an operation amount of an accelerator pedal, an operation amount of a brake pedal, and steering of a steering wheel. At least one of sensors for detecting an angle, an engine speed, a rotational speed of a wheel, or the like is included.
  • the drive system control unit 7100 performs arithmetic processing using a signal input from the vehicle state detection unit 7110, and controls an internal combustion engine, a drive motor, an electric power steering device, a brake device, or the like.
  • the body system control unit 7200 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 7200 can be input with radio waves or various switch signals transmitted from a portable device that substitutes for a key.
  • the body system control unit 7200 receives input of these radio waves or signals, and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
  • the battery control unit 7300 controls the secondary battery 7310 that is a power supply source of the drive motor according to various programs. For example, information such as battery temperature, battery output voltage, or remaining battery capacity is input to the battery control unit 7300 from a battery device including the secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and controls the temperature adjustment of the secondary battery 7310 or the cooling device provided in the battery device.
  • the outside information detection unit 7400 detects information outside the vehicle on which the vehicle control system 7000 is mounted.
  • the outside information detection unit 7400 is connected to at least one of the imaging unit 7410 and the outside information detection unit 7420.
  • the imaging unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the outside information detection unit 7420 detects, for example, current weather or an environmental sensor for detecting weather, or other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. At least one of the surrounding information detection sensors.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects sunlight intensity, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the imaging unit 7410 and the outside information detection unit 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 20 shows an example of installation positions of the imaging unit 7410 and the vehicle outside information detection unit 7420.
  • the imaging units 7910, 7912, 7914, 7916, and 7918 are provided at, for example, at least one of the front nose, the side mirror, the rear bumper, the back door, and the upper part of the windshield in the vehicle interior of the vehicle 7900.
  • An imaging unit 7910 provided in the front nose and an imaging unit 7918 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 7900.
  • Imaging units 7912 and 7914 provided in the side mirror mainly acquire an image of the side of the vehicle 7900.
  • An imaging unit 7916 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 7900.
  • the imaging unit 7918 provided on the upper part of the windshield in the passenger compartment is mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or
  • FIG. 20 shows an example of shooting ranges of the respective imaging units 7910, 7912, 7914, and 7916.
  • the imaging range a indicates the imaging range of the imaging unit 7910 provided in the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided in the side mirrors, respectively
  • the imaging range d The imaging range of the imaging part 7916 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 7910, 7912, 7914, and 7916, an overhead image when the vehicle 7900 is viewed from above is obtained.
  • the vehicle outside information detection units 7920, 7922, 7924, 7926, 7928, and 7930 provided on the front, rear, sides, corners of the vehicle 7900 and the upper part of the windshield in the vehicle interior may be, for example, an ultrasonic sensor or a radar device.
  • the vehicle outside information detection units 7920, 7926, and 7930 provided on the front nose, the rear bumper, the back door, and the windshield in the vehicle interior of the vehicle 7900 may be, for example, LIDAR devices.
  • These outside information detection units 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, and the like.
  • the vehicle exterior information detection unit 7400 causes the imaging unit 7410 to capture an image outside the vehicle and receives the captured image data. Further, the vehicle exterior information detection unit 7400 receives detection information from the vehicle exterior information detection unit 7420 connected thereto. When the vehicle exterior information detection unit 7420 is an ultrasonic sensor, a radar device, or a LIDAR device, the vehicle exterior information detection unit 7400 transmits ultrasonic waves, electromagnetic waves, or the like, and receives received reflected wave information.
  • the outside information detection unit 7400 may perform an object detection process or a distance detection process such as a person, a car, an obstacle, a sign, or a character on a road surface based on the received information.
  • the vehicle exterior information detection unit 7400 may perform environment recognition processing for recognizing rainfall, fog, road surface conditions, or the like based on the received information.
  • the vehicle outside information detection unit 7400 may calculate a distance to an object outside the vehicle based on the received information.
  • the outside information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing a person, a car, an obstacle, a sign, a character on a road surface, or the like based on the received image data.
  • the vehicle exterior information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and combines the image data captured by the different imaging units 7410 to generate an overhead image or a panoramic image. Also good.
  • the vehicle exterior information detection unit 7400 may perform viewpoint conversion processing using image data captured by different imaging units 7410.
  • the vehicle interior information detection unit 7500 detects vehicle interior information.
  • a driver state detection unit 7510 that detects the driver's state is connected to the in-vehicle information detection unit 7500.
  • Driver state detection unit 7510 may include a camera that captures an image of the driver, a biosensor that detects biometric information of the driver, a microphone that collects sound in the passenger compartment, and the like.
  • the biometric sensor is provided, for example, on a seat surface or a steering wheel, and detects biometric information of an occupant sitting on the seat or a driver holding the steering wheel.
  • the vehicle interior information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, and determines whether the driver is asleep. May be.
  • the vehicle interior information detection unit 7500 may perform a process such as a noise canceling process on the collected audio signal.
  • the integrated control unit 7600 controls the overall operation in the vehicle control system 7000 according to various programs.
  • An input unit 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by a device that can be input by a passenger, such as a touch panel, a button, a microphone, a switch, or a lever.
  • the integrated control unit 7600 may be input with data obtained by recognizing voice input through a microphone.
  • the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or a PDA (Personal Digital Assistant) that supports the operation of the vehicle control system 7000. May be.
  • the input unit 7800 may be, for example, a camera.
  • the passenger can input information using a gesture.
  • data obtained by detecting the movement of the wearable device worn by the passenger may be input.
  • the input unit 7800 may include, for example, an input control circuit that generates an input signal based on information input by a passenger or the like using the input unit 7800 and outputs the input signal to the integrated control unit 7600.
  • a passenger or the like operates the input unit 7800 to input various data or instruct a processing operation to the vehicle control system 7000.
  • the storage unit 7690 may include a ROM (Read Only Memory) that stores various programs executed by the microcomputer, and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, and the like.
  • the storage unit 7690 may be realized by a magnetic storage device such as an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • General-purpose communication I / F 7620 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 7750.
  • General-purpose communication I / F7620 is a cellular communication protocol such as GSM (Global System of Mobile communications), WiMAX, LTE (Long Term Evolution) or LTE-A (LTE-Advanced), or wireless LAN (Wi-Fi (registered trademark)). Other wireless communication protocols such as Bluetooth (registered trademark) may also be implemented.
  • the general-purpose communication I / F 7620 is connected to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or an operator-specific network) via, for example, a base station or an access point.
  • the general-purpose communication I / F 7620 is a terminal (for example, a driver, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal) that exists in the vicinity of the vehicle using, for example, P2P (Peer To Peer) technology. You may connect with.
  • a terminal for example, a driver, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal
  • P2P Peer To Peer
  • the dedicated communication I / F 7630 is a communication I / F that supports a communication protocol formulated for use in vehicles.
  • the dedicated communication I / F 7630 is a standard protocol such as WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communications), or cellular communication protocol, which is a combination of the lower layer IEEE 802.11p and the upper layer IEEE 1609. May be implemented.
  • the dedicated communication I / F 7630 typically includes vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-pedestrian communication. ) Perform V2X communication, which is a concept that includes one or more of the communications.
  • the positioning unit 7640 receives, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), performs positioning, and performs latitude, longitude, and altitude of the vehicle.
  • the position information including is generated.
  • the positioning unit 7640 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smartphone having a positioning function.
  • the beacon receiving unit 7650 receives, for example, radio waves or electromagnetic waves transmitted from a radio station installed on the road, and acquires information such as the current position, traffic jam, closed road, or required time. Note that the function of the beacon receiving unit 7650 may be included in the dedicated communication I / F 7630 described above.
  • the in-vehicle device I / F 7660 is a communication interface that mediates the connection between the microcomputer 7610 and various in-vehicle devices 7760 present in the vehicle.
  • the in-vehicle device I / F 7660 may establish a wireless connection using a wireless communication protocol such as a wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • the in-vehicle device I / F 7660 is connected to a USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface), or MHL (Mobile High-definition Link) via a connection terminal (and a cable if necessary). ) Etc. may be established.
  • the in-vehicle device 7760 may include, for example, at least one of a mobile device or a wearable device that a passenger has, or an information device that is carried into or attached to the vehicle.
  • In-vehicle device 7760 may include a navigation device that searches for a route to an arbitrary destination.
  • In-vehicle device I / F 7660 exchanges control signals or data signals with these in-vehicle devices 7760.
  • the in-vehicle network I / F 7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the in-vehicle network I / F 7680 transmits and receives signals and the like in accordance with a predetermined protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 is connected via at least one of a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F 7660, and an in-vehicle network I / F 7680.
  • the vehicle control system 7000 is controlled according to various programs based on the acquired information. For example, the microcomputer 7610 calculates a control target value of the driving force generation device, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 7100. Also good.
  • the microcomputer 7610 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, following traveling based on inter-vehicle distance, vehicle speed maintaining traveling, vehicle collision warning, or vehicle lane departure warning. You may perform the cooperative control for the purpose. Further, the microcomputer 7610 controls the driving force generator, the steering mechanism, the braking device, or the like based on the acquired information on the surroundings of the vehicle, so that the microcomputer 7610 automatically travels independently of the driver's operation. You may perform the cooperative control for the purpose of driving.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 7610 is information acquired via at least one of the general-purpose communication I / F 7620, the dedicated communication I / F 7630, the positioning unit 7640, the beacon receiving unit 7650, the in-vehicle device I / F 7660, and the in-vehicle network I / F 7680.
  • the three-dimensional distance information between the vehicle and the surrounding structure or an object such as a person may be generated based on the above and local map information including the peripheral information of the current position of the vehicle may be created.
  • the microcomputer 7610 may generate a warning signal by predicting a danger such as a collision of a vehicle, approach of a pedestrian or the like or an approach to a closed road based on the acquired information.
  • the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the audio image output unit 7670 transmits an output signal of at least one of audio and image to an output device capable of visually or audibly notifying information to a vehicle occupant or the outside of the vehicle.
  • an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are illustrated as output devices.
  • Display unit 7720 may include at least one of an on-board display and a head-up display, for example.
  • the display portion 7720 may have an AR (Augmented Reality) display function.
  • the output device may be other devices such as headphones, wearable devices such as glasses-type displays worn by passengers, projectors, and lamps.
  • the display device can display the results obtained by various processes performed by the microcomputer 7610 or information received from other control units in various formats such as text, images, tables, and graphs. Display visually. Further, when the output device is an audio output device, the audio output device converts an audio signal made up of reproduced audio data or acoustic data into an analog signal and outputs it aurally.
  • At least two control units connected via the communication network 7010 may be integrated as one control unit.
  • each control unit may be configured by a plurality of control units.
  • the vehicle control system 7000 may include another control unit not shown.
  • some or all of the functions of any of the control units may be given to other control units. That is, as long as information is transmitted and received via the communication network 7010, the predetermined arithmetic processing may be performed by any one of the control units.
  • a sensor or device connected to one of the control units may be connected to another control unit, and a plurality of control units may transmit / receive detection information to / from each other via the communication network 7010. .
  • the imaging units 7410, 7910, 7912, 7914, 7916, and 7918 use a plurality of imaging units, for example, the imaging units 21-H and 21-W shown in FIG. To do.
  • the image processing unit 30 is provided in the integrated control unit 7600 of the application example shown in FIG. With such a configuration, even if the imaging units 7410, 7910, 7912, 7914, 7916, and 7918 are reduced in size and thickness, a high-quality and wide-angle captured image can be acquired. It can be used for operation control.
  • the image processing unit 30 may be realized in a module (for example, an integrated circuit module including one die) for the integrated control unit 7600 illustrated in FIG.
  • the series of processes described in the specification can be executed by hardware, software, or a combined configuration of both.
  • a program in which a processing sequence is recorded is installed and executed in a memory in a computer incorporated in dedicated hardware.
  • the program can be installed and executed on a general-purpose computer capable of executing various processes.
  • the program can be recorded in advance on a hard disk, SSD (Solid State Drive), or ROM (Read Only Memory) as a recording medium.
  • the program is a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto optical disc), a DVD (Digital Versatile Disc), a BD (Blu-Ray Disc (registered trademark)), a magnetic disk, or a semiconductor memory card. It can be stored (recorded) in a removable recording medium such as temporarily or permanently. Such a removable recording medium can be provided as so-called package software.
  • the program may be transferred from the download site to the computer wirelessly or by wire via a network such as a LAN (Local Area Network) or the Internet.
  • the computer can receive the program transferred in this way and install it on a recording medium such as a built-in hard disk.
  • the image processing apparatus may have the following configuration.
  • the fusion processing unit interpolates disparity information of an image non-overlapping region that is not included in the high-quality image in the wide-angle image using the disparity information of the image overlapping region.
  • Image processing apparatus (4)
  • the fusion processing unit performs warping on the basis of the wide-angle image using the high-quality image, and the high-quality image after warping and the wide-angle image that has not been warped are imaged.
  • the image processing apparatus according to any one of (1) to (3), wherein wide-angle image reference fusion processing for generating a fusion image by matching the positions of overlapping regions or the high-quality image reference fusion processing is performed.
  • Image processing device (6) The image processing apparatus according to (5), wherein the determination unit sets the subject distance determined based on the parallax information to be longer than a determination threshold. (7) The image processing apparatus according to (6), wherein the subject distance is a subject distance of a subject located in an image non-overlapping region that is not included in the high-quality image in the wide-angle image.
  • the image processing device sets the predetermined condition that a luminance difference between the high-quality image and the wide-angle image is equal to or less than a determination threshold. .
  • the luminance difference is a difference in average luminance of an image region in a predetermined range from a boundary with the image non-overlapping region in the image overlapping region.
  • the fusion processing unit performs warping on the basis of the high-quality image using the wide-angle image, and converts the high-quality image and the wide-angle image after warping to the position of the image overlap region.
  • the fusion processing unit When the fusion processing unit generates a fusion image in which the high-quality image and the wide-angle image are moving images and are the angle of view of the wide-angle image, the high-quality image is based on the determination result of the determination unit.
  • the fusion processing unit When the high-quality image and the wide-angle image are still images, the fusion processing unit performs the high-quality image reference fusion processing, the wide-angle image reference fusion processing, or the narrow-angle-of-fusion processing. (10) The image processing apparatus according to (10). (13) The image processing device according to (12), wherein the fusion processing unit performs the wide-angle image reference fusion process or the narrow-angle-of-view fusion process when the predetermined condition is not satisfied. (14) When the fusion processing unit determines that the mode selection for automatically setting the angle of view of the fusion image is performed in the determination unit when the predetermined condition is not satisfied, The image processing apparatus according to (13), wherein narrow-angle fusion processing is performed.
  • the determination unit determines a user selection operation of the fusion process
  • the fusion processing section performs the narrow-angle fusion process regardless of whether or not the predetermined condition is satisfied when the determination section determines that the narrow-angle fusion process is selected (10) to The image processing apparatus according to any one of (14).
  • warping based on a high-quality image with respect to a wide-angle image having a lower image quality and a wider angle of view than a high-quality image, and a higher image quality than a wide-angle image The fusion image is generated by performing a process of combining the high-quality image and the warped wide-angle image by matching the positions of the image overlap areas. For this reason, it becomes possible to generate a high-quality captured image with a wide angle of view by using a plurality of captured images having different image angles and image quality without reducing the image quality. Therefore, it is suitable for a device that uses an imaging unit and that requires a reduction in size or thickness of the imaging unit.
  • DESCRIPTION OF SYMBOLS 10 ... Information processing terminal 21-H, 21-W ... Imaging part 30 ... Image processing part 31-H, 31-W ... Pre-processing part 32 ... Fusion processing part 33 ... Determination unit 51 ... sensor unit 52 ... communication unit 53 ... display unit 54 ... touch panel 55 ... operation unit 56 ... storage unit 60 ... control unit 321 ... parallax detection unit 322: Frame region interpolation unit 323-H, 323-W ... Warping unit 324 ... Image composition unit 331 ... Distance measurement unit 332 ... Distance determination unit 333 ... Luminance difference determination unit 334 ... Integrated judgment part

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Cameras In General (AREA)

Abstract

フュージョン処理部３２は、所定条件を満たす場合、撮像部２１-Hで生成された高画質画像よりも広画角である撮像部２１-Hで生成された広画角画像を用いて高画質画像を基準としたワーピングを行い、広画角画像よりも高画質である高画質画像とワーピング後の広画角画像を、画像重複領域の位置を一致させてフュージョン画像を生成する。また、所定条件を満たさない場合、フュージョン判定情報に基づき、高画質画像を用いて広画角画像を基準としたワーピングを行い、ワーピング後の高画質画像とワーピングを行っていない広画角画像を、画像重複領域の位置を一致させてフュージョン画像を生成する。画角と解像度が異なる複数の撮像画を用いて画質を低下させることなく広画角で高画質の撮像画を生成できる。

Description

画像処理装置と画像処理方法
　この技術は、画像処理装置と画像処理方法に関し、画角と解像度が異なる撮像画を用いて画質を低下させることなく広画角で高解像度の撮像画を生成できるようにする。
　従来、携帯型の電子機器例えばスマートフォン等の情報処理端末では、小型化・薄型化のために撮像部の画質が一眼レフカメラ等に比べて低下している。このため、例えば特許文献１では、複数の撮像部を設けて、画質の異なる複数の画像例えば第１の画角と第１の画角よりも狭い第２の画角の画像を同時に生成することが開示されている。
特開２０１３－２１９５２５号公報
　ところで、特許文献１のように複数の撮像部を設けただけでは、撮像部の性能を超えた撮像画を取得できない。
　そこで、この技術では画角と画質が異なる複数の撮像画を用いて画質を低下させることなく広画角で高画質の撮像画を生成できる画像処理装置と画像処理方法を提供することを目的とする。
　この技術の第１の側面は、
　高画質画像よりも低画質且つ広画角である広画角画像に対して前記高画質画像を基準としたワーピングを行い、前記高画質画像と前記ワーピング後の広画角画像を、画像重複領域の位置を一致させてフュージョン画像を生成する高画質画像基準フュージョン処理を行うフュージョン処理部
を備える画像処理装置にある。
　この技術において、フュージョン処理部は高画質画像基準フュージョン処理を行う。フュージョン処理部は、高画質画像より低画質且つ広画角である広画角画像に対して高画質画像を基準としたワーピングを行う。ワーピングは、高画質画像と広画角画像についての視差情報に基づいて行い、広画角画像において高画質画像に含まれていない画像非重複領域の視差情報は、画像重複領域の視差情報を用いて補間する。また、フュージョン処理部は、広画角画像よりも高画質である高画質画像とワーピング後の広画角画像を、画像重複領域の位置を一致させてフュージョン画像を生成する。
　また、フュージョン処理部は、判定部の判定結果に基づき、所定条件を満たしている場合に高画質画像基準フュージョン処理を行い、所定条件を満たしていない場合、広画角画像基準フュージョン処理を行う。広画角画像基準フュージョン処理では、高画質画像を用いて広画角画像を基準としたワーピングを行い、ワーピング後の高画質画像とワーピングを行っていない広画角画像を、画像重複領域の位置を一致させてフュージョン画像を生成する。
　判定部は、例えば広画角画像において高画質画像に含まれていない画像非重複領域に位置する被写体について視差情報に基づき判別した被写体距離が判定閾値よりも長いことを所定条件とする。また、判定部は、例えば画像重複領域における画像非重複領域との境界から所定範囲の画像領域の平均輝度の輝度差が判定閾値以下であることを所定条件とする。
　また、フュージョン処理部は狭画角フュージョン処理を行う。フュージョン処理部は広画角画像を用いて高画質画像を基準としたワーピングを行い、高画質画像とワーピング後の広画角画像を、画像重複領域の位置を一致させて高画質画像の画角であるフュージョン画像を生成する。
　フュージョン処理部は、高画質画像と広画角画像が動画で広画角画像の画角であるフュージョン画像を生成する場合、判定部の判定結果に基づき高画質画像基準フュージョン処理または広画角画像基準フュージョン処理を行う。フュージョン処理部は、高画質画像と広画角画像が静止画である場合、高画質画像基準フュージョン処理または広画角画像基準フュージョン処理あるいは狭画角フュージョン処理を行う。フュージョン処理部は、判定部の判定結果に基づき、所定条件を満たしていない場合は広画角画像基準フュージョン処理または狭画角フュージョン処理を行う。さらに、フュージョン処理部は、所定条件を満たしていない場合において、判定部でフュージョン画像の画角設定を自動的に行うモード選択が行われていることを判定している場合に狭画角フュージョン処理を行う。また、判定部は、フュージョン処理のユーザ選択操作を判定して、フュージョン処理部は、判定部で狭画角フュージョン処理が選択されたことを判定した場合に所定条件を満たしているか否かに拘わらず狭画角フュージョン処理を行う。
　この技術の第２の側面は、
　高画質画像よりも低画質且つ広画角である広画角画像に対して前記高画質画像を基準としたワーピングを行い、前記高画質画像と前記ワーピング後の広画角画像を、画像重複領域の位置を一致させてフュージョン画像を生成する高画質画像基準フュージョン処理をフュージョン処理部で行うことを
を含む画像処理方法にある。
　この技術によれば、高画質画像よりも低画質且つ広画角である広画角画像に対して高画質画像を基準としたワーピングと、広画角画像よりも高画質である高画質画像とワーピング後の広画角画像を、画像重複領域の位置を一致させて合成する処理が行われてフュージョン画像が生成される。したがって、画角と画質が異なる複数の撮像画を用いて画質を低下させることなく広画角で高画質の撮像画を生成できるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
画像処理装置を適用した機器の外観を例示した図である。 情報処理端末の構成を例示した図である。 撮像部の画素配列を例示した図である。 白黒撮像画を基準としたときのオクルージョンを示した図である。 フュージョン画像の生成に用いる撮像画を示した図である。 実施の形態の構成を例示した図である。 画像処理部の実施の形態の動作を示すフローチャートである。 フュージョン処理判定を示すフローチャートである。 撮像部と被写体の位置関係を模式的に示した図である。 被写体距離と撮像部で取得される撮像画の関係を示す図である。 近景検出領域を示す図である。 距離に基づく基準画像判定を示すフローチャートである。 輝度差に基づく基準画像判定を説明するための図である。 輝度算出領域を示す図である。 輝度差に基づく基準画像判定を示すフローチャートである。 統合判定を説明するための図である。 視差検出を説明するための図である。 フュージョン判定結果に基づいて生成されるフュージョン画像の性能を示した図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
　１．画像処理装置を適用した機器の構成
　２．画像処理装置の実施の形態
　　２－１．実施の形態の構成
　　２－２．実施の形態の動作
　３．他の実施の形態
　４．応用例
　＜１．画像処理装置を適用した機器の構成＞
　図１は、この技術の画像処理装置を適用した機器の外観を例示している。なお、以下の説明では、例えば情報処理端末に画像処理装置を適用している。図１の（ａ）は情報処理端末１０の表側を示しており、表示部５３やタッチパネル５４および操作部５５が表側に設けられている。図１の（ｂ）は情報処理端末１０の裏側を示しており、複数の撮像部例えば２つの撮像部２１-H，２１-Wが裏側に設けられている。
　図２は、情報処理端末の構成を例示している。情報処理端末１０は、複数の撮像部例えば２つの撮像部２１-H，２１-W、画像処理部３０、センサ部５１、通信部５２、表示部５３、タッチパネル５４、操作部５５、記憶部５６、および制御部６０を有している。画像処理部３０はこの技術の画像処理装置に相当する。
　撮像部２１-H，２１-Wは、図１の（ｂ）に示すように情報処理端末１０の同一面側に設けられている。撮像部２１-H，２１-Wは、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子を用いて構成されており、レンズ（図示せず）により取り込まれた光の光電変換を行い、撮像画の画像データを生成して画像処理部３０へ出力する。また、撮像部２１-H，２１-Wは特性差を有しており、撮像部２１-Hは撮像部２１-Wよりも高画質であり、撮像部２１-Wは撮像部２１-Hよりも広画角である。
　図３は、撮像部の画素配列を例示している。図３の（ａ）は、撮像部２１-Hの画素配列を示している。撮像部２１-Hは、全画素が、可視光の全波長領域の入射光量に基づく電気信号を出力するＷ（ホワイト）画素によって構成される。したがって、撮像部２１-Hは、白黒撮像画の画像データを生成する。
　図３の（ｂ）は、撮像部２１-Wの画素配列を示している。撮像部２１-Wは、例えば赤色（Ｒ）画素と青色（Ｂ）画素と緑色（Ｇ）画素をベイヤ配列としたカラーフィルタを用いて構成されている。ベイヤ配列では２×２画素の画素単位において対角位置の２つの画素が緑色（Ｇ）画素で、残りの画素が赤色（Ｒ）画素と青色（Ｂ）画素とされている。すなわち、撮像部２１-Wは、各画素が赤色と青色と緑色のいずれか１つの色成分の入射光量に基づく電気信号を出力する色画素によって構成されている。したがって、撮像部２１-Wは、各画素が三原色（ＲＧＢ）成分のいずれかを示すカラー撮像画の画像データを生成する。
　画像処理部３０は、撮像部２１-Hで生成された高画質の撮像画と撮像部２１-Wで生成された広画角の撮像画を用いて画像処理を行い、広画角で高画質の撮像画を生成して、表示部５３や記憶部５６へ出力する。なお、画像処理部３０の構成および動作の詳細については後述する。
　センサ部５１はジャイロセンサなどを用いて構成されており、情報処理端末１０に生じた揺れを検出する。センサ部５１は、検出した揺れの情報を制御部６０へ出力する。
　通信部５２は、ＬＡＮ(Local Area Network)やインターネットなどのネットワーク上の機器と通信を行う。
　表示部５３は、画像処理部３０から供給された画像データに基づき撮像画の表示、制御部６０からの情報信号に基づきメニュー画面や各種アプリケーション画面等の表示を行う。また、表示部５３の表示面側にはタッチパネル５４が載置されており、ＧＵＩ機能利用できるように構成されている。
　操作部５５は操作スイッチ等を用いて構成されており、ユーザ操作に応じた操作信号を生成して制御部６０へ出力する。
　記憶部５６は、情報処理端末１０で生成された情報例えば画像処理部３０から供給された画像データや、情報処理端末１０で通信やアプリケーションを実行するために用いられる各種情報を記憶する。
　制御部６０は、ＣＰＵ（Central Processing Unit），ＲＯＭ（Read Only Memory），ＲＡＭ（Random Access Memory）（図示せず）などで構成されている。制御部６０は、ＲＯＭまたはＲＡＭに記憶されたプログラムを実行して、タッチパネル５４や操作部５５に対するユーザ操作に応じた動作が情報処理端末１０で行われるように各部の動作を制御する。
　なお、情報処理端末１０は、図２に示す構成に限られず、例えば画像データを符号化して記憶部５６に記憶するための符号化処理部、画像データを表示部の解像度に合わせる解像度変換部等が設けられてもよい。
　＜２．画像処理装置の実施の形態＞
　＜２－１．実施の形態の構成＞
　画像処理部３０は、撮像部２１-Hで取得された高画質の白黒撮像画と撮像部２１-Wで取得された広画角のカラー撮像画を用いてフュージョン処理を行う。画像処理部３０は、フュージョン処理として高画質画像基準フュージョン処理を行う。画像処理部３０は、高画質画像基準フュージョン処理を行う場合、高画質である白黒撮像画を基準として、白黒撮像画よりも低画質且つ広画角であるカラー撮像画を白黒撮像画の視点とするワーピングを行い、白黒撮像画とワーピング後のカラー撮像画の画像重複領域の位置を一致させてフュージョン画像を生成する。画像処理部３０は、高画質画像基準フュージョン処理を行い、撮像部２１-Hと撮像部２１-Wで撮像された被写体領域である画像重複領域は、撮像部２１-Hの性能に応じて高画質とされており、画角は撮像部２１-Wの画角であるフュージョン画像を生成する。
　また、撮像部２１-Hと撮像部２１-Wでは視点が異なることから、遠景に比べて近景ではオクルージョンが増加する。図４は、撮像部２１-Hで取得される白黒撮像画を基準としたときのオクルージョンを示している。視差によってオクルージョンが生じると、撮像部２１-Wで取得されたカラー撮像画ではオクルージョン領域に対応する画像データがない。このため、白黒撮像画を基準とするフュージョン処理によって生成されたフュージョン画像ではオクルージョン領域で色情報が欠落した画像となり、撮像部２１-Wで取得されたカラー撮像画よりもフュージョン画像の画質が劣化する場合がある。
　また、撮像部２１-Hと撮像部２１-Wで画角が異なっている。したがって、図５に示すように、フュージョン画像の生成に用いる撮像画では、撮像部２１-Wで取得された広画角のカラー撮像画のみで示されている画像非重複領域（以下「額縁領域」という）ＡＲａと、撮像部２１-Hで取得された高画質の白黒撮像画Ｇｂｗ-Hと撮像部２１-Wで取得されたカラー撮像画Ｇｃｒ-Wで示されている画像重複領域ＡＲｂが生じる。また、撮像部２１-Hと撮像部２１-Wの感度差や露光差等によって、白黒撮像画Ｇｂｗ-Hとカラー撮像画Ｇｃｒ-Wで輝度が異なると、白黒撮像画を基準とするフュージョン処理によって生成されたフュージョン画像では、額縁領域ＡＲａと画像重複領域ＡＲｂとの輝度差によって境界が目立ってしまう。
　そこで、画像処理部３０は、所定条件を満たしているか判定して、所定条件を満たしていると判定した場合、すなわち被写体距離や輝度差等に起因した画質の劣化を生じないと判定した場合、高画質画像基準フュージョン処理を行う。また、画像処理部３０は、所定条件を満たしていないと判定した場合、すなわち被写体距離や輝度差等の少なくとも何れかに起因した画質の劣化を生じると判定した場合、広画角画像基準フュージョン処理を行う。画像処理部３０は、広画角画像基準フュージョン処理を行う場合、広画角であるカラー撮像画を基準として、高画質である白黒撮像画をカラー撮像画の視点とするワーピングを行い、カラー撮像画とワーピング後の白黒撮像画の画像重複領域の位置を一致させてフュージョン画像を生成する。画像処理部３０は、このような広画角画像基準フュージョン処理を行い、被写体距離や輝度差等に起因した画質の劣化を防止する。
　図６は、実施の形態の構成を例示している。画像処理部３０は、前処理部３１-H，３１-W、フュージョン処理部３２、判定部３３を有している。また、フュージョン処理部３２は、視差検出部３２１、額縁領域補間部３２２、ワーピング部３２３-H，３２３-W、画像合成部３２４を有しており、判定部３３は、測距部３３１、距離判定部３３２、輝度差判定部３３３、統合判定部３３４を有している。
　前処理部３１-Hは、撮像部２１-Hで取得された白黒撮像画の画像データに対して、レンズ歪補正や欠陥画素補正等の補正処理を行う。前処理部３１-Hは、補正後の画像データ（以下「白黒画像データ」という）をフュージョン処理部３２へ出力する。
　前処理部３１-Wは、撮像部２１-Wで取得されたカラー撮像画の画像データに対して、レンズ歪補正や欠陥画素補正等の補正処理を行う。また、前処理部３１-Wは、補正処理後の画像データを用いてデモザイク処理を行う。デモザイク処理では、各画素が赤色と青色と緑色のいずれか１つの色成分を示す撮像データから画素毎に赤色と青色と緑色の各色成分を示す三原色画像データを生成する。さらに、前処理部３１-Wは、三原色画像データの色空間変換を行い、色差データおよび白黒画像と等しい成分である輝度データからなるカラー画像データを生成してフュージョン処理部３２へ出力する。
　フュージョン処理部３２の視差検出部３２１は、前処理部３１-Hから供給された白黒画像データと前処理部３１-Wから供給されたカラー画像データに基づいて視差検出を行い、検出した視差を示す視差情報を生成する。撮像部２１-Hと撮像部２１-Wは、図１の（ｂ）に示すように異なる視点位置から撮像を行うため、撮像部２１-Hと撮像部２１-Wで取得された撮像画は視差を持つ画像となる。したがって、視差検出部３２１は、前処理部３１-Hと前処理部３１-Wから供給された画像データに基づいて画素毎の視差を示す視差情報を生成する。
　視差検出部３２１は、白黒画像データとカラー画像データを用いて視差検出を行い、白黒撮像画とカラー撮像画の視差を示す視差情報を生成する。また、視差情報の生成において、視差検出部３２１は、後述する判定部３３から供給されたフュージョン判定情報に基づき、白黒撮像画またはカラー撮像画を基準とする。例えば、視差検出部３２１は、フュージョン判定情報によってカラー撮像画を基準としたフュージョン処理（広画角画像基準フュージョン処理）を行うことが示されている場合にカラー撮像画を基準画像とした視差情報を生成する。また、視差検出部３２１は、フュージョン判定情報によって白黒撮像画を基準としたフュージョン処理（高画質画像基準フュージョン処理）を行うことが示されている場合に白黒撮像画を基準画像とした視差情報を生成する。視差検出部３２１は、ブロックマッチングなどの対応点検出処理等を行い、視差情報を生成する。例えば、視差検出部３２１は、基準撮像画上の注目位置を基準とした基準ブロック領域に最も類似する他方の撮像画上のブロック領域を検出する。また、視差検出部３２１は、検出したブロック領域と基準ブロック領域の位置の差を示す視差ベクトルを算出する。さらに、視差検出部３２１は、基準撮像画上の各画素を注目位置として視差ベクトルの算出を行い、画素毎に算出した視差ベクトルを示す視差情報を生成する。視差検出部３２１は、生成した視差情報を額縁領域補間部３２２とワーピング部３２３-H、および判定部３３へ出力する。
　額縁領域補間部３２２は、判定部３３から供給されたフュージョン判定情報によって白黒撮像画を基準とする高画質画像基準フュージョン処理を行うことが示されている場合、額縁領域の視差情報を補間処理によって生成する。カラー撮像画は白黒撮像画よりも広画角であることから、視差検出部３２１で生成された視差情報は、カラー撮像画において白黒撮像画に含まれていない額縁領域の視差情報が含まれていない。したがって、額縁領域補間部３２２は、カラー撮像画を白黒撮像画の視点の画像とするワーピングを行えるように、白黒撮像画を基準として生成された視差情報を用いた補間処理によって額縁領域の視差情報を生成する。
　ワーピング部３２３-Hは、判定部３３からのフュージョン判定情報に基づき白黒撮像画のワーピングを行う。ワーピング部３２３-Hは、フュージョン判定情報によって広画角画像基準フュージョン処理を行うことが示されている場合、白黒撮像画をカラー撮像画の視点の画像とするワーピングを行う。ワーピング部３２３-Hは、白黒画像データからカラー撮像画の視点の白黒画像データを生成して画像合成部３２４へ出力する。また、ワーピング部３２３-Hは、フュージョン判定情報によって高画質画像基準フュージョン処理を行うことが示されている場合、視点を変更する前の白黒画像データを画像合成部３２４へ出力する。
　ワーピング部３２３-Wは、判定部３３からのフュージョン判定情報に基づきカラー撮像画のワーピングを行う。ワーピング部３２３-Wは、フュージョン判定情報によって高画質画像基準フュージョン処理を行うことが示されている場合、カラー撮像画を白黒撮像画の視点の画像とするワーピングを行う。ワーピング部３２３-Wは、カラー画像データから白黒撮像画の視点のカラー画像データを生成して画像合成部３２４へ出力する。また、ワーピング部３２３-Wは、フュージョン判定情報によって広画角画像基準フュージョン処理を行うことが示されている場合、視点を変更する前のカラー画像データを画像合成部３２４へ出力する。
　画像合成部３２４は、白黒撮像画とカラー撮像画の合成を行う。画像合成部３２４は、ワーピング部３２３-Hから出力された白黒画像データとワーピング部３２３-Wから出力されたカラー画像データを、画像重複領域の位置を一致させたのち白黒画像データとカラー画像データにおける輝度画像データを合成する。画像合成部３２４は、色差データと合成後の輝度データからなるカラー画像データをフュージョン画像の画像データとして出力する。
　判定部３３は、フュージョン画像の生成における画質の劣化に関する所定条件を満たしているか判定して、判定結果に基づきフュージョン判定情報を生成してフュージョン処理部３２へ出力する。また、判定部３３は、ユーザ操作に応じた設定情報に基づきフュージョン判定情報の生成を行う。判定部３３は、例えば視差情報に基づき判別した被写体距離が判定閾値よりも長いことを所定条件とする。また、判定部３３は、例えば高画質画像と広画角画像の輝度差が判定閾値以下であることを所定条件とする。
　判定部３３の測距部３３１は、被写体の測距情報を生成する。測距部３３１は、撮像部２１-Hまたは撮像部２１-Wに設けられてもよく、撮像部と別個に設けられてもよい。また、測距部３３１は、パッシブ方式またはアクティブ方式の何れの方式を用いて測距情報を生成してもよい。パッシブ方式を用いた測距部を撮像部に設ける場合、例えば撮像部は、撮像面に像面位相差検出画素を設けた撮像素子を用いる。像面位相差検出画素は、瞳分割によって分割された一方の画像と他方の画像の画像信号を個々に生成する。測距部は、像面位相差検出画素で生成された画像信号を用いて、一方の画像と他方の画像の位相差を検出して、位相差に基づき被写体までの距離である被写体距離を算出する。また、パッシブ方式を用いた測距部を撮像部と別個に設ける場合、例えば測距部は、一対のラインセンサを撮像部と別個に設けて、瞳分割によって分割した一方の画像と他方の画像を一対のラインセンサ上に結像させる。測距部は、一対のラインセンサに結像された画像の位相差を検出して、位相差に基づき被写体距離を算出する。さらに、測距部３３１は、アクティブ方式を用いる場合、光や電波を出力して、反射された光や電波に基づき被写体までの距離である被写体距離を測定する。
　測距部３３１は、被写体距離を示す測距情報を距離判定部３３２へ出力する。また、測距部３３１は、撮像画における画素毎の被写界深度を示すデプスマップを生成して測距情報として距離判定部３３２へ出力してもよい。
　距離判定部３３２は、測距部３３１で生成された測距情報に基づきフュージョン処理における基準画像を判定する。距離判定部３３２は、予め設定されている近景検出領域における被写体の被写体距離が判定閾値以下である場合はフュージョン画像の生成における基準画像をカラー撮像画と判定して、被写体距離が判定閾値よりも長い場合は基準画像を白黒撮像画と判定する。なお、近景検出領域については後述する。距離判定部３３２は、被写体距離に基づく基準画像判定結果を統合判定部３３４へ出力する。
　輝度差判定部３３３は、ワーピング部３２３-Hから出力された白黒撮像画とワーピング部３２３-Wから出力されたカラー撮像画に基づきフュージョン処理における基準画像を判定する。輝度差判定部３３３は、画像重複領域における額縁領域との境界から所定範囲を輝度算出領域として、輝度算出領域の例えば輝度平均値を白黒撮像画とカラー撮像画で算出する。さらに、輝度差判定部３３３は、白黒撮像画とカラー撮像画のそれぞれで算出した輝度平均値の差が判定閾値よりも大きい場合は基準画像をカラー撮像画と判定して、輝度平均値の差が判定閾値以下で場合は基準画像を白黒撮像画と判定する。輝度差判定部３３３は、輝度差に基づく基準画像判定結果を統合判定部３３４へ出力する。
　統合判定部３３４は、距離判定部３３２と輝度差判定部３３３の基準画像判定結果および制御部６０から供給されたユーザ操作に応じた設定情報に基づき、どのようなフュージョン処理を行うか判定する。統合判定部３３４は、基準画像判定結果や設定情報に基づき、高画質画像基準フュージョン処理、広画角画像基準フュージョン処理、狭画角フュージョン処理の何れを行うか判定する。また、統合判定部３３４は、基準画像判定結果に基づき、動作撮像中に高画質画像基準フュージョン処理または広画角画像基準フュージョン処理の何れを行うか等の判定を行う。なお、狭画角フュージョン処理では、カラー撮像画を用いて白黒撮像画を基準としたワーピングを行い、白黒撮像画とワーピング後のカラー撮像画を、画像重複領域の位置を一致させて合成することで白黒撮像画の画角であるフュージョン画像を生成する。統合判定部３３４は、フュージョン処理の判定結果を示すフュージョン判定情報をフュージョン処理部３２へ出力する。したがって、フュージョン処理部３２では、判定部３３の判定結果すなわちフュージョン判定情報に基づき、高画質のフュージョン画像を生成できるように、高画質画像基準フュージョン処理や広画角画像基準フュージョン処理あるいは狭画角フュージョン処理が選択的に行われる。
　＜２－２．実施の形態の動作＞
　図７は、画像処理部の実施の形態の動作を示すフローチャートである。ステップＳＴ１で画像処理部は前処理を行う。画像処理部３０の前処理部３１-H，３１-Wは、撮像部２１-H，２１-Wから撮像画の画像データを取得して、レンズ歪補正や欠陥画素補正等の補正処理を行う。さらに、前処理部３１-Wは、撮像部２１-Wから取得したカラー撮像画の画像データを用いてデモザイク処理や色空間変換処理等を行い、撮像部２１-Hから取得した白黒撮像画と等しい成分である輝度データと色差データからなるカラー画像データを生成する。画像処理部３０の前処理部３１-H，３１-Wは、白黒撮像画とカラー撮像画の画像データを用いて前処理を行いステップＳＴ２に進む。
　ステップＳＴ２で画像処理部はフュージョン処理判定を行う。画像処理部３０の判定部３３は、ユーザの設定操作や距離判別部，輝度差判別部の判別結果に基づき、高画質画像基準フュージョン処理と広画角画像基準フュージョン処理と狭画角フュージョン処理の何れを行うか判定して、判定結果を示すフュージョン判定情報を生成する。図８はフュージョン処理判定を示すフローチャートである。
　ステップＳＴ１１で画像処理部は設定情報を取得する。画像処理部３０の判定部３３は、制御部６０からユーザ操作に応じた設定情報、例えば動画と静止画の何れを生成するかを示す情報、フュージョン画像の生成モードを示す情報等を取得してステップＳＴ１２に進む。
　ステップＳＴ１２で画像処理部は距離に基づく基準画像判定を行う。図９と図１０は距離に基づく基準画像判定を説明するための図である。図９は、撮像部と被写体の位置関係を模式的に示しており、撮像部２１-Hは被写体ＯＢａよりも左側に配置されており、撮像部２１-Wは被写体ＯＢａよりも右側に配置されている。また、被写体ＯＢｂは離れた位置に設けられている。撮像部２１-Hの画角ＣＶｓは通常画角であり、撮像部２１-Wの画角ＣＶｗは通常画角よりも広く広画角である。
　図１０は、被写体距離と撮像部で取得される撮像画の関係を示している。被写体ＯＢａまでの距離が短くなると、撮像部２１-Hで得られる白黒撮像画Ｇｂｗ-Hでは被写体ＯＢａの位置が右方向に移動して、撮像部２１-Wで得られるカラー撮像画Ｇｃｒ-Wでは被写体ＯＢａの位置が左方向に移動する。また、被写体ＯＢａまでの距離が短くなると、カラー撮像画Ｇｃｒ-Wでは被写体ＯＢａによって被写体ＯＢｂが隠された状態となる。画像処理部は、白黒撮像画Ｇｂｗ-Hを基準として広画角のフュージョン画像を生成する場合、破線で示す額縁領域ＡＲａについてカラー撮像画Ｇｃｒ-Wを利用する必要がある。ここで、被写体ＯＢａまでの距離が短く、カラー撮像画Ｇｃｒ-Wにおいて被写体ＯＢｂが被写体ＯＢａによって隠れた状態となると、フュージョン画像における額縁領域ＡＲａでは、被写体ＯＢｂを表示できない。したがって、図１１に示すように、画像処理部は、広画角であるカラー撮像画Ｇｃｒ-Wに対して近景検出領域ＡＲｄを設定して、近景検出領域ＡＲｄに含まれる被写体の被写体距離が予め設定された判定閾値よりも長いか否かに応じて基準画像を切り替える。なお、白黒撮像画を基準として広画角のフュージョン画像を生成する場合、額縁領域はカラー撮像画を利用する。したがって、額縁領域における近接した被写体によって離れている被写体が隠れているおそれがあるか判別できるように、額縁領域を近景検出領域として判別閾値を予め設定しておく。
　図１２は距離に基づく基準画像判定を示すフローチャートである。ステップＳＴ２１で判定部は、近景検出領域における被写体の被写体距離を検出する。判定部３３は、カラー撮像画における近景検出領域（例えば額縁領域）における被写体の被写体距離を、パッシブ方式やアクティブ方式の測距センサまたはデプスマップ等を用いて検出してステップＳＴ２２に進む。
　ステップＳＴ２２で判定部は被写体距離が判定閾値よりも長いか判定する。判定部３３は、ステップＳＴ２１で検出した被写体距離が判定閾値よりも長い場合にステップＳＴ２３に進み、距離が判定閾値以下である場合にステップＳＴ２４に進む。
　ステップＳＴ２３で判定部は白黒撮像画を基準画像と判定する。被写体距離が判定閾値よりも長い場合、白黒撮像画を基準画像として生成されるフュージョン画像は、被写体が離れていることからオクルージョン領域が少なく額縁領域の画像の欠落が目立たない。したがって、判定部３３は白黒撮像画を基準画像と判定する。
　ステップＳＴ２４で判定部はカラー撮像画を基準画像と判定する。被写体距離が判定閾値以下で近接している場合、白黒撮像画を基準画像として生成されるフュージョン画像は、被写体が近接してオクルージョン領域が増加することで額縁領域の画像の欠落が目立つようになる。したがって、判定部３３は、カラー撮像画を基準画像と判定する。
　このように、画像処理部は近景検出領域の被写体距離に基づき白黒撮像画とカラー撮像画の何れを基準画像とするか判定して図８のステップＳＴ１３に進む。
　ステップＳＴ１３で画像処理部は輝度差に基づく基準画像判定を行う。図１３は輝度差に基づく基準画像判定を説明するための図である。図１３において、白黒撮像画とカラー撮像画を例示しており、例えば白黒撮像画Ｇｂｗ-Hはカラー撮像画Ｇｃｒ-Wよりも明るい画像となっている。
　画像処理部で高画質である白黒撮像画と広画角であるカラー撮像画を合成する場合、白黒撮像画Ｇｂｗ-Hとカラー撮像画Ｇｃｒ-Wの輝度が異なると、フュージョン画像では額縁領域ＡＲａと画像重複領域ＡＲｂとの境界で、輝度差が顕著となる。したがって、図１４に示すように、画像重複領域ＡＲｂにおける額縁領域ＡＲａとの境界から所定範囲を輝度算出領域ＡＲｅとして、画像処理部は輝度算出領域ＡＲｅの例えば輝度平均値を白黒撮像画Ｇｂｗ-Hとカラー撮像画Ｇｃｒ-Wで算出する。また、画像処理部は、白黒撮像画から算出した輝度平均値とカラー撮像画から算出した輝度平均値の差である輝度差が予め設定された判定閾値以下であるか否かに応じて基準画像の設定を行う。
　図１５は、輝度差に基づく基準画像判定を示すフローチャートである。ステップＳＴ３１で判定部は位置合わせ処理を行う。判定部３３は白黒撮像画とカラー撮像画の画像重複領域の位置が一致するように白黒撮像画とカラー撮像画の位置合わせを行ってステップＳＴ３２に進む。
　ステップＳＴ３２で判定部は、白黒撮像画を用いて平均輝度を算出する。判定部３３は、白黒撮像画における輝度算出領域ＡＲｅの平均輝度を算出してステップＳＴ３３に進む。
　ステップＳＴ３３で判定部は、カラー撮像画を用いて平均輝度を算出する。判定部３３は、カラー撮像画における輝度算出領域ＡＲｅの平均輝度を算出してステップＳＴ３４に進む。
　ステップＳＴ３４で判定部は、輝度差を算出する。判定部３３は、ステップＳＴ３２で算出した平均輝度とステップＳＴ３３で算出した平均輝度との輝度差を算出してステップＳＴ３５に進む。
　ステップＳＴ３５で判定部は、輝度差が判定閾値以下であるか判別する。判定部３３は、ステップＳＴ３４で算出した輝度差が判定閾値以下である場合にステップＳＴ３６に進み、輝度差が判定閾値よりも大きい場合にステップＳＴ３７に進む。
　ステップＳＴ３６で判定部は白黒撮像画を基準画像と判定する。輝度差が判定閾値以下である場合、白黒撮像画を基準画像として生成されるフュージョン画像は、重複画像部分と非重複画像部分の輝度差が少なく境界も目立たない。したがって、判定部３３は、白黒撮像画を基準画像と判定する。
　ステップＳＴ３７で判定部はカラー撮像画を基準画像と判定する。輝度差が判定閾値よりも大きい場合、白黒撮像画を基準画像として生成されたフュージョン画像は、画像重複領域と画像非重複領域（額縁領域）との輝度差が大きく領域の境界が目立ってしまう。したがって、判定部３３は、カラー撮像画を基準画像と判定する。
　このように、画像処理部は白黒撮像画とカラー撮像画の輝度差に基づき白黒撮像画とカラー撮像画の何れを基準画像とするか判定して図８のステップＳＴ１４に進む。
　ステップＳＴ１４で画像処理部は統合判定を行う。画像処理部３０の判定部３３は、ステップＳＴ１１で取得した設定情報およびステップＳＴ１２とステップＳＴ１３で得られた判定結果に基づきどのようなフュージョン処理を行うか判定して、判定結果を示すフュージョン判定情報を生成する。
　図１６は、統合判定を説明するための図であり、図１６の（ａ）はフュージョン画像として動画を生成する場合、図１６の（ｂ）はフュージョン画像として静止画を生成する場合を示している。
　判定部３３は、取得した設定情報によって動画の生成をユーザが選択したと判別した場合に図１６の（ａ）に基づきフュージョン判定情報の生成を行い、静止画の生成をユーザが選択したと判別した場合に図１６の（ｂ）に基づきフュージョン判定情報の生成を行う。
　動画の生成では撮像途中で画角を替えないようにする。したがって、ユーザが動画の生成および広画角でフュージョン画像を生成するモード（広画角モード）を選択した場合、判定部３３は、画角を広画角として、距離の判定結果と輝度差の判定結果に基づいて基準画像の切り替えを行う。判定部３３は、例えば距離の判定結果と輝度差の判定結果の何れでも白黒撮像画が基準画像と判定されている場合、フュージョン処理を高画質画像基準フュージョン処理として白黒撮像画を基準画像で画角を広画角とする。また、判定部３３は、距離の判定結果と輝度差の判定結果の少なくとも何れかでカラー撮像画が基準画像とされている場合、フュージョン処理を広画角画像基準フュージョン処理としてカラー撮像画を基準画像で画角を広画角とする。
　また、判定部３３は、動画の生成において、カラー撮像画を基準画像とすることにより、白黒撮像画を基準画像とした場合に比べて画質が低下してしまうことを許容できない場合、画質優先モードを選択できるようにする。画質優先モードでは、所定条件を満たしているか否かに拘わらずフュージョン処理を狭画角フュージョン処理として、白黒撮像画を基準画像で画角を狭画角（白黒撮像画の画角である通常画角）とする。このように画角を狭画角とすれば、フュージョン画像は、近景検出領域における近接した被写体や画像重複領域と額縁領域との輝度差の影響を受けることがない。
　静止画の生成では、撮像画の解析結果を用いて基準画像や画角の設定を行い、フュージョン画像を生成してもよい。例えば、静止画の生成では、広画角のフュージョン画像を生成するモード（広画角モード）、通常画角のフュージョン画像を生成するモード（通常画角モード）を設ける。また、自動的に画角を設定するモード（オート画角モード）等をユーザが選択できるようにしてもよい。
　ユーザが広画角モードを選択した場合、判定部３３は、画角を広画角として、距離の判定結果と輝度差の判定結果に基づいて基準画像の切り替えを行う。判定部３３は、例えば距離の判定結果と輝度差の判定結果の何れでも白黒撮像画が基準画像と判定されている場合、フュージョン処理を高画質画像基準フュージョン処理として白黒撮像画を基準画像で画角を広画角とする。また、判定部３３は、距離の判定結果と輝度差の判定結果の少なくとも何れかでカラー撮像画が基準画像とされている場合、フュージョン処理を広画角画像基準フュージョン処理としてカラー撮像画を基準画像で画角を広画角とする。
　ユーザが通常画角モードを選択した場合、判定部３３はフュージョン画像の画角を通常画角（狭画角）とする。また、画角を通常画角とすれば、フュージョン画像は、近景検出領域における近接した被写体や画像重複領域と額縁領域との輝度差の影響を受けることがない。したがって、判定部３３は、ユーザが通常画角モードを選択した場合、所定条件を満たしているか否かに拘わらずフュージョン処理を狭画角フュージョン処理として、白黒撮像画を基準画像で画角を通常画角とする。
　ユーザがオート画角モードすなわちフュージョン画像の画角設定を自動的に行うモードを選択した場合、判定部３３は、距離の判定結果と輝度差の判定結果に基づいて基準画像の切り替えと画角の設定を行う。判定部３３は、例えば距離の判定結果と輝度差の判定結果の何れでも白黒撮像画が基準画像と判定されている場合、フュージョン処理を高画質画像基準フュージョン処理として白黒撮像画を基準画像で画角を広画角とする。また、判定部３３は、距離の判定結果と輝度差の判定結果の少なくとも何れかでカラー撮像画が基準画像とされている場合、フュージョン処理を狭画角フュージョン処理として白黒撮像画を基準画像で画角を通常画角とする。このように、オート画角モードを選択できるようにすれば、画像重複領域が高画質となるように、基準画像および画角を自動的に設定できる。
　判定部３３は、設定情報および距離の判定結果と輝度差の判定に基づき、どのようなフュージョン処理を行うか判定して、判定結果を示すフュージョン判定情報を生成して図７のステップＳＴ３に進む。
　ステップＳＴ３で画像処理部は視差検出を行う。画像処理部３０の視差検出部３２１は、ステップＳＴ２で生成されたフュージョン判定情報に基づき、基準画像に対して他の撮像画の視差を検出する。視差検出部３２１は、基準画像の画素毎に視差を検出する。また、フュージョン判定情報で基準画像が白黒撮像であり画角が広画角であることが示されている場合、額縁領域補間部３２２は、額縁領域の視差を生成する補間処理を行い、画像重複領域における境界部分の視差を額縁領域の視差とする。図１７は、視差検出を説明するための図である。視差検出部３２１は、図１７の（ａ）に示す白黒撮像画Ｇｂｗ-Hとカラー撮像画Ｇｃｒ-Wを用いて、フュージョン判定情報に基づき、基準画像に対して他の撮像画の視差を検出する。ここで、フュージョン判定情報で基準画像が白黒撮像画であり画角が広画角であることが示されている場合、図１７の（ｂ）に示すように額縁領域ＡＲａの視差は検出されていない。なお、図では検出された視差（視差ベクトル）を矢印で模式的に示している。したがって、額縁領域補間部３２２は、画像重複領域ＡＲｂにおいて額縁領域ＡＲａとの境界に位置する画素の視差を、図１７の（ｃ）に示すように額縁領域ＡＲａの視差として用いてステップＳＴ４に進む。
　ステップＳＴ４で画像処理部はワーピングを行う。画像処理部３０のワーピング部３２３-H，３２３-Wは、ステップＳＴ２で生成されたフュージョン判定情報とステップＳＴ３で検出された視差に基づきワーピングを行う。
　ワーピング部３２３-Wは、白黒撮像画が基準画像で画角が広画角であることをフュージョン判定情報が示している場合、視差検出部３２１で検出された視差量と額縁領域補間部３２２で補間された額縁領域の視差量に基づき、カラー撮像画から白黒撮像画の視点であるカラー撮像画を生成して画像合成部３２４へ出力する。また、ワーピング部３２３-Wは、白黒撮像画が基準画像であり画角が通常画角であることをフュージョン判定情報が示している場合、視差検出部３２１で検出された視差量に基づき、カラー撮像画における画像重複領域の画像から白黒撮像画の視点であるカラー撮像画を生成して画像合成部３２４へ出力する。また、ワーピング部３２３-Hは、白黒撮像画が基準画像であることをフュージョン判定情報が示している場合、前処理部３１-Hから供給された白黒撮像画を画像合成部３２４へ出力する。
　ワーピング部３２３-Wは、カラー撮像画が基準画像であることをフュージョン判定情報が示している場合、前処理部３１-Wから供給されたカラー撮像画を画像合成部３２４へ出力する。また、ワーピング部３２３-Hは、カラー撮像画が基準画像であることをフュージョン判定情報が示している場合、視差検出部３２１で検出された視差量に基づき、白黒撮像画からカラー撮像画の視点である白黒撮像画を生成して画像合成部３２４へ出力する。
　画像処理部３０は、フュージョン判定情報と視差量に基づきワーピングを行い、基準画像とは異なる撮像画から基準画像の視点の撮像画を生成してステップＳＴ５に進む。
　ステップＳＴ５で画像処理部は画像合成を行う。画像処理部３０の画像合成部３２４は、ワーピング部３２３-Hから供給された白黒画像とワーピング部３２３-Wから供給されたカラー撮像画における輝度成分画像を画像重複領域の位置を一致させて合成する。さらに画像処理部３０は、色差データおよび白黒撮像画と等しい成分である輝度データからなるカラー画像データを生成して出力する。なお、画像処理部３０は、動画を生成する場合、ステップ順に処理を行う順序処理に限らず、パイプライン処理や並列処理が行われる場合、例えば全ラインの合成処理の完了と判定される前に次のフレームのフュージョン画像の生成を開始するようにしてもよい。
　このように本技術の実施の形態によれば、画角と画質が異なる複数の撮像画を用いて画質を低下させることなく広画角で高画質の撮像画を生成できる。図１８は、フュージョン判定情報に基づいて生成されるフュージョン画像の性能とフュージョン画像例を示している。なお、図１８の（ｂ）はカラー撮像画Ｇｃｒ-W、図１８の（ｃ）乃至（ｅ）はフュージョン画像ＧＦｕを例示している。図１８の（ｃ）は高画質画像基準フュージョン処理で生成されたフュージョン画像、図１８の（ｄ）は広画角画像基準フュージョン処理で生成されたフュージョン画像、図１８の（ｅ）は狭画角フュージョン処理で生成されたフュージョン画像を例示している。
　フュージョン判定情報が高画質画像基準フュージョン処理であることを示している場合、基準画像を白黒撮像画として広画角のフュージョン画像が生成される。このフュージョン画像は、白黒撮像画を基準画像としていることから、画像重複領域の画質が高画質（二重丸マーク）となる。また、フュージョン画像の生成において額縁領域はカラー撮像画を用いることから、額縁領域の画質はカラー撮像画相当の画質であり、画角はカラー撮像画の画角である広画角となる。
　フュージョン判定情報が広画角画像基準フュージョン処理であることを示している場合、基準画像をカラー撮像画として広画角のフュージョン画像が生成される。このフュージョン画像は、カラー撮像画を基準画像としていることから、画像重複領域の画質は高画質画像基準フュージョン処理に比べて低い画質（丸マーク）となる。また、フュージョン画像の生成において額縁領域はカラー撮像画を用いることから、額縁領域の画質はカラー撮像画相当の画質であり、画角はカラー撮像画の画角である広画角となる。
　フュージョン判定情報が狭画角フュージョン処理であることを示している場合、基準画像を白黒撮像画として狭画角（通常画角）のフュージョン画像が生成される。このフュージョン画像は、白黒撮像画を基準画像としていることから、画像重複領域の画質は高画質画像基準フュージョン処理と同様に高画質（二重丸マーク）となる。また、狭画角であることから額縁領域は存在せず、フュージョン画像は、白黒撮像画の画角である通常画角となる。
　＜３．他の実施の形態＞
　ところで、画像処理部は、動画の生成において、生成された撮像画に基づき距離や輝度差の判定を行い、判定結果に応じて生成したフュージョン判定情報に基づき、その後に生成された撮像画のフュージョン処理を行う構成に限られない。例えば、画像処理部は、撮像画に基づき距離や輝度差の判定を行い、判定結果に応じて生成したフュージョン判定情報に基づき、距離や輝度差の判定に用いた撮像画のフュージョン処理を行ってもよい。この場合、画像処理部３０において、判定部３３はフュージョン判定情報を画像合成部３２４へ出力する。また、ワーピング部３２３-Hはカラー撮像画の視点の白黒撮像画、ワーピング部３２３-Wは白黒撮像画の視点のカラー撮像画をそれぞれ生成して、白黒撮像画とカラー撮像画および視点変換後の白黒撮像画とカラー撮像画を画像合成部３２４へ出力する。画像合成部３２４は、判定部３３からのフュージョン判定情報に基づき、白黒撮像画を基準としたフュージョン画像またはカラー撮像画を基準としたフュージョン画像を生成する。画像処理部３０は、このような処理を行うことで、距離や輝度差の判定に用いた撮像画のフュージョン処理を、距離や輝度差の判定結果に応じて行うことができるようになる。
　また、上述の実施の形態では、高画質の撮像画が白黒撮像画で広画角の撮像画がカラー撮像画である場合を例示したが、撮像画は上述の実施の形態に限られない。例えば、高画質の撮像画は、解像度の高いカラー撮像画や色成分が異なる高画質のカラー撮像画であってもよい。また、高画質の撮像画は、カラー撮像画と異なる波長領域に感度を有した撮像部で生成された撮像画であってもよい。カラー撮像画と異なる波長領域に感度を有した撮像部としては、例えば赤外領域に感度を有する撮像部を用いる。撮像部２１-Hとして、赤外領域に感度を有する撮像部を用いて白黒撮像画を取得すれば、夕暮れや夜間等でも画像重複領域に位置する被写体が高画質とされている広画角のフュージョン画像を生成することが可能となる。
　＜４．応用例＞
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、情報処理端末に限らず、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１９は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図１９に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１９では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図２０は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図２０には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図１９に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（Global　System　of　Mobile　communications）、ＷｉＭＡＸ、ＬＴＥ（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（High-Definition　Multimedia　Interface）、又はＭＨＬ（Mobile　High-definition　Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１９の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　なお、図１９に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　以上説明した車両制御システム７０００において、撮像部７４１０，７９１０，７９１２，７９１４，７９１６，７９１８は、必要に応じて複数の撮像部例えば図２に示す撮像部２１-H，２１-Wを用いる構成とする。また、図１９に示した応用例の統合制御ユニット７６００に画像処理部３０を設ける。このような構成とすれば、撮像部７４１０，７９１０，７９１２，７９１４，７９１６，７９１８を小型・薄型化しても高画質で広画角の撮像画を取得できるので、取得した撮像画を運転支援や運転制御等に利用できる。なお、画像処理部３０は、図１９に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。
　明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
　また、本技術の画像処理装置は以下のような構成も取ることができる。
　（１）　高画質画像よりも低画質且つ広画角である広画角画像に対して前記高画質画像を基準としたワーピングを行い、前記高画質画像と前記ワーピング後の広画角画像を、画像重複領域の位置を一致させてフュージョン画像を生成する高画質画像基準フュージョン処理を行うフュージョン処理部を備える画像処理装置。
　（２）　前記フュージョン処理部は、前記高画質画像と前記広画角画像の視差を示す視差情報に基づいて前記ワーピングを行う（１）に記載の画像処理装置。
　（３）　前記フュージョン処理部は、前記広画角画像において前記高画質画像に含まれていない画像非重複領域の視差情報を、前記画像重複領域の視差情報を用いて補間する（２）に記載の画像処理装置。
　（４）　前記フュージョン処理部は、前記高画質画像を用いて前記広画角画像を基準としたワーピングを行い、前記ワーピング後の高画質画像とワーピングを行っていない前記広画角画像を、画像重複領域の位置を一致させてフュージョン画像を生成する広画角画像基準フュージョン処理、または前記高画質画像基準フュージョン処理を行う（１）乃至（３）の何れかに記載の画像処理装置。
　（５）　前記所定条件を満たしているか判定する判定部をさらに備え、
　前記フュージョン処理部は、前記所定条件を満たしていない場合は前記広画角画像基準フュージョン処理を行い、前記所定条件を満たしている場合は前記高画質画像基準フュージョン処理を行う（４）に記載の画像処理装置。
　（６）　前記判定部は、視差情報に基づき判別した被写体距離が判定閾値よりも長いことを前記所定条件とする（５）に記載の画像処理装置。
　（７）　前記被写体距離は、前記広画角画像において前記高画質画像に含まれていない画像非重複領域に位置する被写体の被写体距離である（６）に記載の画像処理装置。
　（８）　前記判定部は、前記高画質画像と前記広画角画像の輝度差が判定閾値以下であることを前記所定条件とする（５）乃至（７）の何れかに記載の画像処理装置。
　（９）　前記輝度差は、前記画像重複領域における前記画像非重複領域との境界から所定範囲の画像領域の平均輝度の差である（８）に記載の画像処理装置。
　（１０）　前記フュージョン処理部は、前記広画角画像を用いて前記高画質画像を基準としたワーピングを行い、前記高画質画像と前記ワーピング後の広画角画像を、前記画像重複領域の位置を一致させて前記高画質画像の画角であるフュージョン画像を生成する狭画角フュージョン処理を、前記判定部の判定結果に応じて行う（５）乃至（９）の何れかに記載の画像処理装置。
　（１１）　前記フュージョン処理部は、前記高画質画像と前記広画角画像が動画で前記広画角画像の画角であるフュージョン画像を生成する場合、前記判定部の判定結果に基づき前記高画質画像基準フュージョン処理または前記広画角画像基準フュージョン処理を行う（１０）に記載の画像処理装置。
　（１２）　前記フュージョン処理部は、前記高画質画像と前記広画角画像が静止画である場合、前記高画質画像基準フュージョン処理または前記広画角画像基準フュージョン処理あるいは前記狭画角フュージョン処理を行う（１０）に記載の画像処理装置。
　（１３）　前記フュージョン処理部は、前記所定条件を満たしていない場合は前記広画角画像基準フュージョン処理または前記狭画角フュージョン処理を行う（１２）に記載の画像処理装置。
　（１４）　前記フュージョン処理部は、前記所定条件を満たしていない場合において、前記判定部でフュージョン画像の画角設定を自動的に行うモード選択が行われていることを判定している場合に前記狭画角フュージョン処理を行う（１３）に記載の画像処理装置。
　（１５）　前記判定部は、フュージョン処理のユーザ選択操作を判定して、
　前記フュージョン処理部は、前記判定部で前記狭画角フュージョン処理が選択されたことを判定した場合に前記所定条件を満たしているか否かに拘わらず前記狭画角フュージョン処理を行う（１０）乃至（１４）の何れかに記載の画像処理装置。
　この技術の画像処理装置と画像処理方法では、高画質画像よりも低画質且つ広画角である広画角画像に対して高画質画像を基準としたワーピングと、広画角画像よりも高画質である高画質画像とワーピング後の広画角画像を、画像重複領域の位置を一致させて合成する処理が行われてフュージョン画像が生成される。このため、画角と画質が異なる複数の撮像画を用いて画質を低下させることなく広画角で高画質の撮像画を生成できるようになる。したがって、撮像部を用いる機器であって、撮像部の小型化や薄型化が必要とされる機器に適している。
　１０・・・情報処理端末
　２１-H，２１-W・・・撮像部
　３０・・・画像処理部
　３１-H，３１-W・・・前処理部
　３２・・・フュージョン処理部
　３３・・・判定部
　５１・・・センサ部
　５２・・・通信部
　５３・・・表示部
　５４・・・タッチパネル
　５５・・・操作部
　５６・・・記憶部
　６０・・・制御部
　３２１・・・視差検出部
　３２２・・・額縁領域補間部
　３２３-H，３２３-W・・・ワーピング部
　３２４・・・画像合成部
　３３１・・・測距部
　３３２・・・距離判定部
　３３３・・・輝度差判定部
　３３４・・・統合判定部

Claims (16)

  1. 　高画質画像よりも低画質且つ広画角である広画角画像に対して前記高画質画像を基準としたワーピングを行い、前記高画質画像と前記ワーピング後の広画角画像を、画像重複領域の位置を一致させてフュージョン画像を生成する高画質画像基準フュージョン処理を行うフュージョン処理部
    を備える画像処理装置。
  2. 　前記フュージョン処理部は、前記高画質画像と前記広画角画像の視差を示す視差情報に基づいて前記ワーピングを行う
    請求項１に記載の画像処理装置。
  3. 　前記フュージョン処理部は、前記広画角画像において前記高画質画像に含まれていない画像非重複領域の視差情報を、前記画像重複領域の視差情報を用いて補間する
    請求項２に記載の画像処理装置。
  4. 　前記フュージョン処理部は、前記高画質画像を用いて前記広画角画像を基準としたワーピングを行い、前記ワーピング後の高画質画像とワーピングを行っていない前記広画角画像を、画像重複領域の位置を一致させてフュージョン画像を生成する広画角画像基準フュージョン処理、または前記高画質画像基準フュージョン処理を行う
    請求項１に記載の画像処理装置。
  5. 　所定条件を満たしているか判定する判定部をさらに備え、
    　前記フュージョン処理部は、前記所定条件を満たしていない場合は前記広画角画像基準フュージョン処理を行い、前記所定条件を満たしている場合は前記高画質画像基準フュージョン処理を行う
    請求項４に記載の画像処理装置。
  6. 　前記判定部は、視差情報に基づき判別した被写体距離が判定閾値よりも長いことを前記所定条件とする
    請求項５に記載の画像処理装置。
  7. 　前記被写体距離は、前記広画角画像において前記高画質画像に含まれていない画像非重複領域に位置する被写体の被写体距離である
    請求項６に記載の画像処理装置。
  8. 　前記判定部は、前記高画質画像と前記広画角画像の輝度差が判定閾値以下であることを前記所定条件とする
    請求項５に記載の画像処理装置。
  9. 　前記輝度差は、前記画像重複領域における前記画像非重複領域との境界から所定範囲の画像領域の平均輝度の差である
    請求項８に記載の画像処理装置。
  10. 　前記フュージョン処理部は、前記広画角画像を用いて前記高画質画像を基準としたワーピングを行い、前記高画質画像と前記ワーピング後の広画角画像を、前記画像重複領域の位置を一致させて前記高画質画像の画角であるフュージョン画像を生成する狭画角フュージョン処理を、前記判定部の判定結果に応じて行う
    請求項５に記載の画像処理装置。
  11. 　前記フュージョン処理部は、前記高画質画像と前記広画角画像が動画で前記広画角画像の画角であるフュージョン画像を生成する場合、前記判定部の判定結果に基づき前記高画質画像基準フュージョン処理または前記広画角画像基準フュージョン処理を行う
    請求項１０に記載の画像処理装置。
  12. 　前記フュージョン処理部は、前記高画質画像と前記広画角画像が静止画である場合、前記高画質画像基準フュージョン処理または前記広画角画像基準フュージョン処理あるいは前記狭画角フュージョン処理を行う
    請求項１０に記載の画像処理装置。
  13. 　前記フュージョン処理部は、前記所定条件を満たしていない場合は前記広画角画像基準フュージョン処理または前記狭画角フュージョン処理を行う
    請求項１２に記載の画像処理装置。
  14. 　前記フュージョン処理部は、前記所定条件を満たしていない場合において、前記判定部でフュージョン画像の画角設定を自動的に行うモード選択が行われていることを判定している場合に前記狭画角フュージョン処理を行う
    請求項１３に記載の画像処理装置。
  15. 　前記判定部は、フュージョン処理のユーザ選択操作を判定して、
    　前記フュージョン処理部は、前記判定部で前記狭画角フュージョン処理が選択されたことを判定した場合に前記所定条件を満たしているか否かに拘わらず前記狭画角フュージョン処理を行う
    請求項１０に記載の画像処理装置。
  16. 　高画質画像よりも低画質且つ広画角である広画角画像に対して前記高画質画像を基準としたワーピングを行い、前記高画質画像と前記ワーピング後の広画角画像を、画像重複領域の位置を一致させてフュージョン画像を生成する高画質画像基準フュージョン処理をフュージョン処理部で行うことを
    を含む画像処理方法。
PCT/JP2017/030720 2016-11-17 2017-08-28 画像処理装置と画像処理方法 WO2018092379A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/333,825 US10957029B2 (en) 2016-11-17 2017-08-28 Image processing device and image processing method
JP2018551041A JP7047767B2 (ja) 2016-11-17 2017-08-28 画像処理装置と画像処理方法
DE112017005807.4T DE112017005807T5 (de) 2016-11-17 2017-08-28 Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren
CN201780069819.5A CN109937568B (zh) 2016-11-17 2017-08-28 图像处理装置和图像处理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016223973 2016-11-17
JP2016-223973 2016-11-17

Publications (1)

Publication Number Publication Date
WO2018092379A1 true WO2018092379A1 (ja) 2018-05-24

Family

ID=62146353

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/030720 WO2018092379A1 (ja) 2016-11-17 2017-08-28 画像処理装置と画像処理方法

Country Status (5)

Country Link
US (1) US10957029B2 (ja)
JP (1) JP7047767B2 (ja)
CN (1) CN109937568B (ja)
DE (1) DE112017005807T5 (ja)
WO (1) WO2018092379A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019155757A1 (ja) * 2018-02-07 2019-08-15 ソニー株式会社 画像処理装置、画像処理方法及び画像処理システム
JP7258989B1 (ja) 2021-11-19 2023-04-17 キヤノン株式会社 移動装置、撮像装置、制御方法およびプログラム
JP7415707B2 (ja) 2020-03-19 2024-01-17 株式会社リコー 撮像装置、補正方法、及び、プログラム

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
JP6892557B2 (ja) * 2018-05-23 2021-06-23 株式会社ソニー・インタラクティブエンタテインメント 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム
CN112313472B (zh) * 2018-10-29 2023-12-26 松下知识产权经营株式会社 信息提示方法、信息提示装置、以及信息提示系统
KR102648912B1 (ko) * 2019-01-23 2024-03-19 삼성전자주식회사 영상 데이터를 분석하여 최종 영상 데이터를 생성하는 프로세서
US11307583B2 (en) * 2019-07-01 2022-04-19 Performance Drone Works Llc Drone with wide frontal field of view
US11315326B2 (en) * 2019-10-15 2022-04-26 At&T Intellectual Property I, L.P. Extended reality anchor caching based on viewport prediction
JP7442029B2 (ja) * 2019-10-17 2024-03-04 株式会社東海理化電機製作所 画像処理装置、画像処理プログラム
US11893482B2 (en) * 2019-11-14 2024-02-06 Microsoft Technology Licensing, Llc Image restoration for through-display imaging
CN111369481B (zh) * 2020-02-28 2020-11-20 当家移动绿色互联网技术集团有限公司 图像融合方法、装置、存储介质和电子设备
US20210327026A1 (en) * 2020-04-17 2021-10-21 Gopro, Inc. Methods and apparatus for blending unknown pixels in overlapping images
CN111818262B (zh) * 2020-07-08 2021-12-03 杭州萤石软件有限公司 图像重建方法及装置
CN113348489A (zh) * 2020-09-03 2021-09-03 深圳市大疆创新科技有限公司 图像处理方法和装置
KR20220066559A (ko) * 2020-11-16 2022-05-24 삼성전자주식회사 전자 장치 및 그 제어 방법
CN112508831A (zh) * 2020-12-02 2021-03-16 深圳开立生物医疗科技股份有限公司 一种超声宽景图像生成方法、装置、设备及存储介质
CN117455792B (zh) * 2023-12-25 2024-03-22 武汉车凌智联科技有限公司 一种车辆内置360度全景影像合成处理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01289390A (ja) * 1988-05-16 1989-11-21 Fujitsu Ltd 画像重畳装置
JP2010011223A (ja) * 2008-06-27 2010-01-14 Sony Corp 信号処理装置、信号処理方法、プログラム及び記録媒体
JP2013183353A (ja) * 2012-03-02 2013-09-12 Toshiba Corp 画像処理装置
JP2013211827A (ja) * 2012-02-28 2013-10-10 Canon Inc 画像処理方法および装置、プログラム。
JP2014127151A (ja) * 2012-12-27 2014-07-07 Sony Computer Entertainment Inc 情報処理装置、情報処理システム、および情報処理方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100762670B1 (ko) * 2006-06-07 2007-10-01 삼성전자주식회사 스테레오 이미지로부터 디스패리티 맵을 생성하는 방법 및장치와 그를 위한 스테레오 매칭 방법 및 장치
JP2013219525A (ja) 2012-04-06 2013-10-24 Nec Saitama Ltd 撮像装置、その制御方法及びプログラム
KR101634516B1 (ko) * 2013-06-13 2016-06-28 코어포토닉스 리미티드 이중 조리개 줌 디지털 카메라
WO2015178217A1 (ja) * 2014-05-21 2015-11-26 ソニー株式会社 画像処理装置および方法
CN105205796A (zh) * 2014-06-30 2015-12-30 华为技术有限公司 广域图像获取方法和装置
KR102157675B1 (ko) * 2014-07-25 2020-09-18 삼성전자주식회사 촬영 장치 및 그 촬영 방법
CN104200450B (zh) * 2014-08-25 2017-08-25 华南理工大学 一种红外热图像清晰度增强方法
TWI554103B (zh) * 2014-11-13 2016-10-11 聚晶半導體股份有限公司 影像擷取裝置及其數位變焦方法
JP6569277B2 (ja) * 2015-04-08 2019-09-04 日産自動車株式会社 認識用画像生成装置、物体検出装置及び認識用画像生成方法
CN106385541A (zh) * 2016-09-30 2017-02-08 虹软(杭州)科技有限公司 利用广角摄像组件及长焦摄像组件实现变焦的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01289390A (ja) * 1988-05-16 1989-11-21 Fujitsu Ltd 画像重畳装置
JP2010011223A (ja) * 2008-06-27 2010-01-14 Sony Corp 信号処理装置、信号処理方法、プログラム及び記録媒体
JP2013211827A (ja) * 2012-02-28 2013-10-10 Canon Inc 画像処理方法および装置、プログラム。
JP2013183353A (ja) * 2012-03-02 2013-09-12 Toshiba Corp 画像処理装置
JP2014127151A (ja) * 2012-12-27 2014-07-07 Sony Computer Entertainment Inc 情報処理装置、情報処理システム、および情報処理方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019155757A1 (ja) * 2018-02-07 2019-08-15 ソニー株式会社 画像処理装置、画像処理方法及び画像処理システム
US11347978B2 (en) 2018-02-07 2022-05-31 Sony Corporation Image processing apparatus, image processing method, and image processing system
JP7415707B2 (ja) 2020-03-19 2024-01-17 株式会社リコー 撮像装置、補正方法、及び、プログラム
JP7258989B1 (ja) 2021-11-19 2023-04-17 キヤノン株式会社 移動装置、撮像装置、制御方法およびプログラム
JP2023075670A (ja) * 2021-11-19 2023-05-31 キヤノン株式会社 移動装置、撮像装置、制御方法およびプログラム

Also Published As

Publication number Publication date
DE112017005807T5 (de) 2019-09-12
CN109937568B (zh) 2021-03-09
JPWO2018092379A1 (ja) 2019-10-10
CN109937568A (zh) 2019-06-25
US20190259139A1 (en) 2019-08-22
JP7047767B2 (ja) 2022-04-05
US10957029B2 (en) 2021-03-23

Similar Documents

Publication Publication Date Title
JP7047767B2 (ja) 画像処理装置と画像処理方法
JP6977821B2 (ja) 画像処理装置と画像処理方法
JP7024782B2 (ja) 画像処理装置と画像処理方法および撮像装置
US10704957B2 (en) Imaging device and imaging method
WO2018034209A1 (ja) 撮像装置と撮像方法
JPWO2018163725A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP6816769B2 (ja) 画像処理装置と画像処理方法
US10877288B2 (en) Imaging device and imaging method
JP6816768B2 (ja) 画像処理装置と画像処理方法
JP2018207453A (ja) 制御装置、撮像装置、制御方法、プログラム及び撮像システム
JP7235906B2 (ja) 固体撮像装置
JP6981416B2 (ja) 画像処理装置と画像処理方法
WO2021125076A1 (ja) 情報処理装置、情報処理方法、プログラム、撮像装置及び撮像システム
JP7173056B2 (ja) 認識装置と認識方法およびプログラム
US20230412923A1 (en) Signal processing device, imaging device, and signal processing method
JP2018011246A (ja) 固体撮像装置、補正方法、および電子装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17871218

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018551041

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 17871218

Country of ref document: EP

Kind code of ref document: A1